add flake8 checks to teuthology

Signed-off-by: Alfredo Deza <alfredo.deza@inktank.com>
(cherry picked from commit 27c9eb8f81dc25c7b50bfb77d4d2d4ab4d136fb6)
(cherry picked from commit b390d68ff4b7a648da3f22bd5ae34651d02fd915)

Merge pull request #111 from ceph/wip-missing-packages

If we're scheduling for non-ubuntu, look for rpms

If we're scheduling for non-ubuntu, look for rpms

Merge pull request #110 from ceph/wip-nuke-import-os

nuke: add missing import os

nuke: add missing import os

$ teuthology-nuke  -a . -r -u
Traceback (most recent call last):
  File "/home/ubuntu/bin/teuthology-nuke", line 9, in <module>
    load_entry_point('teuthology==0.0.1', 'console_scripts', 'teuthology-nuke')()
  File "/home/ubuntu/teuthology/teuthology/nuke.py", line 343, in main
    ifn = os.path.join(ctx.archive, 'info.yaml')
UnboundLocalError: local variable 'os' referenced before assignment

Signed-off-by: Sage Weil <sage@inktank.com>

Merge pull request #109 from ceph/wip-6388

only use host_key if it is not None

only use host_key if it is not None

Signed-off-by: Alfredo Deza <alfredo.deza@inktank.com>

rbd: move xfstest TESTDIR=... bit to front of command

2013-09-24T11:32:49.169 DEBUG:teuthology.orchestra.run:Running [10.214.132.4]: "/usr/bin/sudo adjust-ulimits ceph-coverage /home/ubuntu/cephtest/archive/coverage TESTDIR=/home/ubuntu/cephtest /bin/bash /home/ubuntu/cephtest/run_xfstests.sh -c 1 -f xfs -t /dev/rbd1 -s /dev/rbd2 '1-9 11-15 17 19-21 26-29 31-34 41 46-
54 56 61 63-67 69-70 74-76 78-79 84-89 91'"
2013-09-24T11:32:49.211 INFO:teuthology.task.rbd.client.1.err:[10.214.131.22]: /usr/bin/ceph-coverage: 25: exec: TESTDIR=/home/ubuntu/cephtest: not found

Signed-off-by: Sage Weil <sage@inktank.com>

Fix namespace collision

ceph.conf: fix typo

Signed-off-by: Sage Weil <sage@inktank.com>

Add config option 'verify_host_keys'

Defaults to True, meaning no change in behavior. If False, don't have
paramiko verify ssh host keys.

Merge pull request #107 from ceph/wip-fix-undefined-config

fix an undefined name buy importing config

fix an undefined name buy importing config

Signed-off-by: Alfredo Deza <alfredo.deza@inktank.com>

ceph.conf: reduce min pg per osd

Signed-off-by: Sage Weil <sage@inktank.com>

Merge pull request #106 from ceph/wip-mirror

Remove lots of ceph.com hardcoding; default to upstream sources

Split test into two

Merge pull request #105 from ceph/wip-missing-packages

When scheduling fails, send an email.

When scheduling fails, send an email.

Note that if no email is passed on the command line, no error email will
be sent. I did this to be polite.

Don't hardcode the git://ceph.com/git/ mirror

Default to https://github.com/ceph/ but add a ~/teuthology.yaml option

Don't hardcode ceph.com mirror for linux-firmware

Merge pull request #103 from ceph/toxify

Toxify teuthology

move the sitepackages to testenv section

Signed-off-by: Alfredo Deza <alfredo.deza@inktank.com>

tell py.test that we want teuthology stuff only

Signed-off-by: Alfredo Deza <alfredo.deza@inktank.com>

tell tox to use site-packages

Signed-off-by: Alfredo Deza <alfredo.deza@inktank.com>

just use python 2.7 for now

Signed-off-by: Alfredo Deza <alfredo.deza@inktank.com>

make sure we don't hard code the path for py.test

Signed-off-by: Alfredo Deza <alfredo.deza@inktank.com>

append .tox to avoid going in there

Signed-off-by: Alfredo Deza <alfredo.deza@inktank.com>

Don't hardcode teuthology's git repo URL

Add a basic test for teuthology.config

Merge pull request #104 from ceph/wip-copyfrom

fix ceph_test_rados args

rados: only pass --op copy_from if non-zero

Among other things, this does not work with older ceph_test_rados binaries.

Backport: next
Signed-off-by: Sage Weil <sage@inktank.com>

Add config.ceph_git_base_url

Use config.lock_server

Add doc noting Inktank's lockserver URL

Since I just removed it from lockstatus.py.

Use teuthology.config.

Also use os.path.join()

add a tox file

Signed-off-by: Alfredo Deza <alfredo.deza@inktank.com>

add .tox to gitignore

Signed-off-by: Alfredo Deza <alfredo.deza@inktank.com>

Merge pull request #102 from ceph/wip-tests

Update all existing unit tests.

Update test_connect() to reflect API changes

Looks like paramiko changed a bit internally. All unit tests pass now!

Update many unit tests to reflect 2yrs of changes

These tests hadn't been updated in over two years. Only one is left
failing.

Add pytest.ini

So far this just tells py.test not to recurse into directories
containing tests it doesn't need to run.

Merge pull request #101 from ceph/fix-adjust-ulimits-b

Put helper scripts in /usr/bin

Put helper scripts in /usr/bin

Merge pull request #100 from ceph/wip-tests

Add test for teuthology.suite.build_email_body()

Port to py.test

Add test for teuthology.suite.build_email_body()

Fix typo

Merge pull request #98 from ceph/time-fix

If duration is missing from summary.yaml, use 0

If duration is missing from summary.yaml, use 0

Merge pull request #97 from ceph/sentry

Fix logs URL on Sentry pages.

Fix logs URL on Sentry pages.

Merge pull request #96 from ceph/wip-fix-sudoers

Make sed expressions safe to run multiple times

Make sed expressions safe to run multiple times

Also, make them ignore commented lines.

Revert "suite: don't schedule follow-on summary job for an empty run"

This reverts commit a2b7c728964fb0064ba2a69818289caf723f09fc.

suite: do not calculate product on an empty list (take 2)

The original attempt to fix this with dda7954090ccc9ffd8ecd961d6b530a0e6d24964
failed because I screwed up the indentation for the out.append(...) line.

Signed-off-by: Sage Weil <sage@inktank.com>

Revert "suite: do not calculate product on an empty list"

This reverts commit dda7954090ccc9ffd8ecd961d6b530a0e6d24964.

This commit was causing the number of jobs scheduled per suite to be
multiplied by anywhere from 2 to 7 or more.

Merge pull request #94 from ceph/wip-fix-sudoers

Use teuthology-specific backup for /etc/sudoers

Use teuthology-specific backup for /etc/sudoers

Merge pull request #93 from ceph/wip-runfix

Make run_job merge job_config['config'] if needed

Make run_job merge job_config['config'] if needed

Merge pull request #92 from ceph/sentry

Be less picky about trailing slashes.

Be less picky about trailing slashes.

Merge pull request #91 from ceph/wip-suite

suite: do not calculate product on an empty list

suite: don't schedule follow-on summary job for an empty run

Signed-off-by: Sage Weil <sage@inktank.com>

suite: be verbose about how many jobs we generate

Signed-off-by: Sage Weil <sage@inktank.com>

suite: do not calculate product on an empty list

This fixes a bug where a directory with just % generates a
bogus job item with no actual content.  (e.g.,

$ find basic
basic
basic/%
$ teuthology-suite --dry-run --base . --collections basic --name foo
INFO:teuthology.suite:Collection basic in ./basic
INFO:teuthology.suite:configs [('basic/{}', [])]

...which then blows up because the job yaml is empty.  With
the fix, there are no generated jobs:

$ teuthology-suite --dry-run --base . --collections basic --name foo
INFO:teuthology.suite:Collection basic in ./basic
INFO:teuthology.suite:configs []

(The configs print was temporarily added for debugging
purposes.)

Signed-off-by: Sage Weil <sage@inktank.com>

Merge pull request #90 from ceph/sentry

Fix get_http_log_path(), update callers, add tests

Fix get_http_log_path(), update callers, add tests

Merge branch 'master' of github.com:ceph/teuthology

made help more readable

Signed-off-by: tamil <tamil.muthamizhan@inktank.com>

Fix TypeError
(cherry picked from commit c4591a16e1781f8da3502b38e3dc72f629478312)

Merge pull request #88 from ceph/wip-fix-clones

Use check_output() and log.exception()

Use check_output() and log.exception()

This should help us figure out why our checkouts keep getting deleted.

feature # 5942. Added examples to teuthology binaries help page

Signed-off-by: tamil <tamil.muthamizhan@inktank.com>

Merge pull request #87 from ceph/sentry

Add logs URL to sentry reports

Add teuthology branch to sentry report tags

Ensure teuthology_branch is stored in job_config

Add ctx.config to sentry info.

Merge job_config and ctx.config

Add test for misc.get_http_log_path()

Use sentry.get_ident() again

Don't fail if there's no job_id

Passing job_id to get_http_log_path() is optional

Add logs URL to sentry reports

Add job id and actual archive dir to job config
Also add job id to info.yaml

Don't "import misc as teuthology"

Move get_http_log_path

s/jobid/job_id/

rados: add --op copy_from ... support

Signed-off-by: Sage Weil <sage@inktank.com>

Merge pull request #85 from ceph/wip-testdir

remove basedir/testdir distinction

remove basedir/testdir distinction

We should never run with a conflicting testdir in the basedir, and the
code to do this is confusing and buggy.  Go back to a single testdir and
simple checks.

Signed-off-by: Sage Weil <sage@inktank.com>

Merge pull request #84 from ceph/wip-buck-daemon-helper

Reviewed-by: Josh Durgin <josh.durgin@inktank.com>

Adding in erroneously removed args

The 'kill' argument was accidentially removed
as part of patch
53b8e27da996f2efdcc4eb687f3bda0791a8d947

Signed-off-by: Joe Buck <jbbuck@gmail.com>

Merge remote-tracking branch 'gh/wip-valgrind'

Reviewed-by: Josh Durgin <josh.durgin@inktank.com>

fix a few missing adjust-ulimits users

Signed-off-by: Sage Weil <sage@inktank.com>

rgw: fix valgrind when no valgrind

Signed-off-by: Sage Weil <sage@inktank.com>
Reviewed-by: Josh Durgin <josh.durgin@inktank.com>

rgw: fix valgrind when no valgrind

Signed-off-by: Sage Weil <sage@inktank.com>

Merge pull request #82 from ceph/wip-valgrind

Reviewed-by: Josh Durgin <josh.durgin@inktank.com>

misc: valgrind: fix cd behavior

The cd needs to happen at the beginning of the command, not at the end, or
else the funky wrapper scripts don't work right.

This also cleans up the command line construction a bit so that it is more
flexible, explicit, and hopefully less fragile.

Signed-off-by: Sage Weil <sage@inktank.com>

misc: valgrind: fix valgrind.supp path

Signed-off-by: Sage Weil <sage@inktank.com>