Check description of machines before nuking when -a is passed

When teuthology-nuke is passed with --archive/-a to kill and nuke
machines from an archive folder it blindly will nuke all the
targets it grabs from the config.yaml in the archive dir. This
change will check the description of locked machines and make sure
the run name is in the description. if not it removes the target
from the list passed to nuke().

Signed-off-by: Sandon Van Ness <sandon@inktank.com>

Merge pull request #117 from ceph/wip-tests

Port tests to py.test; add a couple tests

Fix test

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Add test for skipping host key verification

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Port from nosetests to py.test

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Add another config test

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Don't use properties

They're quite inconvenient for this use-case.

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

ceph.conf: filestore sloppy crc = true

Signed-off-by: Sage Weil <sage@inktank.com>

valgrind: suppress inet_ntop noise

See #6240

Signed-off-by: Sage Weil <sage@inktank.com>

Merge pull request #114 from ceph/wip-linter

Fix lots of linter errors

Move 'import os' to inside main()

This is necessary because of the monkey-patching.

Add '# noqa' to suppress a linter error

Fixing this would require some more significant changes... and tempt me
with rewriting every module in the directory.
(cherry picked from commit 3fc39a59fd415a4e4e6f2a0354fe900477167e51)

Don't redefine variable
(cherry picked from commit 083717c1b4022289806030faf23ff7c4aa371f19)

Remove unused variables
(cherry picked from commit 581b6b3e977b99fc58fe25e66c933c65e38dc87c)

Remove unused imports
(cherry picked from commit 586817481119c4fc4a39f8804e7871a43491e01f)

Fix undefined name errors
(cherry picked from commit f59497ef2214f29d5995435d83766c7994e8f2cd)

Make teuthology.locker a module

Add missing requirement: web.py
(cherry picked from commit 1b3349525c361d4253f76729f8416ac6d9029289)

add flake8 checks to teuthology

Signed-off-by: Alfredo Deza <alfredo.deza@inktank.com>
(cherry picked from commit 27c9eb8f81dc25c7b50bfb77d4d2d4ab4d136fb6)
(cherry picked from commit b390d68ff4b7a648da3f22bd5ae34651d02fd915)

Merge pull request #111 from ceph/wip-missing-packages

If we're scheduling for non-ubuntu, look for rpms

If we're scheduling for non-ubuntu, look for rpms

Merge pull request #110 from ceph/wip-nuke-import-os

nuke: add missing import os

nuke: add missing import os

$ teuthology-nuke  -a . -r -u
Traceback (most recent call last):
  File "/home/ubuntu/bin/teuthology-nuke", line 9, in <module>
    load_entry_point('teuthology==0.0.1', 'console_scripts', 'teuthology-nuke')()
  File "/home/ubuntu/teuthology/teuthology/nuke.py", line 343, in main
    ifn = os.path.join(ctx.archive, 'info.yaml')
UnboundLocalError: local variable 'os' referenced before assignment

Signed-off-by: Sage Weil <sage@inktank.com>

Merge pull request #109 from ceph/wip-6388

only use host_key if it is not None

only use host_key if it is not None

Signed-off-by: Alfredo Deza <alfredo.deza@inktank.com>

rbd: move xfstest TESTDIR=... bit to front of command

2013-09-24T11:32:49.169 DEBUG:teuthology.orchestra.run:Running [10.214.132.4]: "/usr/bin/sudo adjust-ulimits ceph-coverage /home/ubuntu/cephtest/archive/coverage TESTDIR=/home/ubuntu/cephtest /bin/bash /home/ubuntu/cephtest/run_xfstests.sh -c 1 -f xfs -t /dev/rbd1 -s /dev/rbd2 '1-9 11-15 17 19-21 26-29 31-34 41 46-
54 56 61 63-67 69-70 74-76 78-79 84-89 91'"
2013-09-24T11:32:49.211 INFO:teuthology.task.rbd.client.1.err:[10.214.131.22]: /usr/bin/ceph-coverage: 25: exec: TESTDIR=/home/ubuntu/cephtest: not found

Signed-off-by: Sage Weil <sage@inktank.com>

Fix namespace collision

ceph.conf: fix typo

Signed-off-by: Sage Weil <sage@inktank.com>

Add config option 'verify_host_keys'

Defaults to True, meaning no change in behavior. If False, don't have
paramiko verify ssh host keys.

Merge pull request #107 from ceph/wip-fix-undefined-config

fix an undefined name buy importing config

fix an undefined name buy importing config

Signed-off-by: Alfredo Deza <alfredo.deza@inktank.com>

ceph.conf: reduce min pg per osd

Signed-off-by: Sage Weil <sage@inktank.com>

Merge pull request #106 from ceph/wip-mirror

Remove lots of ceph.com hardcoding; default to upstream sources

Split test into two

Merge pull request #105 from ceph/wip-missing-packages

When scheduling fails, send an email.

When scheduling fails, send an email.

Note that if no email is passed on the command line, no error email will
be sent. I did this to be polite.

Don't hardcode the git://ceph.com/git/ mirror

Default to https://github.com/ceph/ but add a ~/teuthology.yaml option

Don't hardcode ceph.com mirror for linux-firmware

Merge pull request #103 from ceph/toxify

Toxify teuthology

move the sitepackages to testenv section

Signed-off-by: Alfredo Deza <alfredo.deza@inktank.com>

tell py.test that we want teuthology stuff only

Signed-off-by: Alfredo Deza <alfredo.deza@inktank.com>

tell tox to use site-packages

Signed-off-by: Alfredo Deza <alfredo.deza@inktank.com>

just use python 2.7 for now

Signed-off-by: Alfredo Deza <alfredo.deza@inktank.com>

make sure we don't hard code the path for py.test

Signed-off-by: Alfredo Deza <alfredo.deza@inktank.com>

append .tox to avoid going in there

Signed-off-by: Alfredo Deza <alfredo.deza@inktank.com>

Don't hardcode teuthology's git repo URL

Add a basic test for teuthology.config

Merge pull request #104 from ceph/wip-copyfrom

fix ceph_test_rados args

rados: only pass --op copy_from if non-zero

Among other things, this does not work with older ceph_test_rados binaries.

Backport: next
Signed-off-by: Sage Weil <sage@inktank.com>

Add config.ceph_git_base_url

Use config.lock_server

Add doc noting Inktank's lockserver URL

Since I just removed it from lockstatus.py.

Use teuthology.config.

Also use os.path.join()

add a tox file

Signed-off-by: Alfredo Deza <alfredo.deza@inktank.com>

add .tox to gitignore

Signed-off-by: Alfredo Deza <alfredo.deza@inktank.com>

Merge pull request #102 from ceph/wip-tests

Update all existing unit tests.

Update test_connect() to reflect API changes

Looks like paramiko changed a bit internally. All unit tests pass now!

Update many unit tests to reflect 2yrs of changes

These tests hadn't been updated in over two years. Only one is left
failing.

Add pytest.ini

So far this just tells py.test not to recurse into directories
containing tests it doesn't need to run.

Merge pull request #101 from ceph/fix-adjust-ulimits-b

Put helper scripts in /usr/bin

Put helper scripts in /usr/bin

Merge pull request #100 from ceph/wip-tests

Add test for teuthology.suite.build_email_body()

Port to py.test

Add test for teuthology.suite.build_email_body()

Fix typo

Merge pull request #98 from ceph/time-fix

If duration is missing from summary.yaml, use 0

If duration is missing from summary.yaml, use 0

Merge pull request #97 from ceph/sentry

Fix logs URL on Sentry pages.

Fix logs URL on Sentry pages.

Merge pull request #96 from ceph/wip-fix-sudoers

Make sed expressions safe to run multiple times

Make sed expressions safe to run multiple times

Also, make them ignore commented lines.

Revert "suite: don't schedule follow-on summary job for an empty run"

This reverts commit a2b7c728964fb0064ba2a69818289caf723f09fc.

suite: do not calculate product on an empty list (take 2)

The original attempt to fix this with dda7954090ccc9ffd8ecd961d6b530a0e6d24964
failed because I screwed up the indentation for the out.append(...) line.

Signed-off-by: Sage Weil <sage@inktank.com>

Revert "suite: do not calculate product on an empty list"

This reverts commit dda7954090ccc9ffd8ecd961d6b530a0e6d24964.

This commit was causing the number of jobs scheduled per suite to be
multiplied by anywhere from 2 to 7 or more.

Merge pull request #94 from ceph/wip-fix-sudoers

Use teuthology-specific backup for /etc/sudoers

Use teuthology-specific backup for /etc/sudoers

Merge pull request #93 from ceph/wip-runfix

Make run_job merge job_config['config'] if needed

Make run_job merge job_config['config'] if needed

Merge pull request #92 from ceph/sentry

Be less picky about trailing slashes.

Be less picky about trailing slashes.

Merge pull request #91 from ceph/wip-suite

suite: do not calculate product on an empty list

suite: don't schedule follow-on summary job for an empty run

Signed-off-by: Sage Weil <sage@inktank.com>

suite: be verbose about how many jobs we generate

Signed-off-by: Sage Weil <sage@inktank.com>

suite: do not calculate product on an empty list

This fixes a bug where a directory with just % generates a
bogus job item with no actual content.  (e.g.,

$ find basic
basic
basic/%
$ teuthology-suite --dry-run --base . --collections basic --name foo
INFO:teuthology.suite:Collection basic in ./basic
INFO:teuthology.suite:configs [('basic/{}', [])]

...which then blows up because the job yaml is empty.  With
the fix, there are no generated jobs:

$ teuthology-suite --dry-run --base . --collections basic --name foo
INFO:teuthology.suite:Collection basic in ./basic
INFO:teuthology.suite:configs []

(The configs print was temporarily added for debugging
purposes.)

Signed-off-by: Sage Weil <sage@inktank.com>

Merge pull request #90 from ceph/sentry

Fix get_http_log_path(), update callers, add tests

Fix get_http_log_path(), update callers, add tests

Merge branch 'master' of github.com:ceph/teuthology

made help more readable

Signed-off-by: tamil <tamil.muthamizhan@inktank.com>

Fix TypeError
(cherry picked from commit c4591a16e1781f8da3502b38e3dc72f629478312)

Merge pull request #88 from ceph/wip-fix-clones

Use check_output() and log.exception()

Use check_output() and log.exception()

This should help us figure out why our checkouts keep getting deleted.

feature # 5942. Added examples to teuthology binaries help page

Signed-off-by: tamil <tamil.muthamizhan@inktank.com>

Merge pull request #87 from ceph/sentry

Add logs URL to sentry reports

Add teuthology branch to sentry report tags

Ensure teuthology_branch is stored in job_config

Add ctx.config to sentry info.

Merge job_config and ctx.config

Add test for misc.get_http_log_path()

Use sentry.get_ident() again

Don't fail if there's no job_id