PEP-8

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Move teuthology-worker's arg parsing to scripts/

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Move teuthology-ls's arg parsing to scripts/

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

More PEP-8 cleanup

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Move teuthology-suite's arg parsing to scripts/

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Move teuthology-nuke's arg parsing to scripts/

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Add scripts/ module

PEP-8 cleanup

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

ignoring -X option in apache as it was causing s3test failures on the rpms.

Signed-off-by: tamil <tamil.muthamizhan@inktank.com>

Merge pull request #126 from ceph/wip-store-results

Reflect paddles API change: jobs in jobs/

Reflect paddles API change: jobs in jobs/

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Merge pull request #125 from ceph/wip-store-results

Add more tests for ReportSerializer

Add more tests for ReportSerializer

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Merge pull request #124 from ceph/wip-store-results

Various fixes related to reporting

Tweak logic of try_push_job_info()

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Make most of lock_machines() PEP-8 clean.

Also, use some better variable names.

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Make teuthology-schedule also print the job's name

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Store the job_id as a str, not an int.

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Move teuthology.report import; add large warning

Because of the monkey patching, if we get the import order wrong bad
things happen.

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Merge pull request #123 from ceph/wip-store-results

Fix issue with monkey patching

Add (and use) try_push_job_info() for easy pushin'

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Move new imports to inside main()

The monkey patch stuff was causing problems again.

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

schedule_suite.sh: include default machine type in job name

Signed-off-by: Sage Weil <sage@inktank.com>

Merge pull request #121 from ceph/wip-store-results

Submit teuthology results to a paddles instance

Add test for test_all_runs

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Clarify job vs. run

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Create a FakeArchive class to forge test results

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Escape reserved characters in URIs

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Report results synchronously.

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Add more documentation.

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Add create_run() and push_job_info() with docs.

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

s/submit_/report_/g

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Rename ResultsPoster to ResultsReporter

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Add create_run; allow passing json to submit_job

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Overhaul posting logic to avoid some corner cases

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Add flag for refreshing already-pushed runs

Also tweak implementation of save_last_run

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Remove old method used for testing

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Add --server flag

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Reuse connection objects.

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Add argument parsing to make this a proper script.

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

A first pass at integration with paddles

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Merge pull request #120 from ceph/wip-6243

Wip 6243

rest-api.py: test that ceph-rest-api is up and servicing requests

Wait for the daemon to actually be ready before continuing with other
tasks.  Loop 12 times, waiting 5s, before deciding something's wrong.

Fixes: #6243
Signed-off-by: Dan Mick <dan.mick@inktank.com>

rest-api.py: fix up client identification

The code to extract which clients to start the API on was confused;
fix it up.  Also, strip off 'client.' instead of 'clients' (since it
was done with len(), the result was the same, but confusing)

Signed-off-by: Dan Mick <dan.mick@inktank.com>

Revert "ceph.conf: filestore sloppy crc = true"

This reverts commit 631476b9796f817e5f1654affb6b2a5aacfe9a80.

This fails on ext4 because of xattr size limits.

nuke: s/run_name/name/

This matches an existing argument (with the same meaning) and
avoids an error like

2013-10-01T17:20:35.395 CRITICAL:root:  File "/var/lib/teuthworker/teuthology-master/virtualenv/bin/teuthology", line 9, in <module>
    load_entry_point('teuthology==0.0.1', 'console_scripts', 'teuthology')()
  File "/home/teuthworker/teuthology-master/teuthology/run.py", line 235, in main
    nuke(ctx, log, ctx.lock)
  File "/home/teuthworker/teuthology-master/teuthology/nuke.py", line 391, in nuke
    if ctx.run_name:

2013-10-01T17:20:35.395 CRITICAL:root:AttributeError: 'Namespace' object has no attribute 'run_name'

Signed-off-by: Sage Weil <sage@inktank.com>

Merge pull request #118 from ceph/wip-nukeskip

Check description of machines before nuking when -a is passed

Merge pull request #95 from ceph/wip-empty

don't summarize an empty run

Check description of machines before nuking when -a is passed

When teuthology-nuke is passed with --archive/-a to kill and nuke
machines from an archive folder it blindly will nuke all the
targets it grabs from the config.yaml in the archive dir. This
change will check the description of locked machines and make sure
the run name is in the description. if not it removes the target
from the list passed to nuke().

Signed-off-by: Sandon Van Ness <sandon@inktank.com>

suite: don't schedule follow-on summary job for an empty run

Signed-off-by: Sage Weil <sage@inktank.com>

suite: fix num_jobs count

Signed-off-by: Sage Weil <sage@inktank.com>

Merge pull request #116 from ceph/wip-sudoers-sync

Reviewed-by: Josh Durgin <josh.durgin@inktank.com>

Merge pull request #115 from ceph/wip-priority

add priorities to scheduling

nuke: make half-hearted attempt to sync before reboot

We don't want to block on sync for fear of a hung kernel
mount.  However, we can give it a try and wait a few seconds
to get what we can.

This fixes a problem where our recent modifications to the
sudoers file are lost, with a 0 byte file left in its place,
because the task fails and we do a reboot -f -n.

Signed-off-by: Sage Weil <sage@inktank.com>

Merge pull request #117 from ceph/wip-tests

Port tests to py.test; add a couple tests

Fix test

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Add test for skipping host key verification

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Port from nosetests to py.test

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Add another config test

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Don't use properties

They're quite inconvenient for this use-case.

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

ceph.conf: filestore sloppy crc = true

Signed-off-by: Sage Weil <sage@inktank.com>

schedule: show priority on -s

Make output a bit nicer too.

Signed-off-by: Sage Weil <sage@inktank.com>

schedule: priority option

Default to 1000.  Note that beanstalk priority is 2^31, so this
won't mix well with older code scheduling things at the
beanstalk default priority.

Signed-off-by: Sage Weil <sage@inktank.com>

valgrind: suppress inet_ntop noise

See #6240

Signed-off-by: Sage Weil <sage@inktank.com>

Merge pull request #114 from ceph/wip-linter

Fix lots of linter errors

Move 'import os' to inside main()

This is necessary because of the monkey-patching.

Add '# noqa' to suppress a linter error

Fixing this would require some more significant changes... and tempt me
with rewriting every module in the directory.
(cherry picked from commit 3fc39a59fd415a4e4e6f2a0354fe900477167e51)

Don't redefine variable
(cherry picked from commit 083717c1b4022289806030faf23ff7c4aa371f19)

Remove unused variables
(cherry picked from commit 581b6b3e977b99fc58fe25e66c933c65e38dc87c)

Remove unused imports
(cherry picked from commit 586817481119c4fc4a39f8804e7871a43491e01f)

Fix undefined name errors
(cherry picked from commit f59497ef2214f29d5995435d83766c7994e8f2cd)

Make teuthology.locker a module

Add missing requirement: web.py
(cherry picked from commit 1b3349525c361d4253f76729f8416ac6d9029289)

add flake8 checks to teuthology

Signed-off-by: Alfredo Deza <alfredo.deza@inktank.com>
(cherry picked from commit 27c9eb8f81dc25c7b50bfb77d4d2d4ab4d136fb6)
(cherry picked from commit b390d68ff4b7a648da3f22bd5ae34651d02fd915)

Merge pull request #111 from ceph/wip-missing-packages

If we're scheduling for non-ubuntu, look for rpms

If we're scheduling for non-ubuntu, look for rpms

Merge pull request #110 from ceph/wip-nuke-import-os

nuke: add missing import os

nuke: add missing import os

$ teuthology-nuke  -a . -r -u
Traceback (most recent call last):
  File "/home/ubuntu/bin/teuthology-nuke", line 9, in <module>
    load_entry_point('teuthology==0.0.1', 'console_scripts', 'teuthology-nuke')()
  File "/home/ubuntu/teuthology/teuthology/nuke.py", line 343, in main
    ifn = os.path.join(ctx.archive, 'info.yaml')
UnboundLocalError: local variable 'os' referenced before assignment

Signed-off-by: Sage Weil <sage@inktank.com>

Merge pull request #109 from ceph/wip-6388

only use host_key if it is not None

only use host_key if it is not None

Signed-off-by: Alfredo Deza <alfredo.deza@inktank.com>

rbd: move xfstest TESTDIR=... bit to front of command

2013-09-24T11:32:49.169 DEBUG:teuthology.orchestra.run:Running [10.214.132.4]: "/usr/bin/sudo adjust-ulimits ceph-coverage /home/ubuntu/cephtest/archive/coverage TESTDIR=/home/ubuntu/cephtest /bin/bash /home/ubuntu/cephtest/run_xfstests.sh -c 1 -f xfs -t /dev/rbd1 -s /dev/rbd2 '1-9 11-15 17 19-21 26-29 31-34 41 46-
54 56 61 63-67 69-70 74-76 78-79 84-89 91'"
2013-09-24T11:32:49.211 INFO:teuthology.task.rbd.client.1.err:[10.214.131.22]: /usr/bin/ceph-coverage: 25: exec: TESTDIR=/home/ubuntu/cephtest: not found

Signed-off-by: Sage Weil <sage@inktank.com>

Fix namespace collision

ceph.conf: fix typo

Signed-off-by: Sage Weil <sage@inktank.com>

Add config option 'verify_host_keys'

Defaults to True, meaning no change in behavior. If False, don't have
paramiko verify ssh host keys.

Merge pull request #107 from ceph/wip-fix-undefined-config

fix an undefined name buy importing config

fix an undefined name buy importing config

Signed-off-by: Alfredo Deza <alfredo.deza@inktank.com>

ceph.conf: reduce min pg per osd

Signed-off-by: Sage Weil <sage@inktank.com>

Merge pull request #106 from ceph/wip-mirror

Remove lots of ceph.com hardcoding; default to upstream sources

Split test into two

Merge pull request #105 from ceph/wip-missing-packages

When scheduling fails, send an email.

When scheduling fails, send an email.

Note that if no email is passed on the command line, no error email will
be sent. I did this to be polite.

Don't hardcode the git://ceph.com/git/ mirror

Default to https://github.com/ceph/ but add a ~/teuthology.yaml option

Don't hardcode ceph.com mirror for linux-firmware

Merge pull request #103 from ceph/toxify

Toxify teuthology

move the sitepackages to testenv section

Signed-off-by: Alfredo Deza <alfredo.deza@inktank.com>

tell py.test that we want teuthology stuff only

Signed-off-by: Alfredo Deza <alfredo.deza@inktank.com>

tell tox to use site-packages

Signed-off-by: Alfredo Deza <alfredo.deza@inktank.com>

just use python 2.7 for now

Signed-off-by: Alfredo Deza <alfredo.deza@inktank.com>

make sure we don't hard code the path for py.test

Signed-off-by: Alfredo Deza <alfredo.deza@inktank.com>

append .tox to avoid going in there

Signed-off-by: Alfredo Deza <alfredo.deza@inktank.com>