Enable reporting of entire runs as dead

Re-raise exceptions caught in the watchdog

Use response.text if response.json is None

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Strip stdout lines

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Catch and log unhandled exceptions in the watchdog

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Add 'emperor' to list of branches with reporting

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Work around a change in pip 1.5 regarding wheels

The error message was "pip's wheel support requires setuptools >= 0.8
for dist-info support."

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Be safer when calling ./bootstrap

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Use CentOS Gitbuilder sha1 instead of Fedora for non-ubuntu.

Signed-off-by: Sandon Van Ness <sandon@inktank.com>

break out of the while loop after 15 minutes

Signed-off-by: Alfredo Deza <alfredo.deza@inktank.com>
(cherry picked from commit bef6eb74dcaa37b70b1eab4d28bfa10abb0049d0)
Signed-off-by: Zack Cerza <zack@cerza.org>

Sleep once outside of the watchdog loop

Hopefully this will prevent the double-posting of jobs.

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Merge pull request #168 from ktdreyer/readme-formatting

format bullets in README

format bullets in README

Set the content-type in report_job()

Split out ResultsSerializer.job_info()

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Port from httplib2 to requests module

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

valgrind.supp: ignore libnss3 leaks

These just started popping up when I updated the notcmalloc gitbuilder, probably
because of an updated libnss version.   Whitelist it!

Signed-off-by: Sage Weil <sage@inktank.com>

rbd: bump the default scratch size for xfstests to 10G

autobuild-ceph.git commit 53db7a34aba5 had silently changed the default
elevator from cfq to deadline, which made xfstests 167 very unhappy.
It looks like with deadline and noop elevators it requires a ~6G
scratch partition.  Bump the default scratch image size to 10G.

Signed-off-by: Ilya Dryomov <ilya.dryomov@inktank.com>

Revert "valgrind.supp: ignore libnss3 leaks"

This reverts commit 572dc88a7cc295cb06354e6f004f7ad665b101f4.

This didn't occur on next; I think there may be a real leak on the ceph
side.

valgrind.supp: ignore libnss3 leaks

These just started popping up.  Probably because I gave the
gitbuilders a kick?

Signed-off-by: Sage Weil <sage@inktank.com>

Merge pull request #166 from ceph/wip-lockspell-wusui

Fix spelling error in comment.

Fix spelling error in teuthology/task/locktest.py comment

Add ability to mark jobs as 'dead'

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Allow passing multiple job_ids

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Implement single-job killing

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

For teuthology-kill, s/suite/run/

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Merge pull request #165 from ceph/wip-7042-fix-wusui

Do not run local handling fix if local parameter is not found.

Do not run local handling fix if local parameter is not found.
Fixes: 7042
Signed-off-by: Warren Usui <warren.usui@inktank.com>

Merge pull request #156 from ceph/teuthology-doc-hadoop-wusui

Added docstrings.  Cleaned up code (broke up long lines, removed unused

Merge pull request #164 from ceph/wip-rados

rados: add in more (optional) op types

Merge pull request #160 from ceph/wip-fix-5149-wusui

Added handling of a 'local' option inside install.py which specifies

Log calls to teuthology-report more verbosely

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Catch every exception here, for now.

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Use saucy gitbuilder for arm package checking.

Some-how missed it checks both sha1 and package version file
and package version was still the quantal gitbuilder which wont
work as the hardware is down.

This was causing scheduling failures.

Signed-off-by: Sandon Van Ness <sandon@inktank.com>

rados: add in more (optional) op types

Signed-off-by: Sage Weil <sage@inktank.com>

Use shell=True to call teuthology-report

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Catch OSError if script isn't in $PATH

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Revert "Use path when calling teuthology-report. …"

This reverts commit e4b5ab811e954a5b134d413aeb338805b5e3441d.

Use path when calling teuthology-report. …

The 'teuthology-report' command is probably not going to exist
in $PATH so get the location of the running command and assume its
in the same path.

Signed-off-by: Sandon Van Ness <sandon@inktank.com>

Merge pull request #162 from jcsp/fsid-conf

Fix FSID not being set in ceph.conf

Merge pull request #161 from jcsp/ssh-config

Respect .ssh/config when opening SSH connections

Skip the 'dead' report on old branches

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Use saucy gitbuilder when grabbing sha1 for arm.

Old quantal gitbuilders are gone until hardware comes back. Use
the new saucy gitbuilders instead.

Make sure to report all results.

If a just-finished job was using a teuthology branch not known to
contain the reporting feature, then report the job via the
teuthology-report script. Note that in some cases this will result in
double reporting but the extra load should be negligible.

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Enable reporting of single jobs

(also switch to docopt)

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Remove the child's stderr completely

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Fix FSID not being set in ceph.conf

Symptom was that 'ceph --admin-daemon... config get fsid'
returned zeros, while correct fsid was present in cluster maps.
Fix it by populating FSID in ceph.conf, after extracting it from
monmap.

When starting a job, tell paddles it's running

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Longer timeout after sync/reboot.

With only a 5 second sleep via ssh and python it looks like a
race-condition was sometimes hitting where it would think
the machine is back up before the reboot command had completed.

Signed-off-by: Sandon Van Ness <sandon@inktank.com>

Respect .ssh/config when opening SSH connections

This handles that case where your private key is
in a non-default location that you're pointing
to in ~/.ssh/config.

Added handling of a 'local' option inside install.py which specifies
a local directory containing deb or rpm files to be installed.

Fixes: 5149
Signed-off-by: Warren Usui <warren.usui@inktank.com>

Use continue, not break

Fixes a bug where not all pids were being collected

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Tweak logic for pid lookup

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Fix indentation

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Don't show child's stderr, but show archive path

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Add debug statements

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Merge pull request #159 from ceph/wip-cache

rados: allow existing pool(s) to be used

rados: allow existing pool(s) to be used

Signed-off-by: Sage Weil <sage@inktank.com>

ceph.conf: put 2x command in [global]

so that osdmaptool sees it.

Signed-off-by: Sage Weil <sage@inktank.com>

Create a DateTime object from the timestamp

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Make -a optional

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Add missing req: psutil

Merge pull request #151 from ceph/wip-distro-kernel

Wip distro kernel

Auto-restart

If /tmp/teuthology-restart-workers is newer than the running process,
restart.

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Merge pull request #158 from ceph/wip-nuke

make nuke behave

nuke: ignore exceptions while issuing reboot command

I'm seeing failed tasks (and nuke) leak machines.  It looks like we are
getting an exception on the '... reboot -f -n' command when we should be
ignoring it and waiting for the machine to restart.

For example:
   http://qa-proxy.ceph.com/teuthology/sage-2013-12-08_19:25:06-rados:thrash-wip-tier-foo-basic-plana/136321/teuthology.log

Signed-off-by: Sage Weil <sage@inktank.com>

Remove unused variable.

Signed-off-by: Sandon Van Ness <sandon@inktank.com>

Added additional comments.

Signed-off-by: Sandon Van Ness <sandon@inktank.com>

ceph.conf: default to 2x

A bunch of our tests rely on this; they need to be fixed
before we can run at 3x.

Signed-off-by: Sage Weil <sage@inktank.com>

nuke: fix sync before reboot timeout

If you do 'timeout 5 sync' and sync hangs, timeout will block trying to
kill it.

Instead, just background sync, wait a few seconds, and reboot.  This means
we wait a few seconds even if sync returns immediately, but who cares!

Signed-off-by: Sage Weil <sage@inktank.com>

Merge pull request #157 from ceph/wip-watchdog

Implement a watchdog for queued jobs

Implement a watchdog for queued jobs

This continually posts the run's status to the results server, if
configured, at an interval defaulting to 600 seconds.

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

A create_if_vm call was made more than once when a lock-many style lock
was performed.  This caused downburst to run twice, and the second
downburst fails as a result of the first downburst running.

Fixes: 6933

Merge branch 'teuthology-fix-downburst-yaml-wusui'

Implement --downburst-conf parameter for teuthology-lock.
Load the appropriate yaml information when found (this formerly
did not work).  Make sure teuthology --lock works with a downburst
entry in the yaml files.  Document how this works in README.rst.

Fixes: #6921
Reviewed-by: Dan Mick

Added docstrings.  Cleaned up code (broke up long lines, removed unused
variable references, pep8 formatted most of the code (one set of long lines
remains), and changed some variable and method names to conform to pylint
standards).

Fixes: 6530

rbd: make default size larger for xfstests

Test 167 runs out of space on newer kernels

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

Merge branch 'wip-fix-teuth-tgt-wusui'

tgt and iscsi code need some minor fixes.  Moved the settle call during
simple read testing.  In iscsi.py, generic_mkfs and generic_mount need
to be called from the main body of the task.  An extraneous iscsiadm
command was removed.  The tgt size is now not hard-coded.  It is extracted
from the property and defaults to 10240.

Fixes: #6782

Merge pull request #154 from ceph/wip-multi-mtype

Wip multi mtype

Changes suggested per review.

Signed-off-by: Sandon Van Ness <sandon@inktank.com>

Also catch httplib2.ServerNotFoundError

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

internal.py: nitty little spelling error

Signed-off-by: Dan Mick <dan.mick@inktank.com>

Schedule-suite Use 'multi' tube for multiple types. Scheduling.

Signed-off-by: Sandon Van Ness <sandon@inktank.com>

Allow ability to use multi machine type deliminated by ,- \t.

I was originally attempting a more complicated locking mechanism
but I think its almost as good to just have it attempt the other
machine type if one.

Signed-off-by: Sandon Van Ness <sandon@inktank.com>

Skip cluster() if use_existing_cluster is True

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Merge pull request #153 from ceph/wip-6790

Reviewed by Warren.

Use shortened version in order to avoid revision/arch mishaps.

Sometimes -X is added to package names which does not exist in the
/version file. Simply using the version string does not work on
RHEL (it does on centos). Until version and the packages match
identically we instead will just split the version at the - and
no longer specify the dist for better reliability but slightly
lower accuracy.

Signed-off-by: Sandon Van Ness <sandon@inktank.com>

Add optional 'use_existing_cluster' flag

If this flag is present, skip a few unnecessary steps

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Fix ceph.repo so it uses URI value.

Basically some weird cases where ceph-releases would be pointing
to the wrong branch/build when two branches had the same sha1.
This fixes that.

Signed-off-by: Sandon Van Ness <sandon@inktank.com>

ceph_manager: provide unique pool names to avoid collision

Fixes: #6769
Signed-off-by: Samuel Just <sam.just@inktank.com>

Merge pull request #152 from dachary/master

add git clone to installation instrutions

add git clone to installation instrutions

Signed-off-by: Loic Dachary <loic@dachary.org>

syslog: ignore perf nmi handler timeout

This seems to have started appearing in recent 3.12+ kernels
with perf enabled.

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

Make report_job() always return an int

Add some debug logging.

Signed-off-by: Sandon Van Ness <sandon@inktank.com>

For saya (arm) use arm gitbuilder for ceph sha1.

Since the arm gitbuilder (even using a ton of nodes for distcc) is
much slower than x86 lets grab the sha1 from its own gitbuilder
when machine_type is saya rather than the x86 one.

Signed-off-by: Sandon Van Ness <sandon@inktank.com>

Distro kernel bug-fixes.

Fixed some things that were being done incorrectly.

Some distro kernels have no debug so added | true when disabling
kdb. Also changed what was skipping kernels if non-ubuntu to also
schedule kernel install if a distro kernel.

Signed-off-by: Sandon Van Ness <sandon@inktank.com>

Merge pull request #146 from ceph/wip-os-type

Wip os type

Consolidate two excepts into one.

Signed-off-by: Sandon Van Ness <sandon@inktank.com>