Add docstrings to s3 related tasks.

Fixes: 6536
Signed-off-by: Warren Usui <warren.usui@inktank.com>

Merge pull request #184 from ceph/wip-pg-scrub-from-ceph-wusui

Scrub osds when ceph task finishes

Make sure osd_scrub_pgs gets called if healthy call fails.

Fixes: 7198
Signed-off-by: Warren Usui <warren.usui@inktank.com>

Move osd_scrub_pgs call to finally block of ceph main task.

Fixes: 7198
Signed-off-bye: Warren Usui <warren.usui@inktank.com>

schedule_suite: be slightly more verbose

Signed-off-by: Sage Weil <sage@inktank.com>

Merge pull request #185 from ceph/wip-7342

Enable killing runs that haven't even started yet

Enable killing runs that haven't even started yet

This requires passing --machine-type.

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

valgrind: fix msync suppression

Signed-off-by: Sage Weil <sage@inktank.com>

Implement the rest of the checks for automatic pg scrubbing.
osd_scrub_pgs now:
1.) Insures that all pgs are clean and active.
2.) Performs the scrub of all OSDs.
3.) Waits until all pgs have been scrubbed or no progress in scrubbing has
    been made for two minutes.

These changes have been made on top of a previous check-in that was incomplete

Fixes: 7198
Signed-off-bye: Warren Usui <warren.usui@inktank.com>

valgrind: another tcmalloc suppression

With this I can run a simple job with a normal build (not
notcmalloc) and valgrind does not complain.  Fingers crossed!

Signed-off-by: Sage Weil <sage@inktank.com>

Scrub osds when ceph task finishes
Fixes: 7198
Signed-off-by: Warren Usui <warren.usui@inktank.com>

Merge pull request #180 from ceph/wip-7278

install.py: look for 'local' in config directly, don't warn if not found

Merge pull request #183 from ceph/wip-enhance

Wip enhance

README.rst: describe new pp object and unlock_on_failure option.

Signed-off-by: Dan Mick <dan.mick@inktank.com>

Merge pull request #181 from ceph/wip-thrash-exception

Fix MDS wait when get_mds_status returns None

interactive.py: add handy "pp" for prettyprinting at the prompt

Signed-off-by: Dan Mick <dan.mick@inktank.com>

internal.py: add global config key 'unlock_on_failure'

When testing new tasks, it's a drag to have to keep manually unlocking
the targets.  Default behavior is to keep them locked for any failure;
this allows overriding that choice for the case where the failure is
in debugging the task, where the state of the targets isn't important.

Signed-off-by: Dan Mick <dan.mick@inktank.com>

Fix MDS wait when get_mds_status returns None

install.py: look for 'local' in config directly, don't warn if not found

Fixes: #7278
Signed-off-by: Dan Mick <dan.mick@inktank.com>

Update README.rst to reflect changes in libvirt

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

fix indentation level for task

Signed-off-by: Alfredo Deza <alfredo.deza@inktank.com>
(cherry picked from commit 1397d29963b2135998ccaaa9a89c83e0bb9710f4)

make sure we are using a dict

Signed-off-by: Alfredo Deza <alfredo.deza@inktank.com>
(cherry picked from commit fe4c97dc4f5f893df526f8694d4b9fafb064f9d3)

Attempt to fix #7241

This involves moving everything in build_ceph_cluster() inside the try:
block, so if an exception fails the cleanup in the finally: block will
actually be executed.

Fix PEP-8 linter complaints

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Merge pull request #175 from ceph/wip-tcmalloc

valgrind: ignore tcmalloc uninitialized memory

Be more verbose about log file locations

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Symlink worker logs into job archive dir

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Merge pull request #177 from ceph/wip-7213

use create-initial for deploying monitors

use create-initial for deploying monitors

Signed-off-by: Alfredo Deza <alfredo.deza@inktank.com>

call wait() on the teuthology-results Popen object

This ought to fix the issue where zombie teuthology-results processes
stick around.

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Merge pull request #176 from ceph/wip-7164

lock.py: request only rsa keys from ssh-keyscan

lock.py: request only rsa keys from ssh-keyscan

New versions of ssh-keyscan return two keytypes if possible; this
breaks the comparison of "number of lines of output from keyscan"
to "number of hosts we request keys from".  Fix by asking for only
one type of key (as older ssh-keyscans did).

Fixes: #7164
Signed-off-by: Dan Mick <dan.mick@inktank.com>

ceph_manager: in test_map_discontinuity, delay killing osd for 20s

This should give enough time for the replica to get the message
marking them clean.

Signed-off-by: Samuel Just <sam.just@inktank.com>

Log a warning when killing long-running jobs.

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Kill jobs that run for over 3 days (configurable)

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Merge pull request #174 from ceph/wip-7171

thrashosds: change min_in from 2 -> 3

valgrind: ignore tcmalloc uninitialized memory

This is the main source of noise when running valgrind +
tcmalloc.  Apparently there are other issues, so I think we
still need the notcmalloc gitbuilder, but this gets us part of
the way.

Signed-off-by: Sage Weil <sage@inktank.com>

thrashosds: change min_in from 2 -> 3

See #7171. In rare cases CRUSH can't handle it when only 2/6 of
the OSDs are marked in.  Avoid those situations for now.

Signed-off-by: Sage Weil <sage@inktank.com>

Merge pull request #169 from ceph/wip-utsrelease

kernel: use utsrelease string for need_to_install() purposes

kernel: use utsrelease string for need_to_install() purposes

Currently, to see if a node has rebooted into the right kernel,
need_to_install() compares a given 40-char commit hash with a 7-char
commit hash abbreviation it pulls from the output of 'uname -r'.

gitbuilders can now export UTS_RELEASE kernel version string through
.../$SHA1/version file.  Use this string instead of the 40-char commit
hash and compare it with the output of 'uname -r' directly.  This saves
us the parsing exercise and, more importantly, makes it possible to
install clean tagged kernels using 'tag:' element, which wasn't
possible before because version string of such kernels doesn't have
a commit hash in it.

If version file is unavailable, fallback to the existing way of doing
things.

Signed-off-by: Ilya Dryomov <ilya.dryomov@inktank.com>

Merge pull request #173 from ceph/wip-ceph-deploy

fix ceph-dpeloy tests to use 2x replication

schedule_suite: 2x replication for ceph-deploy

This avoids having to update all of the tests.

Signed-off-by: Sage Weil <sage@inktank.com>

Merge pull request #172 from ceph/wip-teuthvmcon-wusui

Fix a bug where ctx.config['targets'] was looped through again

Fix a bug where ctx.config['targets'] was looped through again
in connect().  The bug caused vm behavior to happen for a
target if any of the machines in the cluster was a vm.  The code
was also changed to set the key to none only if rsa or dsa keys
were used on a vm.

Fixes: 7113
Signed-off-by: Warren Usui <warren.usui@inktank.com>

error after 15 minutes of waiting for gatherkeys

Signed-off-by: Alfredo Deza <alfredo.deza@inktank.com>
(cherry picked from commit ad18717505c407f2c8bb995af8fd516b61957661)

Enable reporting of entire runs as dead

Re-raise exceptions caught in the watchdog

Use response.text if response.json is None

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Strip stdout lines

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Catch and log unhandled exceptions in the watchdog

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Add 'emperor' to list of branches with reporting

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Work around a change in pip 1.5 regarding wheels

The error message was "pip's wheel support requires setuptools >= 0.8
for dist-info support."

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Be safer when calling ./bootstrap

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Use CentOS Gitbuilder sha1 instead of Fedora for non-ubuntu.

Signed-off-by: Sandon Van Ness <sandon@inktank.com>

break out of the while loop after 15 minutes

Signed-off-by: Alfredo Deza <alfredo.deza@inktank.com>
(cherry picked from commit bef6eb74dcaa37b70b1eab4d28bfa10abb0049d0)
Signed-off-by: Zack Cerza <zack@cerza.org>

Sleep once outside of the watchdog loop

Hopefully this will prevent the double-posting of jobs.

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Merge pull request #168 from ktdreyer/readme-formatting

format bullets in README

format bullets in README

Set the content-type in report_job()

Split out ResultsSerializer.job_info()

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Port from httplib2 to requests module

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

valgrind.supp: ignore libnss3 leaks

These just started popping up when I updated the notcmalloc gitbuilder, probably
because of an updated libnss version.   Whitelist it!

Signed-off-by: Sage Weil <sage@inktank.com>

rbd: bump the default scratch size for xfstests to 10G

autobuild-ceph.git commit 53db7a34aba5 had silently changed the default
elevator from cfq to deadline, which made xfstests 167 very unhappy.
It looks like with deadline and noop elevators it requires a ~6G
scratch partition.  Bump the default scratch image size to 10G.

Signed-off-by: Ilya Dryomov <ilya.dryomov@inktank.com>

Revert "valgrind.supp: ignore libnss3 leaks"

This reverts commit 572dc88a7cc295cb06354e6f004f7ad665b101f4.

This didn't occur on next; I think there may be a real leak on the ceph
side.

valgrind.supp: ignore libnss3 leaks

These just started popping up.  Probably because I gave the
gitbuilders a kick?

Signed-off-by: Sage Weil <sage@inktank.com>

Merge pull request #166 from ceph/wip-lockspell-wusui

Fix spelling error in comment.

Fix spelling error in teuthology/task/locktest.py comment

Add ability to mark jobs as 'dead'

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Allow passing multiple job_ids

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Implement single-job killing

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

For teuthology-kill, s/suite/run/

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Merge pull request #165 from ceph/wip-7042-fix-wusui

Do not run local handling fix if local parameter is not found.

Do not run local handling fix if local parameter is not found.
Fixes: 7042
Signed-off-by: Warren Usui <warren.usui@inktank.com>

Merge pull request #156 from ceph/teuthology-doc-hadoop-wusui

Added docstrings.  Cleaned up code (broke up long lines, removed unused

Merge pull request #164 from ceph/wip-rados

rados: add in more (optional) op types

Merge pull request #160 from ceph/wip-fix-5149-wusui

Added handling of a 'local' option inside install.py which specifies

Log calls to teuthology-report more verbosely

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Catch every exception here, for now.

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Use saucy gitbuilder for arm package checking.

Some-how missed it checks both sha1 and package version file
and package version was still the quantal gitbuilder which wont
work as the hardware is down.

This was causing scheduling failures.

Signed-off-by: Sandon Van Ness <sandon@inktank.com>

rados: add in more (optional) op types

Signed-off-by: Sage Weil <sage@inktank.com>

Use shell=True to call teuthology-report

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Catch OSError if script isn't in $PATH

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Revert "Use path when calling teuthology-report. …"

This reverts commit e4b5ab811e954a5b134d413aeb338805b5e3441d.

Use path when calling teuthology-report. …

The 'teuthology-report' command is probably not going to exist
in $PATH so get the location of the running command and assume its
in the same path.

Signed-off-by: Sandon Van Ness <sandon@inktank.com>

Merge pull request #162 from jcsp/fsid-conf

Fix FSID not being set in ceph.conf

Merge pull request #161 from jcsp/ssh-config

Respect .ssh/config when opening SSH connections

Skip the 'dead' report on old branches

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Use saucy gitbuilder when grabbing sha1 for arm.

Old quantal gitbuilders are gone until hardware comes back. Use
the new saucy gitbuilders instead.

Make sure to report all results.

If a just-finished job was using a teuthology branch not known to
contain the reporting feature, then report the job via the
teuthology-report script. Note that in some cases this will result in
double reporting but the extra load should be negligible.

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Enable reporting of single jobs

(also switch to docopt)

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Remove the child's stderr completely

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Fix FSID not being set in ceph.conf

Symptom was that 'ceph --admin-daemon... config get fsid'
returned zeros, while correct fsid was present in cluster maps.
Fix it by populating FSID in ceph.conf, after extracting it from
monmap.

When starting a job, tell paddles it's running

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Longer timeout after sync/reboot.

With only a 5 second sleep via ssh and python it looks like a
race-condition was sometimes hitting where it would think
the machine is back up before the reboot command had completed.

Signed-off-by: Sandon Van Ness <sandon@inktank.com>

Respect .ssh/config when opening SSH connections

This handles that case where your private key is
in a non-default location that you're pointing
to in ~/.ssh/config.

Added handling of a 'local' option inside install.py which specifies
a local directory containing deb or rpm files to be installed.

Fixes: 5149
Signed-off-by: Warren Usui <warren.usui@inktank.com>

Use continue, not break

Fixes a bug where not all pids were being collected

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Tweak logic for pid lookup

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Fix indentation

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Don't show child's stderr, but show archive path

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>