jenkins: fail fast during job execution

Jenkins will dynamically write the commands in its database into a
script and run it with "-x" and "-e" in order to display each step and
fail after the first step fails.

Now that our commands are stored in Git, ensure that we're doing the
same thing.

Signed-off-by: Ken Dreyer <ken.dreyer@inktank.com>

Merge pull request #201 from ceph/wip-6531-wusui

Fix formatting and add docstrings to ceph_manager.py

Add back in print in ceph_manager that the last checkin accidentally removed

Fix formatting and add docstrings to ceph_manager.py

Fixes: 6531
Signed-off-by: Warren Usui <warren.usui@inktank.com>

jenkins: add debugging output to shell script

When we migrated the Jenkins commands into Git, the exact commands are
no longer visible unless we run with "-x".

Add "set -x" to the script to enable debugging.

Signed-off-by: Ken Dreyer <ken.dreyer@inktank.com>

Merge pull request #195 from ceph/wip-7003-wusui

Add docstrings to the orchestra code.  Also fix minor formatting issues

Merge pull request #186 from ceph/wip-7369

Fix #7369: "sed expression must be raw string"

Fix syntax error in first docstring added.

Merge pull request #190 from kdreyer-inktank/jenkins

add jenkins-pull-requests-build script

Merge pull request #199 from ceph/wip-6540-wusui

Add docstrings.  Fix formatting issues for rgw.py

Merge pull request #196 from ceph/wip-6541-wusui

Fix docstrings in radosgw-admin-rest.py

Merge pull request #197 from ceph/wip-6535-wusui

Fix docstrings for task/blktrace.py, peering_speed_test.py, proc_thrashe...

Merge pull request #198 from ceph/wip-6539-wusui

Fix docstrings and minor formatting in task/ssh_keys.py

Merge pull request #200 from ceph/wip-6532-wusui

Fixed task/args.py docstrings.

Revert "Show hostname instead of IP in errors"

This reverts commit eafeece243607eef8209eaa8c08eecc7d1098eb1.

I was having problems with my newly-created devstack task hanging
inexplicably. It turns out this commit was responsible.

add jenkins-pull-requests-build script

Move our Jenkins pull requests build script out of Jenkins' database and
into Git so that we can have greater visibility on future changes.

Going forward, we will modify the teuthology-pull-requests Jenkins task
to only run this script.

Signed-off-by: Ken Dreyer <ken.dreyer@inktank.com>

radosbench: simplify pool creation and add ec_pool support

Signed-off-by: Samuel Just <sam.just@inktank.com>

task/: add ec_pool and append to rados.py

Signed-off-by: Samuel Just <sam.just@inktank.com>

Revert "Capture stderr and include in CommandFailedError"

This reverts commit d0a434923100dd16548e5f76eaffa5462c4b91d4.

filestore_idempotent: filestore -> objectstore path change

Signed-off-by: Sage Weil <sage@inktank.com>

thrashosds: allow primary-affinity thrashing to be disabled

Signed-off-by: Sage Weil <sage@inktank.com>

thrashosds: randomly adjust primary_affinity

Signed-off-by: Sage Weil <sage@inktank.com>

ceph.conf: mon osd allow primary affinity = true

Signed-off-by: Sage Weil <sage@inktank.com>

Fixed task/args.py docstrings.

Add docstrings.  Fix formatting issues for rgw.py
Fix s3tests calls for rgw-logsocket.py.

Fixes: 6540
Signed-off-by: Warren Usui <warren.usui@inktank.com>

Fix docstrings and minor formatting in task/ssh_keys.py

Fixes: 6539
Signed-off-by: Warren Usui <warren.usui@inktank.com>

Fix docstrings for task/blktrace.py, peering_speed_test.py, proc_thrasher.py and
recovery_bench.py.

Fixes: 6535
Signed-off-by: Warren Usui <warren.usui@inktank.com>

Fix docstrings in radosgw-admin-rest.py

Fixes: 6541
Signed-off-by: Warren Usui <warren.usui@inktank.com>

Merge pull request #188 from ceph/wip-calamari-onefile

Add Calamari test tasks, test script

Add docstrings to the orchestra code.  Also fix minor formatting issues
(mostly column start locations).

Fixes: 7003
Signed-off-by: Warren Usui <warren.usui@inktank.com>

Review: switch to selecting remotes by roles in the 'normal' way

This buys us, also, the ability to select remotes by rule, i.e.
"any osd or mon gets calamari-agent installed"

Signed-off-by: Dan Mick <dan.mick@inktank.com>

Review: refactor packaging routines to common file

Signed-off-by: Dan Mick <dan.mick@inktank.com>

Merge pull request #192 from ceph/wip-6537-wusui

Readjust the indentation of mon_clock_skew_check.py and mon_thrash.py.

Merge pull request #194 from ceph/wip-6534-wusui

Add docstrings to internal.py

Merge pull request #193 from ceph/wip-6538-wusui

Add doc strings to Swift tests

Merge pull request #191 from ceph/wip-7002-wusui

Added some docstrings.

Merge pull request #187 from ceph/wip-better-debug

Debug output improvements

Add docstrings to internal.py

Fixes: 6534
Signed-off-by: Warren Usui <warren.usui@inktank.com>

Add doc strings to Swift tests

Fixes: 6538
Signed-off-by: Warren Usui <warren.usui@inktank.com>

Readjust the indentation of mon_clock_skew_check.py and mon_thrash.py.
Added docstrings.

Fixes: 6537
Signed-off-by: Warren Usui <warren.usui@inktank.com>

Review: Rename calamari_testdir/ to calamari/

Added some docstrings.

Fixes: 7002
Signed-off-by: Warren Usui <warren.usui@inktank.com>

Fix flake8 failures

Signed-off-by: Dan Mick <dan.mick@inktank.com>

Spelling

Signed-off-by: John Spray <john.spray@inktank.com>

Log correct name of context during errors

(instead of GeneratorContextManager)

Signed-off-by: John Spray <john.spray@inktank.com>

Catch a case where we weren't getting tracebacks

Signed-off-by: John Spray <john.spray@inktank.com>

Timestamp stdout log output

Signed-off-by: John Spray <john.spray@inktank.com>

Remove spurious print

This was causing junk output like <type 'exceptions.StopIteration'>

Signed-off-by: John Spray <john.spray@inktank.com>

Capture stderr and include in CommandFailedError

Signed-off-by: John Spray <john.spray@inktank.com>

Merge pull request #182 from ceph/wip-imports

Make libvirt import optional (OS X)

Show hostname instead of IP in errors

Signed-off-by: John Spray <john.spray@inktank.com>

Merge pull request #189 from ceph/wip-6536-wusui

Add docstrings to s3 related tasks.

Add docstrings to s3 related tasks.

Fixes: 6536
Signed-off-by: Warren Usui <warren.usui@inktank.com>

Add calamari setup/test tasks

Signed-off-by: Warren Usui <warren.usui@inktank.com>
Signed-off-by: Dan Mick <dan.mick@inktank.com>

Merge pull request #184 from ceph/wip-pg-scrub-from-ceph-wusui

Scrub osds when ceph task finishes

Fix #7369: "sed expression must be raw string"

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Make sure osd_scrub_pgs gets called if healthy call fails.

Fixes: 7198
Signed-off-by: Warren Usui <warren.usui@inktank.com>

Move osd_scrub_pgs call to finally block of ceph main task.

Fixes: 7198
Signed-off-bye: Warren Usui <warren.usui@inktank.com>

schedule_suite: be slightly more verbose

Signed-off-by: Sage Weil <sage@inktank.com>

Merge pull request #185 from ceph/wip-7342

Enable killing runs that haven't even started yet

Enable killing runs that haven't even started yet

This requires passing --machine-type.

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

valgrind: fix msync suppression

Signed-off-by: Sage Weil <sage@inktank.com>

Implement the rest of the checks for automatic pg scrubbing.
osd_scrub_pgs now:
1.) Insures that all pgs are clean and active.
2.) Performs the scrub of all OSDs.
3.) Waits until all pgs have been scrubbed or no progress in scrubbing has
    been made for two minutes.

These changes have been made on top of a previous check-in that was incomplete

Fixes: 7198
Signed-off-bye: Warren Usui <warren.usui@inktank.com>

misc.py: helper roles_to_remotes for generic use

roles_to_remotes will take a config key, 'roles' by default,
and search cluster.remotes for those roles, returning a list
of remotes that hold it.  The list is uniquified by default,
but that can be overridden.  So you can have a task that
should run on specific roles, configure it with
"roles: [mon.0 server.0 osd.2]", and call this to get a list
of remotes that contain those roles.

Signed-off-by: Dan Mick <dan.mick@inktank.com>

valgrind: another tcmalloc suppression

With this I can run a simple job with a normal build (not
notcmalloc) and valgrind does not complain.  Fingers crossed!

Signed-off-by: Sage Weil <sage@inktank.com>

Scrub osds when ceph task finishes
Fixes: 7198
Signed-off-by: Warren Usui <warren.usui@inktank.com>

Merge pull request #180 from ceph/wip-7278

install.py: look for 'local' in config directly, don't warn if not found

Merge pull request #183 from ceph/wip-enhance

Wip enhance

README.rst: describe new pp object and unlock_on_failure option.

Signed-off-by: Dan Mick <dan.mick@inktank.com>

Merge pull request #181 from ceph/wip-thrash-exception

Fix MDS wait when get_mds_status returns None

interactive.py: add handy "pp" for prettyprinting at the prompt

Signed-off-by: Dan Mick <dan.mick@inktank.com>

internal.py: add global config key 'unlock_on_failure'

When testing new tasks, it's a drag to have to keep manually unlocking
the targets.  Default behavior is to keep them locked for any failure;
this allows overriding that choice for the case where the failure is
in debugging the task, where the state of the targets isn't important.

Signed-off-by: Dan Mick <dan.mick@inktank.com>

Make libvirt import optional (OS X)

Fix MDS wait when get_mds_status returns None

install.py: look for 'local' in config directly, don't warn if not found

Fixes: #7278
Signed-off-by: Dan Mick <dan.mick@inktank.com>

Update README.rst to reflect changes in libvirt

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

fix indentation level for task

Signed-off-by: Alfredo Deza <alfredo.deza@inktank.com>
(cherry picked from commit 1397d29963b2135998ccaaa9a89c83e0bb9710f4)

make sure we are using a dict

Signed-off-by: Alfredo Deza <alfredo.deza@inktank.com>
(cherry picked from commit fe4c97dc4f5f893df526f8694d4b9fafb064f9d3)

Attempt to fix #7241

This involves moving everything in build_ceph_cluster() inside the try:
block, so if an exception fails the cleanup in the finally: block will
actually be executed.

Fix PEP-8 linter complaints

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Merge pull request #175 from ceph/wip-tcmalloc

valgrind: ignore tcmalloc uninitialized memory

Be more verbose about log file locations

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Symlink worker logs into job archive dir

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Merge pull request #177 from ceph/wip-7213

use create-initial for deploying monitors

use create-initial for deploying monitors

Signed-off-by: Alfredo Deza <alfredo.deza@inktank.com>

call wait() on the teuthology-results Popen object

This ought to fix the issue where zombie teuthology-results processes
stick around.

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Merge pull request #176 from ceph/wip-7164

lock.py: request only rsa keys from ssh-keyscan

lock.py: request only rsa keys from ssh-keyscan

New versions of ssh-keyscan return two keytypes if possible; this
breaks the comparison of "number of lines of output from keyscan"
to "number of hosts we request keys from".  Fix by asking for only
one type of key (as older ssh-keyscans did).

Fixes: #7164
Signed-off-by: Dan Mick <dan.mick@inktank.com>

ceph_manager: in test_map_discontinuity, delay killing osd for 20s

This should give enough time for the replica to get the message
marking them clean.

Signed-off-by: Samuel Just <sam.just@inktank.com>

Log a warning when killing long-running jobs.

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Kill jobs that run for over 3 days (configurable)

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Merge pull request #174 from ceph/wip-7171

thrashosds: change min_in from 2 -> 3

valgrind: ignore tcmalloc uninitialized memory

This is the main source of noise when running valgrind +
tcmalloc.  Apparently there are other issues, so I think we
still need the notcmalloc gitbuilder, but this gets us part of
the way.

Signed-off-by: Sage Weil <sage@inktank.com>

thrashosds: change min_in from 2 -> 3

See #7171. In rare cases CRUSH can't handle it when only 2/6 of
the OSDs are marked in.  Avoid those situations for now.

Signed-off-by: Sage Weil <sage@inktank.com>

Merge pull request #169 from ceph/wip-utsrelease

kernel: use utsrelease string for need_to_install() purposes

kernel: use utsrelease string for need_to_install() purposes

Currently, to see if a node has rebooted into the right kernel,
need_to_install() compares a given 40-char commit hash with a 7-char
commit hash abbreviation it pulls from the output of 'uname -r'.

gitbuilders can now export UTS_RELEASE kernel version string through
.../$SHA1/version file.  Use this string instead of the 40-char commit
hash and compare it with the output of 'uname -r' directly.  This saves
us the parsing exercise and, more importantly, makes it possible to
install clean tagged kernels using 'tag:' element, which wasn't
possible before because version string of such kernels doesn't have
a commit hash in it.

If version file is unavailable, fallback to the existing way of doing
things.

Signed-off-by: Ilya Dryomov <ilya.dryomov@inktank.com>

Merge pull request #173 from ceph/wip-ceph-deploy

fix ceph-dpeloy tests to use 2x replication

schedule_suite: 2x replication for ceph-deploy

This avoids having to update all of the tests.

Signed-off-by: Sage Weil <sage@inktank.com>

Merge pull request #172 from ceph/wip-teuthvmcon-wusui

Fix a bug where ctx.config['targets'] was looped through again

Fix a bug where ctx.config['targets'] was looped through again
in connect().  The bug caused vm behavior to happen for a
target if any of the machines in the cluster was a vm.  The code
was also changed to set the key to none only if rsa or dsa keys
were used on a vm.

Fixes: 7113
Signed-off-by: Warren Usui <warren.usui@inktank.com>