Add nuke-on-error option.

This lets automated jobs nuke and unlock machines after failed
tests. Each machine is nuke individually, so one down machine won't
keep others from being nuked and unlocked.

Fix leftover orchestra import clause.

This seems to be a leftover from
a2372fce12b6bd1818e155d1d8ed5134dbd8fd4a,
no idea how it stayed hidden this long.

ceph_manager: log ceph -s output so progress is visible in the logs

Keep each ssh connection alive.

With long-running jobs like thrashing, ssh connections were timing
out.

connection: allow the caller to specify whether keep-alive should be used

locker: fix race in locking

The isolation level is lower than I thought. This made it possible for
two clients to think they both locked the same machines, since the
update would still be modifying each row to change the locked_since
time.

testrados: set CEPH_CLIENT_ID without a ;

Signed-off-by: Samuel Just <samuel.just@dreamhost.com>

testrados: specify CEPH_CONF directly

Signed-off-by: Samuel Just <samuel.just@dreamhost.com>

rgw: add user suspend/enable test

rgw: log-to-stderr is now a binary flag

testrados: rename testsnaps to testrados and make snap testing optional

Signed-off-by: Samuel Just <samuel.just@dreamhost.com>

workunit: set PYTHONPATH so we can test python bindings

ceph.conf: python parser doens't like ; comments

ceph.conf: more frequent osd scrubbing; remove old cruft

ceph_manager: count active+clean+<somjething else> as active+clean

In my case, one pg was active+clean+scrubbing.

Signed-off-by: Sage Weil <sage@newdream.net>

coverage: don't remove ceph tarball

We want to keep it for examining core files, and we're already
fetching it here, once per suite run.

add lost_unfound task

Also some misc useful bits to ceph_manager.

ceph: add whitelist for cluster log errors

Some messages are expected when thrashing osds or creating unfound
objects.

Fixes: #1622

nuke: reset syslog configuration after rebooting

Previously we removed a file and rebooted without syncing, so the file
was never deleted.

radosgw-admin: test swift keys creation/removal

teuthology-worker: remove --keep-locked-on-error

Remove --keep-locked-on-error, and behave as if it were specified

This will help prevent machines with cephtest dirs still present from
being used. It's easy to unlock machines - the targets yaml fragment
is output during a run.

reconnect: ignore SSHExceptions before the timeout expires

Fixes: #1587

task/watch_notify_stress: watch_notify_stress now thrashes clients

This should exercise the watch notify timeout code.

Signed-off-by: Samuel Just <samuel.just@dreamhost.com>

rgw: keep radosgw in foreground

It defaults to a daemon now.

Retry listing machines if the lock server goes down.

rgw: use normal logging mechanism

Keep capturing stdout/err, even though it should end up empty.

Signed-off-by: Sage Weil <sage@newdream.net>

teuthology-worker: clean up last_in_suite jobs

There's no reason not to delete them once they start.

daemon-helper: detect the signal actually sent

I thought I fixed this when I implemented coverage collection, but I
guess it got lost in a rebase or something.

ceph_manager: remove unused raw_pg_status method

ceph_manager: run ceph -s as a normal program

This allows failures from it to be detected better.

teuthology-results: include passed tests in email

teuthology-results: include reasons for failure in email

teuthology-ls: show reasons for failures with -v

Add failure_reason to summary for the first failure detected.

For now, this is the exception raised during a task, the error found
in the central log, or coredumps found. More specific errors
(i.e. s3-tests had 3 failures) can be added later as exceptions raised
by tasks.

radosbench: get coverage and cores

watch_notify_stress.py: add ceph flags option

Signed-off-by: Samuel Just <samuel.just@dreamhost.com>

ceph.py: add btrfs option

Signed-off-by: Samuel Just <samuel.just@dreamhost.com>

nuke: keep up with renaming cfuse -> ceph-fuse

radosgw-admin: test additional keys, log list/show/rm

Signed-off-by: Sage Weil <sage@newdream.net>

tasks/radosgw-admin: test radosgw-admin tool

Not yet complete...

nuke: killall apache2 and radosgw too

s3-tests: use radosgw-admin instead of radosgw_admin

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

ceph_manager: parse osd numbers with dots

This is necessary since wip-dot-names was merged.

rename c* -> ceph-*

Leave cfuse task name unchanged for now...

queue: results_timeout needs to be converted to a string

task/watch_notify_stress.py: add simple watch_notify stress test

Signed-off-by: Samuel Just <samuel.just@dreamhost.com>

schedule: put results timeout in the job

The default was always being used instead.

lockfile: increase interval to prevent incorrect locking orders

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

lockfile: don't fail cleanup if no lock procs exist

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

workunit: Fetch source from github.

Needed an elaborate dance because Github won't let us download
an archive of a subdirectory.

Signed-off-by: Tommi Virtanen <tommi.virtanen@dreamhost.com>

s3tests: Clone repository from github.

Signed-off-by: Tommi Virtanen <tommi.virtanen@dreamhost.com>

coverage: Fetch source from github.

Signed-off-by: Tommi Virtanen <tommi.virtanen@dreamhost.com>

ceph.py: remove unused variables mds_daemons and mon_daemons

Signed-off-by: Samuel Just <samuel.just@dreamhost.com>

ceph.py/cephmanager.py: add ctx.daemons for restarting daemons

ctx.daemons will now be an instance of CephState.

ctx.daemons.get_daemon(role, id).stop() to stop daemon, retart() to
restart the daemon, etc.

Signed-off-by: Samuel Just <samuel.just@dreamhost.com>

testsnaps: LD_PRELOAD needed for librados

Signed-off-by: Samuel Just <samuel.just@dreamhost.com>

Move orchestra to teuthology.orchestra so there's just one top-level package.

Merge orchestra into teuthology.

There are too many things called Orchestra out there,
including Ubuntu's new multi-machine service orchestration
framework. The code might still be beneficial outside of
teuthology, but it can be spun off at that time.

Conflicts:
bootstrap
requirements.txt
setup.py

Callers of task s3tests.create_users don't need to provide dummy "fixtures" dict.

thrashosds: fix timeout when no options are specified

thrashosds: fail if cluster doesn't finally become clean in 5 minutes

thrasher: get coverage and cores from calling ceph commands

thrashosds: wait for every pg to go active and clean before exiting

thrasher: clean up a bit

autotest: allow tests to be run on all clients

rbd: allow specifying all clients

locktest: don't fail cleanup if the dir doesn't exist

We're doing this the cheapest way possible: make the dir!

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

teuthology: do a deep merge of input yaml fragments

Concatenate lists, and recursively combine dicts.

If you specify inputs like

 foo:
 - a
 - b

and

 foo:
 - c

you should get

 foo:
 - a
 - b
 - c

Dicts should also be merged (last one wins), and the merging is deep. E.g.

 foo:
   a:
     b:
       c: 1

and

 foo:
   a:
     b:
       c: 2

is

 foo:
   a:
     b:
       c: 2

Fixes: #1497

lock: default to only listing machines you have locked

--all removes this restriction

rgw: run as an external fastcgi server to match dho

don't eat exceptions for breakfast

fixes 0c2bee1514c1b1e65ca5d52459062e5a45da2d7b

locktest: make it actually run the executable test

This was missing an argument (the file to run on!) and apparently
that didn't cause the command to output a failure return code.

Additionally, the ceph wrappers were blocking a crash and falsely
reporting success back to teuthology. (Yikes!)

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

nuke: synchronize clocks after reboot, and optionally synchronize all clocks

thrashosds: make it work when first mon isn't mon.0

thrashosds: no camelcaps, add some whitespace

nuke: remove unused import

nuke: localize again imports so they occur after gevent monkey-patching

This is necessary to make ssh work properly.

nuke: reboot if rbd is mounted

schedule: add a way to delete jobs from the queue

parallel: don't hang if no tasks were spawned

This makes 6d919152178cfbd69dc5d50cdab40fc99db166a6 work.

workunits: remove unused variable

nuke: add option to reboot all nodes

Fix pyflakes warnings.

coverage: remove debugging

workunit: save coverage and coredumps

Anything that runs a ceph utility should be using these commands.

workunits: rework a little bit to allow "all" clients in a run

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

cfuse: support running through valgrind

Also switch up the config code so we can take per-client options.

valgrind: don't run valgrind_post if there's no valgrind

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

valgrind: scan logs for bad results

It's not sophisticated but it will warn you about a node
if at least one node has issues.

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

valgrind: use xml output for tools that support it

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

suite: add option to send an email if the entire suite passed

Generate coverage at the end of a suite run,
and optionally email failures and ongoing jobs.

queue: delete every job when it finishes, so only running jobs are buried

Add teuthology-coverage for analyzing test coverage for a suite run.

Add scripts to analyze coverage for a single teuthology run.

thrasher: improve documentation a little

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

thrasher: add option to mark OSDs down instead of out.

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

thrasher: allow a config to set values

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

thrasher: remove redundant wait_till_clean()

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

coverage: create dir conditionally

We don't need to create the dir if we aren't using coverage.

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>