task/watch_notify_stress.py: add simple watch_notify stress test

Signed-off-by: Samuel Just <samuel.just@dreamhost.com>

schedule: put results timeout in the job

The default was always being used instead.

lockfile: increase interval to prevent incorrect locking orders

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

lockfile: don't fail cleanup if no lock procs exist

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

workunit: Fetch source from github.

Needed an elaborate dance because Github won't let us download
an archive of a subdirectory.

Signed-off-by: Tommi Virtanen <tommi.virtanen@dreamhost.com>

s3tests: Clone repository from github.

Signed-off-by: Tommi Virtanen <tommi.virtanen@dreamhost.com>

coverage: Fetch source from github.

Signed-off-by: Tommi Virtanen <tommi.virtanen@dreamhost.com>

ceph.py: remove unused variables mds_daemons and mon_daemons

Signed-off-by: Samuel Just <samuel.just@dreamhost.com>

ceph.py/cephmanager.py: add ctx.daemons for restarting daemons

ctx.daemons will now be an instance of CephState.

ctx.daemons.get_daemon(role, id).stop() to stop daemon, retart() to
restart the daemon, etc.

Signed-off-by: Samuel Just <samuel.just@dreamhost.com>

testsnaps: LD_PRELOAD needed for librados

Signed-off-by: Samuel Just <samuel.just@dreamhost.com>

Move orchestra to teuthology.orchestra so there's just one top-level package.

Merge orchestra into teuthology.

There are too many things called Orchestra out there,
including Ubuntu's new multi-machine service orchestration
framework. The code might still be beneficial outside of
teuthology, but it can be spun off at that time.

Conflicts:
bootstrap
requirements.txt
setup.py

Callers of task s3tests.create_users don't need to provide dummy "fixtures" dict.

thrashosds: fix timeout when no options are specified

thrashosds: fail if cluster doesn't finally become clean in 5 minutes

thrasher: get coverage and cores from calling ceph commands

thrashosds: wait for every pg to go active and clean before exiting

thrasher: clean up a bit

autotest: allow tests to be run on all clients

rbd: allow specifying all clients

locktest: don't fail cleanup if the dir doesn't exist

We're doing this the cheapest way possible: make the dir!

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

teuthology: do a deep merge of input yaml fragments

Concatenate lists, and recursively combine dicts.

If you specify inputs like

 foo:
 - a
 - b

and

 foo:
 - c

you should get

 foo:
 - a
 - b
 - c

Dicts should also be merged (last one wins), and the merging is deep. E.g.

 foo:
   a:
     b:
       c: 1

and

 foo:
   a:
     b:
       c: 2

is

 foo:
   a:
     b:
       c: 2

Fixes: #1497

lock: default to only listing machines you have locked

--all removes this restriction

rgw: run as an external fastcgi server to match dho

don't eat exceptions for breakfast

fixes 0c2bee1514c1b1e65ca5d52459062e5a45da2d7b

locktest: make it actually run the executable test

This was missing an argument (the file to run on!) and apparently
that didn't cause the command to output a failure return code.

Additionally, the ceph wrappers were blocking a crash and falsely
reporting success back to teuthology. (Yikes!)

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

nuke: synchronize clocks after reboot, and optionally synchronize all clocks

thrashosds: make it work when first mon isn't mon.0

thrashosds: no camelcaps, add some whitespace

nuke: remove unused import

nuke: localize again imports so they occur after gevent monkey-patching

This is necessary to make ssh work properly.

nuke: reboot if rbd is mounted

schedule: add a way to delete jobs from the queue

parallel: don't hang if no tasks were spawned

This makes 6d919152178cfbd69dc5d50cdab40fc99db166a6 work.

workunits: remove unused variable

nuke: add option to reboot all nodes

Fix pyflakes warnings.

coverage: remove debugging

workunit: save coverage and coredumps

Anything that runs a ceph utility should be using these commands.

workunits: rework a little bit to allow "all" clients in a run

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

cfuse: support running through valgrind

Also switch up the config code so we can take per-client options.

valgrind: don't run valgrind_post if there's no valgrind

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

valgrind: scan logs for bad results

It's not sophisticated but it will warn you about a node
if at least one node has issues.

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

valgrind: use xml output for tools that support it

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

suite: add option to send an email if the entire suite passed

Generate coverage at the end of a suite run,
and optionally email failures and ongoing jobs.

queue: delete every job when it finishes, so only running jobs are buried

Add teuthology-coverage for analyzing test coverage for a suite run.

Add scripts to analyze coverage for a single teuthology run.

thrasher: improve documentation a little

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

thrasher: add option to mark OSDs down instead of out.

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

thrasher: allow a config to set values

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

thrasher: remove redundant wait_till_clean()

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

coverage: create dir conditionally

We don't need to create the dir if we aren't using coverage.

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

lockfile: add a lockfile task

This allows pretty highly configurable testing of
fcntl locking via a teuthology task.

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

lock: --list-targets: list locks and dump result in targets: yaml format.

check ceph cluster log for badness (ERR, WRN, SEC)

ceph: copy cluster log file to archive/ceph.log

workunits: set CEPH_CONF environment

This allows any ceph util we run (including the rados-api tests) find
the config and keyrings they need.

rbd: make default image 10G instead of 1G

suite: support a suite consisting of multiple collections

suite = many collections, and maybe some shared files
collection = a collection of facets
facet = a config fragment

valgrind: Document!

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

Merge branch 'wip-valgrind'

include log in valgrind log file names

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

ceph task: split up arguments a little more

This allows selective daemon kill signal changes. With valgrind
daemons we want term instead of kill, for instance.

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

valgrind: move valgrind logs to log dir

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

ceph: split up daemon-running arguments and insert valgrind ones

This setup should let us insert other kinds of things too, if we
need them.

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

ceph: Set up valgrind as a flavor, and create a dir for logging.

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

ceph task: pass the full config to the daemon startup subs

So far as I can tell there is no reason to reduce them to
the coverage config, and I want the full config for my
soon-to-exist valgrind options.

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

Add assert to catch simple typos in roles list.

Input of "roles:\n- [mds,1]" used to make teuthology crash
in a non-obviou way.

Merge branch 'wip-nuke'

Conflicts:
teuthology/task/kernel.py

manypools: remove commented-out code

This accidentally got left in from my development.

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

teuthology-nuke: split the big main function

It was getting a bit big, but now all the functions fit on
one screen each.

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

teuthology-nuke: move it into its own file.

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

teuthology-nuke: identify and reboot machines with kernel mounts

This includes untested code for just force-unmounting them
when that works again, but for now it does a full reboot-and-
reconnect cycle.

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

teuthology-nuke: use a more robust cfuse mount finder

This way it can remove cfuse mounts in any location on
the system.

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

teuthology-nuke: split out different pieces into different loops

This will let us behave more intelligently on things like
nuking kernel mounts.

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

Move reconnect function from kernel task to misc.py

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

Configure grub to default to the right kernel, not the greatest installed one.

This is sticky; that is, even if you install other kernels (manually/via fab/etc),
grub will keep booting up the one that was last enabled via teuthology config.
Use teuthology to switch kernels and it'll just work.

If the kernel the grub default points to is removed, grub will fall back to
booting the kernel with the greatest version number.

Closes: http://tracker.newdream.net/issues/1364

Handle socket.timeout when waiting for a reconnect.

Now it gets ignored, just like the other harmless socket errors.

Wait up to 300 seconds for a reboot.

At least sepia86 was reliably slower than the previous 180 second default.

ceph: fix max_mds calculation

Signed-off-by: Sage Weil <sage@newdream.net>

kernel: comment reconnect task, clean up reporting

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

manypools: remove commented-out code

This accidentally got left in from my development.

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

Make rbd task use mnt.N not mnt.client.N as mountpoint.

Everything else expects this, so e.g. workunits wouldn't work with rbd.

Make sure workunit task does not create mnt.N by itself.

This used to hide a bug in the rbd task, where rbd
created the mountpoint with the wrong name. The workunits
ended up running against the local filesystem.

Add interactive-on-error, to pause and explore on error.

Closes: http://tracker.newdream.net/issues/1291

allow s3tests.create_users defaults be overridden

Add simple unit test for get_clients.

Revert "fix get_clients"

This reverts commit 83b6678e79904793bf31e82bbecad7bf16c1b2b5.  The bug I was
hitting was actually fxied by 06e3e69c293b20c0ce5df526fa923a979c1d8cfc.

teuthology: add task manypools

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

new gitbuilder ref/branch naming

no origin_ prefix

cfuse, kclient: print remote host

fix get_clients

Only return the clients that are listed (not _all_ clients).  There might
be a combination of cfuse and kclient (or other) clients here!

tasks/kclient: don't clobber remote

use coverage_dir

kernel: install in parallel

kernel: debug weird socket exceptions

kernel: reboot immediately after installing

This hides the latency of rebooting when installing on many machines.

Down machines shouldn't be considered free.