locktest: make it actually run the executable test

This was missing an argument (the file to run on!) and apparently
that didn't cause the command to output a failure return code.

Additionally, the ceph wrappers were blocking a crash and falsely
reporting success back to teuthology. (Yikes!)

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

nuke: synchronize clocks after reboot, and optionally synchronize all clocks

thrashosds: make it work when first mon isn't mon.0

thrashosds: no camelcaps, add some whitespace

nuke: remove unused import

nuke: localize again imports so they occur after gevent monkey-patching

This is necessary to make ssh work properly.

nuke: reboot if rbd is mounted

schedule: add a way to delete jobs from the queue

parallel: don't hang if no tasks were spawned

This makes 6d919152178cfbd69dc5d50cdab40fc99db166a6 work.

workunits: remove unused variable

nuke: add option to reboot all nodes

Fix pyflakes warnings.

coverage: remove debugging

workunit: save coverage and coredumps

Anything that runs a ceph utility should be using these commands.

workunits: rework a little bit to allow "all" clients in a run

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

cfuse: support running through valgrind

Also switch up the config code so we can take per-client options.

valgrind: don't run valgrind_post if there's no valgrind

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

valgrind: scan logs for bad results

It's not sophisticated but it will warn you about a node
if at least one node has issues.

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

valgrind: use xml output for tools that support it

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

suite: add option to send an email if the entire suite passed

Generate coverage at the end of a suite run,
and optionally email failures and ongoing jobs.

queue: delete every job when it finishes, so only running jobs are buried

Add teuthology-coverage for analyzing test coverage for a suite run.

Add scripts to analyze coverage for a single teuthology run.

thrasher: improve documentation a little

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

thrasher: add option to mark OSDs down instead of out.

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

thrasher: allow a config to set values

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

thrasher: remove redundant wait_till_clean()

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

coverage: create dir conditionally

We don't need to create the dir if we aren't using coverage.

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

lockfile: add a lockfile task

This allows pretty highly configurable testing of
fcntl locking via a teuthology task.

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

lock: --list-targets: list locks and dump result in targets: yaml format.

check ceph cluster log for badness (ERR, WRN, SEC)

ceph: copy cluster log file to archive/ceph.log

workunits: set CEPH_CONF environment

This allows any ceph util we run (including the rados-api tests) find
the config and keyrings they need.

rbd: make default image 10G instead of 1G

suite: support a suite consisting of multiple collections

suite = many collections, and maybe some shared files
collection = a collection of facets
facet = a config fragment

valgrind: Document!

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

Merge branch 'wip-valgrind'

include log in valgrind log file names

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

ceph task: split up arguments a little more

This allows selective daemon kill signal changes. With valgrind
daemons we want term instead of kill, for instance.

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

valgrind: move valgrind logs to log dir

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

ceph: split up daemon-running arguments and insert valgrind ones

This setup should let us insert other kinds of things too, if we
need them.

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

ceph: Set up valgrind as a flavor, and create a dir for logging.

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

ceph task: pass the full config to the daemon startup subs

So far as I can tell there is no reason to reduce them to
the coverage config, and I want the full config for my
soon-to-exist valgrind options.

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

Add assert to catch simple typos in roles list.

Input of "roles:\n- [mds,1]" used to make teuthology crash
in a non-obviou way.

Merge branch 'wip-nuke'

Conflicts:
teuthology/task/kernel.py

manypools: remove commented-out code

This accidentally got left in from my development.

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

teuthology-nuke: split the big main function

It was getting a bit big, but now all the functions fit on
one screen each.

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

teuthology-nuke: move it into its own file.

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

teuthology-nuke: identify and reboot machines with kernel mounts

This includes untested code for just force-unmounting them
when that works again, but for now it does a full reboot-and-
reconnect cycle.

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

teuthology-nuke: use a more robust cfuse mount finder

This way it can remove cfuse mounts in any location on
the system.

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

teuthology-nuke: split out different pieces into different loops

This will let us behave more intelligently on things like
nuking kernel mounts.

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

Move reconnect function from kernel task to misc.py

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

Configure grub to default to the right kernel, not the greatest installed one.

This is sticky; that is, even if you install other kernels (manually/via fab/etc),
grub will keep booting up the one that was last enabled via teuthology config.
Use teuthology to switch kernels and it'll just work.

If the kernel the grub default points to is removed, grub will fall back to
booting the kernel with the greatest version number.

Closes: http://tracker.newdream.net/issues/1364

Handle socket.timeout when waiting for a reconnect.

Now it gets ignored, just like the other harmless socket errors.

Wait up to 300 seconds for a reboot.

At least sepia86 was reliably slower than the previous 180 second default.

ceph: fix max_mds calculation

Signed-off-by: Sage Weil <sage@newdream.net>

kernel: comment reconnect task, clean up reporting

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

manypools: remove commented-out code

This accidentally got left in from my development.

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

Make rbd task use mnt.N not mnt.client.N as mountpoint.

Everything else expects this, so e.g. workunits wouldn't work with rbd.

Make sure workunit task does not create mnt.N by itself.

This used to hide a bug in the rbd task, where rbd
created the mountpoint with the wrong name. The workunits
ended up running against the local filesystem.

Add interactive-on-error, to pause and explore on error.

Closes: http://tracker.newdream.net/issues/1291

allow s3tests.create_users defaults be overridden

Add simple unit test for get_clients.

Revert "fix get_clients"

This reverts commit 83b6678e79904793bf31e82bbecad7bf16c1b2b5.  The bug I was
hitting was actually fxied by 06e3e69c293b20c0ce5df526fa923a979c1d8cfc.

teuthology: add task manypools

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

new gitbuilder ref/branch naming

no origin_ prefix

cfuse, kclient: print remote host

fix get_clients

Only return the clients that are listed (not _all_ clients).  There might
be a combination of cfuse and kclient (or other) clients here!

tasks/kclient: don't clobber remote

use coverage_dir

kernel: install in parallel

kernel: debug weird socket exceptions

kernel: reboot immediately after installing

This hides the latency of rebooting when installing on many machines.

Down machines shouldn't be considered free.

Make scheduled tasks leave some machines free.

Log connections to targets

This way you can tell which machines have problems in case of an
error.

teuthology-worker: log to a file with timestamps

teuthology-nuke: run in parallel, and print each node being nuked

Set success at the beginning of a run.

This way internal tasks like locking can tell whether the run
succeeded, and unlock nodes if it did.

teuthology-nuke: reset rsyslog config

teuthology-worker: keep machines locked on error

This prevents a failure to clean up in one case from affecting the
rest of the tests.

teuthology-lock: update usage

teuthology-lock: allow list of locks to be filtered by owner and status

teuthology: convert from bzip2 to gzip.

gzip is much, much faster on large log files. With a 7.7GB client log, gzip
took 2:45 to compress it to 624MB. bzip2 took 34:38 to compress it to
366MB. For our purposes the space savings are not worth the time loss.

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

set max_mds based on non-standbys

no ++ in python

roles/3-simple: include a standby mds

configure mds's with -s suffix as standby

roles: use letters for mon, mds names

tolerate named (not numbered) mons

specify and clean up admin socket

lock server: configure for apache with mod_wsgi

Set content-type with PUT.

schedule: make default owner different from that of a normal run

This way the machines locked by scheduled jobs aren't confused
with those locked by manual runs, so they're harder to accidentally
unlock.

Update example targets in readme.

Remove print that clutters the worker logs.

Connect without using any known_hosts files.

Make targets a dictionary mapping hosts to ssh host keys.

Add command to update ssh hostkeys.