teuthology-nuke: identify and reboot machines with kernel mounts

This includes untested code for just force-unmounting them
when that works again, but for now it does a full reboot-and-
reconnect cycle.

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

teuthology-nuke: use a more robust cfuse mount finder

This way it can remove cfuse mounts in any location on
the system.

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

teuthology-nuke: split out different pieces into different loops

This will let us behave more intelligently on things like
nuking kernel mounts.

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

Move reconnect function from kernel task to misc.py

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

kernel: comment reconnect task, clean up reporting

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

manypools: remove commented-out code

This accidentally got left in from my development.

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

Make rbd task use mnt.N not mnt.client.N as mountpoint.

Everything else expects this, so e.g. workunits wouldn't work with rbd.

Make sure workunit task does not create mnt.N by itself.

This used to hide a bug in the rbd task, where rbd
created the mountpoint with the wrong name. The workunits
ended up running against the local filesystem.

Add interactive-on-error, to pause and explore on error.

Closes: http://tracker.newdream.net/issues/1291

allow s3tests.create_users defaults be overridden

Add simple unit test for get_clients.

Revert "fix get_clients"

This reverts commit 83b6678e79904793bf31e82bbecad7bf16c1b2b5.  The bug I was
hitting was actually fxied by 06e3e69c293b20c0ce5df526fa923a979c1d8cfc.

teuthology: add task manypools

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

new gitbuilder ref/branch naming

no origin_ prefix

cfuse, kclient: print remote host

fix get_clients

Only return the clients that are listed (not _all_ clients).  There might
be a combination of cfuse and kclient (or other) clients here!

tasks/kclient: don't clobber remote

use coverage_dir

kernel: install in parallel

kernel: debug weird socket exceptions

kernel: reboot immediately after installing

This hides the latency of rebooting when installing on many machines.

Down machines shouldn't be considered free.

Make scheduled tasks leave some machines free.

Log connections to targets

This way you can tell which machines have problems in case of an
error.

teuthology-worker: log to a file with timestamps

teuthology-nuke: run in parallel, and print each node being nuked

Set success at the beginning of a run.

This way internal tasks like locking can tell whether the run
succeeded, and unlock nodes if it did.

teuthology-nuke: reset rsyslog config

teuthology-worker: keep machines locked on error

This prevents a failure to clean up in one case from affecting the
rest of the tests.

teuthology-lock: update usage

teuthology-lock: allow list of locks to be filtered by owner and status

teuthology: convert from bzip2 to gzip.

gzip is much, much faster on large log files. With a 7.7GB client log, gzip
took 2:45 to compress it to 624MB. bzip2 took 34:38 to compress it to
366MB. For our purposes the space savings are not worth the time loss.

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

set max_mds based on non-standbys

no ++ in python

roles/3-simple: include a standby mds

configure mds's with -s suffix as standby

roles: use letters for mon, mds names

tolerate named (not numbered) mons

specify and clean up admin socket

lock server: configure for apache with mod_wsgi

Set content-type with PUT.

schedule: make default owner different from that of a normal run

This way the machines locked by scheduled jobs aren't confused
with those locked by manual runs, so they're harder to accidentally
unlock.

Update example targets in readme.

Remove print that clutters the worker logs.

Connect without using any known_hosts files.

Make targets a dictionary mapping hosts to ssh host keys.

Add command to update ssh hostkeys.

lock server: return host pubkeys with locked machine names

lock server: allow sshpubkey to be updated

Update lock db schema.

Add an overrides section for the ceph task.

This lets you run a suite against a particular version of ceph, or
with special debug settings.

Better interface for running functions in parallel.

Merge branch 'wip-parallel'

ceph.conf: remove other random bits

obsolete sections, mds tuning.  stick with defaults.

fusermount runs on a single mount point.

Download ceph binaries in parallel.

Run workunits on different clients in parallel.

Download and run autotests on multiple clients in parallel.

These clients must still be on different machines,
or they'll clobber each other's results.

Add a utility for running functions in parallel.

Merge branch 'localdir'

Conflicts:
teuthology/task/ceph.py

Feed locally-created binary tarball to remotes in parallel.

This should be faster as long as we have the bandwidth for it.

Use a nameless tempfile for local tarball, avoids cleanup.

More careful error checking, avoid need for shell quoting.

Clean up tarball tmpdir in all cases.

Prefer shutil.rmtree over os.system('rm -rf ...').

Use tempfile instead of ad hoc temp dir creation.

Remove TODO note covered by teuthology-nuke.

Avoid identifier clash with builtin "dir".

ceph.conf: clean out random debug level changes

keep it simple!

include sha1 in summary

Redundant (there's also a ceph-sha1 file), but convenient.

ls: mention directories without summary.yaml

Clean up from pyflakes.

Whitespace and style cleanup.

Remove unused variable.

Success of test may not have been set yet.

add locktest task

This will retrieve xfstests' locktest and run it on two clients.

I still need to tweak this so the logging output we get is more useful, and
so that we test extra features like wait locks, but it does execute.

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

task ceph: distribute monmap to all nodes, not just mons.

And clean up the monmap, too!
Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

Add an option to keep machines locked if a test fails.

lock: specify machines as input yaml targets: clause

print --lock-many result as yaml targets: stanza

clean up locked machine list

tell user which machines you locked

nuke: use default owner

make connect work if no roles are specified

This is useful for -nuke.

suite: schedule jobs instead of executing each configuration serially.

Add teuthology-schedule and teuthology-worker.

schedule puts jobs in a beanstalk queue, worker takes them out and runs them.

Add httplib2 to setup.py.

teuthology-suite: pass --lock and --block to teuthology

Add --block option to retry until machines are locked.

If there are not enough machines up, fail immediately.

Check more invalid argument combinations for teuthology-lock.

Remove locking from TODO.

Update readme for locking.

Read lock server from ~/teuthology.yaml.

Verify that machines are locked before nuking them.

Check that all machines are locked, and add an option to lock machines instead of providing targets.

Add command line tool for locking machines.

Move username to a utility method.

Add simple lock server HTTP interface.

task ceph: set_max_mds so multiple MDS nodes are used

The current check will be insufficient when we handle standby-replays,
standbys, etc, but it's a lot better than the current situation where
it starts up all the daemons but only one is active!

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

workunits task: clean up properly if there's an error.

Previously it would fail out and leave the workunits directory, causing
final cleanup to fail.

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

Skip s3-tests marked fails_on_rgw, they will fail anyway.