cfuse, kclient: print remote host

fix get_clients

Only return the clients that are listed (not _all_ clients).  There might
be a combination of cfuse and kclient (or other) clients here!

tasks/kclient: don't clobber remote

use coverage_dir

kernel: install in parallel

kernel: debug weird socket exceptions

kernel: reboot immediately after installing

This hides the latency of rebooting when installing on many machines.

Down machines shouldn't be considered free.

Make scheduled tasks leave some machines free.

Log connections to targets

This way you can tell which machines have problems in case of an
error.

teuthology-worker: log to a file with timestamps

teuthology-nuke: run in parallel, and print each node being nuked

Set success at the beginning of a run.

This way internal tasks like locking can tell whether the run
succeeded, and unlock nodes if it did.

teuthology-nuke: reset rsyslog config

teuthology-worker: keep machines locked on error

This prevents a failure to clean up in one case from affecting the
rest of the tests.

teuthology-lock: update usage

teuthology-lock: allow list of locks to be filtered by owner and status

teuthology: convert from bzip2 to gzip.

gzip is much, much faster on large log files. With a 7.7GB client log, gzip
took 2:45 to compress it to 624MB. bzip2 took 34:38 to compress it to
366MB. For our purposes the space savings are not worth the time loss.

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

set max_mds based on non-standbys

no ++ in python

roles/3-simple: include a standby mds

configure mds's with -s suffix as standby

roles: use letters for mon, mds names

tolerate named (not numbered) mons

specify and clean up admin socket

lock server: configure for apache with mod_wsgi

Set content-type with PUT.

schedule: make default owner different from that of a normal run

This way the machines locked by scheduled jobs aren't confused
with those locked by manual runs, so they're harder to accidentally
unlock.

Update example targets in readme.

Remove print that clutters the worker logs.

Connect without using any known_hosts files.

Make targets a dictionary mapping hosts to ssh host keys.

Add command to update ssh hostkeys.

lock server: return host pubkeys with locked machine names

lock server: allow sshpubkey to be updated

Update lock db schema.

Add an overrides section for the ceph task.

This lets you run a suite against a particular version of ceph, or
with special debug settings.

Better interface for running functions in parallel.

Merge branch 'wip-parallel'

ceph.conf: remove other random bits

obsolete sections, mds tuning.  stick with defaults.

fusermount runs on a single mount point.

Download ceph binaries in parallel.

Run workunits on different clients in parallel.

Download and run autotests on multiple clients in parallel.

These clients must still be on different machines,
or they'll clobber each other's results.

Add a utility for running functions in parallel.

Merge branch 'localdir'

Conflicts:
teuthology/task/ceph.py

Feed locally-created binary tarball to remotes in parallel.

This should be faster as long as we have the bandwidth for it.

Use a nameless tempfile for local tarball, avoids cleanup.

More careful error checking, avoid need for shell quoting.

Clean up tarball tmpdir in all cases.

Prefer shutil.rmtree over os.system('rm -rf ...').

Use tempfile instead of ad hoc temp dir creation.

Remove TODO note covered by teuthology-nuke.

Avoid identifier clash with builtin "dir".

ceph.conf: clean out random debug level changes

keep it simple!

include sha1 in summary

Redundant (there's also a ceph-sha1 file), but convenient.

ls: mention directories without summary.yaml

Clean up from pyflakes.

Whitespace and style cleanup.

Remove unused variable.

Success of test may not have been set yet.

add locktest task

This will retrieve xfstests' locktest and run it on two clients.

I still need to tweak this so the logging output we get is more useful, and
so that we test extra features like wait locks, but it does execute.

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

task ceph: distribute monmap to all nodes, not just mons.

And clean up the monmap, too!
Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

Add an option to keep machines locked if a test fails.

lock: specify machines as input yaml targets: clause

print --lock-many result as yaml targets: stanza

clean up locked machine list

tell user which machines you locked

nuke: use default owner

make connect work if no roles are specified

This is useful for -nuke.

suite: schedule jobs instead of executing each configuration serially.

Add teuthology-schedule and teuthology-worker.

schedule puts jobs in a beanstalk queue, worker takes them out and runs them.

Add httplib2 to setup.py.

teuthology-suite: pass --lock and --block to teuthology

Add --block option to retry until machines are locked.

If there are not enough machines up, fail immediately.

Check more invalid argument combinations for teuthology-lock.

Remove locking from TODO.

Update readme for locking.

Read lock server from ~/teuthology.yaml.

Verify that machines are locked before nuking them.

Check that all machines are locked, and add an option to lock machines instead of providing targets.

Add command line tool for locking machines.

Move username to a utility method.

Add simple lock server HTTP interface.

task ceph: set_max_mds so multiple MDS nodes are used

The current check will be insufficient when we handle standby-replays,
standbys, etc, but it's a lot better than the current situation where
it starts up all the daemons but only one is active!

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

workunits task: clean up properly if there's an error.

Previously it would fail out and leave the workunits directory, causing
final cleanup to fail.

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

Skip s3-tests marked fails_on_rgw, they will fail anyway.

The shell exits after the command, hence there is no need for pushd/popd.

Don't set unix env vars in fastcgi env.

adjust ceph.conf from yaml input

nuke: sudo for the final rm -rf

Remove quotes from apache conf.

Let apache kill rgw.

It seems to be getting killed correctly now.

Set LD_LIBRARY_PATH for rgw.

set flavor to 'local' if pushing from local src dir
always record in summary

Retry connecting based on more error codes.

nuke: do not escape fusermount .../mnt.*

Add s3tests task.

Add rgw task with hardcoded apache config.

More idiomatic Python.

summary is used outside the try: except:, move it outside it.