Add an overrides section for the ceph task.

This lets you run a suite against a particular version of ceph, or
with special debug settings.

Better interface for running functions in parallel.

Merge branch 'wip-parallel'

ceph.conf: remove other random bits

obsolete sections, mds tuning.  stick with defaults.

fusermount runs on a single mount point.

Download ceph binaries in parallel.

Run workunits on different clients in parallel.

Download and run autotests on multiple clients in parallel.

These clients must still be on different machines,
or they'll clobber each other's results.

Add a utility for running functions in parallel.

Merge branch 'localdir'

Conflicts:
teuthology/task/ceph.py

Feed locally-created binary tarball to remotes in parallel.

This should be faster as long as we have the bandwidth for it.

Use a nameless tempfile for local tarball, avoids cleanup.

More careful error checking, avoid need for shell quoting.

Clean up tarball tmpdir in all cases.

Prefer shutil.rmtree over os.system('rm -rf ...').

Use tempfile instead of ad hoc temp dir creation.

Remove TODO note covered by teuthology-nuke.

Avoid identifier clash with builtin "dir".

ceph.conf: clean out random debug level changes

keep it simple!

include sha1 in summary

Redundant (there's also a ceph-sha1 file), but convenient.

ls: mention directories without summary.yaml

Clean up from pyflakes.

Whitespace and style cleanup.

Remove unused variable.

Success of test may not have been set yet.

add locktest task

This will retrieve xfstests' locktest and run it on two clients.

I still need to tweak this so the logging output we get is more useful, and
so that we test extra features like wait locks, but it does execute.

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

task ceph: distribute monmap to all nodes, not just mons.

And clean up the monmap, too!
Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

Add an option to keep machines locked if a test fails.

lock: specify machines as input yaml targets: clause

print --lock-many result as yaml targets: stanza

clean up locked machine list

tell user which machines you locked

nuke: use default owner

make connect work if no roles are specified

This is useful for -nuke.

suite: schedule jobs instead of executing each configuration serially.

Add teuthology-schedule and teuthology-worker.

schedule puts jobs in a beanstalk queue, worker takes them out and runs them.

Add httplib2 to setup.py.

teuthology-suite: pass --lock and --block to teuthology

Add --block option to retry until machines are locked.

If there are not enough machines up, fail immediately.

Check more invalid argument combinations for teuthology-lock.

Remove locking from TODO.

Update readme for locking.

Read lock server from ~/teuthology.yaml.

Verify that machines are locked before nuking them.

Check that all machines are locked, and add an option to lock machines instead of providing targets.

Add command line tool for locking machines.

Move username to a utility method.

Add simple lock server HTTP interface.

task ceph: set_max_mds so multiple MDS nodes are used

The current check will be insufficient when we handle standby-replays,
standbys, etc, but it's a lot better than the current situation where
it starts up all the daemons but only one is active!

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

workunits task: clean up properly if there's an error.

Previously it would fail out and leave the workunits directory, causing
final cleanup to fail.

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

Skip s3-tests marked fails_on_rgw, they will fail anyway.

The shell exits after the command, hence there is no need for pushd/popd.

Don't set unix env vars in fastcgi env.

adjust ceph.conf from yaml input

nuke: sudo for the final rm -rf

Remove quotes from apache conf.

Let apache kill rgw.

It seems to be getting killed correctly now.

Set LD_LIBRARY_PATH for rgw.

set flavor to 'local' if pushing from local src dir
always record in summary

Retry connecting based on more error codes.

nuke: do not escape fusermount .../mnt.*

Add s3tests task.

Add rgw task with hardcoded apache config.

More idiomatic Python.

summary is used outside the try: except:, move it outside it.

Only ignore ENOENT errors in teuthology-ls.

Whitespace cleanup.

pyflakes cleanup.

Add final slash to path to enforce it being a dir.

use local source dir for teuthology run

- ceph:
    path: /home/sage/ceph
...

This will 'make install' to a temp dir, tar it up, and ship that to the
target nodes.  A usr/local -> . symlink will be added if /usr/local isn't
there, to accommodate trees that /usr based autotools paths.

Make kernel a separate entity outside of tasks.

It is run before anything other than checking for conflicts.
This way it can't step on the connections used by other tasks,
or clobber test files in /tmp when rebooting.

Don't recreate ctx.cluster when reconnecting after installing kernels.

Save kernel version in summary instead of a separate file.

Kernel task does not need to be a context manager.

Archive dir removal has to be unconditional.

Even when ctx.archive is False, ceph logging
need the destination directory exist, so
/tmp/cephtest/archive has to be created (and
thus removed) unconditionally.

Use idiomatic python.

teuthology-ls: summarize results from an archive-dir

ugly but basically works

workunits: set LD_LIBRARY_PATH

Needed by rbd workunit to find librbd.so

teuthology-nuke

Take in a full config (or just targets: portion) and do a destructive
cleanup.

Still need to clean up kernel mounts.

include @hostname in owner

suite: set each run description to combination of facet names

pass owner, optional description through to summary.yaml

Owner can be overridden explicitly, otherwise it's the running unix user.

The description is optional and passed straight through.

workunits: set CEPH_ARGS so 'ceph' etc can find config

workunit: include ceph bin dir in path

Some workunits need these binaries (e.g. kclient/file_layout.sh needs
cephfs).

Signed-off-by: Sage Weil <sage@newdream.net>

Add kernel task for controlling kernel version for different roles.

Move get_clients method into misc to avoid duplication.

tasks/clock: tolerate ntp daemon

Enable core dumps when running the rbd cli tool.

Handle rbd config with no properties.

Wait for rbd devices to be removed before removing the module.

Add status logging into task rbd.

Wait for block device to show up in task rbd.dev_create.

Remove rbd from TODO file.

Add combined rbd task that runs all the subparts.

Add rbd.mount method.

Add rbd.mkfs method.

Add rbd -> /dev mapping method.

Add rbd modprobe method.

Add rbd task with create_image function.

Remove unused import.

Ensure suite components are run in alphabetical order.