fix misc checks that wait for N osds to be up

These all cut&pasted broken code, blah!

whitelist xfs_fsr syslog noise

Ignore lines like

2012-04-17T13:44:11-07:00 plana59 fsr[5454]: DEBUG: fsize=450560 blsz_dio=450560 d_min=512 d_max=2147483136 pgsz=4096

Add task for running fsx on an rbd image.

filestore_idempotent: use new sequence-based tester

random seed, inject at 50-300.

rbd.py: add xfstests functionality

Add tasks for running xfstests over a pair of rbd volumes.  The main
one is called xfstests, and it sets up rbd volumes of specified size
and runs a set of likely-to-be-successful tests.  The other one is
used by the first, and is called run_xfstests.  This provides a
generic (device rather than rbd device oriented) interface to
xfstests, and should probably be made standalone and distinct from
rbd at some point.

Using multiple rbd devices required the rbd udev rule manipulation
to ignore errors, since it appears that each device caused the a
teardown attempt, which leads to failures the second time around.
There's probably a more robust solution, but this works for now.

Signed-off-by: Alex Elder <elder@dreamhost.com>

ceph_manager: don't try to start greenlet twice

spawn already scheduled it. Trying to start it again hits an assert.

kernel: kludge around mysterious 0-byte .git/HEAD files

No idea where these are coming from, but they break nodes with behavior
like

ubuntu@plana08:~$ sudo install -d -m0755 /lib/firmware/updates && cd /lib/firmware/updates && sudo git init
Reinitialized existing Git repository in /lib/firmware/updates/.git/
ubuntu@plana08:/lib/firmware/updates$ sudo git --git-dir=/lib/firmware/updates/.git config --get remote.origin.url >/dev/null || sudo git --git-dir=/lib/firmware/updates/.git remote add origin git://ceph.newdream.net/git/linux-firmware.git
ubuntu@plana08:/lib/firmware/updates$ cd /lib/firmware/updates && sudo git pull origin master
fatal: Not a git repository (or any of the parent directories): .git

where the .git directory looks like

total 32
drwxr-xr-x 7 root root 4096 2012-04-10 12:52 .
drwxr-xr-x 3 root root 4096 2012-04-06 13:54 ..
drwxr-xr-x 2 root root 4096 2012-04-06 13:54 branches
-rwxr--r-- 1 root root  236 2012-04-10 11:33 config
-rw-r--r-- 1 root root    0 2012-04-10 12:52 config.lock
-rw-r--r-- 1 root root    0 2012-04-06 13:54 description
-rw-r--r-- 1 root root    0 2012-04-06 13:54 FETCH_HEAD
-rw-r--r-- 1 root root    0 2012-04-06 13:54 HEAD
drwxr-xr-x 2 root root 4096 2012-04-06 13:54 hooks
drwxr-xr-x 2 root root 4096 2012-04-06 13:54 info
drwxr-xr-x 4 root root 4096 2012-04-06 13:54 objects
drwxr-xr-x 4 root root 4096 2012-04-06 13:54 refs

Hopefully someone can figure out what is causing this and revert this
later.

kernel: reset to remote firmware branch; don't pull

Pull might merge if upstream rebases.  Just make our branch match the
remote one.

kernel: change git incantation for firmware pull

The 'git pull <uri>' seemed to consistently fail on some nodes.  Can't be
sure this was really the problem with them all down now, but this is more
common, and works.

ls: another newline

ls: remote stray newline

Change to local mirror of linux-firmware repo to try to stop failures

Kernel: Pull linux-firmware from git

Signed-off-by: Mark Nelson <nhm@clusterfaq.org>

cleanup-and-unlock.sh: helper to nuke and then unlock a set of nodes

I usually do something like

 teuthology-lock --list-targets --owner scheduled_sage@metropolis > /tmp/b
 ./cleanup-and-unlock.sh /tmp/b scheduled_sage@metropolis

It's a huge headache when some of the nodes are down, though.  A better
thing would be if nuke had an --unlock option, and would continue with the
nodes that didn't error out.

But, this is still useful as is.

schedule_suite.sh: helper to schedule a suite

There's a bunch of stuff hardcoded in here, similar to the nightly, but
it's a useful starting point.

Added assertion to check that targets > roles

Signed-off-by: Mark Nelson <mark.nelson@dreamhost.com>

nuke: don't run umount when no xargs args

Gets rid of this noise:

INFO:teuthology.nuke:Unmount any osd data directories...
INFO:teuthology.orchestra.run.err:Usage: umount -h | -V
INFO:teuthology.orchestra.run.err:       umount -a [-d] [-f] [-r] [-n] [-v] [-t vfstypes] [-O opts]
INFO:teuthology.orchestra.run.err:       umount [-d] [-f] [-r] [-n] [-v] special | node...
INFO:teuthology.orchestra.run.err:Usage: umount -h | -V
INFO:teuthology.orchestra.run.err:       umount -a [-d] [-f] [-r] [-n] [-v] [-t vfstypes] [-O opts]
INFO:teuthology.orchestra.run.err:       umount [-d] [-f] [-r] [-n] [-v] special | node...
...

ceph.conf: enable 'osd recover clone overlap'

to test the recovery cloning in qa.  this was redone, but forgot to enable
it in qa.

make Thrasher not inherit from Greenlet

Add test for object source marked down

allow use of a separate journal block device

rbd: fix typo in default config

pyflakes would have caught this if 'all' weren't a built-in function

add osd_recovery task to test divergent osd logs

backfill: use 'rbd' pool instead of 'data'

(data has a replay interval, which makes writes take longer to resume
after repeering)

rename backfill -> osd_backfill

put filestore xattr option in [global]

...for test_filestore_idempotent's benefit

suite: add missing print statement

suite: fix print statement when summary doesn't exist

Add watch op to rados.py

Signed-off-by: Samuel Just <sam.just@dreamhost.com>

suite: failed runs might not have durations

This was one cause of emails not being sent - stale /tmp/cephtest dirs
fail without recording a duration.

suite, coverage: use absolute dirs for isdir checks

This fixes the results to wait for all jobs to complete again.

filestore_idempotent: get coverage and coredumps

suite: more results logging

ceph.conf: no comment

ceph.conf: set 'filestore xattr use omap = true'

fix teuthology-ls isdir check

run valgrind with cwd set to /tmp/cephtest/archive/coredump

This lets us capture the vgcore.* files, which always go to valgrind's
cwd.

Fixes: #1953

suite: log results and coverage generation

Need to figure out where and when results emails are failing.

results: make sure email is sent before anything else fails

Merge branch 'master' of github.com:ceph/teuthology

gitbuilder: put flavor last

in case we refine the field later

Pull from new gitbuilder.ceph.com locations.

Simplifies the flavor stuff into a tuple of

<package,type,flavor,dist,arch>

where package is ceph, kenrel, etc.
type is tarball, deb
flavor is basic, gcov, notcmalloc
arch is x86_64, i686 (uname -m)
dist is oneiric, etc. (lsb_release -s -c)

Made the example better with multiple roles.

Added some example yaml files and an example parallel execution task.

autotest: pull from github.com/ceph/autotest

workunit: include python2.7 path too

rados.py: include setattr and rmattr

Signed-off-by: Samuel Just <samuel.just@dreamhost.com>

lock: Improved logging when there aren't enough nodes available to lock-many.

lock: Added a --locked flag to teuthology-lock.

Can be used to restrict searches based on lock status, e.g.
'teuthology-lock --list -a --locked false --status up' shows available nodes.

nuke: unmount osd data directories

This helps us avoid reboot to clean up osd data directories that are left
mounted.

Use non-zero exit status if any tests failed

Fixes: #1989

github.com/NewDreamNetwork -> github.com/ceph

dump_stuck: note required ceph configuration

dump_stuck: verify that 'ceph health' mentions the right number of inactive/unclean/stale pgs

peer: ignore +scrubbing portion of pg state

It can cause the mon state and osd states to not match.

peer: wait for peering to complete, or block

We need to wait for peering to either complete, or block because it is
waiting for another PG.  _Then_ look at all the PG states and compare the
mon values with what we get from qeurying the OSDs directly.

peer: remove unused variable

misc: always return a usable result from get_valgrind_args

rgw: simplify valgrind args

add peer task

Force a pg to get stuck in 'down' state, verify we can query the peering
state, then start the OSD so it can recover.

lost_unfound: list missing/unfound for each pg and verify the unfound counts

This also tests the pg list_missing functionality.

ceph_manager: list_pg_missing

List missing objects for the given pgid.

Whitespace and unnecessary formatting fixes

ceph, ceph-fuse: simplify valgrind argument additions

refactor all valgrind users to use a get_valgrind_args() helper

This avoids much annoying, duplicated code.

ceph: always create valgrind logs dir

Other tasks use it too.  It's more annoying to conditionally create it.

ceph: always try to process valgrind logs

Check for errors in valgrind logs even if there is no valgrind option
the ceph task config stanza.  Other tasks can run via valgrind (ceph-fuse,
rgw).  If the logs aren't there, this is harmless.

rgw: add valgrind support

tasks:
- ceph:
- rgw:
   client.a:
     valgrind: [--tool=memcheck]

rgw: accept dict

e.g.,

tasks:
...
- rgw:
    client.0:
    client.1:

lost_unfound: new mark_unfound_lost syntax

dump_stuck: flush stats before waiting for recovery/clean

Add a task for testing stuck pg visibility.

Move duration calculation to an internal task

This excludes all generic start up costs, like waiting for locks,
rebooting into a new kernel, etc.

Add necessary imports for s3 tasks, and keep them alphabetical.

s3roundtrip, s3readwrite: access key uses url safe chars

Signed-off-by: Yehuda Sadeh <yehuda.sadeh@dreamhost.com>

rgw: access key uses url safe chars

Signed-off-by: Yehuda Sadeh <yehuda.sadeh@dreamhost.com>

ceph: valgrind trumps coverage when picking a flavor

valgrind will crash if we don't use notcmalloc; coverage will silently
fail to collect coverage info.

ceph.conf: no lockdep by default

suite.results: include test duration in output

cfuse -> ceph-fuse

ceph: allow valgrind per-type (not just per-name)

lost_unfound: mark osds in when we revive them

so that we test what we meant to.  It also lets us actually go clean at the
very end.

ceph_manager: ignore stale states when counting

also remove assumptions about ordering of states

wait_till_clean -> wait_for_clean and wait_for_recovery

Clean now also means the correct number of replicas, whereas recovered
means we have done all the work we can do given the replicas/osds we have.
For example, degraded and clean are now mutually exclusive.

Also move away from 'till'.

backfill: wait for clean before writing+blackholing

If we have straggler pgs and blackhole osd.1, we can deadlock because we
need info from that osd to repeer and continue.  Make sure we're clean, and
then start the write + blackhole + kill test.

nuke: nuke testrados too

Slightly fewer nuke -r's

ceph_manager: mark in a bit more often than out

Otherwise we can get into cases where many/most nodes are out, and things
don't work as well.  e.g., crush may start to fail.

ceph: use any fs, not just btrfs, on scratch devices

The

  btrfs: true

syntax is replaced with

  fs: btrfs

or ext4, xfs.

nuke: nuke testrados and rados processes, too

So that -r is needed slightly less often.

misc: make get_scratch_devices look for (almost) any disk that's not mounted

hammer.sh: assume path is set

ceph: always add logger for daemons

The extra log function added redundant info and didn't allow different
levels.

ceph: rename type parameter to type_

type is a built-in and shouldn't be aliased.

ceph: use the correct comparison operator

is compares identity (i.e. address in cpython), not value.

ceph: sync before unmounting btrfs devices

There may still be writes in flight, since the osds may not have
shutdown cleanly. This should prevent EBUSY when unmounting.

Fixes: #1997

ceph: delay raising exceptions until all daemons are stopped

If a daemon crashes, the exception is raised when we stop it. This
caused some daemons to continue running during cleanup, since the rest
of the daemons of the same type would not be shut down. Also log each
daemon that crashed, for easier debugging.

Fixes: #1744

add backfill task

This does a basic test of backfill functionality, including a divergent
log on a backfill target (#1983).

ceph_manager: add manager.blackhole_kill_osd()

This will suspend disk writes for a couple seconds and then kill the
daemon.  It helps us similute a hardware failure.

Allow user to disable lock checking.

The new plana hardware isn't in the old sepia lock database,
and the machine pools are risky to merge as nothing in the
software guarantees allocation from just one pool. This allows
us to hand-allocate machines temporarily.

Allow user to provide flavor to use.

With this, you can use Ubuntu 11.10 machines with teuthology by saying::

  tasks:
  - ceph:
      flavor: oneiric
  ...