regression: do some tests on ext4

move cfuse+dbench back to regression for verify, too

move cfuse + dbench from marginal to regression

Fixed #1737, yay!

move cfuse + ffsb from marginal to regression

This has had no failures.

move cfuse + fsx back into regression suite

No failures in marginal.  The objectcacher fixes that came out of the
rbd_fsx stuff probably fixed the original problem?

fix wrongly marked down whitelist

This used to have '...or wrong addr' but it doesn't any more.

rbd: test with layering enabled

RBD_FEATURES=0 hits a bug that's fixed in wip-rbd-parent.

Once that's merged, we can add RBD_FEATURES=0 tests back in.

ffsb is marginal, remove from smoke suite

Revert "smoke: add msgr failures"

This reverts commit 9278e231e64f49c3205c2ded8b1f2d3b27265eac.

move cfuse fsx into marginal suite

This should probably pass, given the testing that ObjectCacher gets these
days with librbd_fsx.

remove suites/stress/basic

move some old flaky tasks into marginal suite

These were pulled out of regression a while ago.  Put them into the
marginal suite where they will be regularly run and we can evaluate the
severity of the problems they cause.

move qemu_iozone test to marginal suite

increase thrashosds timeout

move other ffsb workloads to marginal suite

move locktest to marginal suite

This fails 1 in 10 times or something like that.

smoke: add msgr failures

fewer hosts for mon tests

add rbd_xfstests to kernel suite

qemu_iozone: use a larger image

The default is not large enough.

kernel suite

include ceph task in librbd collection

move kclient_workunit_suites_ffsb to marginal suite

until #1947 is fixed

Add some tests inside qemu for the librbd suite

Move librbd tests to rbd suite

This lets us generate jobs with different caching settings instead of
hardcoding them.

move cfuse + dbench task that triggers #1737 to marginal suite

don't dup ceph task for new fsx jobs

Run fsx on rbd with thrashing

Increase number of ops done by fsx against rbd.

Especially in the no-cache case, this should detect more races. The
fiemap problem is detectable on plana after ~5000 fsx ops.

add radosgw-admin test to regression suite

We wrote this test ages ago, but forgot to add it!  Fixed up a few things
that have changed since then.

Add test for cls_rbd

Test old and new rbd formats

Update for new workunit task syntax

regression: fix new rados, rbd test yamls

Don't start cluster twice!

run rados, rbd api tests under thrashing

add rados_stress_watch to regression

rbd_fsx in write-through mode

use fewer nodes for the simple singleton tasks

add rbd_fsx_[no]cache jobs to regression suite

gather logs for cfuse dbench workload, hopefully catch #1737

dump_stuck: whitelist 'wrongly marked me down'

The test marks the osds down.. they may generate this error if they get
that faster than they get the signal via the daemon-wrapper.

add rbd_xfstests to regression suite

move tasks:cfuse_workunit_suites_dbench.yaml to stress pending #1737 fix

add smoke suite

This could probably be collapsed into a bunch of singleton tasks to make
it simpler to track how many actual jobs result, but it was simpler to
make it a subset of regression.  And probably that'll be easier to maintain
moving forward.

Tried to avoid any jobs that took more than 10 minutes (tho there are a few
in here).  Kept both valgrind and lockdep jobs, and dropped many of those
from the basic collection (esp api tests).

We'll see how long this takes on plana and adjust up/down from there,
depending on how long we want to wait for it.

add osd-recovery test

renamed backfill -> osd_backfill

disable rbd thrash workload, #2174

Revert "disable rbd thrash workload, #2174"

This reverts commit 1bec416c7c7ff8a6462d94baaba8e7da73e88ab4.

Fixed with #2174

disable rbd thrash workload, #2174

thrash: put client on separate machine from osds

This allows us to run kenrel clients (kclient, rbd) against the thrashing
cluster.

remove dup ceph tasks from new thrash workloads

clusters/fixed-3.yaml: 2 -> 6 osds

plana nodes have 3 scratch disks... use them!

Revert "disable s3tests on valgrind/lockdep until #2103 is fixed"

This reverts commit 9f757ca9511374f6565d74263e242c74e39f8a3f.

add rbd, kclient workloads to regression thrash collection

This will get us some kernel osd_client osd restart coverage.

fix typo, ceph-fyuse -> ceph-fuse

use dbench workunit, not the autotest one

The autotest one uses an old tarball that doesn't build.  Workunit assumes
the dbench package is installed.

disable s3tests on valgrind/lockdep until #2103 is fixed

dump-stuck: set pg stuck threshold to match test

no peer as part of lost_unfound

move peer to separate test for now

lost_unfound: do peer after, until wait_for_clean propagates last_epoch_started

The peer task does wait_for_clean, and then lost_unfound immediately marks
something down.  But the PGs become clean before the replica last_epoch_started
is moved forward in time, which means they block waiting for the now down
OSD.  Needlessly.

Until we fix this, just do the peer test after.

fix lockdep.yaml conf syntax

run radosgw through valgrind for s3tests

do peer test along with lost_unfound

rename valgrind -> verify, add in runs under lockdep

Add test for 'ceph pg dump_stuck'

add valgrind collection to regression suite

Run a smaller set of tests with valgrind on the mon, osd, and mds.

Valgrind is currently ignoring leaks, but this will pick up use-after-free
and similar badness.

cfuse -> ceph-fuse

thrashing: whitelist 'objects unfound and apparently lost' message

This can happen when we mark OSDs down... if the objects are found when
the osds come back up then we're fine.  if not, it won't go clean, and the
test will fail for that reason.

add regression/multifs collection; run rgw tests under both xfs and btrfs

rename fs files

regression/thrash on xfs and btrfs both

btrfs: 1 -> fs: btrfs

add snap thrashing covering a small number of objects

The snaps-many-objects has a relatively low density of ops-per-object. This
hammers on a small number of them and does a better job of validating the
correctness wrt snaps.

move snap thrashing back into regression suite

move kclient_workunit_suites_blogbench.yaml to stress suite

This is consistently failing due to an mds/kclient interaction.

add backfill test

make 6-osd-2-machine simpler... single monitor

regression: add admin socket test for objecter requests.

remove snap thrashing from regression suite for time being

Add small cluster thrashing tasks

Signed-off-by: Samuel Just <samuel.just@dreamhost.com>

add simple thrash workload to regression suite

mon.0 -> mon.a

mds.0 -> mds.a

add rgw readwrite and roundtrip tasks

do not put monitors on the same nodes as clients

Otherwise, for kernel clients (rbd or kclient), ceph-mon can cause a deadlock when it calls sync(2).

move multimon failure thrashing tests into regression

We need to test these nightly.

Adjust rados model workloads for new config format

rados load-gen workunits

Use btrfs for regression tests

Some of the tests (particularly the s3 tests) use very long filenames
which trigger bugs related to ext4 xattr handling.

Signed-off-by: Samuel Just <samuel.just@dreamhost.com>

Rename "testrados" task to not begin with "test".

See commit e80c32c44293e6453cce1bf89ad3cf5b1b4917ab in
teuthology.git

Move kclient multiple_rsync workunit to stress collection.

Bug #1760 keeps being triggered by this.

Revert "more logs (yuck) for #1682"

This reverts commit ea00114f08440563bce8e27ae2cd887bbc85aba5.

more logs (yuck) for #1682

fix conf thinko

    'int' object has no attribute 'iteritems'

regression/basic/tasks/kclient_workunit_misc: turn on mds log

Hopefully will catch #1682

regression/basic/tasks/cfuse_dbench: turn up client debugging

Hopefully we'll hit #1737...

Move multimds tests to a new suite, 'experimental'.

This suite is for testing features that aren't expected to be stable yet.

Move collections into separate suites

For now, there are just two suites:
  * regression - tests that should always pass
  * stress     - tests that have problems for one reason or another

multimon: need at least 2 osds to go healthy