Add distro yamls.

Should be no harm to get these in now.

To run on all distros the distros dir should just be symlinked in
the folder that also contains tasks, IE:

suites/ceph-deploy/fs

Or make a distro's folder and symlink individual distro's so you
have:

suites/ceph-deploy/fs/distros/centos.yaml
suites/ceph-deploy/fs/distros/fedora.yaml
suites/ceph-deploy/fs/distros/rhel.yaml
suites/ceph-deploy/fs/distros/ubuntu.yaml

etc...

Signed-off-by: Sandon Van Ness <sandon@inktank.com>

ceph-deploy: remove workunit branch options

Signed-off-by: Sage Weil <sage@inktank.com>

upgrade-parallel/rados: fix mon restarts

upgrade-parallel: fix rgw syntax

Signed-off-by: Sage Weil <sage@inktank.com>

removed ceph-deploy branch option to make it run against arbitrary branch

Signed-off-by: tamil <tamil.muthamizhan@inktank.com>

removed ceph-deploy branch option
so the nightlies can run ceph-deploy against any arbitrary branch

Signed-off-by: tamil <tamil.muthamizhan@inktank.com>

upgrade-cuttlefish: run on xfs, not /

modified workunit branch to cuttlefish

Signed-off-by: tamil <tamil.muthamizhan@inktank.com>

upgrade-cuttlefish: test upgrades to new point releases

This only covers rados tests currently.  We should expand this to include rgw,
rbd, and cephfs workloads.

Signed-off-by: Sage Weil <sage@inktank.com>

modified the task yaml to use modified ceph.restart and wait_for_mon_quorum

Signed-off-by: tamil <tamil.muthamizhan@inktank.com>

upgrade-parallel/stress-split: fix osd names

Signed-off-by: Sage Weil <sage@inktank.com>

upgrade-parallel: add stress-split collection

upgrade-parallel: do staggered updates

added tasks in the yaml

Signed-off-by: tamil <tamil.muthamizhan@inktank.com>

Merge branch 'master' of github.com:ceph/ceph-qa-suite

removed a blank line

Signed-off-by: tamil <tamil.muthamizhan@inktank.com>

rados: trim more aggressively

rados: keep fewer osdmaps around

Signed-off-by: Sage Weil <sage@inktank.com>

Merge branch 'master' of github.com:ceph/ceph-qa-suite

task yamls for upgrade-parallel suite

Signed-off-by: tamil <tamil.muthamizhan@inktank.com>

Add more stressful thrashing by doing more pg splitting

Signed-off-by: David Zafman <david.zafman@inktank.com>

big: run for 1 hour

rados: add in the mon/caps.sh tests

modified the workload for mixed-mon upgrade suite

Signed-off-by: tamil <tamil.muthamizhan@inktank.com>

reorg kernel -> krbd + kcephfs

Signed-off-by: Sage Weil <sage@inktank.com>

rados: use 'ms inject intenral delays' during thrashing

This tries to help hit unusual races in the messenger.

Signed-off-by: Sage Weil <sage@inktank.com>

big: reenable big cluster

small and medium are passing.

fs: run everything on btrfs, not /

nfs: run osds on btrfs

I hit an ext4 xattr hang; avoid that.

fs: disable ceph-deploy test

Leave this to teh ceph-deploy suite

Signed-off-by: Sage Weil <sage@inktank.com>

big: enable medium cluster

Signed-off-by: Sage Weil <sage@inktank.com>

fs: disable maxfid smbtorture test

This fails occasionally, unsure why.

Signed-off-by: Sage Weil <sage@inktank.com>

added upgrade task for mixed mon test

Signed-off-by: tamil <tamil@tamil-VirtualBox.(none)>

Added task yaml for partial-upgrade of osds

Signed-off-by: tamil <tamil.muthamizhan@inktank.com>

restart rgw after upgrade for rgw tests

Signed-off-by: tamil <tamil.muthamizhan@inktank.com>

rados/mon_thrash: inject random delays in mon messages

More useful than osd delays for this collection

rados/monthrash: reduce matrix size a bit

we don't need so many osd workloads

rados/monthrash: refactor a bit

Signed-off-by: Sage Weil <sage@inktank.com>

rados: expand mon thrashing tests

- test sync (full and recent)
- test multiple mons down
- test other cluster sizes (3 and 9)

Signed-off-by: Sage Weil <sage@inktank.com>

big: disable all but small until it passes

Revert "rbd: reeanble iozone test, just to see"

This reverts commit 81862ad907e9ba94f0a2dfc9ed365b68f305cd8d.

Yeah, still broken.

kernel: simple_1tb -> simple_big

1TB is too big for plana

test_o_trunc.sh moved

rbd: reeanble iozone test, just to see

See #2689

fs: add o_trunc test on ceph-fuse

Signed-off-by: Sage Weil <sage@inktank.com>

kernel: test o_trunc

Signed-off-by: Sage Weil <sage@inktank.com>

upgrade/rgw: use bobtail s3tests

upgrade/rgw: mds restart order doesn't matter

upgrade/rgw-double: start rgw

rbd: remove kernel rbd test from rbd suite

It's already present in the kernel suite.

kernel: specify fs (and use raw disks) for rbd-nomount tests

Otherwise simple 1tb test fills up the root disks.  :(

upgrade: ignore mds restart order on rbd, rados tests

Not relevant to rbd; put these in the fs upgrade matrix.

rgw: move radosgw-admin test into rgw suite

kernel: add instal, ceph tasks to rbd-nomount collection

big: timebox test to two hours

big: thrash, and whitelist wrongly marked me down

upgrade: move fs upgrade tests to a separate suite

For now.. until we figure out why they keep failing!

kernel: add rbd test to write a 1TB image

Motivated by #5454

marginal: restructure the multimds collection

- two clients types (ceph-fuse and kclient)
- two clients in each test
- separate out tasks

kernel: reorg kernel rbd tests; add a few missing scripts

Move all the simple workunits into a separate collection, and test with
and without msgr failure injection.

There were a few tests in the workunits dir that we weren't running.

rbd/rgw upgrade suites to test upgrade from bobtail to cuttlefish to next

Signed-off-by: tamil <tamil.muthamizhan@inktank.com>

rados: dump-stick: remove configs from yaml; let task set them

The mon osd report timeout was wrong; see #5440.

ceph-deploy: no need for ceph-fuse for non fs workunits

ceph-deploy: install correct branch for rados api tests

Fixes: #5442
Signed-off-by: Sage Weil <sage@inktank.com>

Revert "upgrade: add double-hop bobtail -> cuttlefish -> next fs tests"

This reverts commit fbdb7774bb381ff1426650c47cdb36282c4c77d2.

We don't care about bobtail fs.

upgrade: add rados-double suite (bobtail -> cuttlefish -> next)

upgrade/rados: refactor, expand matrix, start with cuttlefish

upgrade/fs: make single hop cuttlefish -> next (not bobtail -> next)

The bobtail ceph-fuse is buggy and these tests keep failing e.g. on umount,
but we don't really care about fixing the bobtail fs bugs.

upgrade: add double-hop bobtail -> cuttlefish -> next fs tests

upgrade: refactor single-hop fs tests

rados: whitelist 'had wrong client addr' for cephtool test

Recently added stuff to cephtool/test.sh workunit that triggers this.

fd769c0f21aab47cb7faacf7b6122e5288f1156e

big: enable big cluster (~50 node)

use correct branch for admin_socket tests

ceph-deploy: use correct branch for workunits

big: add big suite

Signed-off-by: Sage Weil <sage@inktank.com>

rados: don't use ceph-fuse for workunits

They can run on the local mount/dir.

powercycle: add ext4 to osd powercycle test matrix

rbd: do not use ceph-fuse to run functional tests

The workunit task can now do this in a local directory.

rados: whitelist 'wrongly marked me down' for cephtool tests

These test 'ceph osd down ...'; whitelist the resulting log message for
these tests.

rados: no cephtool test on ceph-fuse

rados: do not run cli tests on top of ceph-fuse

Some of the commands we test break teh mds, which break the mount, which
stall teh test.

Fixes: #5370

fs: disable multiclient tests on kernel

Currently fails with EPERM.

fs: disable multiclient fsx

current hangs.  fixme!

move multiclient tests from marginal -> fs suite

marginal: refactor multiclient collection, separate out locktest

rados: thrash under valgrind

This will get us better coverage in the peering and recovery code.

added upgrade tasks for cuttlefish to next and bobtail to cuttlefish to next

Signed-off-by: tamil <tamil.muthamizhan@inktank.com>

move powercycle tests into a separate suite

We may not want to run these nightly, or on the same hardware, and we want
to separate out core rados problems from powercycle-specific issues (like
hw failure and ipmi suckage).

upgrade: set workunit branch before and after upgrade

upgrade/fs: remove unused file

rados: add btrfs to osd powercycle tests

So we can get some testing coverage on btrfs, and identify whether the
xfs corruption issues are related to the fs or ceph.

rados: only 1 client for objectcacher stress test

Otherwise these may step on each other.

rados: increase recovery timeout when powercycling

Machine reboots take a while, and i've observed recovery making progress
but not finishing in time.

replaced tab with spaces

Signed-off-by: tamil <tamil.muthamizhan@inktank.com>

use cuttlefish branch instead of master

Signed-off-by: tamil <tamil.muthamizhan@inktank.com>

rbd_concurrent: add new task to test concurrent.sh

Add a new kernel task to run the rbd concurrent test.

Signed-off-by: Alex Elder <elder@inktank.com>

valgrind: select notcmalloc ceph install flavor

rbd_image_read: add new task to test image_read.sh

Add a new kernel task to test image reads.  More could be
done to test various parameters by setting environment
variables, but start by just using the defaults.

Signed-off-by: Alex Elder <elder@inktank.com>
Reviewed-by: Josh Durgin <josh.durgin@inktank.com>

rbd: add read flags test with each cache mode

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

ceph-qa-suite: updating Hadoop tests

Changes to the teuthology YAML parsing
necessitates a small tweak to the Hadoop
and libceph-fs YAML files.

Signed-off-by: Joe Buck <jbbuck@gmail.com>