upgrade: ignore mds restart order on rbd, rados tests

Not relevant to rbd; put these in the fs upgrade matrix.

rgw: move radosgw-admin test into rgw suite

kernel: add instal, ceph tasks to rbd-nomount collection

big: timebox test to two hours

big: thrash, and whitelist wrongly marked me down

upgrade: move fs upgrade tests to a separate suite

For now.. until we figure out why they keep failing!

kernel: add rbd test to write a 1TB image

Motivated by #5454

marginal: restructure the multimds collection

- two clients types (ceph-fuse and kclient)
- two clients in each test
- separate out tasks

kernel: reorg kernel rbd tests; add a few missing scripts

Move all the simple workunits into a separate collection, and test with
and without msgr failure injection.

There were a few tests in the workunits dir that we weren't running.

rbd/rgw upgrade suites to test upgrade from bobtail to cuttlefish to next

Signed-off-by: tamil <tamil.muthamizhan@inktank.com>

rados: dump-stick: remove configs from yaml; let task set them

The mon osd report timeout was wrong; see #5440.

ceph-deploy: no need for ceph-fuse for non fs workunits

ceph-deploy: install correct branch for rados api tests

Fixes: #5442
Signed-off-by: Sage Weil <sage@inktank.com>

Revert "upgrade: add double-hop bobtail -> cuttlefish -> next fs tests"

This reverts commit fbdb7774bb381ff1426650c47cdb36282c4c77d2.

We don't care about bobtail fs.

upgrade: add rados-double suite (bobtail -> cuttlefish -> next)

upgrade/rados: refactor, expand matrix, start with cuttlefish

upgrade/fs: make single hop cuttlefish -> next (not bobtail -> next)

The bobtail ceph-fuse is buggy and these tests keep failing e.g. on umount,
but we don't really care about fixing the bobtail fs bugs.

upgrade: add double-hop bobtail -> cuttlefish -> next fs tests

upgrade: refactor single-hop fs tests

rados: whitelist 'had wrong client addr' for cephtool test

Recently added stuff to cephtool/test.sh workunit that triggers this.

fd769c0f21aab47cb7faacf7b6122e5288f1156e

big: enable big cluster (~50 node)

use correct branch for admin_socket tests

ceph-deploy: use correct branch for workunits

big: add big suite

Signed-off-by: Sage Weil <sage@inktank.com>

rados: don't use ceph-fuse for workunits

They can run on the local mount/dir.

powercycle: add ext4 to osd powercycle test matrix

rbd: do not use ceph-fuse to run functional tests

The workunit task can now do this in a local directory.

rados: whitelist 'wrongly marked me down' for cephtool tests

These test 'ceph osd down ...'; whitelist the resulting log message for
these tests.

rados: no cephtool test on ceph-fuse

rados: do not run cli tests on top of ceph-fuse

Some of the commands we test break teh mds, which break the mount, which
stall teh test.

Fixes: #5370

fs: disable multiclient tests on kernel

Currently fails with EPERM.

fs: disable multiclient fsx

current hangs.  fixme!

move multiclient tests from marginal -> fs suite

marginal: refactor multiclient collection, separate out locktest

rados: thrash under valgrind

This will get us better coverage in the peering and recovery code.

added upgrade tasks for cuttlefish to next and bobtail to cuttlefish to next

Signed-off-by: tamil <tamil.muthamizhan@inktank.com>

move powercycle tests into a separate suite

We may not want to run these nightly, or on the same hardware, and we want
to separate out core rados problems from powercycle-specific issues (like
hw failure and ipmi suckage).

upgrade: set workunit branch before and after upgrade

upgrade/fs: remove unused file

rados: add btrfs to osd powercycle tests

So we can get some testing coverage on btrfs, and identify whether the
xfs corruption issues are related to the fs or ceph.

rados: only 1 client for objectcacher stress test

Otherwise these may step on each other.

rados: increase recovery timeout when powercycling

Machine reboots take a while, and i've observed recovery making progress
but not finishing in time.

replaced tab with spaces

Signed-off-by: tamil <tamil.muthamizhan@inktank.com>

use cuttlefish branch instead of master

Signed-off-by: tamil <tamil.muthamizhan@inktank.com>

rbd_concurrent: add new task to test concurrent.sh

Add a new kernel task to run the rbd concurrent test.

Signed-off-by: Alex Elder <elder@inktank.com>

valgrind: select notcmalloc ceph install flavor

rbd_image_read: add new task to test image_read.sh

Add a new kernel task to test image reads.  More could be
done to test various parameters by setting environment
variables, but start by just using the defaults.

Signed-off-by: Alex Elder <elder@inktank.com>
Reviewed-by: Josh Durgin <josh.durgin@inktank.com>

rbd: add read flags test with each cache mode

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

ceph-qa-suite: updating Hadoop tests

Changes to the teuthology YAML parsing
necessitates a small tweak to the Hadoop
and libceph-fs YAML files.

Signed-off-by: Joe Buck <jbbuck@gmail.com>

fs/samba: disable smbtorture lock test

Until we fix #5025.

Signed-off-by: Sage Weil <sage@inktank.com>

fs/samba: fix noceph mount point

We need to clean this dir up at the end of the test or else teuthology
will be unhappy with the dirty testdir.  Use the localdir which does this
properly.

Signed-off-by: Sage Weil <sage@inktank.com>

fs/samba: smbtorture: disable base.bench-hold* tests

These seem to hang, even when run on samba + local fs (no ceph).

fs/samba: add noceph.yaml baseline

Run samba against the a local directory to isolate issues not specific to
the ceph backend.

fs/samba: disable kernel build

bus error, bad file handle errors... maybe an issue with cifs.ko?

2013-05-10T19:58:02.736 INFO:teuthology.task.workunit.client.1.out:  CC      kernel/res_counter.o
2013-05-10T19:58:09.735 INFO:teuthology.task.workunit.client.1.err:Bus error (core dumped)
2013-05-10T19:58:09.735 INFO:teuthology.task.workunit.client.1.err:make[1]: *** [kernel/cpuset.o] Error 135
2013-05-10T19:58:09.735 INFO:teuthology.task.workunit.client.1.err:make[1]: *** Waiting for unfinished jobs....
2013-05-10T19:58:09.757 INFO:teuthology.task.workunit.client.1.out:  AS      arch/x86/kernel/head_64.o
2013-05-10T19:58:10.264 INFO:teuthology.task.workunit.client.1.out:  CC      arch/x86/kernel/head64.o
2013-05-10T19:58:25.877 INFO:teuthology.task.workunit.client.1.out:  CC      arch/x86/kernel/head.o
2013-05-10T19:58:30.151 INFO:teuthology.task.workunit.client.1.out:  CC      arch/x86/kernel/init_task.o
2013-05-10T19:58:39.540 INFO:teuthology.task.workunit.client.1.out:  LDS     arch/x86/kernel/vmlinux.lds
2013-05-10T19:58:42.173 INFO:teuthology.task.workunit.client.1.out:  CC [M]  arch/x86/kernel/test_nx.o
2013-05-10T19:58:56.420 INFO:teuthology.task.workunit.client.1.out:  LD      arch/x86/kernel/microcode.o
2013-05-10T19:58:57.894 INFO:teuthology.task.workunit.client.1.out:  LD      arch/x86/kernel/built-in.o
2013-05-10T19:59:33.464 INFO:teuthology.task.workunit.client.1.err:make: *** [kernel] Error 2
2013-05-10T19:59:39.307 INFO:teuthology.task.workunit.client.1.out:  LD      arch/x86/built-in.o
2013-05-10T19:59:40.009 INFO:teuthology.task.workunit:Stopping kernel_untar_build.sh on client.1...

or

2013-05-10T18:34:47.574 INFO:teuthology.task.workunit.client.1.out:scripts/kconfig/conf --silentoldconfig Kconfig
2013-05-10T18:36:17.511 INFO:teuthology.task.workunit.client.1.out:  CHK     include/linux/version.h
2013-05-10T18:36:17.665 INFO:teuthology.task.workunit.client.1.out:  UPD     include/linux/version.h
2013-05-10T18:36:37.965 INFO:teuthology.task.workunit.client.1.err:make[2]: *** include/config/tristate.conf: Bad file descriptor.  Stop.

or

2013-05-10T18:21:00.731 INFO:teuthology.task.workunit.client.1.out:  HOSTCC  scripts/pnmtologo
2013-05-10T18:21:00.879 INFO:teuthology.task.workunit.client.1.out:  HOSTCC  scripts/conmakehash
2013-05-10T18:21:03.034 INFO:teuthology.task.workunit.client.1.out:  HOSTLD  scripts/mod/modpost
2013-05-10T18:21:46.406 INFO:teuthology.task.workunit.client.1.err:cat: net/unix/modules.builtin: Bad file descriptor

Signed-off-by: Sage Weil <sage@inktank.com>

ceph-qa: update Hadoop tests overrides

Changes to the install teuthology task have caused the
Hadoop tasks to fail. This patch fixes the test specification
to enable it to run correctly.

Signed-off-by: Joe Buck <jbbuck@gmail.com>

rados/osd-powrcycle: turn up mds logging

To catch #4832

Signed-off-by: Sage Weil <sage@inktank.com>

fs/samba: restructure and expand test collection

All workloads on samba, samba+fuse, samba+kernel.  Workloads include
torture and cifs + {various workunits}

task modified to include a '-' before the test script

Signed-off-by: tamil <tamil.muthamizhan@inktank.com>

fs/samba: Add tests for samba/cifs tasks

Signed-off-by: Sam Lang <sam.lang@inktank.com>

suites/marginal:  Add backtrace restart test

Signed-off-by: Sam Lang <sam.lang@inktank.com>

Merge remote-tracking branch 'gh/last'

Conflicts:
suites/fs/singleton/all/cfuse_workunit_suites_blogbench_ceph_deploy.yaml

add fs collection ceph-deploy blogbench test in new singleton suite

Signed-off-by: Greg Farnum <greg@inktank.com>

add fs collection ceph-deploy blogbench test in new singleton suite

Signed-off-by: Greg Farnum <greg@inktank.com>

apparently this should never work on our current configs

Signed-off-by: Greg Farnum <greg@inktank.com>

apparently this should never work on our current configs

Signed-off-by: Greg Farnum <greg@inktank.com>

upgrade: fix up rgw tests a bit

nfs: debug mds

I've seen a run hang on rmdir on shutdown, and want to see why the MDS didn't
reply.

upgrade/rgw: run first s3tests pass using bobtail tests

Signed-off-by: Sage Weil <sage@inktank.com>

upgrade: fix client ids

upgrade rgw: increase client mount timeout

This should let radosgw restart and connect once the cluster is finished upgrading

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

Revert "Revert "Specify xfs for osd powercycle testing""

Pushed a fix to teuthology, should work now.

This reverts commit 853e8fdb731e863e4703d86d8852ecdb4160275f.

Revert "Specify xfs for osd powercycle testing"

This is currently broken.

This reverts commit 79abc44205f53d4b3a12e9a0cc9430e91225a564.

rgw: restart radosgw too

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

Specify xfs for osd powercycle testing

Signed-off-by: Samuel Just <sam.just@inktank.com>

upgrade: fs: ignore 'wrongly marked down'

rbd: dont' test python on bobtail

The workunit will pull the latest and fail

upgrade: restructure rbd tests

- expand matrix
- include branch: bobtail in first set of tests so that we run the right
  version of the test

nfs: debug mds

I've seen a run hang on rmdir on shutdown, and want to see why the MDS didn't
reply.

Merge remote-tracking branch 'gh/next'

upgrade: debug fs jobs

These are hanging; crank up logs to see why.

upgrade: dbench instead of blogbench

blogbench hangs bobtail ceph-fuse in some
cases, it seems.

upgrade: reorganize the basic/rados suite

Use facets instead of duplicating the test content each time.

rgw asdf

upgrade: rgw: restructure collection

- use separate facets
- make final swift use client.1 so it doesn't
collide with a previous run

upgrade: do not start second radosgw

Use the first one.  This verifies bobtail radosgw works against cuttlefish
osds.

upgrade: mount fs with ceph-fuse for fs tests

upgrade: run blogbench against ceph-fuse

Otherwise this runs on the local disk, not touching the ceph cluster.

upgrade: run rados python test on bobtail to avoid polluting cluster with pools

Extra pools from test.sh will make this fail:

2013-04-26T11:06:45.631 INFO:teuthology.task.workunit.client.0.err:test_rados.TestRados.test_list_pools ... FAIL
2013-04-26T11:06:45.633 INFO:teuthology.task.workunit.client.0.err:
2013-04-26T11:06:45.633 INFO:teuthology.task.workunit.client.0.err:======================================================================
2013-04-26T11:06:45.633 INFO:teuthology.task.workunit.client.0.err:FAIL: test_rados.TestRados.test_list_pools
2013-04-26T11:06:45.634 INFO:teuthology.task.workunit.client.0.err:----------------------------------------------------------------------
2013-04-26T11:06:45.634 INFO:teuthology.task.workunit.client.0.err:Traceback (most recent call last):
2013-04-26T11:06:45.634 INFO:teuthology.task.workunit.client.0.err:  File "/usr/lib/python2.7/dist-packages/nose/case.py", line 197, in runTest
2013-04-26T11:06:45.634 INFO:teuthology.task.workunit.client.0.err:    self.test(*self.arg)
2013-04-26T11:06:45.634 INFO:teuthology.task.workunit.client.0.err:  File "/home/ubuntu/cephtest/1527/mnt.0/client.0/tmp/test_rados.py", line 37, in test_list_pools
2013-04-26T11:06:45.634 INFO:teuthology.task.workunit.client.0.err:    eq(set(), self.list_non_default_pools())
2013-04-26T11:06:45.635 INFO:teuthology.task.workunit.client.0.err:  File "/usr/lib/python2.7/dist-packages/nose/tools.py", line 31, in eq_
2013-04-26T11:06:45.635 INFO:teuthology.task.workunit.client.0.err:    assert a == b, msg or "%r != %r" % (a, b)
2013-04-26T11:06:45.635 INFO:teuthology.task.workunit.client.0.err:AssertionError: set([]) != set(['foo.24250.', 'test-rados-api-plana05-22578-27', 'foo.24250', 'foo.23821'])

ceph config data goes in conf, not config

Signed-off-by: Greg Farnum <greg@inktank.com>

ceph config data goes in conf, not config

Signed-off-by: Greg Farnum <greg@inktank.com>

temporarily add cephfs debugging to overrides

Signed-off-by: Greg Farnum <greg@inktank.com>

Revert "turn on debugging for MDS and Client in FS runs"

We want to apply debugging and whitelists, not one or the
other -- whoops!

This reverts commit 60e7fb4152a7f42594d864239d04a084ac576075.

Signed-off-by: Greg Farnum <greg@inktank.com>

temporarily add cephfs debugging to overrides

Signed-off-by: Greg Farnum <greg@inktank.com>

Revert "turn on debugging for MDS and Client in FS runs"

We want to apply debugging and whitelists, not one or the
other -- whoops!
This reverts commit cb1e8ed954c41840f28f5d88fd3fb58961cf309b.

Signed-off-by: Greg Farnum <greg@inktank.com>

remove ext4 from rados thrashing for now

Signed-off-by: Samuel Just <sam.just@inktank.com>

Merge branch 'next'

set 'filestore flush min = 0' for all ffsb jobs

Until we fix #4579

turn on debugging for MDS and Client in FS runs

Signed-off-by: Greg Farnum <greg@inktank.com>

turn on debugging for MDS and Client in FS runs

Signed-off-by: Greg Farnum <greg@inktank.com>

ior-cfuse: remove the binary/ dir that make install creates

Signed-off-by: Greg Farnum <greg@inktank.com>