mds_thrash: requery mds status inside the wait loop

Signed-off-by: Sage Weil <sage@inktank.com>

schedule_suite.sh: check, but do not sync, clock for each run

Trust NTP to actually sync things.  But check the clock skew so we can
verify it if something seems off.

Signed-off-by: Sage Weil <sage@inktank.com>

mpi: substitute $TESTDIR

Signed-off-by: Sage Weil <sage@inktank.com>

exec/pexec: substitute $TESTDIR into command

It might be better to make this unescaped, but that's trickier.

Signed-off-by: Sage Weil <sage@inktank.com>

schedule_suite.sh: take machine type

This script is getting out of hand.. pretty soon we need to move to python
and argparse.

Signed-off-by: Sage Weil <sage@inktank.com>

Revert "ceph.conf: osd debug op order = true"

This reverts commit 4f68e3ee122d0d2bb18d7f75b711962b272d3edd.

Until we fix 4392... the kernel is sending ops out of order.

rados.py: add option to do many short runs

Signed-off-by: Samuel Just <sam.just@inktank.com>
Reviewed-by: Josh Durgin <josh.durgin@inktank.com>

ceph-deploy task

Signed-off-by: tamil <tamil.muthamizhan@inktank.com>

added 'extras' to install extra packages excluding ceph

Signed-off-by: tamil <tamil.muthamizhan@inktank.com>

lock: remove description when unlocking

This will hopefully make it easier to track down what's leaving nodes unlocked.

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

ceph.conf: osd debug op order = true

Debug the osd op ordering by default.  Most of the runs have a small number
of clients, which makes the STL maps cheap.

Signed-off-by: Sage Weil <sage@inktank.com>

testing: fix logic in determining Hadoop master

Signed-off-by: Joe Buck <jbbuck@gmail.com>

testing: specify ceph.conf path in core-site.xml

Signed-off-by: Joe Buck <jbbuck@gmail.com>

install: install libcephfs-java

Signed-off-by: Sage Weil <sage@inktank.com>

ceph-fuse: install via install.py

Signed-off-by: Sage Weil <sage@inktank.com>

Implement email task.

Email.py was added so that the emailto attribute could be passed,
and to prevent 'module object has no attribute: email' errors from
happening.  Run.py actual performs the email operation and calls
suite.email_results to do the actual send mail operation.  The
information passed right now is the summary and config information.

Signed-off-by: Warren Usui <warren.usui@inktank.com>

Fix pass/fail display on exit.

Signed-off-by: Warren Usui <warren.usui@inktank.com>

ceph-fuse: fix install_debs call with new syntax

Signed-off-by: Sage Weil <sage@inktank.com>

install: poll for packages if wait-for-package: true

If the yaml has

 wait-for-package: true

then block and poll for the packages to appear if they are not already
there.  This is only useful for new branches or explicit sha1's, obviously.

Signed-off-by: Sage Weil <sage@inktank.com>

install: fix branch/tag/sha1 selection

We were only allowing selection of packages by branch!

Signed-off-by: Sage Weil <sage@inktank.com>

Merge branch 'master' of github.com:ceph/teuthology

ceph_manager: use an exception type

Otherwise this obscures the error

Signed-off-by: Sage Weil <sage@inktank.com>

teuthology: remove CEPH_JAVA_PATH

Since teuthology now uses debian packages,
we do not need to set this in workunit.
The one test that uses this now tests for
it locally.

Signed-off-by: Joe Buck <jbbuck@gmail.com>

teuthology: add an extra_packages flag to install

Some tests require additional packages
(e.g., java bindings, hadoop bindings).
Extend the install task to allow for those
packages to be specified in the yaml files.

Signed-off-by: Joe Buck <jbbuck@gmail.com>
Reviewed-by: Sam Lang <sam.lang@inktank.com>

nuke: blow away /home/ubuntu/cephtest too

(along with /tmp/cephtest)

Signed-off-by: Sage Weil <sage@inktank.com>

Add timer.py and display summary info in run.py.

Signed-off-by: Warren Usui <warren.usui@inktank.com>

radosgw-admin: Bug fixes for issue 4251.

Fixes errors introduced by d44fb14762c3d7e2853a8e4be012cd8e4557124e.

Signed-off-by caleb.miles <caleb.miles@inktank.com>

nuke: blow away /home/ubuntu/cephtest too

(along with /tmp/cephtest)

Signed-off-by: Sage Weil <sage@inktank.com>

Add timer.py and display summary info in run.py.

Signed-off-by: Warren Usui <warren.usui@inktank.com>

rbd: drop udev

The packages have these rules now.

Signed-off-by: Sage Weil <sage@inktank.com>

exec, pexec: set TESTDIR

Signed-off-by: Sage Weil <sage@inktank.com>

ceph.conf: debug ms = 1 for monitors

Signed-off-by: Sage Weil <sage@inktank.com>

rbd: set TESTDIR when running xfstests

[elder@inktank.com: fixed typo]

Signed-off-by: Sage Weil <sage@inktank.com>

nuke: sudo for killall

Signed-off-by: Sage Weil <sage@inktank.com>

task: ceph: create monitor data directories prior to --mkfs

The new monitor store does not create the data directory on --mkfs. We
must create it instead, much like what happens with the osds.

Signed-off-by: Joao Eduardo Luis <joao.luis@inktank.com>

task: mon_thrash: Thrash multiple monitors and 'maintain-quorum' option

We now add a new option 'thrash-many' that by being set to true will break
the default behaviour of killing only one monitor at a time.  Instead,
this option will select up to the maximum number of killable monitors to
kill in each round.

We also add a new 'maintain-quorum' option that will limit the amount of
monitors that can be killed in each thrashing round.  If set to true, this
option will limit the amount of killable monitors up to (n/2-1).  This
means that if we are running a configuration that only has up to two
configured monitors, if 'maintain-quorum' is set to true, this task won't
run as there are no killable monitors -- in such a scenario, this option
should be set to false.

Furthermore, if 'store-thrash' is set to true, then 'maintain-quorum' must
also be set to true, as we cannot let the task to thrash all the monitor
stores, or we wouldn't be able to sync from other monitors, nor can we
let quorum be dropped, or we won't be able to resync our way into quorum.

Signed-off-by: Joao Eduardo Luis <joao.luis@inktank.com>

task: mon_thrash: Add 'seed' and 'store-thrash' options

This patch introduces an option to thrash a monitor store when we thrash
the monitors, as well as a 'store-thrash-probability' option (defaulting
to 50%).

We also took this opportunity to introduce a new 'seed' option, that ought
to allow a given run of this task to be reproducible.  This might come in
hand when attempting to reproduce a given behavior that would otherwise
be randomly triggered.

You should note that while the 'seed' option will indeed mimic past
behaviors, this only applies to a past behavior of this task: other tasks
are not affected by this value, nor are any workunits or even ceph daemons.

Signed-off-by: Joao Eduardo Luis <joao.luis@inktank.com>

ceph.conf: log file, not log dir

Signed-off-by: Sage Weil <sage@inktank.com>

install: ignore apt-get update failures on package removal

At that point we don't really care.

Signed-off-by: Sage Weil <sage@inktank.com>

ceph: fix log, /var/run/ceph stupid

Signed-off-by: Sage Weil <sage@inktank.com>

Fix unused vars, unused imports, and aliasing

Found by pyflakes

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

radosgw-admin: fix errors found by pyflakes

Using the wrong variable, and true/false are capitalized in python.

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

ceph_manager: fix asok string formatting

Signed-off-by: Sage Weil <sage@inktank.com>

ceph: make /var/run/ceph writeable by non-root too

Signed-off-by: Sage Weil <sage@inktank.com>

ceph: fix /var/log/ceph chown/cmod typo

Signed-off-by: Sage Weil <sage@inktank.com>

ceph.conf: use default locations for admin socket; fix client log file

Signed-off-by: Sage Weil <sage@inktank.com>

make /var/log/ceph writeable by non-root; make clients log to it

Signed-off-by: Sage Weil <sage@inktank.com>

install: be slightly more efficient

Signed-off-by: Sage Weil <sage@inktank.com>

install: be more careful about package removal

- call apt separately for each package; it will error out annoyingly if
there is one in the list not in the APT sources.
- use dpkg with appropriate force to clean up broken half-installs.

Signed-off-by: Sage Weil <sage@inktank.com>

ceph-fuse: install -dbg package, too

Signed-off-by: Sage Weil <sage@inktank.com>

radosgw-admin: fix sleep syntax error

Signed-off-by: Sage Weil <sage@inktank.com>

install: install libcephfs1[-dbg]

Signed-off-by: Sage Weil <sage@inktank.com>

ceph_manager: drop extra line

Ooops, from 0c990f3add7fe2a08d13511f3c7bf814eb6558f1.

Signed-off-by: Sage Weil <sage@inktank.com>

run: print pass/FAIL as final line

Makes it easy to tell at a glance if your last test passed or not.

Signed-off-by: Sage Weil <sage@inktank.com>

Merge remote-tracking branch 'origin/wip-3634'

ceph_manager: eventually time out while waiting for admin socket

Otherwise we get stuck in a loop if an osd crashes unexpectedly, the
task never fails, and we don't collect all the evidence.

Signed-off-by: Sage Weil <sage@inktank.com>

schedule_suite.sh: drop obligatory install task

Added these to ceph-qa-suite.git instead.

Signed-off-by: Sage Weil <sage@inktank.com>

Merge branch 'unstable'

Conflicts:
teuthology/task/workunit.py

ceph: fix valgrind log check

Signed-off-by: Sage Weil <sage@inktank.com>

cleanup-run.sh: figure out owner

Signed-off-by: Sage Weil <sage@inktank.com>

install: clean up flavor, distro, arch detection

Signed-off-by: Sage Weil <sage@inktank.com>

schedule_suite.sh: include install task in all jobs

This is probably temporary.  It's simpler than adding the task to every
job in the suite.  We'll want to do that later when we want to test
alternative install methods (like ceph-deploy's install function).

Signed-off-by: Sage Weil <sage@inktank.com>

testing: export TESTDIR in workunit task.

Some command-line tools need to reference the path
to the test directory, which is created at run-time.
We export this as TESTDIR

Signed-off-by: Joe Buck <jbbuck@gmail.com>
Reviewed-by: Sam Lang <sam.lang@inktank.com>

move the install to a separate task.

Signed-off-by: Sage Weil <sage@inktank.com>

testrados -> ceph_test_rados

Signed-off-by: Sage Weil <sage@inktank.com>

cleanup-run.sh: <owner> <run name>

Sloppy... this assumes the run is in the description as the archive dir.

Signed-off-by: Sage Weil <sage@inktank.com>

lock: allow filtering by description, description substring

Signed-off-by: Sage Weil <sage@inktank.com>

rgw: sudo

Signed-off-by: Sage Weil <sage@inktank.com>

fix a few archive/log stragglers

Signed-off-by: Sage Weil <sage@inktank.com>

ceph: make gitbuilder host configurable

Signed-off-by: Sage Weil <sage@inktank.com>

ceph: install -dbg packages, too

Signed-off-by: Sage Weil <sage@inktank.com>

ceph: create /var/run/ceph

Signed-off-by: Sage Weil <sage@inktank.com>

ceph-fuse: sudo

Signed-off-by: Sage Weil <sage@inktank.com>

sudo for admin socket commands

Signed-off-by: Sage Weil <sage@inktank.com>

cfuse -> ceph-fuse

ceph: store logs in normal location

We need to switch around how these are compressed and pulled, since they
aren't in the regular archive dir anymore.

Signed-off-by: Sage Weil <sage@inktank.com>

ceph: use default data, keyring locations

This required reordering the cluster setup so that we do the ceph-osd
--mkfs --mkkey prior to gathering keys and initializing the monitors.

Also, run daemons as root.

Signed-off-by: Sage Weil <sage@inktank.com>

ceph: don't uninstall librados, librbd

This forces uninstall of kvm too, which is expensive.

Signed-off-by: Sage Weil <sage@inktank.com>

ceph: pass package version to apt-get install

This avoids problems when a different or newer version of the package is
already installed.

Signed-off-by: Sage Weil <sage@inktank.com>

avoid secretfile, except for kclient

Only mount.ceph needs the secret in a standalone file.  Remove other users,
and simplify that one.

Signed-off-by: Sage Weil <sage@inktank.com>

rgw: specify keyring location

Otherwise we look at the default /var/lib/ceph/radosgw/ceph-$id/keyring.

Signed-off-by: Sage Weil <sage@inktank.com>

nuke: tolerate failed dpkg --configure -a/apt-get -f install

Signed-off-by: Sage Weil <sage@inktank.com>

install radosgw

Signed-off-by: Sage Weil <sage@inktank.com>

rbd: remove merge cruft

Signed-off-by: Sage Weil <sage@inktank.com>

ceph: simplify apt-key management

Run apt-key as root. No need to initialize ubuntu user's gpg.  Fix
whitespace.

Signed-off-by: Sage Weil <sage@inktank.com>

ceph: put client keyrings in /etc/ceph/ceph.$name.keyring

And make it world readable, for ubuntu's sake.

Signed-off-by: Sage Weil <sage@inktank.com>

nuke: dpkg --configure -a and apt-get -f install

Installing debs means we are more likely to hit a case where we interrupt
apt/dpkg.  Try to mop up as best we can in nuke.

Signed-off-by: Sage Weil <sage@inktank.com>

nuke: whitespace

Signed-off-by: Sage Weil <sage@inktank.com>

ceph: simpilfy package removal

apt-get doesn't have a nice way to tell if the package is not install and
we don't need to purge it.  Well, not one I found in 5 minutes.  Just
do a big purge and assume it works, or failed because there was nothing to
be done.

Signed-off-by: Sage Weil <sage@inktank.com>

nuke: remove librados, librbd

Signed-off-by: Sage Weil <sage@inktank.com>

ceph: install ceph-mds, ceph-common

Signed-off-by: Sage Weil <sage@inktank.com>

ceph: fix purge

Signed-off-by: Sage Weil <sage@inktank.com>

Install ceph debs and use installed debs

The ceph task installs ceph using the debian
packages now, and all invocations of binaries installed
in {tmpdir}/binary/usr/local/bin/ are replace with
the use of the binaries installed in standard locations
by the debs.

Author:    Sander Pool <sander.pool@inktank.com>
Signed-off-by: Sam Lang <sam.lang@inktank.com>

nuke: testrados -> ceph_test_rados

Signed-off-by: Sage Weil <sage@inktank.com>

misc: replace : with - in testdir name

The :'s break the list in $PATH.

Signed-off-by: Sage Weil <sage@inktank.com>

schedule_suite.sh: fix s3branch

Signed-off-by: Sage Weil <sage@inktank.com>

rbd_fsx: binary name now has ceph_ prefix

Signed-off-by: Sage Weil <sage@inktank.com>

rados: testrados -> ceph_test_rados

Signed-off-by: Sage Weil <sage@inktank.com>

schedule_suite.sh: choose s3branch based on teuthology branch

Signed-off-by: Sage Weil <sage@inktank.com>

schedule_suite.sh: take option teuthology branch arg

Signed-off-by: Sage Weil <sage@inktank.com>