Merge branch 'wip-lock'

Reviewed-by: Josh Durgin <josh.durgin@inktank.com>

lock: pass desc to lock operation; leave on unlock

Pass the desc to the lock operation.

The unlock operation now clears desc for us; no need to do it outselves.

Signed-off-by: Sage Weil <sage@inktank.com>

locker: set desc on lock

Signed-off-by: Sage Weil <sage@inktank.com>

locker: clear desc on unlock

Signed-off-by: Sage Weil <sage@inktank.com>

thrashosds: add test_backfill_full

Signed-off-by: Samuel Just <sam.just@inktank.com>
Reviewed-by: Dan Mick <dan.mick@inktank.com>

thrashosds.py: fix line length

Signed-off-by: Samuel Just <sam.just@inktank.com>
Reviewed-by: Dan Mick <dan.mick@inktank.com>

locker: log updates

Note whenever locks are acquired/released, or a machine's description is updated.
Under apache, these will go to error.log.

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

ceph-deploy: purge /var/lib/ceph data on finish

The install task does this now that the package doesn't; we
need to too.

Signed-off-by: Sage Weil <sage@inktank.com>

verify /var/lib/ceph not present on start

Verify there is no /var/lib/ceph, just like we do with the cephtest
directory.  We will need to change this (or make it optional) when we
allow runs against an existing cluster, but then a whole bunch of other
things will need to change then as well.

Signed-off-by: Sage Weil <sage@inktank.com>

install: need sudo when purging /var/lib/ceph

Signed-off-by: Sage Weil <sage@inktank.com>

install, nuke: explicitly purge /var/lib/ceph

The packages won't do this anymore.

Signed-off-by: Sage Weil <sage@inktank.com>

teuthology: cleanup client dirs for workunit task

This patch corrects an issue where a workunit task is
not cleaning up generated directories
if the 'all' key is used to specify clients.

Signed-off-by: Joe Buck <jbbuck@gmail.com>
Reviewed-by: Sam Lang <sam.lang@inktank.com>

stop ignoring osd leaks

Note that the mds is the only one left that we are ignoring.

moving client.keyring creation out of ceph task

Signed-off-by: tamil <tamil.muthamizhan@inktank.com>

lock: make do_summary() respect --machine-type

Signed-off-by: Dan Mick <dan.mick@inktank.com>

stop and restart daemons as restart only starts.

Signed-off-by: tamil <tamil.muthamizhan@inktank.com>

task/ceph:  Revert extra check for running status

Don't use exit status info to track daemon state.  We need to find
a better way to do this for the restart task.

Signed-off-by: Sam Lang <sam.lang@inktank.com>

suite: shorten subject a bit

Signed-off-by: Sage Weil <sage@inktank.com>

Merge branch 'wip-4197'

osd: data loss: low space handling

Automated test cases for feature #4197

Signed-off-by: David Zafman <david.zafman@inktank.com>
Reported-by: Sam Just <sam.just@inktank.com>

Fixed so that installation works on a brand new CentOS system.

Do yum install rather than yum reinstall for CentOS.
When exiting CentOS, yum erase the ceph-release rpm.

Signed-off-by: Warren Usui <warren.usui@inktank.com>

task/restart:  Handle error from script correctly

The exitstatus on the process is a gevent.AsyncResult
(not an int).  Use the try/except pattern for handling
errors instead.

Signed-off-by: Sam Lang <sam.lang@inktank.com>

s/dist-upgrade/upgrade

Signed-off-by: tamil <tamil.muthamizhan@inktank.com>

Fixed ceph-fuse mount point cleanup bug

Tested for the existence of /sys/fs/fuse/connections/*/abort
before clobbering it.  This problem was generated when all
the machines were virtual CentOS machines.

Signed-off-by: Warren Usui <warren.usui@inktank.com>

task/restart:  Cleanup in finally

Need to cleanup the files created for this test from
the testdir.

Signed-off-by: Sam Lang <sam.lang@inktank.com>

task/restart: Fix check for done

The last command a restart script outputs is 'done'
indicating the script does not require being restarted
further.  Handle this case properly.

Signed-off-by: Sam Lang <sam.lang@inktank.com>

task/restart: Restart task for testing daemon kill

The ceph daemons support being killed at a specific code point
with a config option.  In some cases, we want to test a kill point
only once for a given daemon run (such as replay that only occurs
during daemon startup).  This task allows running a script or executable
and (when the script sends a command to the task) restarting it with
a temporary config that has the appropriate kill point set.  Once
the daemon asserts and gets restarted, the original config is used.

Adds a specific restart_with_args() method to the DaemonState in the
ceph task.

Right now this task follows the workunit task closely, but uses stdout/stdin
to specify when to restart a daemon.

Signed-off-by: Sam Lang <sam.lang@inktank.com>

added ceph_health check and a few log messages

Signed-off-by: tamil <tamil.muthamizhan@inktank.com>

Fixed 'clock:' on Centos

ntpdc commands were formerly returning -127 on CentOS

Signed-off-by: Warren Usui <warren.usui@inktank.com>
Reviewed-by: Sage Weil <sage@inktank.com>

added install.upgrade task

Signed-off-by: tamil <tamil.muthamizhan@inktank.com>

added task for ceph.restart

Signed-off-by: tamil <tamil.muthamizhan@inktank.com>

install: do debs for 'Debian'

Signed-off-by: Sage Weil <sage@inktank.com>

install: el6 -> rpm

Slightly more general.

Signed-off-by: Sage Weil <sage@inktank.com>

Added el6 install functionality for CentOS systems.

install_packages, remove_packages and remove_sources are now the
installation and removal functions used by teuthology.  Debian
references have been removed outside of tasks/install.py.  CentOS
functionality parallel to Debian have been added to tasks/install.py,
and el6 references have been added to nuke.py, task/ceph-fuse.y and
task/install.py.

Some files created by CentOS are removed with rm -fr.  This should
be changed once the installation/removal rpm procedure is implemented.

Signed-off-by: Warren Usui <warren.usui@inktank.com>
Reviewed-by: Sage Weil <sage@inktank.com>

Use service instead of initctl to restart rsyslog.

This change is needed to make sure teuthology works on CentOS when the
-a option is specified.

Signed-off-by: Warren Usui <warren.usui@inktank.com>

Merge remote-tracking branch 'gh/wip-powercycle-fixes'

ceph.conf: auth debug = true

Signed-off-by: Sage Weil <sage@inktank.com>

ceph-deploy: uninstall even when no archive

Signed-off-by: Sage Weil <sage@inktank.com>

task/ceph_manager: Only reconnect if powercycled

We don't need to reconnect for remotes
that haven't been powercycled.

Signed-off-by: Sam Lang <sam.lang@inktank.com>

schedule_suite.sh: crank up mon logs

Until we find #4279.

Signed-off-by: Sage Weil <sage@inktank.com>

task/thrashosds: Ipmi checking/setup in thrashosds

We don't need to setup the ipmi console on runs that
don't use powercycling, so delay setup of the RemoteConsole
with ipmi to the thrashosd task and only then if the powercycle
config is set.  This avoids spurious test failures from flaky
ipmi.

Signed-off-by: Sam Lang <sam.lang@inktank.com>

task/ceph_manager:  Check that ipmi is enabled

If powercycling was requested for the osd thrasher
we should ensure that we are able to reach the
ipmi console.  This helps us avoid weird errors.

Signed-off-by: Sam Lang <sam.lang@inktank.com>

task/ceph: Recreate /var/run/ceph on powercycle

If a node is powecycled during testing, we need to
recreate /var/run/ceph once the node restarts.

Signed-off-by: Sam Lang <sam.lang@inktank.com>

lock: tolerate description of None

Signed-off-by: Sage Weil <sage@inktank.com>

teuthology: update hadoop task for new code layout

Update the teuthology Hadoop task to use
the new code layout.

Signed-off-by: Joe Buck <jbbuck@gmail.com>
Reviewed-by: Sam Lang <sam.lang@inktank.com>

increasing the default memory of vm to 4 MB

Signed-off-by: tamil <tamil.muthamizhan@inktank.com>

ceph-deploy: no need to call chef explicitly

The chef task does this.

Signed-off-by: Sage Weil <sage@inktank.com>

ceph-deploy: use ceph.com git mirror

Signed-off-by: Sage Weil <sage@inktank.com>

ceph: sudo grep /var/log/ceph/ceph.log

Signed-off-by: Sage Weil <sage@inktank.com>

mds_thrash: requery mds status inside the wait loop

Signed-off-by: Sage Weil <sage@inktank.com>

schedule_suite.sh: check, but do not sync, clock for each run

Trust NTP to actually sync things.  But check the clock skew so we can
verify it if something seems off.

Signed-off-by: Sage Weil <sage@inktank.com>

mpi: substitute $TESTDIR

Signed-off-by: Sage Weil <sage@inktank.com>

exec/pexec: substitute $TESTDIR into command

It might be better to make this unescaped, but that's trickier.

Signed-off-by: Sage Weil <sage@inktank.com>

schedule_suite.sh: take machine type

This script is getting out of hand.. pretty soon we need to move to python
and argparse.

Signed-off-by: Sage Weil <sage@inktank.com>

Revert "ceph.conf: osd debug op order = true"

This reverts commit 4f68e3ee122d0d2bb18d7f75b711962b272d3edd.

Until we fix 4392... the kernel is sending ops out of order.

rados.py: add option to do many short runs

Signed-off-by: Samuel Just <sam.just@inktank.com>
Reviewed-by: Josh Durgin <josh.durgin@inktank.com>

ceph-deploy task

Signed-off-by: tamil <tamil.muthamizhan@inktank.com>

added 'extras' to install extra packages excluding ceph

Signed-off-by: tamil <tamil.muthamizhan@inktank.com>

lock: remove description when unlocking

This will hopefully make it easier to track down what's leaving nodes unlocked.

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

ceph.conf: osd debug op order = true

Debug the osd op ordering by default.  Most of the runs have a small number
of clients, which makes the STL maps cheap.

Signed-off-by: Sage Weil <sage@inktank.com>

testing: fix logic in determining Hadoop master

Signed-off-by: Joe Buck <jbbuck@gmail.com>

testing: specify ceph.conf path in core-site.xml

Signed-off-by: Joe Buck <jbbuck@gmail.com>

install: install libcephfs-java

Signed-off-by: Sage Weil <sage@inktank.com>

ceph-fuse: install via install.py

Signed-off-by: Sage Weil <sage@inktank.com>

Implement email task.

Email.py was added so that the emailto attribute could be passed,
and to prevent 'module object has no attribute: email' errors from
happening.  Run.py actual performs the email operation and calls
suite.email_results to do the actual send mail operation.  The
information passed right now is the summary and config information.

Signed-off-by: Warren Usui <warren.usui@inktank.com>

Fix pass/fail display on exit.

Signed-off-by: Warren Usui <warren.usui@inktank.com>

ceph-fuse: fix install_debs call with new syntax

Signed-off-by: Sage Weil <sage@inktank.com>

install: poll for packages if wait-for-package: true

If the yaml has

 wait-for-package: true

then block and poll for the packages to appear if they are not already
there.  This is only useful for new branches or explicit sha1's, obviously.

Signed-off-by: Sage Weil <sage@inktank.com>

install: fix branch/tag/sha1 selection

We were only allowing selection of packages by branch!

Signed-off-by: Sage Weil <sage@inktank.com>

Merge branch 'master' of github.com:ceph/teuthology

ceph_manager: use an exception type

Otherwise this obscures the error

Signed-off-by: Sage Weil <sage@inktank.com>

teuthology: remove CEPH_JAVA_PATH

Since teuthology now uses debian packages,
we do not need to set this in workunit.
The one test that uses this now tests for
it locally.

Signed-off-by: Joe Buck <jbbuck@gmail.com>

teuthology: add an extra_packages flag to install

Some tests require additional packages
(e.g., java bindings, hadoop bindings).
Extend the install task to allow for those
packages to be specified in the yaml files.

Signed-off-by: Joe Buck <jbbuck@gmail.com>
Reviewed-by: Sam Lang <sam.lang@inktank.com>

nuke: blow away /home/ubuntu/cephtest too

(along with /tmp/cephtest)

Signed-off-by: Sage Weil <sage@inktank.com>

Add timer.py and display summary info in run.py.

Signed-off-by: Warren Usui <warren.usui@inktank.com>

radosgw-admin: Bug fixes for issue 4251.

Fixes errors introduced by d44fb14762c3d7e2853a8e4be012cd8e4557124e.

Signed-off-by caleb.miles <caleb.miles@inktank.com>

nuke: blow away /home/ubuntu/cephtest too

(along with /tmp/cephtest)

Signed-off-by: Sage Weil <sage@inktank.com>

Add timer.py and display summary info in run.py.

Signed-off-by: Warren Usui <warren.usui@inktank.com>

rbd: drop udev

The packages have these rules now.

Signed-off-by: Sage Weil <sage@inktank.com>

exec, pexec: set TESTDIR

Signed-off-by: Sage Weil <sage@inktank.com>

ceph.conf: debug ms = 1 for monitors

Signed-off-by: Sage Weil <sage@inktank.com>

rbd: set TESTDIR when running xfstests

[elder@inktank.com: fixed typo]

Signed-off-by: Sage Weil <sage@inktank.com>

nuke: sudo for killall

Signed-off-by: Sage Weil <sage@inktank.com>

task: ceph: create monitor data directories prior to --mkfs

The new monitor store does not create the data directory on --mkfs. We
must create it instead, much like what happens with the osds.

Signed-off-by: Joao Eduardo Luis <joao.luis@inktank.com>

task: mon_thrash: Thrash multiple monitors and 'maintain-quorum' option

We now add a new option 'thrash-many' that by being set to true will break
the default behaviour of killing only one monitor at a time.  Instead,
this option will select up to the maximum number of killable monitors to
kill in each round.

We also add a new 'maintain-quorum' option that will limit the amount of
monitors that can be killed in each thrashing round.  If set to true, this
option will limit the amount of killable monitors up to (n/2-1).  This
means that if we are running a configuration that only has up to two
configured monitors, if 'maintain-quorum' is set to true, this task won't
run as there are no killable monitors -- in such a scenario, this option
should be set to false.

Furthermore, if 'store-thrash' is set to true, then 'maintain-quorum' must
also be set to true, as we cannot let the task to thrash all the monitor
stores, or we wouldn't be able to sync from other monitors, nor can we
let quorum be dropped, or we won't be able to resync our way into quorum.

Signed-off-by: Joao Eduardo Luis <joao.luis@inktank.com>

task: mon_thrash: Add 'seed' and 'store-thrash' options

This patch introduces an option to thrash a monitor store when we thrash
the monitors, as well as a 'store-thrash-probability' option (defaulting
to 50%).

We also took this opportunity to introduce a new 'seed' option, that ought
to allow a given run of this task to be reproducible.  This might come in
hand when attempting to reproduce a given behavior that would otherwise
be randomly triggered.

You should note that while the 'seed' option will indeed mimic past
behaviors, this only applies to a past behavior of this task: other tasks
are not affected by this value, nor are any workunits or even ceph daemons.

Signed-off-by: Joao Eduardo Luis <joao.luis@inktank.com>

ceph.conf: log file, not log dir

Signed-off-by: Sage Weil <sage@inktank.com>

install: ignore apt-get update failures on package removal

At that point we don't really care.

Signed-off-by: Sage Weil <sage@inktank.com>

ceph: fix log, /var/run/ceph stupid

Signed-off-by: Sage Weil <sage@inktank.com>

Fix unused vars, unused imports, and aliasing

Found by pyflakes

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

radosgw-admin: fix errors found by pyflakes

Using the wrong variable, and true/false are capitalized in python.

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

ceph_manager: fix asok string formatting

Signed-off-by: Sage Weil <sage@inktank.com>

ceph: make /var/run/ceph writeable by non-root too

Signed-off-by: Sage Weil <sage@inktank.com>

ceph: fix /var/log/ceph chown/cmod typo

Signed-off-by: Sage Weil <sage@inktank.com>

ceph.conf: use default locations for admin socket; fix client log file

Signed-off-by: Sage Weil <sage@inktank.com>

make /var/log/ceph writeable by non-root; make clients log to it

Signed-off-by: Sage Weil <sage@inktank.com>

install: be slightly more efficient

Signed-off-by: Sage Weil <sage@inktank.com>

install: be more careful about package removal

- call apt separately for each package; it will error out annoyingly if
there is one in the list not in the APT sources.
- use dpkg with appropriate force to clean up broken half-installs.

Signed-off-by: Sage Weil <sage@inktank.com>

ceph-fuse: install -dbg package, too

Signed-off-by: Sage Weil <sage@inktank.com>

radosgw-admin: fix sleep syntax error

Signed-off-by: Sage Weil <sage@inktank.com>