Don't lose tracebacks of exceptions raised in a greenlet.

Exception objects don't contain the traceback of where they were
raised from (to avoid cyclic data structures wrecking gc and causing
mem leaks), so the singular "raise obj" form creates a new traceback
from the current execution location, thus losing the original location
of the error.

Gevent explicitly wants to throw away the traceback, to release any
objects the greenlet may still be referring to, closing files,
releasing locks etc. In this case, we think it's safe, so stash the
exception info away in a holder object, and resurrect it on the other
side of the results queue.

http://stackoverflow.com/questions/9268916/how-to-capture-a-traceback-in-gevent

This can be reproduced easily with

from teuthology.parallel import parallel
def f():
    raise RuntimeError("bork")
with parallel() as p:
    p.spawn(f)

and looking at the resulting traceback with and without this change.

rbd: allow xfstests task to specify rbd image formats

This adds the ability to specify the rbd image format to use for the
scratch and test devices for the rbd.xfstests task.

Signed-off-by: Alex Elder <elder@inktank.com>
Reviewed-by: Dan Mick <dan.mick@inktank.com>

rbd: allow image format to be specified

This adds the ability to specify an rbd image format (either 1 or 2)
for an rbd image.

Signed-off-by: Alex Elder <elder@inktank.com>
Reviewed-by: Dan Mick <dan.mick@inktank.com>

Suppress valgrind error "Invalid write 8"

Signed-off-by: tamil <tamil.muthamizhan@inktank.com>

radosgw-admin: update task for new usage reporting

Usage reporting output has been modified, also use the new
--categories input param.

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

schedule_suite.sh: try to use same branch for s3-tests.git

If it isn't there, warn and fall back to master.

s3tests: run against arbitrary branch/sha1 of s3-tests.git

debian ntp servers

task: die on ceph error or coredump

This task allows ceph to signal to teuth that it should die immediately
by touching a file under /tmp/cephtest

Signed-off-by: Mike Ryan <mike.ryan@inktank.com>

disable lockdep recursive warnings until #3040 is fixed

internal: fix escaping of \b in syslog grep

suppress this valgrind error

<error>
  <unique>0x4</unique>
  <tid>1</tid>
  <kind>InvalidWrite</kind>
  <what>Invalid write of size 8</what>
  <stack>
    <frame>
      <ip>0x400A299</ip>
      <obj>/lib/x86_64-linux-gnu/ld-2.15.so</obj>
      <fn>do_lookup_x</fn>
      <dir>/build/buildd/eglibc-2.15/elf</dir>
      <file>dl-lookup.c</file>
      <line>250</line>
    </frame>
    <frame>
      <ip>0x403122F</ip>
    </frame>
    <frame>
      <ip>0x400A522</ip>
      <obj>/lib/x86_64-linux-gnu/ld-2.15.so</obj>
      <fn>_dl_lookup_symbol_x</fn>
      <dir>/build/buildd/eglibc-2.15/elf</dir>
      <file>dl-lookup.c</file>
      <line>739</line>
    </frame>
  </stack>
  <auxwhat>Address 0x7feffeec8 is on thread 1's stack</auxwhat>
</error>

pops up recently

ceph: fix cpu_profile default

rbd.xfstests: default to 1gb (not 250mb) image

task: run osd/mds/mon with Google CPU profiler via cpu_profile option

Signed-off-by: Mike Ryan <mike.ryan@inktank.com>

ceph: support tmpfs_journal option to put journal on tmpfs

Signed-off-by: Mike Ryan <mike.ryan@inktank.com>

queue: fix logging of child return code

Disable asynchronous DNS lookups.

Especially on older hosts, we keep triggering errors::

  ServerNotFoundError: Unable to find the server at
  teuthology.front.sepia.ceph.com: [Errno 3] name does not exist

That comes from libevent's evdns via gevent.dns and httplib2. The rate
of these errors is low enough that they seem to be perhaps timeouts,
or more arbitrary. Busy looping on DNS resolution calls has never
triggered them, so far.

With ``monkey.patch_all(dns=False)``, the teuthology process will
block as a whole whenever doing DNS resolution. This will hopefully be
rare enough that it won't matter.

The only real "fix" seems to be upgrading libraries and hoping for the
best; this commit can be reverted after that is done.

Flush data to temp file before reading it in another process.

Oops tempfile now gives us file objects not fds.

In teuthology-worker, shuffle the child stdout/stderr into our log.

Otherwise, child can suffer a failure that does not get logged by
it's own exception handling machinery, and we have no idea why.

Minimize scope of try-except.

os.write and list.append won't raise CalledProcessError, and now
we don't need to try to contain them for temp file clean up reasons.

Use tempfile.NamedTemporaryFile instead of mkstemp.

Simpler code, no manual cleanup needed. We see a littering of
zero-length temp files from teuthology-worker, and this seems
like a likely source.

task: verify scrub detects files whose contents changed

Signed-off-by: Mike Ryan <mike.ryan@inktank.com>

task: scrub OSDs periodically

Signed-off-by: Mike Ryan <mike.ryan@inktank.com>

kernel: push a local .deb instead of using gitbuilder

This lets you specify a path to an existing kernel deb
to be pushed and installed on the remote node.

Limitations:
 - We don't build the deb for you.  figuring out what
   filename 'make deb-pkg' is building is annoying.
 - We need to be able to figure out the sha1 from the provided
   path.  It shouldn't be a problem, given the way make deb-pkg
   names the debs.

syslog check: fix false-positive BUG matches in random strings

osd_recovery: also test unfound discovery

This tests for bug #2866.

osd_recovery: test incomplete pg recovery

4-osd test to reproduce #2860 and confirm the fix.

ceph_manager: wait_for_active

ceph_manager: count 'incomplete' as 'down'

Fixed the code to pass 'yes' during mkfs

Signed-off-by: tamil <tamil.muthamizhan@inktank.com>

Added '-y' option for mkfs.ext4

Signed-off-by: tamil <tamil.muthamizhan@inktank.com>

admin_socket: make test optional

If it's not there, we just verify the output is valid json.

schedule_suite.sh: put coverage option in ceph section

ceph: fix mkfs/mount option defaults

Later code expects a list, not None.

tasks: add multibench task for testing pool creation

Also adds support for specifying a pool for radosbench
to create and then cleanup instead of "data".

Signed-off-by: Samuel Just <sam.just@inktank.com>

clock: print skew with ntp servers to log to help debug time issues

nuke: log what pid we are killing when we kill it

ceph: archive mon data to a .tgz

Saves bandwidth, time, and space.

set machine description to ctx.archive when auto-locking machines for a run

schedule/suite: schedule job, suite N times

kernel: fix kernel installation when kdb: is specified

This normalize check would only trigger if a *single* key was specified.
Change it so that it triggers as long as all keys are in the list of valid
keys. This lets us specify both kdb: true and a sha1/branch/tag.

Phew!

schedule_suite.sh: use workunits from ceph commit

Use the workunits from the same ceph branch we are testing.

ceph: add default btrfs mkfs options

ceph: cleanup/simplify mount/mkfs options

workunit: allow overrides

Pull top-level overrides into our config.  This lets you do:

overrides:
  workunit:
    branch: foo
tasks:
...
- workunit:
  clients:
    all:
    - foo
...

workunit: allow branch/sha1/tag to be specified

Pull the workunit(s) from the branch/tag/sha1 specified in the config.

workunit: pass branch/sha1 to test

Some tests download things from the ceph repo. Let them know which
version to use through the CEPH_REF environment variable.

Added functionality to get mkfs and mount options for file systems
from the config file,if present. Otherwise, default options are used.

The default value for inode size is changed to 2k when creating xfs.

Signed-off-by: tamil <tamil.muthamizhan@inktank.com>

fixed typo

Signed-off-by: tamil <tamil.muthamizhan@inktank.com>

radosgw-admin: use --bucket instead of old --bucket-id

The --bucket-id support was removed.

nuke: honor 'check-locks: ...' field in targets file

If you are nuking a yaml file with check-locks: false, don't check locks.

internal: archive mon data dirs

These can be useful for debugging, and are usually pretty small.

Fixes: #2714

internal: move pulling archive w/ tar to helper

use sudo to kill teuthology proc

run: make -a short for --archive

watch-suite: stupid script to watch teuth run progress

nuke: be more careful about kill; simplify

If the archive dir is specified, make sure we are killing the right
process.

Also drop the kill_process helper; it's simple enough to open-code.

nuke: nuke based on archive path

Use path/config.yaml for targets, path/pid for pid to kill, and
path/owner for job owner.

valgrind: add strptime suppressions

Precise's strptime triggers valgrind false positives.

Use ship_utilities to push the valgrind.supp file over, which is a bit
slippy.

Added a debug message

The debug message is to print the string that should be JSON.
This is to track a nightly run failure.

Signed-off-by: tamil <tamil.muthamizhan@inktank.com>

schedule_suite: use the sha1, not branch name

Keep the entire suite run on the same commit. We were resolving the sha1,
but not using it.

nuke - optionally kill the process hung

Added a function kill_process to kill the process hung in the nightly runs.
It takes in pid as an optional argument.

Signed-off-by: tamil <tamil.muthamizhan@inktank.com>

ceph: fix valgrind error check

grep all the logs, not the dir... doh!

Merge branch 'master' of github.com:ceph/teuthology

Now using daemon-helper

Signed-off-by: Mark Nelson <nhm@clusterfaq.org>

add cleanup-user.sh script

big hammer, use with care

schedule_suite.sh: drop -x

cleaned up commented code

Signed-off-by: Mark Nelson <nhm@clusterfaq.org>

Added blktrace task

Signed-off-by: Mark Nelson <nhm@clusterfaq.org>

ignore DEADLOCK line inside lockdep splat

Add script to create a vm image with extra packages

Add a task to run a test against rbd inside of qemu.

For now this task does not setup networking for the vm,
and simply runs an executable downloaded from a specified url.

It does support adding multiple rbd devices, but making use
of that with e.g. xfstests requires a bit more work.

Check for machine args based on local, not ctx.machines
Signed-off-by: Dan Mick <dan.mick@inktank.com>

whitelist current lockdep warnings in syslog

These are causing too much noise in the qa runs to leave, and #2617 is
sufficiently non-trivial to do this in the interim.  Putting a better
mechanism in place will include removing these coarse whitelist items and
replacing with something that specifically matches the failures we want
to ignore.

record owner at start of run

So that we can clean up easily even when we don't finish and there is no
summary.yaml.

teuthology-ls: tolerate non-existent 'success' key in summary file

schedule_suite: enable kdb

Among other things, you can attach to the console after the fact and type
'dmesg' to see wtf happened.

kernel: enable/disable kdb

This hard-codes ttyS1, which is what we use on sepia.

add usage log tests to radosgw-admin tasks

tests 'usage show' and 'usage trim'

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

sync clock at start of every run

tolerate 250ms clock drift

include suite in archive dir

whitelist 'slow request' in qa runs

radosgw-admin: fix for non-numeric bucket ids

radosgw-admin: test max buckets limit

radosgw-admin: remove buckets before user

Otherwise user delete will fail.

radosgw-admin: fix swift subuser/key tests

Need to do 'subuser (add|rm)', not 'key (add|rm)'.

schedule_suite.sh: add flavors, check/fix sha1s, optional templates

This should be everything we need to use this for the nightlies, with the
exception of updating the git trees, which can happen explicitly in the
crontab.

workunit: grab 'all' config from the right variable

workunit: allow setting environment variables

This is useful for e.g. running the same tests against rbd in new and
old formats.

--summary: add total counts, also note free machines

Signed-off-by: Dan Mick <dan.mick@inktank.com>
Reviewed-by: Josh Durgin <josh.durgin@inktank.com>

new variable lock hid lock() function

teuthology-lock: add --summary and --brief options

Signed-off-by: Dan Mick <dan.mick@inktank.com>
Reviewed-by: Josh Durgin <josh.durgin@inktank.com>

pull s3-tests.git using git, not http

ceph: simplify 'cluster' mon log handling

It's not a special file in the mon_data directory anymore, but intead
something in archive that will get slurped up normally.  Make sure we
grep for badness from the proper location.

Pass up unmodified exceptions from connection.connect()

This allows useful errors to be reported from things like
mismatched hostkeys, etc.

More shortnames fixes:
- Allow shortnames in teuthology-updatekeys as well
- Use list comprehensions instead of map()

task/: Added object map benchmarking test

Signed-off-by: Eleanor Cawthon <eleanor.cawthon@inktank.com>