task/swift: change upstream repository url

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

CephManager: add ability to test split

Signed-off-by: Samuel Just <sam.just@inktank.com>

pexec.py: Parse out role ID from the back.
Also, do not assume that the command needs to run from a specific directory.

Signed-off-by: Joe Buck <jbbuck@gmail.com>

Adding a Hadoop task.
This task configures and starts a Hadoop cluster.
It does not run any jobs, that must be done after
this task runs.
Can run on either Ceph or HDFS.

Signed-off-by: Joe Buck <jbbuck@gmail.com>

New ssh task that adds keys for node -> node ssh.
This generates a new keypair, pushes it to all nodes
in the context and adds all hosts to all other hosts
.ssh/authorized_keys file.
Cleans up all keys and authorized_keys entries
afterwards.

Signed-off-by: Joe Buck <jbbuck@gmail.com>
Reviewed-by: Sam Lang <sam.lang@inktank.com>

ceph.conf: default to smaller recovery chunk

Signed-off-by: Samuel Just <sam.just@inktank.com>
Reviewed-by: Josh Durgin <josh.durgin@inktank.com>

qemu: set qemu cache mode based on rbd cache setting

If we don't do this, qemu assumes no caching is used and doesn't send flushes.

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

Merge branch 'wip-mon-thrasher'

task: mon_thrash: thrash monitors while running other tests

Signed-off-by: Joao Eduardo Luis <jecluis@gmail.com>

run: save original config, too

s3tests: fix typo

workunit: fix indentation

xfstests: run in parallel on multiple machines

xfstests itself still seems to have some global dependencies that
make it hard to run more than one instance per node, so keep
the one client per node restriction.

Name the image after the client using it, and only run the
nested context managers once, so this task can work with
more than one client.

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

rgw-logsocket: a task to verify opslog socket works

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

task/pexec: Output stderr to teuthology log

Signed-off-by: Sam Lang <sam.lang@inktank.com>

task/ceph-fuse: Add log messages for abort

Signed-off-by: Sam Lang <sam.lang@inktank.com>

workunit: fix default subdir

Make subdir argument optional.

valgrind: enumerate warnings in log; check leaks from client, mon only

task: benchmark recovery

Measures latency before and during recovery using smalliobench.

Signed-off-by: Mike Ryan <mike.ryan@inktank.com>

Starting to auto-document this code.

Merge branch 'master' of https://github.com/ceph/teuthology

Added comment explaining how setup is tied to actual code.

workunit: Fix indentation

Signed-off-by: Sam Lang <sam.lang@inktank.com>

task/ceph-fuse: If umount fails, abort and cleanup

Signed-off-by: Sam Lang <sam.lang@inktank.com>

pexec: Logging each command isn't useful

Signed-off-by: Sam Lang <sam.lang@inktank.com>

Add task pexec to run bash commands in parallel

Signed-off-by: Sam Lang <sam.lang@inktank.com>

schedule_suite.sh: less noise

schedule_suite.sh: less noise

misc: Show url on get failure

Signed-off-by: Sam Lang <sam.lang@inktank.com>

ceph-fuse: apply overrides[ceph-fuse] to config

valgrind.supp: deliverate onexit leak

valgrind.supp: ceph-fuse leak from libfuse

Signed-off-by: Sage Weil <sage@inktank.com>

Clean up string interpolation operator spacing ceph_manager.py

Signed-off-by: Samuel Just <sam.just@inktank.com>

Add divergent_priors test

Tests scenario where merge_old_entry encounters a divergent
entry where the prior_version is prior to log_tail.  This
is a problem since it will go into the missing set, but won't
be re-added to the missing set during read_log() if the node
restarts prior to recovering the object.

Signed-off-by: Samuel Just <sam.just@inktank.com>

workunit: Move cleanup to separate run

Removing the scratchdir in the remote run command
at the end of the script invocation will do the remove
once the first script finishes.  With possibly a shared
scratch dir across workunit clients, we want to wait to
remove the scratch dir once all the workunit scripts have
completed.

Signed-off-by: Sam Lang <sam.lang@inktank.com>

workunit: Allow scratch dir to already exist

Signed-off-by: Sam Lang <sam.lang@inktank.com>

workunit: Add option to use specified subdir

Signed-off-by: Sam Lang <sam.lang@inktank.com>

ceph_manager: add test_min_size action

Thrasher can now with configurable frequency test min_size by
taking down all but one osd, waiting, killing that osd and bringing
back the others, and verifying that the cluster goes clean.

Signed-off-by: Samuel Just <sam.just@inktank.com>

schedule: fix var name

schedule: add option to display jobs in the queue

beanstalkd doesn't let you list jobs in the queue, but you can
inpsect specific job ids.

rbd task: support xfstests repeat count

This adds the ability to use the new repeat count argument to the
run_xfstests.sh script.  By default, the test suite will be run
once, but if a count is specified the script will execute the suite
that many times, but will only perform the setup (building the
tests, etc.) once.

Signed-off-by: Alex Elder <elder@inktank.com>
Reviewed-by: Josh Durgin <josh.durgin@inktank.com>
Reviewed-by: Dan Mick <dan.mick@inktank.com>

Merge pull request #4 from ceph/wip-buck

Use the configured username for _make_scratch_dir

Use the configured username for _make_scratch_dir

Add exit to kcon_most script

Signed-off-by: David Zafman <david.zafman@inktank.com>
Reviewed-by: Josh Durgin <josh.durgin@inktank.com>

coverage: note db table structure

add exec task

Merge pull request #2 from ceph/wip-buck

Wip buck

fixing the tense of my README change

Edit to README.bst to note that the ssh keys needed in the targets entries are the hosts public ssh key and not the users defined in the same entry

New nfs task that performs NFS client mount of export (see knfsd)

Fixes: 3245
Signed-off-by: David Zafman <david.zafman@inktank.com>
Reviewed-by: Josh Durgin <josh.durgin@inktank.com>

New knfsd task that does an nfs server export
    Ability to specify options
    By default only export to current hosts

Fixes: 3245
Signed-off-by: David Zafman <david.zafman@inktank.com>
Reviewed-by: Josh Durgin <josh.durgin@inktank.com>

New kcon_most task that enables most ceph kernel logging

Signed-off-by: David Zafman <david.zafman@inktank.com>
Reviewed-by: Josh Durgin <josh.durgin@inktank.com>

Fix ceph-fuse example

Signed-off-by: David Zafman <david.zafman@inktank.com>
Reviewed-by: Josh Durgin <josh.durgin@inktank.com>

Fix typo in README

Signed-off-by: David Zafman <david.zafman@inktank.com>
Reviewed-by: Josh Durgin <josh.durgin@inktank.com>

Printing the number of tests passed when 'all' tests are successful

Signed-off-by: tamil <tamil.muthamizhan@inktank.com>

radosgw-admin: usage should time out after 20 minutes

Not 45 seconds.

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

console: add console task

Log the sol console of every target to a file in the archive dir.

internal: stop warning about lockdep circular dependency

This is coming from xfs, currently.  Bah.

include newpool in osd cap for client.0

This is needed by the kclient_workunit_kclient task.

misc: use new syntax for osd caps

pool=pool1,pool2 is not valid for the new grammar

fix lock held when returning to user space typo

Allow scheduled jobs to use different teuthology branches

teuthology-[schedule|suite] get a parameter to specify the branch,
to put the job in a branch-specific queue. Workers running that
branch of teuthology can pull jobs from that queue.

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

Fix errors found by pyflakes

A bunch of unused imports and variables.

ignore 'lock held when returning to user space' from btrfs sb_internal crap

replace tab with spaces

Signed-off-by: Sam Lang <sam.lang@inktank.com>

fix error on teardown failing to unmount /mnt

update doc to be ceph-fuse task (instead of cfuse)

imported subprocess module in nuke script

Signed-off-by: tamil <tamil.muthamizhan@inktank.com>

nuke: add missing import

rbd: fix typo and cast to int before comparing format

rbd: only specify --format if not using the default

This lets older versions that do not support --format still work with
format 1 images.

Don't lose tracebacks of exceptions raised in a greenlet.

Exception objects don't contain the traceback of where they were
raised from (to avoid cyclic data structures wrecking gc and causing
mem leaks), so the singular "raise obj" form creates a new traceback
from the current execution location, thus losing the original location
of the error.

Gevent explicitly wants to throw away the traceback, to release any
objects the greenlet may still be referring to, closing files,
releasing locks etc. In this case, we think it's safe, so stash the
exception info away in a holder object, and resurrect it on the other
side of the results queue.

http://stackoverflow.com/questions/9268916/how-to-capture-a-traceback-in-gevent

This can be reproduced easily with

from teuthology.parallel import parallel
def f():
    raise RuntimeError("bork")
with parallel() as p:
    p.spawn(f)

and looking at the resulting traceback with and without this change.

rbd: allow xfstests task to specify rbd image formats

This adds the ability to specify the rbd image format to use for the
scratch and test devices for the rbd.xfstests task.

Signed-off-by: Alex Elder <elder@inktank.com>
Reviewed-by: Dan Mick <dan.mick@inktank.com>

rbd: allow image format to be specified

This adds the ability to specify an rbd image format (either 1 or 2)
for an rbd image.

Signed-off-by: Alex Elder <elder@inktank.com>
Reviewed-by: Dan Mick <dan.mick@inktank.com>

Suppress valgrind error "Invalid write 8"

Signed-off-by: tamil <tamil.muthamizhan@inktank.com>

radosgw-admin: update task for new usage reporting

Usage reporting output has been modified, also use the new
--categories input param.

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

schedule_suite.sh: try to use same branch for s3-tests.git

If it isn't there, warn and fall back to master.

s3tests: run against arbitrary branch/sha1 of s3-tests.git

debian ntp servers

task: die on ceph error or coredump

This task allows ceph to signal to teuth that it should die immediately
by touching a file under /tmp/cephtest

Signed-off-by: Mike Ryan <mike.ryan@inktank.com>

disable lockdep recursive warnings until #3040 is fixed

internal: fix escaping of \b in syslog grep

suppress this valgrind error

<error>
  <unique>0x4</unique>
  <tid>1</tid>
  <kind>InvalidWrite</kind>
  <what>Invalid write of size 8</what>
  <stack>
    <frame>
      <ip>0x400A299</ip>
      <obj>/lib/x86_64-linux-gnu/ld-2.15.so</obj>
      <fn>do_lookup_x</fn>
      <dir>/build/buildd/eglibc-2.15/elf</dir>
      <file>dl-lookup.c</file>
      <line>250</line>
    </frame>
    <frame>
      <ip>0x403122F</ip>
    </frame>
    <frame>
      <ip>0x400A522</ip>
      <obj>/lib/x86_64-linux-gnu/ld-2.15.so</obj>
      <fn>_dl_lookup_symbol_x</fn>
      <dir>/build/buildd/eglibc-2.15/elf</dir>
      <file>dl-lookup.c</file>
      <line>739</line>
    </frame>
  </stack>
  <auxwhat>Address 0x7feffeec8 is on thread 1's stack</auxwhat>
</error>

pops up recently

ceph: fix cpu_profile default

rbd.xfstests: default to 1gb (not 250mb) image

task: run osd/mds/mon with Google CPU profiler via cpu_profile option

Signed-off-by: Mike Ryan <mike.ryan@inktank.com>

ceph: support tmpfs_journal option to put journal on tmpfs

Signed-off-by: Mike Ryan <mike.ryan@inktank.com>

queue: fix logging of child return code

Disable asynchronous DNS lookups.

Especially on older hosts, we keep triggering errors::

  ServerNotFoundError: Unable to find the server at
  teuthology.front.sepia.ceph.com: [Errno 3] name does not exist

That comes from libevent's evdns via gevent.dns and httplib2. The rate
of these errors is low enough that they seem to be perhaps timeouts,
or more arbitrary. Busy looping on DNS resolution calls has never
triggered them, so far.

With ``monkey.patch_all(dns=False)``, the teuthology process will
block as a whole whenever doing DNS resolution. This will hopefully be
rare enough that it won't matter.

The only real "fix" seems to be upgrading libraries and hoping for the
best; this commit can be reverted after that is done.

Flush data to temp file before reading it in another process.

Oops tempfile now gives us file objects not fds.

In teuthology-worker, shuffle the child stdout/stderr into our log.

Otherwise, child can suffer a failure that does not get logged by
it's own exception handling machinery, and we have no idea why.

Minimize scope of try-except.

os.write and list.append won't raise CalledProcessError, and now
we don't need to try to contain them for temp file clean up reasons.

Use tempfile.NamedTemporaryFile instead of mkstemp.

Simpler code, no manual cleanup needed. We see a littering of
zero-length temp files from teuthology-worker, and this seems
like a likely source.

task: verify scrub detects files whose contents changed

Signed-off-by: Mike Ryan <mike.ryan@inktank.com>

task: scrub OSDs periodically

Signed-off-by: Mike Ryan <mike.ryan@inktank.com>

kernel: push a local .deb instead of using gitbuilder

This lets you specify a path to an existing kernel deb
to be pushed and installed on the remote node.

Limitations:
 - We don't build the deb for you.  figuring out what
   filename 'make deb-pkg' is building is annoying.
 - We need to be able to figure out the sha1 from the provided
   path.  It shouldn't be a problem, given the way make deb-pkg
   names the debs.

syslog check: fix false-positive BUG matches in random strings

osd_recovery: also test unfound discovery

This tests for bug #2866.

osd_recovery: test incomplete pg recovery

4-osd test to reproduce #2860 and confirm the fix.