Helper scripts live in /usr/local/bin now!

Move helper scripts to /usr/local/bin

Merge pull request #74 from ceph/wip-5954

Wip 5954

Merge pull request #73 from ceph/wip-5954-alt

Via automagic, only call ulimit -n if running as root.

Add internal.sudo subtask.

Let execute() accept a string for args.

Add Cluster.write_file()

Use misc.get_archive_dir()

Add get_archive_dir()

Put sudo in front of adjust-ulimits if it's used

Via automagic, only call ulimit -n if running as root.

Also, add comments because comments are cool.

Run yum clean all after installing new ceph-release.

In order to get around the issue of repomd.xml being older than
the previously installed one depending on when the gitbuilder
built the repo.

Signed-off-by: Sandon Van Ness <sandon@inktank.com>

Merge pull request #71 from ceph/wip-no-pythonpath

drop obsolete PYTHONPATH settings

drop obsolete PYTHONPATH settings

These are left over from when we were extracting a tarball in the test dir.

Signed-off-by: Sage Weil <sage@inktank.com>

Append '/' to the end of the log directory path

Merge pull request #64 from ceph/wip-nuke-info

nuke: get pid, owner from info.yaml (if present)

Merge pull request #65 from ceph/wip-schedule

schedule: strip out targets

Merge pull request #68 from alfredodeza/6224

add the missing  for fedora links in install task

add the missing  for fedora links in install task

Signed-off-by: Alfredo Deza <alfredo.deza@inktank.com>

schedule_suite.sh: turn up osd logging a little

We have a collectin of bugs that we haven't been able to
reproduce but crop up regularly in the nightlies.  Sam's best
guess is a dropped message, so let's try to catch that.

Signed-off-by: Sage Weil <sage@inktank.com>

Add missing sudo from command.

Fixes: #6218

Merge pull request #67 from ceph/wip-3791

Wip 3791

Add note about public teuthology logs.

Wrap paragraphs.

Merge pull request #66 from ceph/wip-specific-exceptions

Catch CommandFailedError and print debug info

Catch CommandFailedError and print debug info

schedule: strip out targets

If the user feeds in a yaml with targets, the worker will launch the job
but fail with

2013-09-03T11:18:34.333 CRITICAL:root:AssertionError: You cannot specify targets in a config file when using the --lock option

Just strip them out before scheduling.  This eases my personal workflow
where I have a test I'm running manually against some prelocked machines
but also want to schedule it.

Signed-off-by: Sage Weil <sage@inktank.com>

Logs and Sentry links are public now.

Revert "Use install -d for /var/log/ceph."

This reverts commit 8f29b3f9f1f294c449bb5215767cad67fdf7cde6.

Reviewed-by: Warren Usui <warren.usui@inktank.com>

schedule_suite.sh: default email to ceph-qa@ceph.com

Signed-off-by: Sage Weil <sage@inktank.com>

Revert "get_scratch_devices(): catch CommandFailedError, log "dev in use""

This reverts commit 416508de9c628c5cae1b3a7f05bb3ec0e3639bdb.

NameError: global name 'CommandFailedError' is not defined

README: add deps

Reported-by: Loic Dachary <loic@dachary.org>
Signed-off-by: Sage Weil <sage@inktank.com>

s/ceph-debug/ceph-debuginfo for rpms

Signed-off-by: tamil <tamil.muthamizhan@inktank.com>

get_scratch_devices(): catch CommandFailedError, log "dev in use"

Signed-off-by: Dan Mick <dan.mick@inktank.com>
Reviewed-by: Sage Weil <sage@inktank.com>

nuke: get pid, owner from info.yaml (if present)

Fall back to the old files if info.yaml is missing.

Signed-off-by: Sage Weil <sage@inktank.com>

Merge pull request #63 from ceph/wip-logger

Never use 'except:' without specifying an Exception.

Never use 'except:' without specifying an Exception.

Merge pull request #62 from ceph/wip-logger

Add hung job description to email

run: do not import at top level

This makes a run with --lock hang when connecting, for some
reason.  E.g.,

 $ teuthology -v a.yaml --lock
 ...
 INFO:teuthology.task.internal:Opening connections...
 DEBUG:teuthology.task.internal:connecting to ubuntu@plana06.front.sepia.ceph.com
 <hangs>

No clue what is going on here, but this fixes it!

Signed-off-by: Sage Weil <sage@inktank.com>

Add hung job description to email

Merge pull request #61 from ceph/wip-logger

Log all the things! (Things like exceptions.)

Workers: only log child's stderr, not stdout

Don't print colon if there's no exception message. Also, remove testing
exception.

Pretty-up write_initial_metadata; s/run/name/

Add exception hook

run: write info.yaml on job start

Include basic metadata bout the job.

Signed-off-by: Sage Weil <sage@inktank.com>

Move logging setup out of main()

test

run: set up archive dir and logger output sooner

Signed-off-by: Sage Weil <sage@inktank.com>

Merge pull request #58 from ceph/queue

Don't assume anything about the base path here.

schedule_suite.sh: allow partial 'suite' names

Mangle the name (/ -> :) in the run name.  Separate base from
relative path so that the job names don't include a full path.

Signed-off-by: Sage Weil <sage@inktank.com>

suite: return [] for build_matrix base case

This gives us an empty list instead of a crash on an empty dir
or bad symlink

Signed-off-by: Sage Weil <sage@inktank.com>

Merge pull request #60 from ceph/sentry

Add run name to first line of email.

Merge pull request #59 from ceph/wip-collections

redo the way we describe test collections

Add run name to first line of email.

suite: build_matrix as a list of filenames, not file content

Signed-off-by: Sage Weil <sage@inktank.com>

suite: allow individual files to be scheduled

Signed-off-by: Sage Weil <sage@inktank.com>

suite: generalize collection expansion

Previous, a collection was a directory like this:

 mycollection/
 mycollection/facet1/
 mycollection/facet1/1a.yaml
 mycollection/facet1/1b.yaml
 mycollection/facet2/
 mycollection/facet2/2a.yaml
 mycollection/facet3/
 mycollection/facet3/3a.yaml
 mycollection/facet3/3b.yaml

and this would expand to

 1a + 2a + 3a
 1a + 2a + 3b
 1b + 2a + 3a
 1b + 2a + 3b

The fixed directory depth and requirement for a subdir even
when there is only 1 item is annoying.  Instead, allow an
arbitrary directory structure, with the following rules:

 - a .yaml file is a taken as-is (duh); other files still
   ignored
 - a directory is normally just a way to organize files.  We
   recursively descend and build a list of what we fine.
 - a directory with a '%' file in it is special:
     - take the product of every item in the dir (much like
       we did before)
 - a directory with a '+' file in it is special:
     - concatenate everything in the dir into one job

Note that this is equivalent to the previous structure if we
do:

 for facet in mycollection/* ; do touch $facet/% ; done

We can clean up slightly be taking any dir with only one yaml
file in it and replacing the dir with the bare .yaml.

Once this is done, we can reorganize directories however we
like.

Signed-off-by: Sage Weil <sage@inktank.com>

suite: clean up imports

Signed-off-by: Sage Weil <sage@inktank.com>

suite: make collection args (optionally) relative to a base dir

Signed-off-by: Sage Weil <sage@inktank.com>

suite: make names a bit more friendly

Signed-off-by: Sage Weil <sage@inktank.com>

suite: add --dry-run

Signed-off-by: Sage Weil <sage@inktank.com>

Don't assume anything about the base path here.

Merge pull request #54 from ceph/sentry

Add logs and Sentry events to suite emails

Don't return inside __init__

Add apology for non-public links

Indent wrapped exceptions.

s3tests: extend for multi-region tests

Added code to the s3tests task to extract
multi-region info so that that data
can be added to the S3TEST_CONF file
used to run S3 tests.

Signed-off-by: Joe Buck <jbbuck@gmail.com>
Reviewed-by: Josh Durgin <josh.durgin@inktank.com>

rgw: persist the region info

The rgw task deletes the region info
from the config structure. The s3tests
task needs this info, so we persist
it by sticking it in the ctx object.

Signed-off-by: Joe Buck <jbbuck@gmail.com>
Reviewd-by: Josh Durgin <josh.durgin@inktank.com>

radosgw-agent: store radosgw_agent server/port

Persist the hostname and port number used
by the radosgw-agent http server.

Signed-off-by: Joe Buck <jbbuck@gmail.com>
Reviewed-by: Josh Durgin <josh.durgin@inktank.com>

move multi_region_enabled() into util class

Moving a helper function into a more general
location so that it can be used by other
classes.

Signed-off-by: Joe Buck <jbbuck@gmail.com>
Reviewed-by: Josh Durgin <josh.durgin@inktank.com>

internal: whitelist btrfs lock imbalance bug 6097

Signed-off-by: Sage Weil <sage@inktank.com>

ceph.conf.template: add osd_debug_pg_log_writeout = true

Signed-off-by: Samuel Just <sam.just@inktank.com>

Merge pull request #55 from ceph/wip-undefined

Reviewed-by: Sage Weil <sage.weil@inktank.com>

Fix undefined symbol errors

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

Time is an integer, in seconds.

Make email formatting way, way nicer.

Move job listing logic to get_jobs()

Merge pull request #53 from ceph/wip-asok-retry

fix admin_socket retry

admin_socket: fix retry-on-error behavior

Signed-off-by: Sage Weil <sage@inktank.com>

Avoid double slashes in sentry event URL

Add tags! Task name and owner to start.

Add sentry events to suite email.

Also leave a list of sentry events in the summary

Add URL to Sentry event to traceback output.

Use os.path.join, not urlparse.urljoin

For failures, add http links to log directories.

Add a catch-all __getattr__(); add comments

Rewrite email-generating code.

Tweak logging

Merge pull request #52 from ceph/wip-6125

Don't hardcode path to teuthology-suite

internal: remove (hopefully obsolete) kern.log checks

Signed-off-by: Sage Weil <sage@inktank.com>

internal: unbreak syslog BUG checks and gz

This broke back in ace4cb07b2de99644c63f3ab90c21a663a384e69

Signed-off-by: Sage Weil <sage@inktank.com>

Don't hardcode path to teuthology-suite

Merge pull request #51 from ceph/wip-queue

queue: only git fetch once per minute per branch

ceph_manager: wait for dump_ops_in_flight on osd revival

Wait for a command that implies a complete startup instead of
'version' (which does not).

Fixes: #5924
Signed-off-by: Sage Weil <sage@inktank.com>

queue: only git fetch once per minute per branch

This takes 1-2 seconds and makes launching jobs slow.  Only do it once
every 60 seconds per branch.

Signed-off-by: Sage Weil <sage@inktank.com>

Merge pull request #50 from ceph/wip-worker-lock

queue: only let one worker update the teuthology checkouts at a time

queue: only let one worker update the teuthology checkouts at a time

Signed-off-by: Sage Weil <sage@inktank.com>

Fix for blank yaml.

As well as fix variabl variable naming.