Add teuthology branch to sentry report tags

Ensure teuthology_branch is stored in job_config

Add ctx.config to sentry info.

Merge job_config and ctx.config

Add test for misc.get_http_log_path()

Use sentry.get_ident() again

Don't fail if there's no job_id

Passing job_id to get_http_log_path() is optional

Add logs URL to sentry reports

Add job id and actual archive dir to job config
Also add job id to info.yaml

Don't "import misc as teuthology"

Move get_http_log_path

s/jobid/job_id/

Merge pull request #85 from ceph/wip-testdir

remove basedir/testdir distinction

remove basedir/testdir distinction

We should never run with a conflicting testdir in the basedir, and the
code to do this is confusing and buggy.  Go back to a single testdir and
simple checks.

Signed-off-by: Sage Weil <sage@inktank.com>

Merge pull request #84 from ceph/wip-buck-daemon-helper

Reviewed-by: Josh Durgin <josh.durgin@inktank.com>

Adding in erroneously removed args

The 'kill' argument was accidentially removed
as part of patch
53b8e27da996f2efdcc4eb687f3bda0791a8d947

Signed-off-by: Joe Buck <jbbuck@gmail.com>

Merge remote-tracking branch 'gh/wip-valgrind'

Reviewed-by: Josh Durgin <josh.durgin@inktank.com>

fix a few missing adjust-ulimits users

Signed-off-by: Sage Weil <sage@inktank.com>

rgw: fix valgrind when no valgrind

Signed-off-by: Sage Weil <sage@inktank.com>
Reviewed-by: Josh Durgin <josh.durgin@inktank.com>

rgw: fix valgrind when no valgrind

Signed-off-by: Sage Weil <sage@inktank.com>

Merge pull request #82 from ceph/wip-valgrind

Reviewed-by: Josh Durgin <josh.durgin@inktank.com>

misc: valgrind: fix cd behavior

The cd needs to happen at the beginning of the command, not at the end, or
else the funky wrapper scripts don't work right.

This also cleans up the command line construction a bit so that it is more
flexible, explicit, and hopefully less fragile.

Signed-off-by: Sage Weil <sage@inktank.com>

misc: valgrind: fix valgrind.supp path

Signed-off-by: Sage Weil <sage@inktank.com>

Merge pull request #81 from ceph/wip-runfix

Get rid of chdir-coredump.

Get rid of chdir-coredump.

Merge pull request #80 from ceph/wip-runfix

ceph: fix daemon-helper typo

ceph: fix daemon-helper typo

Broken in edc5ef8860b2917c14ee648f15ac7751535d411a

Signed-off-by: Sage Weil <sage@inktank.com>

Merge pull request #79 from ceph/wip-valgrind

misc: valgrind --num-callers=50

misc: valgrind --num-callers=50

Default is 12, which isn't quite enough.

Signed-off-by: Sage Weil <sage@inktank.com>

Merge pull request #78 from ceph/wip-6247

Move helper scripts to /usr/local/bin to clean up logs.

Helper scripts live in /usr/local/bin now!

Move helper scripts to /usr/local/bin

Merge pull request #77 from ceph/wip-start

queue: fix stderr redirect

queue: fix stderr redirect

Signed-off-by: Sage Weil <sage@inktank.com>

Merge pull request #75 from ceph/wip-tube

queue: include tube name in worker logs

Merge pull request #76 from ceph/wip-5954

Be polite and restore /etc/sudoers when done

queue: include tube name in worker logs

Signed-off-by: Sage Weil <sage@inktank.com>

Be polite and restore /etc/sudoers when done

Merge pull request #74 from ceph/wip-5954

Wip 5954

Merge pull request #73 from ceph/wip-5954-alt

Via automagic, only call ulimit -n if running as root.

Add internal.sudo subtask.

Let execute() accept a string for args.

Add Cluster.write_file()

Use misc.get_archive_dir()

Add get_archive_dir()

Put sudo in front of adjust-ulimits if it's used

Via automagic, only call ulimit -n if running as root.

Also, add comments because comments are cool.

Run yum clean all after installing new ceph-release.

In order to get around the issue of repomd.xml being older than
the previously installed one depending on when the gitbuilder
built the repo.

Signed-off-by: Sandon Van Ness <sandon@inktank.com>

Merge pull request #71 from ceph/wip-no-pythonpath

drop obsolete PYTHONPATH settings

drop obsolete PYTHONPATH settings

These are left over from when we were extracting a tarball in the test dir.

Signed-off-by: Sage Weil <sage@inktank.com>

Append '/' to the end of the log directory path

Merge pull request #64 from ceph/wip-nuke-info

nuke: get pid, owner from info.yaml (if present)

Merge pull request #65 from ceph/wip-schedule

schedule: strip out targets

Merge pull request #68 from alfredodeza/6224

add the missing  for fedora links in install task

add the missing  for fedora links in install task

Signed-off-by: Alfredo Deza <alfredo.deza@inktank.com>

schedule_suite.sh: turn up osd logging a little

We have a collectin of bugs that we haven't been able to
reproduce but crop up regularly in the nightlies.  Sam's best
guess is a dropped message, so let's try to catch that.

Signed-off-by: Sage Weil <sage@inktank.com>

Add missing sudo from command.

Fixes: #6218

Merge pull request #67 from ceph/wip-3791

Wip 3791

Add note about public teuthology logs.

Wrap paragraphs.

Merge pull request #66 from ceph/wip-specific-exceptions

Catch CommandFailedError and print debug info

Catch CommandFailedError and print debug info

schedule: strip out targets

If the user feeds in a yaml with targets, the worker will launch the job
but fail with

2013-09-03T11:18:34.333 CRITICAL:root:AssertionError: You cannot specify targets in a config file when using the --lock option

Just strip them out before scheduling.  This eases my personal workflow
where I have a test I'm running manually against some prelocked machines
but also want to schedule it.

Signed-off-by: Sage Weil <sage@inktank.com>

Logs and Sentry links are public now.

Revert "Use install -d for /var/log/ceph."

This reverts commit 8f29b3f9f1f294c449bb5215767cad67fdf7cde6.

Reviewed-by: Warren Usui <warren.usui@inktank.com>

schedule_suite.sh: default email to ceph-qa@ceph.com

Signed-off-by: Sage Weil <sage@inktank.com>

Revert "get_scratch_devices(): catch CommandFailedError, log "dev in use""

This reverts commit 416508de9c628c5cae1b3a7f05bb3ec0e3639bdb.

NameError: global name 'CommandFailedError' is not defined

README: add deps

Reported-by: Loic Dachary <loic@dachary.org>
Signed-off-by: Sage Weil <sage@inktank.com>

s/ceph-debug/ceph-debuginfo for rpms

Signed-off-by: tamil <tamil.muthamizhan@inktank.com>

get_scratch_devices(): catch CommandFailedError, log "dev in use"

Signed-off-by: Dan Mick <dan.mick@inktank.com>
Reviewed-by: Sage Weil <sage@inktank.com>

nuke: get pid, owner from info.yaml (if present)

Fall back to the old files if info.yaml is missing.

Signed-off-by: Sage Weil <sage@inktank.com>

Merge pull request #63 from ceph/wip-logger

Never use 'except:' without specifying an Exception.

Never use 'except:' without specifying an Exception.

Merge pull request #62 from ceph/wip-logger

Add hung job description to email

run: do not import at top level

This makes a run with --lock hang when connecting, for some
reason.  E.g.,

 $ teuthology -v a.yaml --lock
 ...
 INFO:teuthology.task.internal:Opening connections...
 DEBUG:teuthology.task.internal:connecting to ubuntu@plana06.front.sepia.ceph.com
 <hangs>

No clue what is going on here, but this fixes it!

Signed-off-by: Sage Weil <sage@inktank.com>

Add hung job description to email

Merge pull request #61 from ceph/wip-logger

Log all the things! (Things like exceptions.)

Workers: only log child's stderr, not stdout

Don't print colon if there's no exception message. Also, remove testing
exception.

Pretty-up write_initial_metadata; s/run/name/

Add exception hook

run: write info.yaml on job start

Include basic metadata bout the job.

Signed-off-by: Sage Weil <sage@inktank.com>

Move logging setup out of main()

test

run: set up archive dir and logger output sooner

Signed-off-by: Sage Weil <sage@inktank.com>

Merge pull request #58 from ceph/queue

Don't assume anything about the base path here.

schedule_suite.sh: allow partial 'suite' names

Mangle the name (/ -> :) in the run name.  Separate base from
relative path so that the job names don't include a full path.

Signed-off-by: Sage Weil <sage@inktank.com>

suite: return [] for build_matrix base case

This gives us an empty list instead of a crash on an empty dir
or bad symlink

Signed-off-by: Sage Weil <sage@inktank.com>

Merge pull request #60 from ceph/sentry

Add run name to first line of email.

Merge pull request #59 from ceph/wip-collections

redo the way we describe test collections

Add run name to first line of email.

suite: build_matrix as a list of filenames, not file content

Signed-off-by: Sage Weil <sage@inktank.com>

suite: allow individual files to be scheduled

Signed-off-by: Sage Weil <sage@inktank.com>

suite: generalize collection expansion

Previous, a collection was a directory like this:

 mycollection/
 mycollection/facet1/
 mycollection/facet1/1a.yaml
 mycollection/facet1/1b.yaml
 mycollection/facet2/
 mycollection/facet2/2a.yaml
 mycollection/facet3/
 mycollection/facet3/3a.yaml
 mycollection/facet3/3b.yaml

and this would expand to

 1a + 2a + 3a
 1a + 2a + 3b
 1b + 2a + 3a
 1b + 2a + 3b

The fixed directory depth and requirement for a subdir even
when there is only 1 item is annoying.  Instead, allow an
arbitrary directory structure, with the following rules:

 - a .yaml file is a taken as-is (duh); other files still
   ignored
 - a directory is normally just a way to organize files.  We
   recursively descend and build a list of what we fine.
 - a directory with a '%' file in it is special:
     - take the product of every item in the dir (much like
       we did before)
 - a directory with a '+' file in it is special:
     - concatenate everything in the dir into one job

Note that this is equivalent to the previous structure if we
do:

 for facet in mycollection/* ; do touch $facet/% ; done

We can clean up slightly be taking any dir with only one yaml
file in it and replacing the dir with the bare .yaml.

Once this is done, we can reorganize directories however we
like.

Signed-off-by: Sage Weil <sage@inktank.com>

suite: clean up imports

Signed-off-by: Sage Weil <sage@inktank.com>

suite: make collection args (optionally) relative to a base dir

Signed-off-by: Sage Weil <sage@inktank.com>

suite: make names a bit more friendly

Signed-off-by: Sage Weil <sage@inktank.com>

suite: add --dry-run

Signed-off-by: Sage Weil <sage@inktank.com>

Don't assume anything about the base path here.