Make run_job merge job_config['config'] if needed

Merge pull request #91 from ceph/wip-suite

suite: do not calculate product on an empty list

suite: don't schedule follow-on summary job for an empty run

Signed-off-by: Sage Weil <sage@inktank.com>

suite: be verbose about how many jobs we generate

Signed-off-by: Sage Weil <sage@inktank.com>

suite: do not calculate product on an empty list

This fixes a bug where a directory with just % generates a
bogus job item with no actual content.  (e.g.,

$ find basic
basic
basic/%
$ teuthology-suite --dry-run --base . --collections basic --name foo
INFO:teuthology.suite:Collection basic in ./basic
INFO:teuthology.suite:configs [('basic/{}', [])]

...which then blows up because the job yaml is empty.  With
the fix, there are no generated jobs:

$ teuthology-suite --dry-run --base . --collections basic --name foo
INFO:teuthology.suite:Collection basic in ./basic
INFO:teuthology.suite:configs []

(The configs print was temporarily added for debugging
purposes.)

Signed-off-by: Sage Weil <sage@inktank.com>

Merge pull request #90 from ceph/sentry

Fix get_http_log_path(), update callers, add tests

Fix get_http_log_path(), update callers, add tests

Merge branch 'master' of github.com:ceph/teuthology

made help more readable

Signed-off-by: tamil <tamil.muthamizhan@inktank.com>

Fix TypeError
(cherry picked from commit c4591a16e1781f8da3502b38e3dc72f629478312)

Merge pull request #88 from ceph/wip-fix-clones

Use check_output() and log.exception()

Use check_output() and log.exception()

This should help us figure out why our checkouts keep getting deleted.

feature # 5942. Added examples to teuthology binaries help page

Signed-off-by: tamil <tamil.muthamizhan@inktank.com>

Merge pull request #87 from ceph/sentry

Add logs URL to sentry reports

Add teuthology branch to sentry report tags

Ensure teuthology_branch is stored in job_config

Add ctx.config to sentry info.

Merge job_config and ctx.config

Add test for misc.get_http_log_path()

Use sentry.get_ident() again

Don't fail if there's no job_id

Passing job_id to get_http_log_path() is optional

Add logs URL to sentry reports

Add job id and actual archive dir to job config
Also add job id to info.yaml

Don't "import misc as teuthology"

Move get_http_log_path

s/jobid/job_id/

rados: add --op copy_from ... support

Signed-off-by: Sage Weil <sage@inktank.com>

Merge pull request #85 from ceph/wip-testdir

remove basedir/testdir distinction

remove basedir/testdir distinction

We should never run with a conflicting testdir in the basedir, and the
code to do this is confusing and buggy.  Go back to a single testdir and
simple checks.

Signed-off-by: Sage Weil <sage@inktank.com>

Merge pull request #84 from ceph/wip-buck-daemon-helper

Reviewed-by: Josh Durgin <josh.durgin@inktank.com>

Adding in erroneously removed args

The 'kill' argument was accidentially removed
as part of patch
53b8e27da996f2efdcc4eb687f3bda0791a8d947

Signed-off-by: Joe Buck <jbbuck@gmail.com>

Merge remote-tracking branch 'gh/wip-valgrind'

Reviewed-by: Josh Durgin <josh.durgin@inktank.com>

fix a few missing adjust-ulimits users

Signed-off-by: Sage Weil <sage@inktank.com>

rgw: fix valgrind when no valgrind

Signed-off-by: Sage Weil <sage@inktank.com>
Reviewed-by: Josh Durgin <josh.durgin@inktank.com>

rgw: fix valgrind when no valgrind

Signed-off-by: Sage Weil <sage@inktank.com>

Merge pull request #82 from ceph/wip-valgrind

Reviewed-by: Josh Durgin <josh.durgin@inktank.com>

misc: valgrind: fix cd behavior

The cd needs to happen at the beginning of the command, not at the end, or
else the funky wrapper scripts don't work right.

This also cleans up the command line construction a bit so that it is more
flexible, explicit, and hopefully less fragile.

Signed-off-by: Sage Weil <sage@inktank.com>

misc: valgrind: fix valgrind.supp path

Signed-off-by: Sage Weil <sage@inktank.com>

Merge pull request #81 from ceph/wip-runfix

Get rid of chdir-coredump.

Get rid of chdir-coredump.

Merge pull request #80 from ceph/wip-runfix

ceph: fix daemon-helper typo

ceph: fix daemon-helper typo

Broken in edc5ef8860b2917c14ee648f15ac7751535d411a

Signed-off-by: Sage Weil <sage@inktank.com>

Merge pull request #79 from ceph/wip-valgrind

misc: valgrind --num-callers=50

misc: valgrind --num-callers=50

Default is 12, which isn't quite enough.

Signed-off-by: Sage Weil <sage@inktank.com>

Merge pull request #78 from ceph/wip-6247

Move helper scripts to /usr/local/bin to clean up logs.

Helper scripts live in /usr/local/bin now!

Move helper scripts to /usr/local/bin

Merge pull request #77 from ceph/wip-start

queue: fix stderr redirect

queue: fix stderr redirect

Signed-off-by: Sage Weil <sage@inktank.com>

Merge pull request #75 from ceph/wip-tube

queue: include tube name in worker logs

Merge pull request #76 from ceph/wip-5954

Be polite and restore /etc/sudoers when done

queue: include tube name in worker logs

Signed-off-by: Sage Weil <sage@inktank.com>

Be polite and restore /etc/sudoers when done

Merge pull request #74 from ceph/wip-5954

Wip 5954

Merge pull request #73 from ceph/wip-5954-alt

Via automagic, only call ulimit -n if running as root.

Add internal.sudo subtask.

Let execute() accept a string for args.

Add Cluster.write_file()

Use misc.get_archive_dir()

Add get_archive_dir()

Put sudo in front of adjust-ulimits if it's used

Via automagic, only call ulimit -n if running as root.

Also, add comments because comments are cool.

Run yum clean all after installing new ceph-release.

In order to get around the issue of repomd.xml being older than
the previously installed one depending on when the gitbuilder
built the repo.

Signed-off-by: Sandon Van Ness <sandon@inktank.com>

Merge pull request #71 from ceph/wip-no-pythonpath

drop obsolete PYTHONPATH settings

drop obsolete PYTHONPATH settings

These are left over from when we were extracting a tarball in the test dir.

Signed-off-by: Sage Weil <sage@inktank.com>

Append '/' to the end of the log directory path

Merge pull request #64 from ceph/wip-nuke-info

nuke: get pid, owner from info.yaml (if present)

Merge pull request #65 from ceph/wip-schedule

schedule: strip out targets

Merge pull request #68 from alfredodeza/6224

add the missing  for fedora links in install task

add the missing  for fedora links in install task

Signed-off-by: Alfredo Deza <alfredo.deza@inktank.com>

schedule_suite.sh: turn up osd logging a little

We have a collectin of bugs that we haven't been able to
reproduce but crop up regularly in the nightlies.  Sam's best
guess is a dropped message, so let's try to catch that.

Signed-off-by: Sage Weil <sage@inktank.com>

Add missing sudo from command.

Fixes: #6218

Merge pull request #67 from ceph/wip-3791

Wip 3791

Add note about public teuthology logs.

Wrap paragraphs.

Merge pull request #66 from ceph/wip-specific-exceptions

Catch CommandFailedError and print debug info

Catch CommandFailedError and print debug info

schedule: strip out targets

If the user feeds in a yaml with targets, the worker will launch the job
but fail with

2013-09-03T11:18:34.333 CRITICAL:root:AssertionError: You cannot specify targets in a config file when using the --lock option

Just strip them out before scheduling.  This eases my personal workflow
where I have a test I'm running manually against some prelocked machines
but also want to schedule it.

Signed-off-by: Sage Weil <sage@inktank.com>

Logs and Sentry links are public now.

Revert "Use install -d for /var/log/ceph."

This reverts commit 8f29b3f9f1f294c449bb5215767cad67fdf7cde6.

Reviewed-by: Warren Usui <warren.usui@inktank.com>

schedule_suite.sh: default email to ceph-qa@ceph.com

Signed-off-by: Sage Weil <sage@inktank.com>

Revert "get_scratch_devices(): catch CommandFailedError, log "dev in use""

This reverts commit 416508de9c628c5cae1b3a7f05bb3ec0e3639bdb.

NameError: global name 'CommandFailedError' is not defined

README: add deps

Reported-by: Loic Dachary <loic@dachary.org>
Signed-off-by: Sage Weil <sage@inktank.com>

s/ceph-debug/ceph-debuginfo for rpms

Signed-off-by: tamil <tamil.muthamizhan@inktank.com>

get_scratch_devices(): catch CommandFailedError, log "dev in use"

Signed-off-by: Dan Mick <dan.mick@inktank.com>
Reviewed-by: Sage Weil <sage@inktank.com>

nuke: get pid, owner from info.yaml (if present)

Fall back to the old files if info.yaml is missing.

Signed-off-by: Sage Weil <sage@inktank.com>

Merge pull request #63 from ceph/wip-logger

Never use 'except:' without specifying an Exception.

Never use 'except:' without specifying an Exception.

Merge pull request #62 from ceph/wip-logger

Add hung job description to email

run: do not import at top level

This makes a run with --lock hang when connecting, for some
reason.  E.g.,

 $ teuthology -v a.yaml --lock
 ...
 INFO:teuthology.task.internal:Opening connections...
 DEBUG:teuthology.task.internal:connecting to ubuntu@plana06.front.sepia.ceph.com
 <hangs>

No clue what is going on here, but this fixes it!

Signed-off-by: Sage Weil <sage@inktank.com>

Add hung job description to email

Merge pull request #61 from ceph/wip-logger

Log all the things! (Things like exceptions.)

Workers: only log child's stderr, not stdout

Don't print colon if there's no exception message. Also, remove testing
exception.

Pretty-up write_initial_metadata; s/run/name/

Add exception hook

run: write info.yaml on job start

Include basic metadata bout the job.

Signed-off-by: Sage Weil <sage@inktank.com>

Move logging setup out of main()

test