Also leave a list of sentry events in the summary

Add URL to Sentry event to traceback output.

Use os.path.join, not urlparse.urljoin

For failures, add http links to log directories.

Add a catch-all __getattr__(); add comments

Rewrite email-generating code.

Tweak logging

Update call to get_sentry_client()

Use teuthology.config

Add teuthology.config, the start of a better system

Move git stuff to fetch_teuthology_branch()

Rewrite branch fetching.

queue: fetch origin, not branch

Signed-off-by: Sage Weil <sage@inktank.com>

suite: only skip on non-vps if os-type is actually defined

If it's not defined, as it is (not) with most of the nightlies,
proceed!

Signed-off-by: Sage Weil <sage@inktank.com>

queue: only bootstrap new checkouts

Until we figure out why bootstrap is getting stuck like this:

 9851 pts/7    S      0:03 /home/teuthworker/teuthology-master/virtualenv/bin/python ./teuthology-master/virtualenv/bin/teuthology-worker -v --archive-dir /var/lib/teuthworker/archive --tube plana --log-dir /var/lib/teuthworker/archive/worker_logs
 2075 pts/7    Z      0:00  \_ [git] <defunct>
 2112 pts/7    Z      0:00  \_ [git] <defunct>
 2138 pts/7    Z      0:00  \_ [bootstrap] <defunct>
 9852 pts/7    S      0:03 /home/teuthworker/teuthology-master/virtualenv/bin/python ./teuthology-master/virtualenv/bin/teuthology-worker -v --archive-dir /var/lib/teuthworker/archive --tube plana --log-dir /var/lib/teuthworker/archive/worker_logs
 2153 pts/7    Z      0:00  \_ [git] <defunct>
 2177 pts/7    Z      0:00  \_ [git] <defunct>
 2264 pts/7    Z      0:00  \_ [bootstrap] <defunct>
 9853 pts/7    S      0:03 /home/teuthworker/teuthology-master/virtualenv/bin/python ./teuthology-master/virtualenv/bin/teuthology-worker -v --archive-dir /var/lib/teuthworker/archive --tube plana --log-dir /var/lib/teuthworker/archive/worker_logs
 2141 pts/7    Z      0:00  \_ [git] <defunct>
 2276 pts/7    Z      0:00  \_ [git] <defunct>
 2305 pts/7    Z      0:00  \_ [bootstrap] <defunct>
 9854 pts/7    S      0:03 /home/teuthworker/teuthology-master/virtualenv/bin/python ./teuthology-master/virtualenv/bin/teuthology-worker -v --archive-dir /var/lib/teuthworker/archive --tube plana --log-dir /var/lib/teuthworker/archive/worker_logs
 7448 pts/7    Z      0:00  \_ [git] <defunct>
 7449 pts/7    Z      0:00  \_ [git] <defunct>
 7450 pts/7    Z      0:00  \_ [bootstrap] <defunct>
 7452 pts/7    Z      0:00  \_ [teuthology-resu] <defunct>
 9855 pts/7    S      0:01 /home/teuthworker/teuthology-master/virtualenv/bin/python ./teuthology-master/virtualenv/bin/teuthology-worker -v --archive-dir /var/lib/teuthworker/archive --tube plana --log-dir /var/lib/teuthworker/archive/worker_logs
 7712 pts/7    Z      0:00  \_ [git] <defunct>
 7713 pts/7    Z      0:00  \_ [git] <defunct>
 7714 pts/7    Z      0:00  \_ [bootstrap] <defunct>
 7716 pts/7    Z      0:00  \_ [teuthology-resu] <defunct>
 9856 pts/7    S      0:03 /home/teuthworker/teuthology-master/virtualenv/bin/python ./teuthology-master/virtualenv/bin/teuthology-worker -v --archive-dir /var/lib/teuthworker/archive --tube plana --log-dir /var/lib/teuthworker/archive/worker_logs
 2316 pts/7    Z      0:00  \_ [bootstrap] <defunct>
 9857 pts/7    S      0:03 /home/teuthworker/teuthology-master/virtualenv/bin/python ./teuthology-master/virtualenv/bin/teuthology-worker -v --archive-dir /var/lib/teuthworker/archive --tube plana --log-dir /var/lib/teuthworker/archive/worker_logs
 2340 pts/7    Z      0:00  \_ [bootstrap] <defunct>
 9858 pts/7    S      0:01 /home/teuthworker/teuthology-master/virtualenv/bin/python ./teuthology-master/virtualenv/bin/teuthology-worker -v --archive-dir /var/lib/teuthworker/archive --tube plana --log-dir /var/lib/teuthworker/archive/worker_logs
23188 pts/7    Z      0:00  \_ [bootstrap] <defunct>
 9859 pts/7    S      0:03 /home/teuthworker/teuthology-master/virtualenv/bin/python ./teuthology-master/virtualenv/bin/teuthology-worker -v --archive-dir /var/lib/teuthworker/archive --tube plana --log-dir /var/lib/teuthworker/archive/worker_logs

Signed-off-by: Sage Weil <sage@inktank.com>

Do not run multiple tests (for distros) on baremetal.

Teuthology doesnt care about os_type for baremetal (ATM). This
change makes it so you can run tests that have been switched over
to run on multiple distros (on vms) on baremetal as well as all
non-ubuntu tests will be skiped (to avoid running the same test
multiple times on baremetal.

Signed-off-by: Sandon Van Ness <sandon@inktank.com>

Allow exclude_arch and exclude_os_type in qa-suite yamls

Adding the option:

exclude_arch:

or

exclude_os_type:

in the ceph-qa-suite yaml allows tests to be skipped for certain
types of hardware or distros.

Example:

exclude_arch: armv7l

This will make said test not run on arm machines.

exclude_os_type: rhel

Would make multi-distro tests skip a specific test on RHEL.

Fix SyntaxError

Merge pull request #47 from ceph/sentry

Make the worker obtain the correct teuthology branch

Worker shouldn't attempt to rebuild an existing virtualenv

Use the ceph.com git mirror.

Use fetch and reset --hard, not checkout and pull

Make the worker obtain the correct teuthology branch

Merge pull request #45 from ceph/wip-6084

Fix upgrading edge-ish case

Fix upgrading edge-ish case

install: use get() in _get_config_value_for_remote

Fixes: #6080
Signed-off-by: Sage Weil <sage@inktank.com>
Tested-by: Tamil Muthamizhan <tamil.muthamizhan@inktank.com>

Merge pull request #44 from ceph/sentry

Add initial support for sentry

radosgw-admin: use check_status for task success

Alter the code to use the 'check_status=True'
option in rgwadmin() rather than following the
call with 'assert not err'. Should make the
tests a bit more clear and result in a more
useful error (throw the call stack rather than
just 'assert new err failed').

Signed-off-by: Joe Buck <jbbuck@gmail.com>
Reviewed-by: Josh Durgin <josh.durgin@inktank.com>

radosgw-admin: adding radosgw-admin tests

Adding tests for syncing buckets between
RGWs. Fulfills ticket #5605.

Signed-off-by: Joe Buck <jbbuck@gmail.com>
Reviewed-by: Josh Durgin <josh.durgin@inktank.com>

Make client a global variable

Beginnings of support for Sentry.

radosgw-admin: use dynamic ports for testing

The rgw.py task was extended to  dynamically
assign port numbers to radosgateways.
This patch extends the radosgw-admin task
to use those ports rather than making out-dated
assumptions of port numbering.

Signed-off-by: Joe Buck <jbbuck@gmail.com>

Merge pull request #43 from ceph/no-hardcoding

Default to using the ubuntu user, while still moving away from hardcoding it

Add get_test_user(), because hardcoding is bad

Merge pull request #41 from ceph/wip-3791

Various usability and documentation fixes

Whoops! Make 'MacOS X' a header again.

And, more formatting tweaks.

Mo' betta consistency.

Don't necessarily need to manually link libvirt. Also, remove $'s.

Remove false note about default value.

Slightly tweak path.

Add comment about portability to get_testdir_base()

Update base_test_dir default to reflect reality

Merge pull request #37 from ceph/wip-fix5957-wusui

Display error message when locking a vpm fails due to downburst errors.

Detect multi-region test cases

Enable multi-region calls and tests only if
the configuration has specified a
radosgw-agent tastk.

Signed-off-by: Joe Buck <jbbuck@gmail.com>
Reviewed-by: Josh Durgin <josh.durgin@inktank.com>

kernel: fix sha1

6f8910eca47c3d00643c77fb8a166357637e55eb inadvertantly started
using the ceph sha1 for the kernel.

Signed-off-by: Sage Weil <sage@inktank.com>

radosgw-agent: adding debug logging

Signed-off-by: Joe Buck <jbbuck@gmail.com>

rename variables and log messages to be more clear

A few edits to make logging and variable names
more clear.

Signed-off-by: Joe Buck <jbbuck@gmail.com>

rgw: fix domain root pool name assignment

Do not make the domain root pool the same
as the zone root pool. That causes sync issues.
Also, clarify a logging message.

Signed-off-by: Joe Buck <jbbuck@gmail.com>

radosgw-admin: correct white space mistake

Signed-off-by: Joe Buck <jbbuck@gmail.com>

Kernel value of - uses doesn't install kernel.

Using - as the kernel value (instead of what is usually 'testing'
will not add the kernel install tasks tot he yaml so the machine
will run the tests on its current running kernel (usefull for arm
and others).

Issue #6023.

Signed-off-by: Sandon Van Ness <sandon@inktank.com>

Display error message when locking a vpm fails due to downburst errors.
When doing a lock-many, do not lock any of the vpms when downburst errors
occur.   Made error messages more accurate, and removed a destroy_if_vm call
because the destroy was alreadly called in unlock.  Changed some print
messages to be log.info displays.

Fix: 5957
Signed-off-by: Warren Usui <warren.usui@inktank.com>

Merge pull request #42 from ceph/wip-arm5000-wusui

Fix ARM releases to be quantal armv7l releases.

Fix ARM releases to be quantal armv7l releases.
Made grub execution conditional and not done when ARM.
Use ctx parameter to change machine type to tala.
Fix kernel assignments when running ARM systems.

Fixes: #5000
Signed-off-by: Warren Usui <warren.usui@inktank.com>

Revert "Fix ARM releases to be quantal armv7l releases."

This reverts commit aabfabc34c101b5104d811eed0f57e262116ad4c.

Merge pull request #40 from ceph/wip-teutharm-wusui

Wip teutharm wusui

Fix ARM releases to be quantal armv7l releases.
Made grub execution conditional and not done when ARM.
Use ctx parameter to change machine type to tala.
Fix kernel assignments when running ARM systems.

Fixes: #5000
Signed-off-by: Warren Usui <warren.usui@inktank.com>

Adding multi-region tests

Adding tests for ticket #5604 to test
user propagation via the radosgw-agent.

Signed-off-by: Joe Buck <jbbuck@gmail.com>
Reviewed-by: Josh Durgin <josh.durgin@inktank.com>

Merge pull request #38 from ceph/fix_nightlies

Use the json format for raw_cluster_status().

Use the json format for raw_cluster_status().

Detect multi-region test cases

Enable multi-region calls and tests only if
the configuration has specified a
radosgw-agent tastk.

Signed-off-by: Joe Buck <jbbuck@gmail.com>
Reviewed-by: Josh Durgin <josh.durgin@inktank.com>

Do more than just sleep and raise an exception.

Fixing assumed typo.

Assuming this has to be a typo but its breaking the ceph-deploy
task.

Signed-off-by: Sandon Van Ness <sandon@inktank.com>

Don't raise an exception if apt-key list fails

Passwordless sudo, not passphraseless sudo.

Don't assume the ubuntu user when getting the test dir.

If get_testdir_base() exists, might as well use it...

Merge pull request #36 from ceph/wip-3791

Continue to make teuthology easier to use for the first time

Tweak regex to work for non-FQDN hostnames

Note that target hostnames must be resolvable.

Merge pull request #35 from ceph/logging

Default log level to INFO; Fix some instances where print is being used instead of log

Fix some instances where print is being used instead of log

Default to log level INFO.

Merge pull request #34 from ceph/wip-3791

Don't bail if ~/.teuthology.yaml doesn't exist.

Don't bail if ~/.teuthology.yaml doesn't exist.

Obligatory automatic vim whitespace cleanup commit

Revert "Display error message when locking a vpm fails due to downburst errors."

This reverts commit 4681b35016619ece44730a368070220e6c2e56a3.

Merge pull request #32 from ceph/wip-fix5957-wusui

Display error message when locking a vpm fails due to downburst errors.

Display error message when locking a vpm fails due to downburst errors.
When doing a lock-many, do not lock any of the vpms when downburst errors
occur.   Do not display message on unlock with downburst error, because
slot is still freed (and can be locked by someone else).

Fix: 5957
Signed-off-by: Warren Usui <warren.usui@inktank.com>

Merge pull request #31 from ceph/wip-5941

Instructions for installing teuthology on non-debian-based OSs

add link to homebrew

Signed-off-by: Alfredo Deza <alfredo@deza.pe>

add generic instructions for installation

Signed-off-by: Alfredo Deza <alfredo@deza.pe>

create instructions to install on OSX

Signed-off-by: Alfredo Deza <alfredo@deza.pe>

sort the requirements

Signed-off-by: Alfredo Deza <alfredo@deza.pe>

remove install_requires from setup.py

Signed-off-by: Alfredo Deza <alfredo@deza.pe>

Merge pull request #29 from ceph/wip-4264

update to reflect required install task

Merge pull request #30 from ceph/wip-5952

Fix a case where _get_config_value_for_remote could return None mistakenly

Fix a case where _get_config_value_for_remote could return None mistakenly

Merge remote-tracking branch 'gh/next'

samba: wait longer for smbd to start

sleep(1) is occasionally not long enough, it seems!

Merge pull request #27 from dachary/wip-5946

do not check the jobid if check-locks is False

do not check the jobid if check-locks is False

Because it relies on the lock server which is presumably not available
since check-locks was set to False. It matters when using teuthology
on a minimal installation.

http://tracker.ceph.com/issues/5946 fixes #5946

Signed-off-by: Loic Dachary <loic@dachary.org>

Merge pull request #28 from alfredodeza/5887

Allow a user to define a ceph-deploy branch to use (instead of master)

Merge pull request #24 from ceph/wip-5937

Don't hit an AttributeError if ctx.config['overrides'] is set to None

remove fallback of the fallback. so silly

Signed-off-by: Alfredo Deza <alfredo@deza.pe>

Remove three characters just for Alfredo

safer fallback. Updates docstring

Signed-off-by: Alfredo Deza <alfredo@deza.pe>

Add notes about install task precedence

radosgw-agent.py: refactor, enable overrides

Refactored the radosgw-agent.py code so that it
is structured more like existing teuthology
tasks.
Additionally, added code to enable:
using the override field in YAML files,
specifying which radosgw-agent github branch
to use checkout and for the YAML file to
specify one of the following: a full sync,
an incremental sync and the starting of the
test radosgw-agent server (previously the
server was always started by this task).

Signed-off-by: Joe Buck <jbbuck@gmail.com>
Reviewed-by: Josh Durgin <josh.durgin@inktank.com>

rgw.py: fix example config

In the example config, the region root and
zone root where pointing to the same pool,
which is not a best practice. Updated the
example to show them pointing to different pools.

Signed-off-by: Joe Buck <jbbuck@gmail.com>