valgrind: fix libleveldb suppression on dynamically linked leveldb

(The function names don't show up here)

Signed-off-by: Sage Weil <sage@inktank.com>
(cherry picked from commit c8ec9feca1db0f95a1f5d933bfe362e400593a65)

valgrind: suppress inet_ntop noise

See #6240

Signed-off-by: Sage Weil <sage@inktank.com>
(cherry picked from commit 2acceef69905173a008a6da075e675b3cb579391)

misc: valgrind --num-callers=50

Default is 12, which isn't quite enough.

Signed-off-by: Sage Weil <sage@inktank.com>
(cherry picked from commit 2214fe1845208f931260ed3014350fc0c932c054)

Conflicts:

teuthology/misc.py

remove basedir/testdir distinction

We should never run with a conflicting testdir in the basedir, and the
code to do this is confusing and buggy.  Go back to a single testdir and
simple checks.

Signed-off-by: Sage Weil <sage@inktank.com>
(cherry picked from commit 5acc57f5ad6ed14b3e1c89166d2571cf302a467c)

Conflicts:

README.rst
teuthology/misc.py

Run yum clean all after installing new ceph-release.

In order to get around the issue of repomd.xml being older than
the previously installed one depending on when the gitbuilder
built the repo.

Signed-off-by: Sandon Van Ness <sandon@inktank.com>

ceph_manager: wait for dump_ops_in_flight on osd revival

Wait for a command that implies a complete startup instead of
'version' (which does not).

Fixes: #5924
Signed-off-by: Sage Weil <sage@inktank.com>
(cherry picked from commit 5ec5e2c0e2e0cb4e25071999a05d9ac6294c3797)

admin_socket: fix retry-on-error behavior

Signed-off-by: Sage Weil <sage@inktank.com>
(cherry picked from commit 502714ba2ed7bb47ec81a25cd2f1c724583020f9)

Don't rebuilt virtualimage if NO_CLOBBER is set

Detect multi-region test cases

Enable multi-region calls and tests only if
the configuration has specified a
radosgw-agent tastk.

Signed-off-by: Joe Buck <jbbuck@gmail.com>
Reviewed-by: Josh Durgin <josh.durgin@inktank.com>

kernel: fix sha1

6f8910eca47c3d00643c77fb8a166357637e55eb inadvertantly started
using the ceph sha1 for the kernel.

Signed-off-by: Sage Weil <sage@inktank.com>

radosgw-agent: adding debug logging

Signed-off-by: Joe Buck <jbbuck@gmail.com>

rename variables and log messages to be more clear

A few edits to make logging and variable names
more clear.

Signed-off-by: Joe Buck <jbbuck@gmail.com>

rgw: fix domain root pool name assignment

Do not make the domain root pool the same
as the zone root pool. That causes sync issues.
Also, clarify a logging message.

Signed-off-by: Joe Buck <jbbuck@gmail.com>

radosgw-admin: correct white space mistake

Signed-off-by: Joe Buck <jbbuck@gmail.com>

Kernel value of - uses doesn't install kernel.

Using - as the kernel value (instead of what is usually 'testing'
will not add the kernel install tasks tot he yaml so the machine
will run the tests on its current running kernel (usefull for arm
and others).

Issue #6023.

Signed-off-by: Sandon Van Ness <sandon@inktank.com>

Merge pull request #42 from ceph/wip-arm5000-wusui

Fix ARM releases to be quantal armv7l releases.

Fix ARM releases to be quantal armv7l releases.
Made grub execution conditional and not done when ARM.
Use ctx parameter to change machine type to tala.
Fix kernel assignments when running ARM systems.

Fixes: #5000
Signed-off-by: Warren Usui <warren.usui@inktank.com>

Revert "Fix ARM releases to be quantal armv7l releases."

This reverts commit aabfabc34c101b5104d811eed0f57e262116ad4c.

Merge pull request #40 from ceph/wip-teutharm-wusui

Wip teutharm wusui

Fix ARM releases to be quantal armv7l releases.
Made grub execution conditional and not done when ARM.
Use ctx parameter to change machine type to tala.
Fix kernel assignments when running ARM systems.

Fixes: #5000
Signed-off-by: Warren Usui <warren.usui@inktank.com>

Adding multi-region tests

Adding tests for ticket #5604 to test
user propagation via the radosgw-agent.

Signed-off-by: Joe Buck <jbbuck@gmail.com>
Reviewed-by: Josh Durgin <josh.durgin@inktank.com>

Merge pull request #38 from ceph/fix_nightlies

Use the json format for raw_cluster_status().

Use the json format for raw_cluster_status().

Detect multi-region test cases

Enable multi-region calls and tests only if
the configuration has specified a
radosgw-agent tastk.

Signed-off-by: Joe Buck <jbbuck@gmail.com>
Reviewed-by: Josh Durgin <josh.durgin@inktank.com>

Fixing assumed typo.

Assuming this has to be a typo but its breaking the ceph-deploy
task.

Signed-off-by: Sandon Van Ness <sandon@inktank.com>

Merge pull request #36 from ceph/wip-3791

Continue to make teuthology easier to use for the first time

Tweak regex to work for non-FQDN hostnames

Note that target hostnames must be resolvable.

Merge pull request #35 from ceph/logging

Default log level to INFO; Fix some instances where print is being used instead of log

Fix some instances where print is being used instead of log

Default to log level INFO.

Merge pull request #34 from ceph/wip-3791

Don't bail if ~/.teuthology.yaml doesn't exist.

Don't bail if ~/.teuthology.yaml doesn't exist.

Obligatory automatic vim whitespace cleanup commit

Revert "Display error message when locking a vpm fails due to downburst errors."

This reverts commit 4681b35016619ece44730a368070220e6c2e56a3.

Merge pull request #32 from ceph/wip-fix5957-wusui

Display error message when locking a vpm fails due to downburst errors.

Display error message when locking a vpm fails due to downburst errors.
When doing a lock-many, do not lock any of the vpms when downburst errors
occur.   Do not display message on unlock with downburst error, because
slot is still freed (and can be locked by someone else).

Fix: 5957
Signed-off-by: Warren Usui <warren.usui@inktank.com>

Merge pull request #31 from ceph/wip-5941

Instructions for installing teuthology on non-debian-based OSs

add link to homebrew

Signed-off-by: Alfredo Deza <alfredo@deza.pe>

add generic instructions for installation

Signed-off-by: Alfredo Deza <alfredo@deza.pe>

create instructions to install on OSX

Signed-off-by: Alfredo Deza <alfredo@deza.pe>

sort the requirements

Signed-off-by: Alfredo Deza <alfredo@deza.pe>

remove install_requires from setup.py

Signed-off-by: Alfredo Deza <alfredo@deza.pe>

Merge pull request #29 from ceph/wip-4264

update to reflect required install task

Merge pull request #30 from ceph/wip-5952

Fix a case where _get_config_value_for_remote could return None mistakenly

Fix a case where _get_config_value_for_remote could return None mistakenly

Merge remote-tracking branch 'gh/next'

samba: wait longer for smbd to start

sleep(1) is occasionally not long enough, it seems!

Merge pull request #27 from dachary/wip-5946

do not check the jobid if check-locks is False

do not check the jobid if check-locks is False

Because it relies on the lock server which is presumably not available
since check-locks was set to False. It matters when using teuthology
on a minimal installation.

http://tracker.ceph.com/issues/5946 fixes #5946

Signed-off-by: Loic Dachary <loic@dachary.org>

Merge pull request #28 from alfredodeza/5887

Allow a user to define a ceph-deploy branch to use (instead of master)

Merge pull request #24 from ceph/wip-5937

Don't hit an AttributeError if ctx.config['overrides'] is set to None

remove fallback of the fallback. so silly

Signed-off-by: Alfredo Deza <alfredo@deza.pe>

Remove three characters just for Alfredo

safer fallback. Updates docstring

Signed-off-by: Alfredo Deza <alfredo@deza.pe>

Add notes about install task precedence

radosgw-agent.py: refactor, enable overrides

Refactored the radosgw-agent.py code so that it
is structured more like existing teuthology
tasks.
Additionally, added code to enable:
using the override field in YAML files,
specifying which radosgw-agent github branch
to use checkout and for the YAML file to
specify one of the following: a full sync,
an incremental sync and the starting of the
test radosgw-agent server (previously the
server was always started by this task).

Signed-off-by: Joe Buck <jbbuck@gmail.com>
Reviewed-by: Josh Durgin <josh.durgin@inktank.com>

rgw.py: fix example config

In the example config, the region root and
zone root where pointing to the same pool,
which is not a best practice. Updated the
example to show them pointing to different pools.

Signed-off-by: Joe Buck <jbbuck@gmail.com>

rgw.py: add a better error message

When pulling region info from the config
structure, if the region info isn't there,
log a more helpful message.

Signed-off-by: Joe Buck <jbbuck@gmail.com>

s3readwrite.py: make user creation optional

Extend the s3readwrite.py task to enable the
creation and deletion of users for the s3readwrite
tests to be independently specified with the default
assumption to both being true.
This is needed for tests that will create a user and
data in one execution and read it in another.

Signed-off-by: Joe Buck <jbbuck@gmail.com>

rgw.py: refactor configure

Extend the rados pool configuration options to
specify all pools (if desired).
Also, reordered zone and region configuration
so that they're configure (per client) in
this order: zone, region, set default region

Signed-off-by: Joe Buck <jbbuck@gmail.com>

rgy.py: make log_(data|metadata) configurable

The log_data and log_metadata are made configurable
via the YAML file and default to false
(meaning neither data nor metadata operations are
logged).

Signed-off-by: Joe Buck <jbbuck@gmail.com>

agent name should also contain port number

otherwise multiple agents per machines will have the same id

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

radosgw-admin: various multiregion related fixes and changes

Go to the master zone in the master region for radosgw-admin
operations. Trigger metadata sync. Other fixes.

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

Merge pull request #25 from dmick/master

tasks/ceph-deploy: allow configurations with no mds

Change "Exception" to "RuntimeError" as advised by zackc

Signed-off-by: Dan Mick <dan.mick@inktank.com>

tasks/ceph-deploy: allow configurations with no mds

Signed-off-by: Dan Mick <dan.mick@inktank.com>

Default to master and not next.

Add install task to examples

Don't hit an AttributeError if ctx.config['overrides'] is set to None

Merge pull request #23 from ceph/pep8

Make this module pep8-clean.

Make this module pep8-clean.

Merge pull request #22 from ceph/rpm-upgrades

Fix rpm upgrades for nested branch configs

Make _get_baseurlinfo_and_dist() provide the correct uri

Merge pull request #21 from ceph/rpm-upgrades

Make install.upgrade work on RPM-based systems.

Make install.upgrade work with CentOS/RHEL/Fedora.

Add Remote.system_type property. Also, clean up whitespace.

admin_socket: split command into multiple arguments

We were passing the command as a single string, but that does not work the
same way it used to.

Signed-off-by: Sage Weil <sage@inktank.com>

ceph.conf: open osd classes on start

This is the default for master, but needs to be explicitly enabled for
cuttlefish.

Merge remote-tracking branch 'gh/next'

add a key for ceph-deploy-branch detection

Signed-off-by: Alfredo Deza <alfredo@deza.pe>

Add a useful error message in case of an invalid hostname

s3readwrite.py: enable overrides

Enable s3readwrite task to have the branch to
download specified and for overrides to be
incorporated into the config at run-time.
Code based on the s3tests.py task.

Signed-off-by: Joe Buck <jbbuck@gmail.com>
Reviewed-by: Josh Durgin <josh.durgin@inktank.com>

Merge remote-tracking branch 'gh/next'

samba: wait for smbd process to exit

I saw

2013-08-03T12:56:26.641 DEBUG:teuthology.orchestra.run:Running [10.214.131.28]: 'sudo killall -9 smbd'
2013-08-03T12:56:26.727 DEBUG:teuthology.orchestra.run:Running [10.214.131.28]: 'sudo lsof /home/ubuntu/cephtest/93695/mnt.0'
2013-08-03T12:56:26.830 INFO:teuthology.orchestra.run.out:[10.214.131.28]: COMMAND   PID USER   FD   TYPE DEVICE SIZE/OFF NODE NAME
2013-08-03T12:56:26.830 INFO:teuthology.orchestra.run.out:[10.214.131.28]: smbd    12381 root  cwd    DIR    0,0        0    1 /home/ubuntu/cephtest/93695/mnt.0

which makes me think we just need to wait a moment before
attempting the umount?

Signed-off-by: Sage Weil <sage@inktank.com>

rgw.py: add None object check when parsing info

The rgw task was failing to check for a None object
when parsing user info in the case where there were
config options set for the client that did not include
user info (e.g. valgrind: ).

rgw: do not ignore leaks

Signed-off-by: Sage Weil <sage@inktank.com>

rgw.py: adding a safety check

Correcting a bug where specifying
a rgw server for a client but not specifying
a system user would throw an exception.

Signed-off-by: Joe Buck <jbbuck@gmail.com>
Reviewed-by: Josh Durgin <josh.durgin@inktank.com>

rgw: add log settings to example config

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

radosgw-agent: get verbose logs from the agent

This makes it a lot easier to debug.

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

radosgw-agent: move zone extraction to helper

This will be useful for other tasks.

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

rgw: don't make domain_root pool the same as zone root

These are supposed to be separate pools.

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

rgw: create system users with the --system flag

without this they have no special permissions

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

rgy.py: make log_(data|metadata) configurable

The log_data and log_metadata are made configurable
via the YAML file and default to false
(meaning neither data nor metadata operations are
logged).

Signed-off-by: Joe Buck <jbbuck@gmail.com>
Reviewed-by: Josh Durgin <josh.durgin@inktank.com>

radosgw-agent: rename task to match tool name

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

rgw_sync_agent: fix a bunch of issues

- Read ceph.conf from stored copy that includes overrides
- Get system users and keys from cluster instead of reading other
  tasks' yaml, which may not be complete.
- Put zone info extraction from the cluster into utility functions,
  since it'll be useful for other tests later.
- Work with more than one agent on a single host
- Accept more than one client to run, like almost every other task
- Rename target to dest for consistency with radosgw-agent
- Don't make everything one large function

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

rgw: ignore exit status when removing base apache dir

subdirs have already been removed, and this only needs to succeed once
per host.

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

rgw_sync_agent: add new rgw_sync_agent task

This pulls access data out of the rgw task and off disk,
and then downloads, sets up, and runs an rgw sync agent
in test mode.

Signed-off-by: Greg Farnum <greg@inktank.com>

Fix for #5836 (--lock-many with vms)

This makes --lock-many work when --machine-type vps is passed.
Before it wasn't handled correctly and guests were not created.
Now it creates and gives the back the user the list-targets for
said guests.

teuthology-lock --lock-many 4 --machine-type vps --os-type centos

This fixes issue #5836

Signed-off-by: Sandon Van Ness <sandon@inktank.com>
Reviewed-by: Alfredo Deza <alfredo@deza.pe>

Fix for Debian wheezy (remove vda from block device list)

On debian wheezy its mount output uses device-by-label and makes
our normal method of checking if a device is mounted not work.
Since vm's will always be vda for their boot device we will just
remove it from devs if its in there so it doesn't attempt to zap
vda.

I also added a strip() to remove the last blank entry that was
always getting added to the devs list on all machines. Example:

devs=['/dev/sda', '/dev/sdb', '/dev/sdc', '/dev/sdd', '']

Signed-off-by: Sandon Van Ness <sandon@inktank.com>
Reviewed-by: Alfredo Deza <alfredo@deza.pe>