Fix kvm issues for Trusty

Change kvm reference to qemu-system-x86_64 and use raw format
in kvm/qemu command.  Tested on both Trusty and Precise.

Fixes: 7825
Signed-off-by: Warren Usui <warren.usui@inktank.com>
(cherry picked from commit eef2bf672b76a6c0243687c7acd20fd99e7dd44a)

tasks: Use '_' instead of '-' in names

Python modules are not allowed to contain hyphens
in the name.  Using hyphens only works here because
we're using low level __import__.

Change run_tasks to replace '-' with '_' when reading
configs, and rename the task modules to have valid
python module names.

Aside from general hygiene, the motivation to do this
is to allow one task to build on code in another
task by importing it.

Signed-off-by: John Spray <john.spray@inktank.com>
(cherry picked from commit 79dfe2cbefbbf14b69ae10c44a89a4fe45fedbe5)

Add branch name to job config

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>
(cherry picked from commit d1b93530b30e1a9baefd3fc95941090c83fddce1)

Add suite name to job config

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>
(cherry picked from commit ab9645f97bcefc43006728b4f7d17322fcc33d82)

valgrind: fix tcmalloc suppression for trusty

Fixes: #8225
Signed-off-by: Sage Weil <sage@inktank.com>
(cherry picked from commit f261687f292df47b7a5296814480713c3c3d306f)

Revert "valgrind.supp: be less picky about library versions"

This reverts commit f895d16c9e2fd59aab446254e53480cdb91092a1.
(cherry picked from commit bab84d45abdaac101a517eb85540c706e3f58363)

Fix for #8115

Increase boot disk size per #8115 where monitors shut down due to
/ being full on vm machines.

Signed-off-by: Sandon Van Ness <sandon@inktank.com>

valgrind.supp: be less picky about library versions

...so that this works on trusty

Signed-off-by: Sage Weil <sage@inktank.com>
(cherry picked from commit f895d16c9e2fd59aab446254e53480cdb91092a1)

Handle newer btrfstools.

Newer btfs userland tools needs a -f like xfs instead of a prompt
for yes. Trusty needs this change.

Signed-off-by: Sandon Van Ness <sandon@inktank.com>

valgrind: sync up suppressions with latest master

Signed-off-by: Sage Weil <sage@inktank.com>

thrashosds: change min_in from 2 -> 3

See #7171. In rare cases CRUSH can't handle it when only 2/6 of
the OSDs are marked in.  Avoid those situations for now.

Signed-off-by: Sage Weil <sage@inktank.com>
(cherry picked from commit 495f2163a8debe6323b1b67737a47a0b31172f07)

valgrind.supp: ignore libnss3 leaks

These just started popping up when I updated the notcmalloc gitbuilder, probably
because of an updated libnss version.   Whitelist it!

Signed-off-by: Sage Weil <sage@inktank.com>
(cherry picked from commit 9a17bb5134ae7072089f780cd975761e61c708db)

rbd: bump the default scratch size for xfstests to 10G

autobuild-ceph.git commit 53db7a34aba5 had silently changed the default
elevator from cfq to deadline, which made xfstests 167 very unhappy.
It looks like with deadline and noop elevators it requires a ~6G
scratch partition.  Bump the default scratch image size to 10G.

Signed-off-by: Ilya Dryomov <ilya.dryomov@inktank.com>
(cherry picked from commit d781348fd5d319897787d4d43c3af6105b6aa988)

Conflicts:

teuthology/task/rbd.py

admin_socket: add missing import time

Signed-off-by: Sage Weil <sage@inktank.com>

Set pg warn min per osd to 5.

Not set in all branches of teuthology.

Signed-off-by: Sandon Van Ness <sandon@inktank.com>

Use worker httpd instead of prefork (like ubuntu) on rpm distros.

Ubuntu's default apache uses worker instead of prefork like rpm
based distro's. If rpm use httpd.worker instead of httpd so that
the -X behavior will not be blocked by a single request.

Signed-off-by: Sandon Van Ness <sandon@inktank.com>

filestore_idempotent: pull dumpling version of scripts

Signed-off-by: Sage Weil <sage@inktank.com>

valgrind: fix libleveldb suppression on dynamically linked leveldb

(The function names don't show up here)

Signed-off-by: Sage Weil <sage@inktank.com>
(cherry picked from commit c8ec9feca1db0f95a1f5d933bfe362e400593a65)

valgrind: suppress inet_ntop noise

See #6240

Signed-off-by: Sage Weil <sage@inktank.com>
(cherry picked from commit 2acceef69905173a008a6da075e675b3cb579391)

misc: valgrind --num-callers=50

Default is 12, which isn't quite enough.

Signed-off-by: Sage Weil <sage@inktank.com>
(cherry picked from commit 2214fe1845208f931260ed3014350fc0c932c054)

Conflicts:

teuthology/misc.py

remove basedir/testdir distinction

We should never run with a conflicting testdir in the basedir, and the
code to do this is confusing and buggy.  Go back to a single testdir and
simple checks.

Signed-off-by: Sage Weil <sage@inktank.com>
(cherry picked from commit 5acc57f5ad6ed14b3e1c89166d2571cf302a467c)

Conflicts:

README.rst
teuthology/misc.py

Run yum clean all after installing new ceph-release.

In order to get around the issue of repomd.xml being older than
the previously installed one depending on when the gitbuilder
built the repo.

Signed-off-by: Sandon Van Ness <sandon@inktank.com>

ceph_manager: wait for dump_ops_in_flight on osd revival

Wait for a command that implies a complete startup instead of
'version' (which does not).

Fixes: #5924
Signed-off-by: Sage Weil <sage@inktank.com>
(cherry picked from commit 5ec5e2c0e2e0cb4e25071999a05d9ac6294c3797)

admin_socket: fix retry-on-error behavior

Signed-off-by: Sage Weil <sage@inktank.com>
(cherry picked from commit 502714ba2ed7bb47ec81a25cd2f1c724583020f9)

Don't rebuilt virtualimage if NO_CLOBBER is set

Detect multi-region test cases

Enable multi-region calls and tests only if
the configuration has specified a
radosgw-agent tastk.

Signed-off-by: Joe Buck <jbbuck@gmail.com>
Reviewed-by: Josh Durgin <josh.durgin@inktank.com>

kernel: fix sha1

6f8910eca47c3d00643c77fb8a166357637e55eb inadvertantly started
using the ceph sha1 for the kernel.

Signed-off-by: Sage Weil <sage@inktank.com>

radosgw-agent: adding debug logging

Signed-off-by: Joe Buck <jbbuck@gmail.com>

rename variables and log messages to be more clear

A few edits to make logging and variable names
more clear.

Signed-off-by: Joe Buck <jbbuck@gmail.com>

rgw: fix domain root pool name assignment

Do not make the domain root pool the same
as the zone root pool. That causes sync issues.
Also, clarify a logging message.

Signed-off-by: Joe Buck <jbbuck@gmail.com>

radosgw-admin: correct white space mistake

Signed-off-by: Joe Buck <jbbuck@gmail.com>

Kernel value of - uses doesn't install kernel.

Using - as the kernel value (instead of what is usually 'testing'
will not add the kernel install tasks tot he yaml so the machine
will run the tests on its current running kernel (usefull for arm
and others).

Issue #6023.

Signed-off-by: Sandon Van Ness <sandon@inktank.com>

Merge pull request #42 from ceph/wip-arm5000-wusui

Fix ARM releases to be quantal armv7l releases.

Fix ARM releases to be quantal armv7l releases.
Made grub execution conditional and not done when ARM.
Use ctx parameter to change machine type to tala.
Fix kernel assignments when running ARM systems.

Fixes: #5000
Signed-off-by: Warren Usui <warren.usui@inktank.com>

Revert "Fix ARM releases to be quantal armv7l releases."

This reverts commit aabfabc34c101b5104d811eed0f57e262116ad4c.

Merge pull request #40 from ceph/wip-teutharm-wusui

Wip teutharm wusui

Fix ARM releases to be quantal armv7l releases.
Made grub execution conditional and not done when ARM.
Use ctx parameter to change machine type to tala.
Fix kernel assignments when running ARM systems.

Fixes: #5000
Signed-off-by: Warren Usui <warren.usui@inktank.com>

Adding multi-region tests

Adding tests for ticket #5604 to test
user propagation via the radosgw-agent.

Signed-off-by: Joe Buck <jbbuck@gmail.com>
Reviewed-by: Josh Durgin <josh.durgin@inktank.com>

Merge pull request #38 from ceph/fix_nightlies

Use the json format for raw_cluster_status().

Use the json format for raw_cluster_status().

Detect multi-region test cases

Enable multi-region calls and tests only if
the configuration has specified a
radosgw-agent tastk.

Signed-off-by: Joe Buck <jbbuck@gmail.com>
Reviewed-by: Josh Durgin <josh.durgin@inktank.com>

Fixing assumed typo.

Assuming this has to be a typo but its breaking the ceph-deploy
task.

Signed-off-by: Sandon Van Ness <sandon@inktank.com>

Merge pull request #36 from ceph/wip-3791

Continue to make teuthology easier to use for the first time

Tweak regex to work for non-FQDN hostnames

Note that target hostnames must be resolvable.

Merge pull request #35 from ceph/logging

Default log level to INFO; Fix some instances where print is being used instead of log

Fix some instances where print is being used instead of log

Default to log level INFO.

Merge pull request #34 from ceph/wip-3791

Don't bail if ~/.teuthology.yaml doesn't exist.

Don't bail if ~/.teuthology.yaml doesn't exist.

Obligatory automatic vim whitespace cleanup commit

Revert "Display error message when locking a vpm fails due to downburst errors."

This reverts commit 4681b35016619ece44730a368070220e6c2e56a3.

Merge pull request #32 from ceph/wip-fix5957-wusui

Display error message when locking a vpm fails due to downburst errors.

Display error message when locking a vpm fails due to downburst errors.
When doing a lock-many, do not lock any of the vpms when downburst errors
occur.   Do not display message on unlock with downburst error, because
slot is still freed (and can be locked by someone else).

Fix: 5957
Signed-off-by: Warren Usui <warren.usui@inktank.com>

Merge pull request #31 from ceph/wip-5941

Instructions for installing teuthology on non-debian-based OSs

add link to homebrew

Signed-off-by: Alfredo Deza <alfredo@deza.pe>

add generic instructions for installation

Signed-off-by: Alfredo Deza <alfredo@deza.pe>

create instructions to install on OSX

Signed-off-by: Alfredo Deza <alfredo@deza.pe>

sort the requirements

Signed-off-by: Alfredo Deza <alfredo@deza.pe>

remove install_requires from setup.py

Signed-off-by: Alfredo Deza <alfredo@deza.pe>

Merge pull request #29 from ceph/wip-4264

update to reflect required install task

Merge pull request #30 from ceph/wip-5952

Fix a case where _get_config_value_for_remote could return None mistakenly

Fix a case where _get_config_value_for_remote could return None mistakenly

Merge remote-tracking branch 'gh/next'

samba: wait longer for smbd to start

sleep(1) is occasionally not long enough, it seems!

Merge pull request #27 from dachary/wip-5946

do not check the jobid if check-locks is False

do not check the jobid if check-locks is False

Because it relies on the lock server which is presumably not available
since check-locks was set to False. It matters when using teuthology
on a minimal installation.

http://tracker.ceph.com/issues/5946 fixes #5946

Signed-off-by: Loic Dachary <loic@dachary.org>

Merge pull request #28 from alfredodeza/5887

Allow a user to define a ceph-deploy branch to use (instead of master)

Merge pull request #24 from ceph/wip-5937

Don't hit an AttributeError if ctx.config['overrides'] is set to None

remove fallback of the fallback. so silly

Signed-off-by: Alfredo Deza <alfredo@deza.pe>

Remove three characters just for Alfredo

safer fallback. Updates docstring

Signed-off-by: Alfredo Deza <alfredo@deza.pe>

Add notes about install task precedence

radosgw-agent.py: refactor, enable overrides

Refactored the radosgw-agent.py code so that it
is structured more like existing teuthology
tasks.
Additionally, added code to enable:
using the override field in YAML files,
specifying which radosgw-agent github branch
to use checkout and for the YAML file to
specify one of the following: a full sync,
an incremental sync and the starting of the
test radosgw-agent server (previously the
server was always started by this task).

Signed-off-by: Joe Buck <jbbuck@gmail.com>
Reviewed-by: Josh Durgin <josh.durgin@inktank.com>

rgw.py: fix example config

In the example config, the region root and
zone root where pointing to the same pool,
which is not a best practice. Updated the
example to show them pointing to different pools.

Signed-off-by: Joe Buck <jbbuck@gmail.com>

rgw.py: add a better error message

When pulling region info from the config
structure, if the region info isn't there,
log a more helpful message.

Signed-off-by: Joe Buck <jbbuck@gmail.com>

s3readwrite.py: make user creation optional

Extend the s3readwrite.py task to enable the
creation and deletion of users for the s3readwrite
tests to be independently specified with the default
assumption to both being true.
This is needed for tests that will create a user and
data in one execution and read it in another.

Signed-off-by: Joe Buck <jbbuck@gmail.com>

rgw.py: refactor configure

Extend the rados pool configuration options to
specify all pools (if desired).
Also, reordered zone and region configuration
so that they're configure (per client) in
this order: zone, region, set default region

Signed-off-by: Joe Buck <jbbuck@gmail.com>

rgy.py: make log_(data|metadata) configurable

The log_data and log_metadata are made configurable
via the YAML file and default to false
(meaning neither data nor metadata operations are
logged).

Signed-off-by: Joe Buck <jbbuck@gmail.com>

agent name should also contain port number

otherwise multiple agents per machines will have the same id

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

radosgw-admin: various multiregion related fixes and changes

Go to the master zone in the master region for radosgw-admin
operations. Trigger metadata sync. Other fixes.

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

Merge pull request #25 from dmick/master

tasks/ceph-deploy: allow configurations with no mds

Change "Exception" to "RuntimeError" as advised by zackc

Signed-off-by: Dan Mick <dan.mick@inktank.com>

tasks/ceph-deploy: allow configurations with no mds

Signed-off-by: Dan Mick <dan.mick@inktank.com>

Default to master and not next.

Add install task to examples

Don't hit an AttributeError if ctx.config['overrides'] is set to None

Merge pull request #23 from ceph/pep8

Make this module pep8-clean.

Make this module pep8-clean.

Merge pull request #22 from ceph/rpm-upgrades

Fix rpm upgrades for nested branch configs

Make _get_baseurlinfo_and_dist() provide the correct uri

Merge pull request #21 from ceph/rpm-upgrades

Make install.upgrade work on RPM-based systems.

Make install.upgrade work with CentOS/RHEL/Fedora.

Add Remote.system_type property. Also, clean up whitespace.

admin_socket: split command into multiple arguments

We were passing the command as a single string, but that does not work the
same way it used to.

Signed-off-by: Sage Weil <sage@inktank.com>

ceph.conf: open osd classes on start

This is the default for master, but needs to be explicitly enabled for
cuttlefish.

Merge remote-tracking branch 'gh/next'

add a key for ceph-deploy-branch detection

Signed-off-by: Alfredo Deza <alfredo@deza.pe>

Add a useful error message in case of an invalid hostname

s3readwrite.py: enable overrides

Enable s3readwrite task to have the branch to
download specified and for overrides to be
incorporated into the config at run-time.
Code based on the s3tests.py task.

Signed-off-by: Joe Buck <jbbuck@gmail.com>
Reviewed-by: Josh Durgin <josh.durgin@inktank.com>