nuke.py: try to undo multipath devices

Use multipath -F, and remove multipath-tools and/or
device-mapper-multipath.

Fixes: #14460
Signed-off-by: Dan Mick <dan.mick@redhat.com>

Merge pull request #775 from ceph/wip-no-ssp

Update bootstrapping and CI hooks

Install package dependencies in TravisCI

And use an Ubuntu Trusty VM

Signed-off-by: Zack Cerza <zack@redhat.com>

Drop --no-use-wheel when invoking pip

Signed-off-by: Zack Cerza <zack@redhat.com>

Unpin setuptools

Signed-off-by: Zack Cerza <zack@redhat.com>

Drop obsolete jenkins/ dir

Signed-off-by: Zack Cerza <zack@redhat.com>

Require mysqlclient

Even if it's just for teuthology-coverage which isn't used (and might be
broken), it's <80KB

Signed-off-by: Zack Cerza <zack@redhat.com>

Require libvirt devel package on Linux distros

Also, drop the requirement for the system libvirt Python bindings. This
effectively drops support for old distros like Ubuntu Precise.

Signed-off-by: Zack Cerza <zack@redhat.com>

Add libffi for MacOS

Signed-off-by: Zack Cerza <zack@redhat.com>

Require libvirt-python

For teuthology.orchestra.remote.VirtualConsole

Signed-off-by: Zack Cerza <zack@redhat.com>

Rebuild virtualenvs that use system site-packages

Signed-off-by: Zack Cerza <zack@redhat.com>

Drop setuptools version restriction

Signed-off-by: Zack Cerza <zack@redhat.com>

Always upgrade pip and setuptools

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #721 from dachary/wip-openstack-git-urls

openstack: update ~/.teuthology with --git-ceph{,qa-suite}-url

Merge pull request #738 from caibo2014/master

amendment misunderstood lock server and results server address

Merge pull request #744 from ceph/wip-subtree-osd

ceph.conf: mon osd reporter subtree level = osd

Merge pull request #745 from dreamhost/wip-get_scratch_devices

misc: ignore some unusable block devices

Merge pull request #735 from dachary/wip-suite-wait

suite: --wait to block until the suite finishes

Merge pull request #760 from dachary/wip-openstack-supported

doc: only OpenStack with OVH is supported

Drop --system-site-packages

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #774 from ceph/wip-no-rhel-vps

Don't pretend that RHEL is supported by downburst

Speed up these tests by ~20x

By patching provision.downburst_executable()

Signed-off-by: Zack Cerza <zack@redhat.com>

Remove RHEL from downburst version list

... and associated unit test

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #772 from dachary/wip-volume-rename

openstack: a failure to rename a volume is not fatal

openstack: a failure to rename a volume is not fatal

It will be cleaned up by nuke --stale-openstack

Signed-off-by: Loic Dachary <loic@dachary.org>

Merge pull request #771 from ceph/wip-openstack-json

nuke: Expect json output from openstack commands

Reviewed-by: Dan Mick <dmick@redhat.com>

nuke: Expect json output from openstack commands

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #752 from dachary/wip-openstack-json-dict

openstack: switch the default json output to dictionary

Merge pull request #736 from ceph/wip-se-ignore-few-denials

Ignore few se denials in log parsing

Merge pull request #770 from ceph/wip-openstack-centos

Add CentOS 7.2 for OpenStack

Ignore few se denials in audit log parsing

dmidecode issue https://bugzilla.redhat.com/show_bug.cgi?id=1289274
tracker for chronyd issue http://tracker.ceph.com/issues/14244

Signed-off-by: Vasu Kulkarni <vasu@redhat.com>

Add user-data for CentOS 7.2

Signed-off-by: Zack Cerza <zack@redhat.com>

Correct CentOS 7.0/7.1 images and add 7.2

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #766 from smithfarm/wip-hammer-sh-doc

doc: add descriptive comment at top of hammer.sh script

Merge pull request #769 from ceph/wip-helgrind-suppressions

valgrind.supp: suppress helgrind warnings for external libraries

Reviewed-by: Josh Durgin <jdurgin@redhat.com>

Merge pull request #768 from ceph/wip-centos-version

Use remote.inventory_info['os_version']

Use remote.inventory_info['os_version']

... instead of remote.os.version.

Signed-off-by: Zack Cerza <zack@redhat.com>

valgrind.supp: suppress helgrind warnings for external libraries

Fixes: #14163
Signed-off-by: Jason Dillaman <dillaman@redhat.com>

Merge pull request #767 from ceph/wip-14336

Fix regression in flock usage

Fix regression in flock usage

Bug report: http://tracker.ceph.com/issues/14336
Regression caused in: https://github.com/ceph/teuthology/pull/764

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #762 from ktdreyer/wip-readme-rst-syntax

README: fix rst syntax for sub-bullets

Merge pull request #764 from dachary/wip-14238-openstack-stale

openstack: flock timeout on openstack server create

doc: add descriptive comment at top of hammer.sh script

This script was added by 303e863d32c077c17cd8a027172af8204434a66b - this
commit takes the description from that commit and places it in a comment at
the top of the script.

Without this descriptive comment, the only thing we have to go on is the
filename, hammer.sh, which is easily confused with Hammer as in version
0.94 of Ceph.

Signed-off-by: Nathan Cutler <ncutler@suse.com>

Merge pull request #765 from ceph/wip-14125

packaging.GitbuilderProject: support the wait_for_package feature

better logging in packaging._get_response

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

task.install: fix how the config option wait_for_package is set

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

packaging.GitbuilderProject will retry now when fetching package versions

If we don't get a 200, retry to account for gitbuilder finishing a
build.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

openstack: flock timeout on openstack server create

The global lock used to run openstack server create must timeout
otherwise it may hang forever. The timeout is set to 8h. Assuming one
server create --wait takes ~1mn to return, that should be more than
enough to absorbe a burst of 200 jobs provisioning instances at the same
time.

The goal here is to ensure the queue does not stay blocked forever, not
to timeout jobs because they cannot get a server in a given delay.

http://tracker.ceph.com/issues/14243 Fixes: #14243

Signed-off-by: Loic Dachary <loic@dachary.org>

Merge pull request #763 from dachary/wip-14238-openstack-stale

openstack: nuke must use ID and not name

openstack: nuke must use ID and not name

Otherwise it will fail if there are multiple instances by the same name.

http://tracker.ceph.com/issues/14238 Fixes: #14238

Signed-off-by: Loic Dachary <loic@dachary.org>

README: fix rst syntax for sub-bullets

The install task contains its own list of sub-point bullets.  Prior to
this change, rST did not treat this list as a sub-list of the "install
task" bullet point. Instead, it rendered them at the same level as the
install task and all the other tasks.

Indent the sub-bullets under the install task's description. This will
cause rST to treat them as true sub-bullets under the install task.

Merge pull request #756 from dachary/wip-openstack-centos-7-1

openstack: support CentOS 7.1

Merge pull request #761 from ceph/wip-dbrst-mac

Downburst: make MAC setting persistent and remove test user's password

Reviewed-by: Dan Mick <dmick@redhat.com>

Downburst: Remove the test user's password

So that console logins are possible

Signed-off-by: Zack Cerza <zack@redhat.com>

Downburst: Make MAC setting persistent

On CentOS hosts, the MAC is being reset on some reboots. Write it to the
appropriate file.

Signed-off-by: Zack Cerza <zack@redhat.com>

openstack: support CentOS 7.1

It uses the same cloud image as centos-7.0 because it already was 7.1
anyway, only misnamed 7.0 because changing it is inconvenient.

Signed-off-by: Loic Dachary <loic@dachary.org>

Merge pull request #755 from dachary/wip-openstack-package-data-files

openstack: package data files

Merge pull request #754 from dachary/wip-suite-dry-run-verify-hash

suite: honor suite_verify_ceph_hash on --dry-run

Merge pull request #753 from dachary/wip-openstack-dead-code

openstack: remove dead code

Merge pull request #751 from dachary/wip-openstack-image-private

openstack: keep image private

Merge pull request #750 from dachary/wip-openstack-bugous-ip

openstack: remove bugous static IP regexp

Merge pull request #749 from dachary/wip-openstack-dnsmasq

dnsmasq is not actually restarting

Merge pull request #747 from dachary/wip-openstack-integration-cleanup

tests: openstack-integration is too agressive

Merge pull request #746 from dachary/wip-openstack-delegate-tests

tests: delegate integration tests to OpenStack

Merge pull request #718 from dachary/wip-get-pkg-type

misc: get_pkg_type to infer the package time from the os_type

doc: only OpenStack with OVH is supported

The other providers are likely to work but since they are not actively
tested, it is better no to claim they do.

Signed-off-by: Loic Dachary <loic@dachary.org>

Merge pull request #759 from ceph/wip-openstack-requests

Block requests==2.9.0

Reviewed-by: Dan Mick <dmick@redhat.com>

Block requests==2.9.0

Because of https://bugs.launchpad.net/nova/+bug/1526413

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #758 from dmick/wip-ntpservers

clock: get the servers to use for ntpdate from ntp.conf

clock: get the servers to use for ntpdate from ntp.conf

Signed-off-by: Dan Mick <dan.mick@redhat.com>

Merge pull request #757 from ceph/fix-ansible-error-reporting

ansible: include the contents of the failure log in the exception

ansible: include the contents of the failure log in the exception

When parsing of the ansible failure log fails this will actually print
the contents of the malformed log in the raised AnsibleFailedError.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

misc: ignore some unusable block devices

If a block device is read-only, or is a cloud-init datasource, we should
not change the content on it!

This change detects most documented datasources as of 2015/12/10 from
http://cloudinit.readthedocs.org/en/latest/topics/datasources.html

It cannot detect datasources that are only detectable based on files on
volume (eg config-drive v1)

Signed-off-by: Robin H. Johnson <robin.johnson@dreamhost.com>

openstack: switch the default json output to dictionary

The python-openstackclient output may either be a list of Value/Field or
a dictionary. Use the dictionary instead of the Value/Field form
because it is easier to deal with. The former was chosen because of a
bug that made it impossible to control the output. The bug still exists
but is believed to be rare enough to ignore. Should it happen, a message
recommending a corrective action and a comment on:

https://bugs.launchpad.net/python-openstackclient/+bug/1510546

is displayed.

Signed-off-by: Loic Dachary <loic@dachary.org>

Merge pull request #734 from dachary/wip-openstack-ssh

openstack: TeuthologyOpenStack.ssh continuous output

openstack: TeuthologyOpenStack.cloud_init_wait continuous output

Instead of tailing the files every 30 seconds, wait for the
string that proves the teuthology installation completed with a tail -f
and display the result continously.

The number of attempts is reduced from 100 to 30 because there is no
need for repeated calls to tail to check for the desired string.

Signed-off-by: Loic Dachary <loic@dachary.org>

openstack: display reminders before running the suite

If --wait, it is useful to display the URL/ssh reminders before waiting
for the suite to complete.

Signed-off-by: Loic Dachary <loic@dachary.org>

openstack: TeuthologyOpenStack.ssh continuous output

Instead of waiting for the completion of the ssh command,
display stdout/stderr continously.

Signed-off-by: Loic Dachary <loic@dachary.org>

misc: sh displays sdterr/stdout continuously

Instead of blocking until the command completes, which makes for a
better user experience when the command takes more than a second to complete.

Signed-off-by: Loic Dachary <loic@dachary.org>

openstack: package data files

Signed-off-by: Loic Dachary <loic@dachary.org>

suite: honor suite_verify_ceph_hash on --dry-run

When running dry-run, an attempt is made to figure out if the hash of
the job is already present in the gitbuilder. This must not be done
if suite_verify_ceph_hash is false.

Signed-off-by: Loic Dachary <loic@dachary.org>

openstack: remove dead code

Signed-off-by: Loic Dachary <loic@dachary.org>

openstack: keep image private

Ensure a newly created image is private to this tenant by default,
regardless of whatever the openstack defaults are.

Signed-off-by: Robin H. Johnson <robin.johnson@dreamhost.com>

openstack: remove bugous static IP regexp

Instead of duplicating a bugous static IP regexp, use the get_ip()
method.

Signed-off-by: Loic Dachary <loic@dachary.org>

dnsmasq is not actually restarting

The init.d fres, but does nothing.

Signed-off-by: Robin H. Johnson <robbat2@gentoo.org>

tests: openstack-integration is too agressive

It will wipe out all targets in the tenant which can be devastating and
unexpected when multiple teuthology clusters use the same tenant. Filter
the deletion using the ownedby property to limit the destruction to the
targets owned by the cluster in which the integration tests are run.

Signed-off-by: Loic Dachary <loic@dachary.org>

tests: delegate integration tests to OpenStack

Signed-off-by: Loic Dachary <loic@dachary.org>

Merge pull request #733 from dachary/wip-openstack-instance

openstack: use OpenStackInstance in TeuthologyOpenStack

Merge pull request #732 from dachary/wip-orchestra-debug

orchestra: display connect_args on debug

Merge pull request #683 from dachary/wip-13520-openstack-12.04

openstack: add support for ubuntu 12.04

Merge pull request #731 from dachary/wip-openstack-verify

openstack: use flavor list to verify connectivity

Merge pull request #714 from ceph/wip-teuthology-tree

teuthology-describe-tests: a way to examine a qa suite

ceph.conf: mon osd reporter subtree level = osd

Teuthology puts everything under one host, and many tests run on one host.

Signed-off-by: Sage Weil <sage@redhat.com>

describe-tests: add newline before start of docstrings

Signed-off-by: Josh Durgin <jdurgin@redhat.com>

describe-tests: fix formatting for flake8

Signed-off-by: Josh Durgin <jdurgin@redhat.com>

Merge pull request #729 from dachary/wip-typos

fix typos

Merge pull request #728 from dachary/wip-openstack-cron-openstack-stale

openstack: cleanup leftovers every 30 minutes

Merge pull request #725 from dachary/wip-gitlab

enable GitLab CI

Merge pull request #712 from dachary/wip-13581-openstack-hint

openstack: enforce hints as an array

Merge pull request #743 from dachary/wip-misc-sh-truncate

misc: truncating shell output to 1024 per line