misc: ignore some unusable block devices

If a block device is read-only, or is a cloud-init datasource, we should
not change the content on it!

This change detects most documented datasources as of 2015/12/10 from
http://cloudinit.readthedocs.org/en/latest/topics/datasources.html

It cannot detect datasources that are only detectable based on files on
volume (eg config-drive v1)

Signed-off-by: Robin H. Johnson <robin.johnson@dreamhost.com>

Merge pull request #729 from dachary/wip-typos

fix typos

Merge pull request #728 from dachary/wip-openstack-cron-openstack-stale

openstack: cleanup leftovers every 30 minutes

Merge pull request #725 from dachary/wip-gitlab

enable GitLab CI

Merge pull request #712 from dachary/wip-13581-openstack-hint

openstack: enforce hints as an array

Merge pull request #743 from dachary/wip-misc-sh-truncate

misc: truncating shell output to 1024 per line

misc: truncating shell output to 1024 per line

Truncating by default to 128 frequently trims useful debug
information. Set the default to 1024: the intent is to avoid huge logs
when a json output is repeatedly returning large (>10k) payloads.

Signed-off-by: Loic Dachary <loic@dachary.org>

Merge pull request #742 from ceph/wip-os-version

Remote: only submit X.Y for os_version

Copying comment for future documentation:

The opsys.OS class passes the operating system's version according to
the actual host; in some cases e.g. CentOS is reporting things like
'7.1.1503'. In these cases, let's make
Remote.inventory_info['os_version'] only use the '7.1' - since we don't
care about the rest. This will allow us to continue scheduling against
CentOS smoothly.

Reviewed-by: Dan Mick <dmick@redhat.com>

Remote: only submit X.Y for os_version

The opsys.OS class passes the operating system's version according to
the actual host; in some cases e.g. CentOS is reporting things like
'7.1.1503'. In these cases, let's make
Remote.inventory_info['os_version'] only use the '7.1' - since we don't
care about the rest. This will allow us to continue scheduling against
CentOS smoothly.

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #727 from dachary/wip-nuke-stale-openstack

nuke: --stale-openstack must cope with disappearing volumes / instances

nuke: --stale-openstack must cope with disappearing volumes / instances

"openstack server/volume show" typically takes a few seconds to
complete due to the provider API slowness/throttling. It is possible that
a volume/instance found with "openstack server list" no longer exists when
running "openstack server show" to get more information about it.

Signed-off-by: Loic Dachary <loic@dachary.org>

Merge pull request #741 from ceph/wip-apt-mirror

Stop hardcoding apt-mirror's IP

Stop hardcoding apt-mirror's IP

We will point to apt-mirror.sepia.ceph.com, which is
publicly-accessible.

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #740 from smithfarm/wip-bootstrap-opensuse

bootstrap: fixes for openSUSE

bootstrap: fixes for openSUSE

When a package is found not to exist, we need to also check if there
is another package installed that provides a capability of the same
name.

Also, the python-devel package must be installed, or the pip phase
fails.

http://tracker.ceph.com/issues/14002 Fixes: #14002

Signed-off-by: Nathan Cutler <ncutler@suse.com>

Merge pull request #737 from ceph/wip-config-port

Use the newer config API

nuke: Use newer config API

Signed-off-by: Zack Cerza <zack@redhat.com>

nuke: Linter fixes

Signed-off-by: Zack Cerza <zack@redhat.com>

misc: Use newer config API

Signed-off-by: Zack Cerza <zack@redhat.com>

Implement YamlConfig.get()

Signed-off-by: Zack Cerza <zack@redhat.com>

Drop misc.read_config()

Replace with config.set_config_attr(). This is mainly for
backward-compatibility in tasks contained in ceph-qa-suite.

Signed-off-by: Zack Cerza <zack@redhat.com>

fix typos

Signed-off-by: Loic Dachary <loic@dachary.org>

openstack: cleanup leftovers every 30 minutes

Resources are billed by the hour, it makes a difference to cleanup
leftovers once every hour. Provide a crontab that runs

  teuthology-nuke --stale-openstack

every 30 minutes.

Signed-off-by: Loic Dachary <loic@dachary.org>

openstack: enforce hints as an array

All OpenStack hints have been converted to arrays (hammer, infernalis,
master), raise an error if a hint is added old style to avoid mixing
style.

http://tracker.ceph.com/issues/13581 Fixes: #13581

Signed-off-by: Loic Dachary <loic@dachary.org>

enable GitLab CI

Signed-off-by: Loic Dachary <loic@dachary.org>

Merge pull request #723 from dachary/wip-nuke-stale-openstack

nuke: cleanup stale OpenStack resources

Merge pull request #709 from ceph/wip-epel-remove

Remove epel packages during downstream testing if present on the node

Merge pull request #710 from dachary/wip-internal-buildpackages

internal: the buildpackages task must come first

Merge pull request #719 from dachary/wip-openstack-parallel-delete

openstack: run 20 server/deletion at a time

Merge pull request #720 from dachary/wip-openstack-instance-size

openstack: teuthology for 100 or more need 32GB

Merge pull request #722 from dachary/wip-openstack-parallel

openstack: run one job at a time by default

nuke: cleanup stale OpenStack resources

Implement the --stale-openstack action to cleanup OpenStack resources
that are known to be stale because:

* instances or volumes have been created a long time ago
* instances or volumes with REMOVE-ME in the name
* nodes that are locked but did not get an instance

Only the instances and volumes known to belong to the teuthology cluster
because they have ownedby=IP in the name are considered, where IP is the
IP address of the machine running the teuthology clusters.

Signed-off-by: Loic Dachary <loic@dachary.org>

lock: locked_since_seconds converts locked_since

The node locked_since property is converted by locked_since_seconds
into the number of seconds since the present time, which is convenient
to compare with configured delays.

Signed-off-by: Loic Dachary <loic@dachary.org>

openstack: introduce OpenStackInstance

To reduce the number of redundant calls and reduce the code complexity.

Signed-off-by: Loic Dachary <loic@dachary.org>

internal: the buildpackages task must come first

Otherwise the machines will be locked and remain idle while the packages
are building. When there are 20 jobs requiring a package, it means an
average of 40 machines locked idle while the packages are building.

Signed-off-by: Loic Dachary <loic@dachary.org>

openstack: run one job at a time by default

Most jobs in rados/thrash allocate six volumes. The default tenant on
OVH has ten volumes, that's just not enough for two jobs to run in parallel.

Signed-off-by: Loic Dachary <loic@dachary.org>

openstack: teuthology for 100 or more need 32GB

Signed-off-by: Loic Dachary <loic@dachary.org>

openstack: run 20 server/deletion at a time

Signed-off-by: Loic Dachary <loic@dachary.org>

Merge pull request #679 from ceph/wip-unpin-gevent

Unpin gevent

Reviewed-by: Loic Dachary <ldachary@redhat.com>

libevent -> libev for newer gevent

Signed-off-by: Zack Cerza <zack@redhat.com>

Unpin gevent version

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #716 from ceph/wip-fix-setuptools

Work around setuptools 18.6 regression

Reviewed-by: Dan Mick <dmick@redhat.com>

Work around setuptools 18.6 regression

See
https://bitbucket.org/pypa/setuptools/issues/464/typeerror-in-install_wrapper_scripts

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #676 from dachary/wip-openstack-timeout

openstack: increase ssh timeout to 240 (part 2)

Merge pull request #696 from dachary/wip-openstack-only-ipv4

openstack: only consider IPv4 subnets

Merge pull request #695 from dachary/wip-openstack-resolver

openstack: add 8.8.8.8 as a last resort resolver

Merge pull request #697 from dachary/wip-openstack-neutron-private-ip

openstack: try to get private IP from neutron

Merge pull request #705 from dachary/wip-glance-raw

openstack: support glance disk-format raw

Merge pull request #706 from dachary/wip-dreamhost-provider

openstack: set dreamhost if OS_AUTH_URL has dream.io

Merge pull request #707 from dachary/wip-openstack-delete-wait

openstack: wait for server delete to complete

Merge pull request #693 from dachary/wip-no-roles

run: do not lock machines if there are no roles

tests: teuthology-* --invalid-option is a sure fail

Providing the INVALID argument may succeed, depending on how the script
interprets arguments.

Signed-off-by: Loic Dachary <loic@dachary.org>

Remove epel packages during downstream testing if present on the node

Signed-off-by: Vasu Kulkarni <vasu@redhat.com>

Merge pull request #708 from ceph/wip-tolerate-giterror

Be more tolerant of GitErrors in repo_utils

fetch_repo(): Call rmtree() when all attempts fail

Signed-off-by: Zack Cerza <zack@redhat.com>

Don't call rmtree() on GitErrors

Signed-off-by: Zack Cerza <zack@redhat.com>

openstack: wait for server delete to complete

Signed-off-by: Loic Dachary <ldachary@redhat.com>

run: do not lock machines if there are no roles

The worker runs the job, even if there are no roles: it is legitimate to
run a job that does not need machines.

Run only locks machines if there are roles and init_tasks is only
populated with tasks that make sense depending on the presence of roles
or not.

Move the internal task added in suite.py to run.py : there is no reason
to not have them with teuthology-run or teuthology-schedule (ansible +
clock).

Signed-off-by: Loic Dachary <ldachary@redhat.com>

openstack: set dreamhost if OS_AUTH_URL has dream.io

Signed-off-by: Loic Dachary <ldachary@redhat.com>

openstack: support glance disk-format raw

For providers such as dreamcompute that only support the glance image
format raw, convert the qcow2 image to raw prior to uploading.

Signed-off-by: Loic Dachary <ldachary@redhat.com>

openstack: add 8.8.8.8 as a last resort resolver

Signed-off-by: Loic Dachary <ldachary@redhat.com>

openstack: only consider IPv4 subnets

Signed-off-by: Loic Dachary <ldachary@redhat.com>

openstack: try to get private IP from neutron

Signed-off-by: Loic Dachary <ldachary@redhat.com>

ceph.conf: filstore {ondisk,apply} finisher threads = 3

Exercise new finisher sharding in qa.

Signed-off-by: Sage Weil <sage@redhat.com>

Merge pull request #698 from dachary/wip-openstack-instance-creation-poll

openstack: poll every 30 seconds instead of 2

Merge pull request #703 from dachary/wip-os-client-config

Unpin os-client-config

Unpin os-client-config

The bug found in 1.10.1 was fixed and version 1.10.2 is now current.

https://bugs.launchpad.net/os-client-config/+bug/1513919

Signed-off-by: Loic Dachary <loic@dachary.org>

Merge pull request #702 from ceph/wip-empty-roles

Run jobs even if 'roles' is empty

This was the original behavior pre-181256f3, and still seems better; the job will fail, but
this way worker won't keep it behind

Reviewd-by: Dan Mick <dmick@redhat.com>

Run jobs even if 'roles' is empty

They will fail immediately, but at least we'll know about them.

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #701 from ceph/wip-suite-tests

TestSuiteMain.test_main(): don't hit the network

TestSuiteMain.test_main(): don't hit the network

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #700 from ceph/wip-pin-occ

Pin os-client-config to 1.9.0

Reviewed-by: Loic Dachary <ldachary@redhat.com>

Pin os-client-config to 1.9.0

This is to fix 'openstack image list --json' acting as if --debug were
passed. This was breaking things.

https://bugs.launchpad.net/os-client-config/+bug/1513919

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #649 from dachary/wip-install-doc

install: document tag, branch and sha1 precedence

Merge pull request #699 from ceph/wip-results

teuthology-results: Be aware of all job statuses

More consistent spacing between sections

Signed-off-by: Zack Cerza <zack@redhat.com>

Format durations as HH:MM:SS

Signed-off-by: Zack Cerza <zack@redhat.com>

Increase polling interval

When we used the filesystem, we polled for a run's status every 10s;
that was more aggressive than necessary. Increase to 60s to avoid
overloading paddles.

Signed-off-by: Zack Cerza <zack@redhat.com>

Refactor teuthology.results to remove copypasta

And also stop mixing tenses in the email subject/body.

Signed-off-by: Zack Cerza <zack@redhat.com>

Handle all possible job states

Instead of lumping jobs into a made-up 'hung' state, express that they
are in one of the following: dead, running, waiting, queued

Signed-off-by: Zack Cerza <zack@redhat.com>

Update unit tests for teuthology.results

This commit updates the existing unit tests to match the new
paddles-based behavior.

Signed-off-by: Zack Cerza <zack@redhat.com>

Use paddles instead of the filesystem

We do still need the filesystem to generate coverage reports.

Signed-off-by: Zack Cerza <zack@redhat.com>

Provide a default for --timeout

Signed-off-by: Zack Cerza <zack@redhat.com>

openstack: poll every 30 seconds instead of 2

No cloud provider boots an instance within 30 seconds, no need to poll
aggressively. Also wait more than a total of 1200 seconds (3000 seconds)
because some providers may take more than 20 minutes to complete the
boot sequence.

Signed-off-by: Loic Dachary <ldachary@redhat.com>

Merge pull request #692 from dachary/wip-upload-order

run: upload must happen after archive

Merge pull request #691 from dachary/wip-suite-sha1

suite: add the ceph-qa-suite hash to the job config

Merge pull request #689 from dachary/wip-openstack-user-data

openstack: get user-data path relative to the sources

Merge pull request #688 from dachary/wip-tests-openstack-resources

openstack: tests: use new resources hint style

Merge pull request #690 from dachary/wip-openstack-sha1

openstack: disable teuthology-suite sha1 verification

run: upload must happen after archive

The unwinding order is in reverse: internal.archive must be after
archive_upload so that it actually happens *before*.

Signed-off-by: Loic Dachary <ldachary@redhat.com>

suite: add the ceph-qa-suite hash to the job config

To be able to re-run a job we need:

* the ceph repository and hash
* the ceph-qa-suite repository and hash
* the job description

When reading the job log from the archive directory, we currently only
have the ceph-qa-suite branch name. If and when the branch name moves
on, the job description may cease to be valid and re-running the job
may no longer be possible.

Signed-off-by: Loic Dachary <ldachary@redhat.com>

openstack: disable teuthology-suite sha1 verification

By default teuthology-openstack builds packages dynamically and does not
rely on gitbuilder.ceph.com

Signed-off-by: Loic Dachary <ldachary@redhat.com>

openstack: get user-data path relative to the sources

The user-data files are in the sources, in the teuthology/openstack
directory. By default the template path being used is
teuthology/openstack/openstack-{os_type}-{os_version}-user-data.txt and
assumes teuthology-suite / teuthology-openstack is run from the root of
the source directory.

If the user-data path is relative, make it absolute based on the
directory in which the openstack module is found.

http://tracker.ceph.com/issues/13416 Fixes: #13416

Signed-off-by: Loic Dachary <ldachary@redhat.com>

openstack: tests: use new resources hint style

The memory cannot be lowered by the hint: test that it increases to 10GB
instead of testing that it was lowered under a given limit.

Signed-off-by: Loic Dachary <ldachary@redhat.com>

Merge pull request #637 from dachary/wip-suite-sha1

suite: add config.suite_verify_ceph_hash when no gitbuilder

Merge pull request #687 from ceph/wip-sh-tests

Fix misc.sh() tests on MacOS

Reviewed-by: Loic Dachary <ldachary@redhat.com>

Merge pull request #2 from zmc/wip-suite-tests

suite: Fix updated unit test

Reviewed-by: Loic Dachary <ldachary@redhat.com>

suite: Fix updated unit test

First, split half of test_schedule_suite into
test_schedule_suite_noverify. Also reflect the fact that Mock doesn't
provide a simple assert_called().

Signed-off-by: Zack Cerza <zack@redhat.com>

Fix misc.sh() tests on MacOS

It needs to be specifically told to use /bin/echo. Also add some
newlines to make the linter happy.

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #685 from dachary/wip-13656-openstack-remove

openstack: more robust server deletion