nuke: --stale-openstack must cope with disappearing volumes / instances

"openstack server/volume show" typically takes a few seconds to
complete due to the provider API slowness/throttling. It is possible that
a volume/instance found with "openstack server list" no longer exists when
running "openstack server show" to get more information about it.

Signed-off-by: Loic Dachary <loic@dachary.org>

Merge pull request #737 from ceph/wip-config-port

Use the newer config API

nuke: Use newer config API

Signed-off-by: Zack Cerza <zack@redhat.com>

nuke: Linter fixes

Signed-off-by: Zack Cerza <zack@redhat.com>

misc: Use newer config API

Signed-off-by: Zack Cerza <zack@redhat.com>

Implement YamlConfig.get()

Signed-off-by: Zack Cerza <zack@redhat.com>

Drop misc.read_config()

Replace with config.set_config_attr(). This is mainly for
backward-compatibility in tasks contained in ceph-qa-suite.

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #723 from dachary/wip-nuke-stale-openstack

nuke: cleanup stale OpenStack resources

Merge pull request #709 from ceph/wip-epel-remove

Remove epel packages during downstream testing if present on the node

Merge pull request #710 from dachary/wip-internal-buildpackages

internal: the buildpackages task must come first

Merge pull request #719 from dachary/wip-openstack-parallel-delete

openstack: run 20 server/deletion at a time

Merge pull request #720 from dachary/wip-openstack-instance-size

openstack: teuthology for 100 or more need 32GB

Merge pull request #722 from dachary/wip-openstack-parallel

openstack: run one job at a time by default

nuke: cleanup stale OpenStack resources

Implement the --stale-openstack action to cleanup OpenStack resources
that are known to be stale because:

* instances or volumes have been created a long time ago
* instances or volumes with REMOVE-ME in the name
* nodes that are locked but did not get an instance

Only the instances and volumes known to belong to the teuthology cluster
because they have ownedby=IP in the name are considered, where IP is the
IP address of the machine running the teuthology clusters.

Signed-off-by: Loic Dachary <loic@dachary.org>

lock: locked_since_seconds converts locked_since

The node locked_since property is converted by locked_since_seconds
into the number of seconds since the present time, which is convenient
to compare with configured delays.

Signed-off-by: Loic Dachary <loic@dachary.org>

openstack: introduce OpenStackInstance

To reduce the number of redundant calls and reduce the code complexity.

Signed-off-by: Loic Dachary <loic@dachary.org>

internal: the buildpackages task must come first

Otherwise the machines will be locked and remain idle while the packages
are building. When there are 20 jobs requiring a package, it means an
average of 40 machines locked idle while the packages are building.

Signed-off-by: Loic Dachary <loic@dachary.org>

openstack: run one job at a time by default

Most jobs in rados/thrash allocate six volumes. The default tenant on
OVH has ten volumes, that's just not enough for two jobs to run in parallel.

Signed-off-by: Loic Dachary <loic@dachary.org>

openstack: teuthology for 100 or more need 32GB

Signed-off-by: Loic Dachary <loic@dachary.org>

openstack: run 20 server/deletion at a time

Signed-off-by: Loic Dachary <loic@dachary.org>

Merge pull request #679 from ceph/wip-unpin-gevent

Unpin gevent

Reviewed-by: Loic Dachary <ldachary@redhat.com>

libevent -> libev for newer gevent

Signed-off-by: Zack Cerza <zack@redhat.com>

Unpin gevent version

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #716 from ceph/wip-fix-setuptools

Work around setuptools 18.6 regression

Reviewed-by: Dan Mick <dmick@redhat.com>

Work around setuptools 18.6 regression

See
https://bitbucket.org/pypa/setuptools/issues/464/typeerror-in-install_wrapper_scripts

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #676 from dachary/wip-openstack-timeout

openstack: increase ssh timeout to 240 (part 2)

Merge pull request #696 from dachary/wip-openstack-only-ipv4

openstack: only consider IPv4 subnets

Merge pull request #695 from dachary/wip-openstack-resolver

openstack: add 8.8.8.8 as a last resort resolver

Merge pull request #697 from dachary/wip-openstack-neutron-private-ip

openstack: try to get private IP from neutron

Merge pull request #705 from dachary/wip-glance-raw

openstack: support glance disk-format raw

Merge pull request #706 from dachary/wip-dreamhost-provider

openstack: set dreamhost if OS_AUTH_URL has dream.io

Merge pull request #707 from dachary/wip-openstack-delete-wait

openstack: wait for server delete to complete

Merge pull request #693 from dachary/wip-no-roles

run: do not lock machines if there are no roles

tests: teuthology-* --invalid-option is a sure fail

Providing the INVALID argument may succeed, depending on how the script
interprets arguments.

Signed-off-by: Loic Dachary <loic@dachary.org>

Remove epel packages during downstream testing if present on the node

Signed-off-by: Vasu Kulkarni <vasu@redhat.com>

Merge pull request #708 from ceph/wip-tolerate-giterror

Be more tolerant of GitErrors in repo_utils

fetch_repo(): Call rmtree() when all attempts fail

Signed-off-by: Zack Cerza <zack@redhat.com>

Don't call rmtree() on GitErrors

Signed-off-by: Zack Cerza <zack@redhat.com>

openstack: wait for server delete to complete

Signed-off-by: Loic Dachary <ldachary@redhat.com>

run: do not lock machines if there are no roles

The worker runs the job, even if there are no roles: it is legitimate to
run a job that does not need machines.

Run only locks machines if there are roles and init_tasks is only
populated with tasks that make sense depending on the presence of roles
or not.

Move the internal task added in suite.py to run.py : there is no reason
to not have them with teuthology-run or teuthology-schedule (ansible +
clock).

Signed-off-by: Loic Dachary <ldachary@redhat.com>

openstack: set dreamhost if OS_AUTH_URL has dream.io

Signed-off-by: Loic Dachary <ldachary@redhat.com>

openstack: support glance disk-format raw

For providers such as dreamcompute that only support the glance image
format raw, convert the qcow2 image to raw prior to uploading.

Signed-off-by: Loic Dachary <ldachary@redhat.com>

openstack: add 8.8.8.8 as a last resort resolver

Signed-off-by: Loic Dachary <ldachary@redhat.com>

openstack: only consider IPv4 subnets

Signed-off-by: Loic Dachary <ldachary@redhat.com>

openstack: try to get private IP from neutron

Signed-off-by: Loic Dachary <ldachary@redhat.com>

ceph.conf: filstore {ondisk,apply} finisher threads = 3

Exercise new finisher sharding in qa.

Signed-off-by: Sage Weil <sage@redhat.com>

Merge pull request #698 from dachary/wip-openstack-instance-creation-poll

openstack: poll every 30 seconds instead of 2

Merge pull request #703 from dachary/wip-os-client-config

Unpin os-client-config

Unpin os-client-config

The bug found in 1.10.1 was fixed and version 1.10.2 is now current.

https://bugs.launchpad.net/os-client-config/+bug/1513919

Signed-off-by: Loic Dachary <loic@dachary.org>

Merge pull request #702 from ceph/wip-empty-roles

Run jobs even if 'roles' is empty

This was the original behavior pre-181256f3, and still seems better; the job will fail, but
this way worker won't keep it behind

Reviewd-by: Dan Mick <dmick@redhat.com>

Run jobs even if 'roles' is empty

They will fail immediately, but at least we'll know about them.

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #701 from ceph/wip-suite-tests

TestSuiteMain.test_main(): don't hit the network

TestSuiteMain.test_main(): don't hit the network

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #700 from ceph/wip-pin-occ

Pin os-client-config to 1.9.0

Reviewed-by: Loic Dachary <ldachary@redhat.com>

Pin os-client-config to 1.9.0

This is to fix 'openstack image list --json' acting as if --debug were
passed. This was breaking things.

https://bugs.launchpad.net/os-client-config/+bug/1513919

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #649 from dachary/wip-install-doc

install: document tag, branch and sha1 precedence

Merge pull request #699 from ceph/wip-results

teuthology-results: Be aware of all job statuses

More consistent spacing between sections

Signed-off-by: Zack Cerza <zack@redhat.com>

Format durations as HH:MM:SS

Signed-off-by: Zack Cerza <zack@redhat.com>

Increase polling interval

When we used the filesystem, we polled for a run's status every 10s;
that was more aggressive than necessary. Increase to 60s to avoid
overloading paddles.

Signed-off-by: Zack Cerza <zack@redhat.com>

Refactor teuthology.results to remove copypasta

And also stop mixing tenses in the email subject/body.

Signed-off-by: Zack Cerza <zack@redhat.com>

Handle all possible job states

Instead of lumping jobs into a made-up 'hung' state, express that they
are in one of the following: dead, running, waiting, queued

Signed-off-by: Zack Cerza <zack@redhat.com>

Update unit tests for teuthology.results

This commit updates the existing unit tests to match the new
paddles-based behavior.

Signed-off-by: Zack Cerza <zack@redhat.com>

Use paddles instead of the filesystem

We do still need the filesystem to generate coverage reports.

Signed-off-by: Zack Cerza <zack@redhat.com>

Provide a default for --timeout

Signed-off-by: Zack Cerza <zack@redhat.com>

openstack: poll every 30 seconds instead of 2

No cloud provider boots an instance within 30 seconds, no need to poll
aggressively. Also wait more than a total of 1200 seconds (3000 seconds)
because some providers may take more than 20 minutes to complete the
boot sequence.

Signed-off-by: Loic Dachary <ldachary@redhat.com>

Merge pull request #692 from dachary/wip-upload-order

run: upload must happen after archive

Merge pull request #691 from dachary/wip-suite-sha1

suite: add the ceph-qa-suite hash to the job config

Merge pull request #689 from dachary/wip-openstack-user-data

openstack: get user-data path relative to the sources

Merge pull request #688 from dachary/wip-tests-openstack-resources

openstack: tests: use new resources hint style

Merge pull request #690 from dachary/wip-openstack-sha1

openstack: disable teuthology-suite sha1 verification

run: upload must happen after archive

The unwinding order is in reverse: internal.archive must be after
archive_upload so that it actually happens *before*.

Signed-off-by: Loic Dachary <ldachary@redhat.com>

suite: add the ceph-qa-suite hash to the job config

To be able to re-run a job we need:

* the ceph repository and hash
* the ceph-qa-suite repository and hash
* the job description

When reading the job log from the archive directory, we currently only
have the ceph-qa-suite branch name. If and when the branch name moves
on, the job description may cease to be valid and re-running the job
may no longer be possible.

Signed-off-by: Loic Dachary <ldachary@redhat.com>

openstack: disable teuthology-suite sha1 verification

By default teuthology-openstack builds packages dynamically and does not
rely on gitbuilder.ceph.com

Signed-off-by: Loic Dachary <ldachary@redhat.com>

openstack: get user-data path relative to the sources

The user-data files are in the sources, in the teuthology/openstack
directory. By default the template path being used is
teuthology/openstack/openstack-{os_type}-{os_version}-user-data.txt and
assumes teuthology-suite / teuthology-openstack is run from the root of
the source directory.

If the user-data path is relative, make it absolute based on the
directory in which the openstack module is found.

http://tracker.ceph.com/issues/13416 Fixes: #13416

Signed-off-by: Loic Dachary <ldachary@redhat.com>

openstack: tests: use new resources hint style

The memory cannot be lowered by the hint: test that it increases to 10GB
instead of testing that it was lowered under a given limit.

Signed-off-by: Loic Dachary <ldachary@redhat.com>

Merge pull request #637 from dachary/wip-suite-sha1

suite: add config.suite_verify_ceph_hash when no gitbuilder

Merge pull request #687 from ceph/wip-sh-tests

Fix misc.sh() tests on MacOS

Reviewed-by: Loic Dachary <ldachary@redhat.com>

Merge pull request #2 from zmc/wip-suite-tests

suite: Fix updated unit test

Reviewed-by: Loic Dachary <ldachary@redhat.com>

suite: Fix updated unit test

First, split half of test_schedule_suite into
test_schedule_suite_noverify. Also reflect the fact that Mock doesn't
provide a simple assert_called().

Signed-off-by: Zack Cerza <zack@redhat.com>

Fix misc.sh() tests on MacOS

It needs to be specifically told to use /bin/echo. Also add some
newlines to make the linter happy.

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #685 from dachary/wip-13656-openstack-remove

openstack: more robust server deletion

openstack: increase ssh timeout to 240 (part 2)

When the connectivity is not great, this is required.

Signed-off-by: Loic Dachary <ldachary@redhat.com>

suite: add config.suite_verify_ceph_hash when no gitbuilder

The suite_verify_ceph_hash configuration option is added to disable the
gitbuilder package verifications.

If True, teuthology-suite verifies that a package matching the ceph
branch exists in the gitbuilder. If False, no verification is done and
teuthology-suite assumes the packages are either not necessary to run
the task or they are created on demand.

Signed-off-by: Loic Dachary <loic@dachary.org>

suite: implement git_branch_exists with ls-remote

Use git ls-remote to verify the existence of a branch instead of a
github specific interface so that it plays well with all valid git
remote URL.

Rename github_branch_exists into git_branch_exists.

Signed-off-by: Loic Dachary <ldachary@redhat.com>

suite: add the git_ls_remote function

It was inlined and used as a fallback when not extracting the ceph hash
from gitbuilders.

Signed-off-by: Loic Dachary <ldachary@redhat.com>

suite: split build_git_url out of github_branch_exists

Signed-off-by: Loic Dachary <ldachary@redhat.com>

openstack: more robust server deletion

When removing a server and the volumes attached to it, the following can
happen:

  * the server goes in ERROR status instead of being deleted
  * if removed before the server is deleted, the volume may fail detach
    and consequently the deletion can fail with "still attached, detach
    volume first"
  * some volumes go in ERROR status instead of being deleted

This will cause problem when and if an instance is assigned the same IP
as an instance in ERROR state. They will both have the same name and
confuse teuthology.

Instead of assuming deletion is a reliable operation, assume it is a
best effort:

   * rename the server and volumes to REMOVE-ME
   * delete the server and then the volumes: ignore failures

The names instances and volumes in error state no longer conflict with
the name of running instances and can be dealt with at a later time,
and kept around for the cloud provider support to investigate.

Signed-off-by: Loic Dachary <ldachary@redhat.com>

Merge pull request #681 from dachary/wip-instance-create-global-lock

openstack: global server creation lock

Merge pull request #678 from dachary/wip-git-url

suite: use get_ceph_*_url when checking branches

Merge pull request #682 from dachary/wip-sh-verbosity

misc: .sh must not log the output twice on error

misc: .sh must not log the output twice on error

Signed-off-by: Loic Dachary <ldachary@redhat.com>

openstack: global server creation lock

An attempt to reduce the instance error rate on OVH. When all workers
are on the same machine, it makes them wait for an instance creation to
complete before running another one. If not, it is possible for 200
workers to run 200 server creation simultaneously. While this should be
throttled by OVH, these bursts may be the cause for occasional instance
creation errors: few tenants are likely to have such a pattern.

Signed-off-by: Loic Dachary <ldachary@redhat.com>

Merge pull request #677 from dachary/wip-openstack-cliff

openstack: server show must always return array

Merge pull request #680 from dachary/wip-sh-verbosity

misc: reduce misc.sh verbosity

misc: reduce misc.sh verbosity

Only shows the first 128 characters of the output when the command
succeeds and show all of it only when it fails.

Signed-off-by: Loic Dachary <ldachary@redhat.com>

suite: use get_ceph_*_url when checking branches

Otherwise the check is always done on the default
http://github.com/ceph/xxx

Signed-off-by: Loic Dachary <ldachary@redhat.com>

openstack: server show must always return array

If cliff-tablib is not present, the output of openstack server show is a
dictionary, otherwise it is a list of Field/Value pairs. Since
cliff-tablib is not a required dependency of python-openstack client,
the output format of openstack server show may vary. Add cliff-tablib as
a dependency so that the output format is always the same.

https://bugs.launchpad.net/python-openstackclient/+bug/1510546

Signed-off-by: Loic Dachary <ldachary@redhat.com>

Merge pull request #675 from dachary/wip-openstack-timeout

openstack: increase ssh timeout to 240

Merge pull request #673 from dachary/wip-openstack-doc-pulpito

openstack: the web interface is pulpito