OpenStack.exists(): Don't list every instance

Instead of "openstack server list", dumping the entire tentant's list of
instances, use "openstack server show" to show a single instance. While
"list" can accept a "--name" argument to filter, it does not have an
"--id" argument.

Signed-off-by: Zack Cerza <zack@redhat.com>

Whitespace correction for linter

My editor makes these changes automatically.

Signed-off-by: Zack Cerza <zack@redhat.com>

Fix typoed exception name

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #663 from ceph/wip-ovh-fixes

Fixes for unlock-related issues in OVH

Reviewed-by: Loic Dachary <ldachary@redhat.com>

find_stale_locks(): Only query locked nodes

Simple performance oversight.

Signed-off-by: Zack Cerza <zack@redhat.com>

Don't retry unlocking when it fails normally

We only want to retry when there is a connection error.

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #662 from ceph/wip-retry-unlock-one

Break out of retry loop

Break out of retry loop

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #660 from dachary/wip-openstack-ports

openstack: open ports 1:65356 for all targets

Reviewed-by: John Spray <john.spray@redhat.com>

openstack: open ports 1:65356 for all targets

Signed-off-by: Loic Dachary <ldachary@redhat.com>

Merge pull request #659 from ceph/wip-retry-unlock-one

Use safe_while to work around an OVH problem

Use safe_while to work around an OVH problem

We're seeing intermittent network failures when running inside OVH; they
present as:
https://github.com/kennethreitz/requests/issues/2364
This should help work around the issue.

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #654 from dachary/wip-openstack-home

openstack: ensure HOME environment variable

Merge pull request #653 from dachary/wip-openstack-buildpackages

openstack: clear the buildpackages directory on stop

Merge pull request #640 from dachary/wip-13249-package-signatures

config: ~/teuthology.yaml check_package_signatures hint

Merge pull request #652 from dachary/wip-revert-buildpackages

openstack: do not buildpackages by default

Merge pull request #650 from dachary/wip-install-upgrade-logic

install: split the upgrade_common function

Merge pull request #641 from dachary/wip-11883-git-url

config: add ceph_git_url and ceph_qa_suite_git_url

Merge pull request #651 from dmick/master

run_tasks.py: fix Sentry URL

openstack: ensure HOME environment variable

Make it so even after a reboot and run from root, the HOME is set to the
user directory where the scripts are expected to be.

Signed-off-by: Loic Dachary <loic@dachary.org>

openstack: clear the buildpackages directory on stop

When running /etc/init.d/teuthology stop, all OpenStack resources are
destroyed, including the instance hosting the repository where the
buildpackages task artefacts are archived. Remove /tmp/stampsdir so that
everything gets rebuilt.

Signed-off-by: Loic Dachary <loic@dachary.org>

config: ~/teuthology.yaml check_package_signatures hint

If check_package_signatures is false, the tasks installing
packages (install, ceph-deploy, ...) are authorized to skip the package
signatures verifications.

Set this as the default for a cluster dynamically generated by the
OpenStack backend.

http://tracker.ceph.com/issues/13249 Refs: #13249

Signed-off-by: Loic Dachary <loic@dachary.org>

openstack: do not buildpackages by default

It depends on other commits that were not merged yet.

Signed-off-by: Loic Dachary <loic@dachary.org>

run_tasks.py: fix Sentry URL

I don't know when or why it changed, but the existing URL format, which
uses '/search?q=<id>', fails; what works, by observing the web UI's URL
submission and by testing, is to omit the 'search' part of the path:
'/?q=<id>'

Signed-off-by: Dan Mick <dan.mick@redhat.com>

install: split the upgrade_common function

The upgrade_common function implements a non trivial logic that defines
how overrides are applied to the install.upgrade task, as well as the
way upgrades are applied to the desired targets.

The function is split in two:

  upgrade_common which remains the entry point
  upgrade_remote_to_config which encapsulates the logic

This allows other parts of teuthology to obey the same logic by calling
the function instead of replicating it.

Signed-off-by: Loic Dachary <loic@dachary.org>

config: add ceph_git_url and ceph_qa_suite_git_url

The ~/.teuthology.yaml ceph_git_base_url configuration does not allow to
modify the URL of the Ceph repository without also modifying the URL of
the teuthology repository. Although it is frequently needed to point to
an alternate ceph or ceph-qa-suite repository, it is rarely necessary to
point to an alternate teuthology repository.

This is not a blocker: it is enough to mirror the teuthology,
ceph-cm-ansible, ceph-deploy and maybe a few other repositories to
satisfy this requirement. This is however inconvenient because the
exact list of repositories that need to be mirrored is not easily
accessible. In addition, unless the user is careful about updating the
mirrors prior to running teuthology, there is a good chance that an
obsolete version of the repository will be used and this may lead to
problems difficult to diagnose.

The git_ceph_url and git_ceph_qa_suite_url configuration variables are
added to specify the URL of the ceph and ceph-qa-suite repositories
without modifying the git_ceph_base_url value so that all other
repositories retain their default location.

For easier consumption within teuthology and ceph-qa-suite, the
get_git_ceph_url() and get_git_ceph_qa_suite_url() accessors are added
to the config class. They use the user provided value, if available, and
otherwise fallback to constructing the URL with git_ceph_base_url which
is the legacy behavior.

http://tracker.ceph.com/issues/11883 Fixes: #11883

Signed-off-by: Loic Dachary <loic@dachary.org>

Merge pull request #617 from dachary/wip-openstack-doc

openstack: document common pitfalls and OpenStack tenant grants

Merge pull request #638 from dachary/wip-default-buildpackages

openstack: do not rely on gitbuilder.ceph.com by default

Merge pull request #647 from dachary/wip-13027-openstack-security-group-pr

openstack: rackspace does not support security groups

Merge pull request #648 from dachary/wip-13363-wait-osd-up

misc: wait_until_osds_up must verify 'up' in state

misc: wait_until_osds_up must verify 'up' in state

It is not enough to count the number of entries in the osds
array, wait_until_osds_up must count which one are actually up by
checking if the string "up" is in the "state" array.

http://tracker.ceph.com/issues/13363 Fixes: #13363

Signed-off-by: Loic Dachary <loic@dachary.org>

openstack: rackspace does not support security groups

Skip security groups if running against RackSpace and document the
restriction.

http://tracker.ceph.com/issues/13027 Fixes: #13027

Signed-off-by: Loic Dachary <loic@dachary.org>

Merge pull request #646 from ceph/wip-kernel-uri

task/kernel: set the URI properly

task/kernel: set the URI properly

...instead of relying on already-created repos to have
the correct URI.

Signed-off-by: John Spray <john.spray@redhat.com>

valgrind.supp: suppress ec factory leaks

fixme someday

Signed-off-by: Sage Weil <sage@redhat.com>

Merge pull request #645 from ceph/wip-131version

fix for version match, 1.3.1 now maps to 0.94.3

fix for version match, 1.3.1 now maps to 0.94.3 instead of the prevoius 0.94.2

Signed-off-by: Vasu Kulkarni <vasu@redhat.com>

Merge pull request #644 from ceph/wip-valgrind

misc: do not trace children with valgrind

misc: do not trace children with valgrind

Fixes: #13251
Signed-off-by: Sage Weil <sage@redhat.com>

Merge pull request #639 from ceph/wip-prun

Add teuthology-prune-logs

Merge pull request #642 from dachary/wip-openstack-throttle

openstack: throttling helps the instance running the cluster

Merge pull request #643 from dachary/wip-openstack-centos-6

openstack: update CentOS 6 cloud image

openstack: update CentOS 6 cloud image

Signed-off-by: Loic Dachary <loic@dachary.org>

openstack: throttling helps the instance running the cluster

The instance throttling (not launching more than X instances per minute)
helps the instance running the teuthology cluster when running multiple
workers. The workload does not spike when launching a suite and that
allows to run more workers on a machine with the same hardware configuration.

Signed-off-by: Loic Dachary <loic@dachary.org>

Add teuthology-prune-logs

Signed-off-by: Zack Cerza <zack@redhat.com>

openstack: do not rely on gitbuilder.ceph.com by default

Make it so the default when using the OpenStack backend is to build the
packages transparently using the OpenStack cluster instead of relying on
http://ceph.com/gitbuilder.cgi.

Signed-off-by: Loic Dachary <loic@dachary.org>

Merge pull request #623 from dachary/wip-13031-repositories

internal: move buildpackages before install task

internal: do not check packages if task buildpackages is found

The buildpackages task is responsible for creating the packages, there
is no point in verifying they are already present.

Signed-off-by: Loic Dachary <loic@dachary.org>

internal: move buildpackages before install task

If a buildpackages task is found, ensure it is always before the install
task because it is intended to produce the packages that will be used by
the install task.

http://tracker.ceph.com/issues/13031 Refs: #13031

Signed-off-by: Loic Dachary <loic@dachary.org>

Merge pull request #636 from ceph/wip-13116

ceph.conf: short cephfs data pool replay window

Reviewed-by: Samuel Just <sjust@redhat.com>

ceph.conf: short cephfs data pool replay window

This will make it more likely for us to hit #13116

Signed-off-by: Sage Weil <sage@redhat.com>

Merge pull request #635 from ceph/wip-readme-typo

README.rst: minor grammar/style fixes (first half)

README.rst: minor grammar/style fixes (first half)

Signed-off-by: Nathan Cutler <ncutler@suse.com>

Merge pull request #634 from ceph/wip-fix-email

Fix results-email-job scheduling

Fix email scheduling bug

The call to teuthology_schedule was buried inside an 'if dry_run:'
clause. That clause is unnecessary since teuthology_schedule handles
dry_run cases - we pass it the same value as an arg

Signed-off-by: Zack Cerza <zack@redhat.com>

Revert "suite: fixes a bug that causes the email results job to not be scheduled"

This reverts commit be5ce3662caeadd489ffada0cdda823da0fb4abd.

Merge pull request #633 from dachary/wip-openstack-ephemeral

openstack: get rid of failed attempt to use ephemerals

Merge pull request #632 from dachary/wip-os-client-config

os-client-config is fixed

openstack: get rid of failed attempt to use ephemerals

It's a hack at best.

Signed-off-by: Loic Dachary <loic@dachary.org>

os-client-config is fixed

No need to pin 1.6.3 since 1.7.3 has been released and fixes the
regression.

https://bugs.launchpad.net/python-openstackclient/+bug/1496689

Signed-off-by: Loic Dachary <loic@dachary.org>

Merge pull request #630 from dachary/wip-os-client-config

openstack: workaround os-client-config 1.7.0 regression

Merge pull request #631 from ceph/wip-13125

suite: fixes a bug that causes the email results job to not be scheduled

suite: fixes a bug that causes the email results job to not be scheduled

See: http://tracker.ceph.com/issues/13125

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

openstack: workaround os-client-config 1.7.0 regression

Signed-off-by: Loic Dachary <loic@dachary.org>

Merge pull request #629 from dachary/wip-openstack-centos

openstack: update CentOS image

openstack: update CentOS image

Get the latest CentOS 7 cloud image.

Signed-off-by: Loic Dachary <loic@dachary.org>

Merge pull request #627 from dachary/wip-openstack-gitbuilder-host

openstack: explicitly set gitbuilder_host default

Merge pull request #628 from dachary/wip-openstack-cleanup

openstack: cleanup the src directory when stopping the cluster

openstack: cleanup the src directory when stopping the cluster

So that there is no leftover from the ceph-qa-suite clones.

Signed-off-by: Loic Dachary <loic@dachary.org>

openstack: explicitly set gitbuilder_host default

So that it is easier to replace because there is no need to verify if
it's already present or not.

Signed-off-by: Loic Dachary <loic@dachary.org>

Merge pull request #626 from dachary/wip-openstack-debian

openstack: upgrade to debian 8.2.0

Merge pull request #625 from dachary/wip-clone-openstack

openstack: clone from the teuthology master

openstack: upgrade to debian 8.2.0

Signed-off-by: Loic Dachary <loic@dachary.org>

openstack: clone from the teuthology master

Do not clone from an obsolete development branch by default.

Signed-off-by: Loic Dachary <loic@dachary.org>

Merge pull request #621 from ceph/wip-13030

packaging: correctly select flavor when initializing with a remote

packaging: correctly select flavor when initializing with a remote

See: http://tracker.ceph.com/issues/13030

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

openstack: document common pitfalls and OpenStack tenant grants

Signed-off-by: Loic Dachary <loic@dachary.org>

Merge pull request #618 from dachary/wip-openstack-throttle

openstack: throttle job scheduling by default

Merge pull request #619 from dachary/wip-openstack-jessie

openstack: add jessie / debian 8 support

openstack: add jessie / debian 8 support

http://tracker.ceph.com/issues/12988 Fixes: #12988

Signed-off-by: Loic Dachary <loic@dachary.org>

openstack: throttle job scheduling by default

When running a suite with 50 jobs, it will schedule about 100 instance
creation within less than a minute. It is likely to exceed the API
quotas of the OpenStack provider (number of instance creation per
minute) and lead to instance creation failures.

Set the teuthology-suite to be called with --throttle 15 by default,
that is about 60 / 15 = 4 * 2 = ~8 server creation per minute.

http://tracker.ceph.com/issues/12977 Fixes: #12977

Signed-off-by: Loic Dachary <loic@dachary.org>

suite: add --throttle to pause between jobs

When scheduling, wait SLEEP seconds between jobs.  Useful to avoid
bursts that may be too hard on the underlying infrastructure or exceed
OpenStack API limits (server creation per minute for instance).

http://tracker.ceph.com/issues/12977 Refs: #12977

Signed-off-by: Loic Dachary <loic@dachary.org>

Merge pull request #620 from ceph/wip-12995

Fix bug in using priority 0

Fix bug in using priority 0

http://tracker.ceph.com/issues/12995

Signed-off-by: Zack Cerza <zack@redhat.com>

openstack: fix teuthology config test for clone

The test failed because it looked for upload= instead of clone=

Signed-off-by: Loic Dachary <ldachary@dachary.org>

Revert "use modern paramiko"

This reverts commit 76e1b093354dd31d94dd56299d1a245ff82db72e.

I see lots of these failures:

2015-09-06T00:02:43.199 ERROR:paramiko.transport:SSHException: Key-exchange timed out waiting for key negotiation

Merge pull request #610 from ceph/wip-rh131-cephlab

Add version check for 1.3.1, add ansible task

Reviewed-by: Dan Mick <dmick@redhat.com>

Add ansible task to install repo if config provides it

If playbook is specificed as shown in doc string usage, It will run ansible task and install
the repos so that rpm's can be installed from the provided repo

Signed-off-by: Vasu Kulkarni <vasu@redhat.com>

Don't consume config['rhbuild'] until overrides are merged

rhbuild from config was read before overrides was merged

Signed-off-by: Vasu Kulkarni <vasu@redhat.com>

Merge pull request #616 from ceph/wip-modern-paramiko

use modern paramiko

use modern paramiko

We need >= 1.15 to connect to newer OpenSSH, such as the version used
by debian jessie.

Signed-off-by: Sage Weil <sage@redhat.com>

Add support for rh version 1.3.1

This adds support for RH version 1.3.1, previously it will work
with only 1.3.0 downstream builds

Signed-off-by: Vasu Kulkarni <vasu@redhat.com>

Merge pull request #615 from dachary/wip-openstack-doc

openstack: update HOWTO

openstack: update HOWTO

Clone from master instead of a designated branch.

Signed-off-by: Loic Dachary <loic@dachary.org>

Remove libpython-dev for now

It's not available on precise and is breaking testing in the sepia lab

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #613 from ceph/wip-12934

GitbuilderProject: fetch sha1 from gitbuilder if not in the config

GitbuilderProject: fetch sha1 from gitbuilder if not in the config

If the sha1 is not provided in the job config, it needs to be fetched
from gitbuilder.

See: http://tracker.ceph.com/issues/12934

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #592 from dachary/wip-6502-openstack-v3

transparent OpenStack provisioning for teuthology-suite

openstack: explains args vs argv

Signed-off-by: Loic Dachary <loic@dachary.org>

openstack: --upload defaults to teuthology-logs.public.ceph.com

Instead of a non-ceph domain.

Signed-off-by: Loic Dachary <loic@dachary.org>