openstack: clone from the teuthology master

Do not clone from an obsolete development branch by default.

Signed-off-by: Loic Dachary <loic@dachary.org>

Merge pull request #618 from dachary/wip-openstack-throttle

openstack: throttle job scheduling by default

Merge pull request #619 from dachary/wip-openstack-jessie

openstack: add jessie / debian 8 support

openstack: add jessie / debian 8 support

http://tracker.ceph.com/issues/12988 Fixes: #12988

Signed-off-by: Loic Dachary <loic@dachary.org>

openstack: throttle job scheduling by default

When running a suite with 50 jobs, it will schedule about 100 instance
creation within less than a minute. It is likely to exceed the API
quotas of the OpenStack provider (number of instance creation per
minute) and lead to instance creation failures.

Set the teuthology-suite to be called with --throttle 15 by default,
that is about 60 / 15 = 4 * 2 = ~8 server creation per minute.

http://tracker.ceph.com/issues/12977 Fixes: #12977

Signed-off-by: Loic Dachary <loic@dachary.org>

suite: add --throttle to pause between jobs

When scheduling, wait SLEEP seconds between jobs.  Useful to avoid
bursts that may be too hard on the underlying infrastructure or exceed
OpenStack API limits (server creation per minute for instance).

http://tracker.ceph.com/issues/12977 Refs: #12977

Signed-off-by: Loic Dachary <loic@dachary.org>

Merge pull request #620 from ceph/wip-12995

Fix bug in using priority 0

Fix bug in using priority 0

http://tracker.ceph.com/issues/12995

Signed-off-by: Zack Cerza <zack@redhat.com>

openstack: fix teuthology config test for clone

The test failed because it looked for upload= instead of clone=

Signed-off-by: Loic Dachary <ldachary@dachary.org>

Revert "use modern paramiko"

This reverts commit 76e1b093354dd31d94dd56299d1a245ff82db72e.

I see lots of these failures:

2015-09-06T00:02:43.199 ERROR:paramiko.transport:SSHException: Key-exchange timed out waiting for key negotiation

Merge pull request #610 from ceph/wip-rh131-cephlab

Add version check for 1.3.1, add ansible task

Reviewed-by: Dan Mick <dmick@redhat.com>

Add ansible task to install repo if config provides it

If playbook is specificed as shown in doc string usage, It will run ansible task and install
the repos so that rpm's can be installed from the provided repo

Signed-off-by: Vasu Kulkarni <vasu@redhat.com>

Don't consume config['rhbuild'] until overrides are merged

rhbuild from config was read before overrides was merged

Signed-off-by: Vasu Kulkarni <vasu@redhat.com>

Merge pull request #616 from ceph/wip-modern-paramiko

use modern paramiko

use modern paramiko

We need >= 1.15 to connect to newer OpenSSH, such as the version used
by debian jessie.

Signed-off-by: Sage Weil <sage@redhat.com>

Add support for rh version 1.3.1

This adds support for RH version 1.3.1, previously it will work
with only 1.3.0 downstream builds

Signed-off-by: Vasu Kulkarni <vasu@redhat.com>

Merge pull request #615 from dachary/wip-openstack-doc

openstack: update HOWTO

openstack: update HOWTO

Clone from master instead of a designated branch.

Signed-off-by: Loic Dachary <loic@dachary.org>

Remove libpython-dev for now

It's not available on precise and is breaking testing in the sepia lab

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #613 from ceph/wip-12934

GitbuilderProject: fetch sha1 from gitbuilder if not in the config

GitbuilderProject: fetch sha1 from gitbuilder if not in the config

If the sha1 is not provided in the job config, it needs to be fetched
from gitbuilder.

See: http://tracker.ceph.com/issues/12934

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #592 from dachary/wip-6502-openstack-v3

transparent OpenStack provisioning for teuthology-suite

openstack: explains args vs argv

Signed-off-by: Loic Dachary <loic@dachary.org>

openstack: --upload defaults to teuthology-logs.public.ceph.com

Instead of a non-ceph domain.

Signed-off-by: Loic Dachary <loic@dachary.org>

Add unit tests for OpenStack config defaults

Signed-off-by: Zack Cerza <zack@redhat.com>

openstack: make git clone configurable

When teuthology-openstack clone theuthology for the purpose of creating
the cluster, use the clone configuration value instead of a hardcoded value.

Signed-off-by: Loic Dachary <loic@dachary.org>

openstack: set config default and documentation

Add documentation for the ~/.teuthology.yaml OpenStack configuration
values and set reasonable defaults.

Signed-off-by: Loic Dachary <loic@dachary.org>

openstack: remove debug line that does not print

It misses the IP that was set previous to 20bdef4b7892178d5e0fb8fa23beae52ba143eb2

Signed-off-by: Loic Dachary <loic@dachary.org>

OpenStack(): Don't connect via paramiko directly

Instead, use teuthology.orchestra.connection.connect() - to take
advantage of its parsing of the ssh config. This way users won't run
into surprises when using OpenStack vs. other machine types.

Signed-off-by: Zack Cerza <zack@redhat.com>

connect(): Optionally override key_filename

Signed-off-by: Zack Cerza <zack@redhat.com>

connect(): Make retries optional

Signed-off-by: Zack Cerza <zack@redhat.com>

openstack: teuthology.init needs credentials to nuke

And it cannot assume it is running from the home directory of the user
although it's the case most of the time.

Signed-off-by: Loic Dachary <loic@dachary.org>

openstack: centos-7 image must be recent

Using the CentOS 7 image available at

  http://cloud.centos.org/centos/7/images/CentOS-7-x86_64-GenericCloud.qcow2

ansible will think it runs

  RedHat 7.1.1503 (Core)

and with a more recent image

  http://cloud.centos.org/centos/7/images/CentOS-7-x86_64-GenericCloud-1503.qcow2

it will think that it runs

  CentOS Linux release 7.1.1503 (Core)

http://tracker.ceph.com/issues/12725 Fixes: #12725

Signed-off-by: Loic Dachary <loic@dachary.org>
tmp

upload teuthology archive on completion

Signed-off-by: Loic Dachary <loic@dachary.org>

transparent OpenStack provisioning for teuthology-suite

The teuthology-openstack command is a wrapper around teuthology-suite
that transparently creates the teuthology cluster using OpenStack
virtual machine.

For machines of machine_type == openstack in paddles, when locking a
machine, an instance is created in the matching OpenStack cluster with:

   openstack server create redhat

And renamed into redhat042010 if assigned the IP x.x.42.10/16. It is then
locked in paddles which has been prepare with one slot for each
available IP in the range.

An OpenStack cluster is defined in the .teuthology.yaml file as follows:

openstack:
  user-data: teuthology/openstack/openstack-{os_type}-{os_version}-user-data.txt
  nameserver: 167.114.252.136
  machine:
    disk: 10 # GB
    ram: 7000 # MB
    cpus: 1
  volumes:
    count: 0
    size: 1 # GB
  flavor-select-regexp: ^vps-ssd
  subnet: 167.114.224.0/19

When the machine is unlocked, it is destroyed with

   openstack server delete redhat042010

The python-openstackclient command line is used instead of the
corresponding API because it is well maintained and documented.

Integration tests require an OpenStack tenant.

http://tracker.ceph.com/issues/6502 Fixes: #6502

Signed-off-by: Loic Dachary <loic@dachary.org>

Merge pull request #608 from ceph/wip-jessie

packaging: add jessie codename

packaging: add jessie codename

Signed-off-by: Sage Weil <sage@redhat.com>

Merge pull request #607 from ceph/wip-suite-very-verbose

teuthology-suite: very-verbose mode

teuthology-suite: very-verbose mode

If called with --dry-run --verbose --verbose (or --dry-run -vv), call
teuthology-schedule --dry-run for each job that would be scheduled. This
causes teuthology-schedule to print out each would-be job config.

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #606 from dachary/wip-11881-multipath

internal: ceph-deploy may have ceph-create-keys INFO in syslog

Merge pull request #605 from ceph/wip-ceph-deploy-commit

suite: pass dev-commit: <sha1> to ceph-deploy

internal: ceph-deploy may have ceph-create-keys INFO in syslog

This is not a concern for error and should be ignored.

Signed-off-by: Loic Dachary <loic@dachary.org>

Merge pull request #604 from ceph/wip-fix-kernel-centos-version

packaging: only mangle the version string for the ceph project

suite: pass dev-commit: <sha1> to ceph-deploy

Use the new ceph-deploy install --dev-commit <sha1> option to inform the
install.

Signed-off-by: Sage Weil <sage@redhat.com>

packaging: only mangle the version string for the ceph project

This parsing is not needed on other projects and it was breaking
the kernel task by trying to verify an incorrect version was installed.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #603 from ceph/wip-12795

kernel: use packaging.GitbuilderProject to talk with gitbuilder.

kernel: use packaging.GitbuilderProject to talk with gitbuilder.

This fixes issue: http://tracker.ceph.com/issues/12795

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #602 from ceph/wip-show-job-priority

When listing jobs, show their priority

When listing jobs, show their priority

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #601 from ceph/wip-ansible-test

test_execute_playbook(): patch Remote.reconnect()

test_execute_playbook(): patch Remote.reconnect()

Speeds up that unit test greatly.

Signed-off-by: Zack Cerza <zack@redhat.com>

valgrind.supp: ignore boost::uuid randomness from uninit memory

https://svn.boost.org/trac/boost/ticket/7248

Signed-off-by: Sage Weil <sage@redhat.com>

Merge pull request #600 from ceph/wip-ansible-logging

ansible: raise an AnsibleFailedError even when parsing fails

ansible: raise an AnsibleFailedError even when parsing fails

If _handle_failures fails to parse the yaml in the ansible error log, it
can still give the contents of the failure log to an AnsibleFailedError
in it's unparsed form.

I also changed the log.exception to log.error when an ParserError occurs
as I think it was confusing some having that extra traceback in the log.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #572 from ivotron/doc-enhancement-on-lab-components

Documentation on lab components

Adds documentation about components of a Ceph Lab

Merge pull request #599 from ceph/wip-archive-ansible-log

task.ansible: archive the ansible log even if parsing fails

task.ansible: archive the ansible log even if parsing fails

This fixes a bug where if we fail to parse the ansible log it is never
archived.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #598 from ceph/wip-ansible-log-perms

task.ansible: set the ansible_failure.yaml file mode to 0664

task.ansible: set the ansible_failure.yaml file mode to 0664

The failure log was originally created with mode 0600 which does not
allow apache to serve the file. This changes the mode to 0664 to match
the rest of the archived files from a teuthology job.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #554 from ceph/wip-9994

tasks/nfs: make sure NFS kernel server is started

Reviewed-by: Greg Farnum <gfarnum@redhat.com>

Merge pull request #596 from ceph/wip-12668

refactor the install task to use packaging.GitbuilderProject

Merge pull request #597 from ceph/wip-fix-ansible-again

ansible: rename log to fail_log to not conflict with ansible.log

Reviewed-by: Dan Mick <dmick@redhat.com>

ansible: rename log to fail_log to not conflict with ansible.log

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

task.install: use packing.GitbuilderProject to interface with gitbuilder

This refactors the install and upgrade methods in the install task to
use packing.GitbuilderProject for both the rpm and deb code paths.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

packaging.GitbuilderProject: add a test to ensure base_url is correct for wheezy

remote.os.codename returns an empty string for debian which resulted in
the base_url missing the 'wheezy' part of it, this fixes that.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Adds a test for debian 7.1 to make sure wheezy is selected

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #595 from ceph/wip-12656

fix ansible error reporting

task.ansible: use shutil.move instead of os.rename to move a failure log

When moving a file between file systems of different types os.rename will
throw an exception, while shutil.move correctly handles that case.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

task.ansible: catch failure log parse errors

If we fail to parse a failure log, fail silently and log the exception
so that we can inspect that log after the fact.

In this case a CommandFailedError will be raised.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #593 from ceph/wip-12605

SELinux: Rotate and archive audit.log

Archive audit log

Signed-off-by: Zack Cerza <zack@redhat.com>

Rotate audit logs before checking denials

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #587 from ceph/wip-silent-signal

orchestra/daemon: add 'silent' option to signal()

Merge pull request #590 from ceph/wip-remote-chcon

Add Remote.chcon()

Merge pull request #589 from ceph/wip-better-ansible-failures

ansible: read the ansible failure log and raise a more meaningful error

Use Remote.chcon() in task.internal.syslog()

Signed-off-by: Zack Cerza <zack@redhat.com>

Add Remote.chcon()

Signed-off-by: Zack Cerza <zack@redhat.com>

ansible: read the ansible failure log and raise a more meaningful error

This works with a custom ansible callback plugin that intercepts task
failures and writes them to a log file (in yaml format) provided by the
ansible task as an environment variable. If the playbook fails, teuthology
reads that failure log and raises an AnsibleFailedError with the actual
output from the failed ansible task.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #588 from ceph/wip-ansible-failures

install: ignore minor version when building a gitbuilder url

install: ignore minor version when building a gitbuilder url

We don't care about minor version in gitbuilder anymore.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

orchestra/daemon: add 'silent' option to signal()

Default to False (not silent) to preserve existing behavior.

Signed-off-by: Sage Weil <sage@redhat.com>

Merge pull request #586 from ceph/wip-no-minor-gitbuilder

packaging: ignore minor version numbers in gitbuilder urls

packaging: ignore minor version numbers in gitbuilder urls

We don't care about minor version numbers anymore for gitbuilder.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #580 from ceph/wip-12220

Introduces teuthology.packaging.GitbuilderProject

use packaging.DEFAULT_OS_VERSION in teuthology.misc

No need to keep two copies of this data around

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

remove the need for teuthology.misc in teuthology.packaging

It's best to get the package type from remote.os.package_type. This also
fixes a circular import that will allows me to import
teuthology.packaging into teuthology.misc

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

GitbuilderProject: change uri to uri_reference

It is not technically a full uri, but a uri reference.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Better documentation for packaging.GitbuilderProject

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

task.internal: use packaging.GitbuilderProject in internal.check_packages

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Introduces packaging.GitbuilderProject

This is a new class that can be used to interface with gitbuilder to get
information about a project.  Currently it's used primarily for version
checks and constructing the correct base url for a projects location on
gitbuilder.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

task.install: make _get_baseurlinfo_and_dist use remote.os

This also adds some tests and a helper function.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #584 from ceph/wip-rest-bench

task/install: rest-bench has been removed

task/install: rest-bench has been removed

Removed this tool from upstream.  Don't install (or remove) it any more!

Signed-off-by: Sage Weil <sage@redhat.com>

Merge pull request #500 from ceph/wip-kernel-overrides

Support overrides: in the kernel task

Merge pull request #519 from ceph/wip-f22

support fedora 22

provision: specify ubuntu in __init__

Signed-off-by: Sage Weil <sage@redhat.com>

kernel: support overrides

This is needed for the new unmap subsuite of krbd suite.

normalize_config() config should actually copy config snippets into
new_config, otherwise popping keys from one role's snippet would also
affect other roles, potentially resulting in overrides: overriding more
than it should have.

Signed-off-by: Ilya Dryomov <idryomov@gmail.com>

kernel: amend normalize_config() logic

In the case where we stamp out a config for all roles, don't take
a shortcut and stamp it out once per remote.  Instead, do it for each
role, so that the number of items in the resulting dict in this case is
equal to the number of roles and not to the number of remotes.  This is
a necessary prerequisite for override support - otherwise something
like

  kernel:
    client:
      branch: testing

  override:
    kernel:
      branch: wip-foobar

won't be deep_merged()'ed correctly if the role:remote mapping looks
like

  remote1: mon.a, osd.0, osd.1, osd2
  remote2: mds.a, client.0

because we'd have

  mon.a: branch: wip-foobar
  mds.a: branch: wip-foobar

on the override side and

  client.0: branch: testing

on the original config side.  Since those three keys don't overlap,
we'd end up with testing kernel on client.0, which is incorrect.

This doesn't result in any functional changes - validate_config()
will reduce such config as usual.

Signed-off-by: Ilya Dryomov <idryomov@gmail.com>

kernel: separate version keys into a list, use constants

Use constants for config snippet and timeout defaults.

Signed-off-by: Ilya Dryomov <idryomov@gmail.com>