Allows other users besides ubuntu

Hostname canonicalization using split() instead of RE.

Extends the semantics of canonicalization/decanonicalization routines so
that other user names can be specified. 'ubuntu' is still the default
but if other users are given on the 'targets' config option, those will
be used instead.

Modifies check of stale data by checking emptiness

Instead of checking whether the folder exists. If the folder exists and
it's empty, then it's OK.

Adds option to have per-remote port

Adds option 'ssh_port' to override the default 22

Merge pull request #608 from ceph/wip-jessie

packaging: add jessie codename

packaging: add jessie codename

Signed-off-by: Sage Weil <sage@redhat.com>

Merge pull request #607 from ceph/wip-suite-very-verbose

teuthology-suite: very-verbose mode

teuthology-suite: very-verbose mode

If called with --dry-run --verbose --verbose (or --dry-run -vv), call
teuthology-schedule --dry-run for each job that would be scheduled. This
causes teuthology-schedule to print out each would-be job config.

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #606 from dachary/wip-11881-multipath

internal: ceph-deploy may have ceph-create-keys INFO in syslog

Merge pull request #605 from ceph/wip-ceph-deploy-commit

suite: pass dev-commit: <sha1> to ceph-deploy

internal: ceph-deploy may have ceph-create-keys INFO in syslog

This is not a concern for error and should be ignored.

Signed-off-by: Loic Dachary <loic@dachary.org>

Merge pull request #604 from ceph/wip-fix-kernel-centos-version

packaging: only mangle the version string for the ceph project

suite: pass dev-commit: <sha1> to ceph-deploy

Use the new ceph-deploy install --dev-commit <sha1> option to inform the
install.

Signed-off-by: Sage Weil <sage@redhat.com>

packaging: only mangle the version string for the ceph project

This parsing is not needed on other projects and it was breaking
the kernel task by trying to verify an incorrect version was installed.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #603 from ceph/wip-12795

kernel: use packaging.GitbuilderProject to talk with gitbuilder.

kernel: use packaging.GitbuilderProject to talk with gitbuilder.

This fixes issue: http://tracker.ceph.com/issues/12795

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #602 from ceph/wip-show-job-priority

When listing jobs, show their priority

When listing jobs, show their priority

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #601 from ceph/wip-ansible-test

test_execute_playbook(): patch Remote.reconnect()

test_execute_playbook(): patch Remote.reconnect()

Speeds up that unit test greatly.

Signed-off-by: Zack Cerza <zack@redhat.com>

valgrind.supp: ignore boost::uuid randomness from uninit memory

https://svn.boost.org/trac/boost/ticket/7248

Signed-off-by: Sage Weil <sage@redhat.com>

Merge pull request #600 from ceph/wip-ansible-logging

ansible: raise an AnsibleFailedError even when parsing fails

ansible: raise an AnsibleFailedError even when parsing fails

If _handle_failures fails to parse the yaml in the ansible error log, it
can still give the contents of the failure log to an AnsibleFailedError
in it's unparsed form.

I also changed the log.exception to log.error when an ParserError occurs
as I think it was confusing some having that extra traceback in the log.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #572 from ivotron/doc-enhancement-on-lab-components

Documentation on lab components

Adds documentation about components of a Ceph Lab

Merge pull request #599 from ceph/wip-archive-ansible-log

task.ansible: archive the ansible log even if parsing fails

task.ansible: archive the ansible log even if parsing fails

This fixes a bug where if we fail to parse the ansible log it is never
archived.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #598 from ceph/wip-ansible-log-perms

task.ansible: set the ansible_failure.yaml file mode to 0664

task.ansible: set the ansible_failure.yaml file mode to 0664

The failure log was originally created with mode 0600 which does not
allow apache to serve the file. This changes the mode to 0664 to match
the rest of the archived files from a teuthology job.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #554 from ceph/wip-9994

tasks/nfs: make sure NFS kernel server is started

Reviewed-by: Greg Farnum <gfarnum@redhat.com>

Merge pull request #596 from ceph/wip-12668

refactor the install task to use packaging.GitbuilderProject

Merge pull request #597 from ceph/wip-fix-ansible-again

ansible: rename log to fail_log to not conflict with ansible.log

Reviewed-by: Dan Mick <dmick@redhat.com>

ansible: rename log to fail_log to not conflict with ansible.log

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

task.install: use packing.GitbuilderProject to interface with gitbuilder

This refactors the install and upgrade methods in the install task to
use packing.GitbuilderProject for both the rpm and deb code paths.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

packaging.GitbuilderProject: add a test to ensure base_url is correct for wheezy

remote.os.codename returns an empty string for debian which resulted in
the base_url missing the 'wheezy' part of it, this fixes that.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Adds a test for debian 7.1 to make sure wheezy is selected

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #595 from ceph/wip-12656

fix ansible error reporting

task.ansible: use shutil.move instead of os.rename to move a failure log

When moving a file between file systems of different types os.rename will
throw an exception, while shutil.move correctly handles that case.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

task.ansible: catch failure log parse errors

If we fail to parse a failure log, fail silently and log the exception
so that we can inspect that log after the fact.

In this case a CommandFailedError will be raised.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #593 from ceph/wip-12605

SELinux: Rotate and archive audit.log

Archive audit log

Signed-off-by: Zack Cerza <zack@redhat.com>

Rotate audit logs before checking denials

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #587 from ceph/wip-silent-signal

orchestra/daemon: add 'silent' option to signal()

Merge pull request #590 from ceph/wip-remote-chcon

Add Remote.chcon()

Merge pull request #589 from ceph/wip-better-ansible-failures

ansible: read the ansible failure log and raise a more meaningful error

Use Remote.chcon() in task.internal.syslog()

Signed-off-by: Zack Cerza <zack@redhat.com>

Add Remote.chcon()

Signed-off-by: Zack Cerza <zack@redhat.com>

ansible: read the ansible failure log and raise a more meaningful error

This works with a custom ansible callback plugin that intercepts task
failures and writes them to a log file (in yaml format) provided by the
ansible task as an environment variable. If the playbook fails, teuthology
reads that failure log and raises an AnsibleFailedError with the actual
output from the failed ansible task.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #588 from ceph/wip-ansible-failures

install: ignore minor version when building a gitbuilder url

install: ignore minor version when building a gitbuilder url

We don't care about minor version in gitbuilder anymore.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

orchestra/daemon: add 'silent' option to signal()

Default to False (not silent) to preserve existing behavior.

Signed-off-by: Sage Weil <sage@redhat.com>

Merge pull request #586 from ceph/wip-no-minor-gitbuilder

packaging: ignore minor version numbers in gitbuilder urls

packaging: ignore minor version numbers in gitbuilder urls

We don't care about minor version numbers anymore for gitbuilder.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #580 from ceph/wip-12220

Introduces teuthology.packaging.GitbuilderProject

use packaging.DEFAULT_OS_VERSION in teuthology.misc

No need to keep two copies of this data around

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

remove the need for teuthology.misc in teuthology.packaging

It's best to get the package type from remote.os.package_type. This also
fixes a circular import that will allows me to import
teuthology.packaging into teuthology.misc

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

GitbuilderProject: change uri to uri_reference

It is not technically a full uri, but a uri reference.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Better documentation for packaging.GitbuilderProject

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

task.internal: use packaging.GitbuilderProject in internal.check_packages

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Introduces packaging.GitbuilderProject

This is a new class that can be used to interface with gitbuilder to get
information about a project.  Currently it's used primarily for version
checks and constructing the correct base url for a projects location on
gitbuilder.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

task.install: make _get_baseurlinfo_and_dist use remote.os

This also adds some tests and a helper function.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #584 from ceph/wip-rest-bench

task/install: rest-bench has been removed

task/install: rest-bench has been removed

Removed this tool from upstream.  Don't install (or remove) it any more!

Signed-off-by: Sage Weil <sage@redhat.com>

Merge pull request #500 from ceph/wip-kernel-overrides

Support overrides: in the kernel task

Merge pull request #519 from ceph/wip-f22

support fedora 22

provision: specify ubuntu in __init__

Signed-off-by: Sage Weil <sage@redhat.com>

kernel: support overrides

This is needed for the new unmap subsuite of krbd suite.

normalize_config() config should actually copy config snippets into
new_config, otherwise popping keys from one role's snippet would also
affect other roles, potentially resulting in overrides: overriding more
than it should have.

Signed-off-by: Ilya Dryomov <idryomov@gmail.com>

kernel: amend normalize_config() logic

In the case where we stamp out a config for all roles, don't take
a shortcut and stamp it out once per remote.  Instead, do it for each
role, so that the number of items in the resulting dict in this case is
equal to the number of roles and not to the number of remotes.  This is
a necessary prerequisite for override support - otherwise something
like

  kernel:
    client:
      branch: testing

  override:
    kernel:
      branch: wip-foobar

won't be deep_merged()'ed correctly if the role:remote mapping looks
like

  remote1: mon.a, osd.0, osd.1, osd2
  remote2: mds.a, client.0

because we'd have

  mon.a: branch: wip-foobar
  mds.a: branch: wip-foobar

on the override side and

  client.0: branch: testing

on the original config side.  Since those three keys don't overlap,
we'd end up with testing kernel on client.0, which is incorrect.

This doesn't result in any functional changes - validate_config()
will reduce such config as usual.

Signed-off-by: Ilya Dryomov <idryomov@gmail.com>

kernel: separate version keys into a list, use constants

Use constants for config snippet and timeout defaults.

Signed-off-by: Ilya Dryomov <idryomov@gmail.com>

Merge pull request #583 from dmick/wip-howmany

Fix lock_machines, clean up file

task/internal.py: Clean up flake8 errors

Signed-off-by: Dan Mick <dan.mick@redhat.com>

lock_machines: record total requested, stop only when that many locked

The 'requested' counter is per-loop around the while True, and changes
for partial lock successes and multiple trips around the loop.  We need to
save the original number requested to know when we're done.

Also, add a bit of logging for each trip around the loop.

Signed-off-by: Dan Mick <dan.mick@redhat.com>

lock_machines: rename some variables

Signed-off-by: Dan Mick <dan.mick@redhat.com>

Merge pull request #579 from ceph/wip-remove-cruft

Remove outdated shell scripts

Reviewed-by: Dan Mick <dmick@redhat.com>

Merge pull request #582 from ceph/wip-12462

Remove buggy error checking in lock_machines()

Remove buggy error checking in lock_machines()

http://tracker.ceph.com/issues/12462

If lock_many() fails to create any VMs, it returns an empty dict, which
was causing an exception to be raised. The existing error reporting in
lock_many() should be adequate here.

Signed-off-by: Zack Cerza <zack@redhat.com>

Remove outdated shell scripts

The cleanup-*.sh scripts are obsoleted by teuthology-nuke features. The
check-syntax.sh script is obsoleted by our tox configuration.

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #577 from dachary/wip-ssh-keyscan-wait

ssh_keyscan_wait: blocking version of ssh_keysscan

Merge pull request #546 from dachary/wip-stop-worker

add stop_worker: as a mean to shutdown the worker

add stop_worker: as a mean to shutdown the worker

It is convenient for integration tests as a way for the worker to be
instructed to shutdown cleanly.

Signed-off-by: Loic Dachary <loic@dachary.org>

Merge pull request #534 from dachary/wip-teuthology-path

implement teuthology_path similar to suite_path

Merge pull request #578 from dachary/wip-ansible-log-decode

ansible: decode('utf-8', 'ignore') before logging

ansible: decode('utf-8', 'ignore') before logging

b834dd6660a77379b2c693a36487352941a8e52d added decode('utf-8') which
breaks when a substring inadevertendly cuts in the middle of a valid
utf-8 sequence. Add the 'ignore' so the offending sequence is discarded
instead of raising an error.

Signed-off-by: Loic Dachary <loic@dachary.org>

tasks/nfs: make sure NFS kernel server is started

Fixes: #9994
Signed-off-by: Yan, Zheng <zyan@redhat.com>

Merge pull request #576 from dachary/wip-nuke-no-targets

nuke: gracefully handle zero targets

Merge pull request #575 from dachary/wip-ansible-log-decode

ansible: decode('utf-8') before logging

ssh_keyscan_wait: blocking version of ssh_keysscan

ssh_keyscan is designed to return almost immediately if there is no
connection (the timeout is 1 second). ssh_keyscan_wait will wait up to
10 minutes and report progress every 6 seconds.

Signed-off-by: Loic Dachary <loic@dachary.org>

nuke: gracefully handle zero targets

If nuke is called with no targets, just do nothing instead of failing
because the target element is not found in the map. This can happen if
the machine fails to be provisioned early in the process.

Signed-off-by: Loic Dachary <loic@dachary.org>

ansible: decode('utf-8') before logging

Otherwise it may fail if LC_ALL=C

Signed-off-by: Loic Dachary <loic@dachary.org>

implement teuthology_path similar to suite_path

In case we want to reference a local directory instead of reseting from
a clone of teuthology.

Signed-off-by: Loic Dachary <loic@dachary.org>

Merge pull request #574 from ceph/wip-9908

Ansible: reconnect to remotes after playbook runs

Reviewed-by: Dan Mick <dmick@redhat.com>

Ansible: reconnect to remotes after playbook runs

To take advantage of the updated ssh_config shipped by the testnodes
role

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #570 from ivotron/remove-testrequires-from-setuppy

Removes test_require from setup.py

Merge pull request #531 from dachary/wip-keyscan

move ssh_keyscan from lock.py to misc.py

Removes test_require from setup.py

setuptools doesn't install dependencies found in tests_require, so
there's no need to have these here.

Merge pull request #569 from ceph/wip-ansible-targets

task.ansible: add nodes to a 'testnodes' group when creating a dynami…

Allow subclasses of task.Ansible to provide an inventory group name

Subclasses of task.Ansible can now provide an inventory group name to
assign all nodes to when creating a dynamic inventory.

This PR also makes ansible.CephLab use the group 'testnodes'. Without this,
teuthology can not run the testnodes.yml playbook against it's locked nodes
using a dynamic inventory as it's restricted to the testnodes group.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #571 from ceph/wip-update-deps

Fix dependency handling and unit tests

tox: Pass --upgrade to pip install

Signed-off-by: Zack Cerza <zack@redhat.com>

Fix broken downburst unit tests

These were passing because we were calling Mock.assert_called_once(),
which never existed. In new versions of mock, that is an error -
exposing those tests which were not doing their job.

Signed-off-by: Zack Cerza <zack@redhat.com>