orchestra/daemon: add 'silent' option to signal()

Default to False (not silent) to preserve existing behavior.

Signed-off-by: Sage Weil <sage@redhat.com>

Merge pull request #586 from ceph/wip-no-minor-gitbuilder

packaging: ignore minor version numbers in gitbuilder urls

packaging: ignore minor version numbers in gitbuilder urls

We don't care about minor version numbers anymore for gitbuilder.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #580 from ceph/wip-12220

Introduces teuthology.packaging.GitbuilderProject

use packaging.DEFAULT_OS_VERSION in teuthology.misc

No need to keep two copies of this data around

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

remove the need for teuthology.misc in teuthology.packaging

It's best to get the package type from remote.os.package_type. This also
fixes a circular import that will allows me to import
teuthology.packaging into teuthology.misc

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

GitbuilderProject: change uri to uri_reference

It is not technically a full uri, but a uri reference.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Better documentation for packaging.GitbuilderProject

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

task.internal: use packaging.GitbuilderProject in internal.check_packages

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Introduces packaging.GitbuilderProject

This is a new class that can be used to interface with gitbuilder to get
information about a project.  Currently it's used primarily for version
checks and constructing the correct base url for a projects location on
gitbuilder.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

task.install: make _get_baseurlinfo_and_dist use remote.os

This also adds some tests and a helper function.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #584 from ceph/wip-rest-bench

task/install: rest-bench has been removed

task/install: rest-bench has been removed

Removed this tool from upstream.  Don't install (or remove) it any more!

Signed-off-by: Sage Weil <sage@redhat.com>

Merge pull request #500 from ceph/wip-kernel-overrides

Support overrides: in the kernel task

Merge pull request #519 from ceph/wip-f22

support fedora 22

provision: specify ubuntu in __init__

Signed-off-by: Sage Weil <sage@redhat.com>

kernel: support overrides

This is needed for the new unmap subsuite of krbd suite.

normalize_config() config should actually copy config snippets into
new_config, otherwise popping keys from one role's snippet would also
affect other roles, potentially resulting in overrides: overriding more
than it should have.

Signed-off-by: Ilya Dryomov <idryomov@gmail.com>

kernel: amend normalize_config() logic

In the case where we stamp out a config for all roles, don't take
a shortcut and stamp it out once per remote.  Instead, do it for each
role, so that the number of items in the resulting dict in this case is
equal to the number of roles and not to the number of remotes.  This is
a necessary prerequisite for override support - otherwise something
like

  kernel:
    client:
      branch: testing

  override:
    kernel:
      branch: wip-foobar

won't be deep_merged()'ed correctly if the role:remote mapping looks
like

  remote1: mon.a, osd.0, osd.1, osd2
  remote2: mds.a, client.0

because we'd have

  mon.a: branch: wip-foobar
  mds.a: branch: wip-foobar

on the override side and

  client.0: branch: testing

on the original config side.  Since those three keys don't overlap,
we'd end up with testing kernel on client.0, which is incorrect.

This doesn't result in any functional changes - validate_config()
will reduce such config as usual.

Signed-off-by: Ilya Dryomov <idryomov@gmail.com>

kernel: separate version keys into a list, use constants

Use constants for config snippet and timeout defaults.

Signed-off-by: Ilya Dryomov <idryomov@gmail.com>

Merge pull request #583 from dmick/wip-howmany

Fix lock_machines, clean up file

task/internal.py: Clean up flake8 errors

Signed-off-by: Dan Mick <dan.mick@redhat.com>

lock_machines: record total requested, stop only when that many locked

The 'requested' counter is per-loop around the while True, and changes
for partial lock successes and multiple trips around the loop.  We need to
save the original number requested to know when we're done.

Also, add a bit of logging for each trip around the loop.

Signed-off-by: Dan Mick <dan.mick@redhat.com>

lock_machines: rename some variables

Signed-off-by: Dan Mick <dan.mick@redhat.com>

Merge pull request #579 from ceph/wip-remove-cruft

Remove outdated shell scripts

Reviewed-by: Dan Mick <dmick@redhat.com>

Merge pull request #582 from ceph/wip-12462

Remove buggy error checking in lock_machines()

Remove buggy error checking in lock_machines()

http://tracker.ceph.com/issues/12462

If lock_many() fails to create any VMs, it returns an empty dict, which
was causing an exception to be raised. The existing error reporting in
lock_many() should be adequate here.

Signed-off-by: Zack Cerza <zack@redhat.com>

Remove outdated shell scripts

The cleanup-*.sh scripts are obsoleted by teuthology-nuke features. The
check-syntax.sh script is obsoleted by our tox configuration.

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #577 from dachary/wip-ssh-keyscan-wait

ssh_keyscan_wait: blocking version of ssh_keysscan

Merge pull request #546 from dachary/wip-stop-worker

add stop_worker: as a mean to shutdown the worker

add stop_worker: as a mean to shutdown the worker

It is convenient for integration tests as a way for the worker to be
instructed to shutdown cleanly.

Signed-off-by: Loic Dachary <loic@dachary.org>

Merge pull request #534 from dachary/wip-teuthology-path

implement teuthology_path similar to suite_path

Merge pull request #578 from dachary/wip-ansible-log-decode

ansible: decode('utf-8', 'ignore') before logging

ansible: decode('utf-8', 'ignore') before logging

b834dd6660a77379b2c693a36487352941a8e52d added decode('utf-8') which
breaks when a substring inadevertendly cuts in the middle of a valid
utf-8 sequence. Add the 'ignore' so the offending sequence is discarded
instead of raising an error.

Signed-off-by: Loic Dachary <loic@dachary.org>

Merge pull request #576 from dachary/wip-nuke-no-targets

nuke: gracefully handle zero targets

Merge pull request #575 from dachary/wip-ansible-log-decode

ansible: decode('utf-8') before logging

ssh_keyscan_wait: blocking version of ssh_keysscan

ssh_keyscan is designed to return almost immediately if there is no
connection (the timeout is 1 second). ssh_keyscan_wait will wait up to
10 minutes and report progress every 6 seconds.

Signed-off-by: Loic Dachary <loic@dachary.org>

nuke: gracefully handle zero targets

If nuke is called with no targets, just do nothing instead of failing
because the target element is not found in the map. This can happen if
the machine fails to be provisioned early in the process.

Signed-off-by: Loic Dachary <loic@dachary.org>

ansible: decode('utf-8') before logging

Otherwise it may fail if LC_ALL=C

Signed-off-by: Loic Dachary <loic@dachary.org>

implement teuthology_path similar to suite_path

In case we want to reference a local directory instead of reseting from
a clone of teuthology.

Signed-off-by: Loic Dachary <loic@dachary.org>

Merge pull request #574 from ceph/wip-9908

Ansible: reconnect to remotes after playbook runs

Reviewed-by: Dan Mick <dmick@redhat.com>

Ansible: reconnect to remotes after playbook runs

To take advantage of the updated ssh_config shipped by the testnodes
role

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #570 from ivotron/remove-testrequires-from-setuppy

Removes test_require from setup.py

Merge pull request #531 from dachary/wip-keyscan

move ssh_keyscan from lock.py to misc.py

Removes test_require from setup.py

setuptools doesn't install dependencies found in tests_require, so
there's no need to have these here.

Merge pull request #569 from ceph/wip-ansible-targets

task.ansible: add nodes to a 'testnodes' group when creating a dynami…

Allow subclasses of task.Ansible to provide an inventory group name

Subclasses of task.Ansible can now provide an inventory group name to
assign all nodes to when creating a dynamic inventory.

This PR also makes ansible.CephLab use the group 'testnodes'. Without this,
teuthology can not run the testnodes.yml playbook against it's locked nodes
using a dynamic inventory as it's restricted to the testnodes group.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #571 from ceph/wip-update-deps

Fix dependency handling and unit tests

tox: Pass --upgrade to pip install

Signed-off-by: Zack Cerza <zack@redhat.com>

Fix broken downburst unit tests

These were passing because we were calling Mock.assert_called_once(),
which never existed. In new versions of mock, that is an error -
exposing those tests which were not doing their job.

Signed-off-by: Zack Cerza <zack@redhat.com>

Pass --upgrade to pip install

This should tell pip to use the latest version of packages (taking
pinning into account) - so that we can install newer versions of
packages that happen to be installed system-wide. This won't affect
libvirt-python as it is omitted from our list of requirements.

Signed-off-by: Zack Cerza <zack@redhat.com>

Unpin six version

Signed-off-by: Zack Cerza <zack@redhat.com>

Revert "Revert "lock.py: is_vpm should test is_vm""

This reverts commit 097e11c04a40e013e91a7a64836c98413af6a71a.

I misidentified this as the commit which introduced a bug on Friday.
Reintroduce the original, innocent commit.

Signed-off-by: Zack Cerza <zack@redhat.com>

Revert "Allows other users besides ubuntu"

This reverts commit 8ba655af8d78722b70a3615561e9bcfa9c5f8cc2.

This broke misc.canonicalize_hostname()

Signed-off-by: Zack Cerza <zack@redhat.com>

Revert "lock.py: is_vpm should test is_vm"

This reverts commit be9aa8a6cfe6c3d182ba640ceadf1b3a2ff93d53.

is_vm() is passing 'user@host' instead of just 'host'

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #557 from dachary/wip-is-vm

lock.py: is_vpm should test is_vm

Merge pull request #563 from ivotron/wip-10086

Allows other users besides ubuntu

Reviewed-by: Dan Mick <dmick@redhat.com>

Merge pull request #565 from ivotron/dss-fix

Fixing small typo

Reviewed-by: Dan Mick <dmick@redhat.com

Allows other users besides ubuntu

Hostname canonicalization using split() instead of RE.

Extends the semantics of canonicalization/decanonicalization routines so
that other user names can be specified. 'ubuntu' is still the default
but if other users are given on the 'targets' config option, those will
be used instead.

Error message change to match what config expects

Merge pull request #561 from ivotron/wip-12226

Ensures that task list is a python list

Reviewed-by: Dan Mick <dmick@redhat.com>
Reviewed-by: Zack Cerza <zcerza@redhat.com>
Reviewed-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #564 from ceph/wip-jessie

lock: add debian 8.0 (jessie) as vps target

Reviewed-by: Dan Mick <dmick@redhat.com>

Ensures that task list is a python list

  * Modifies test for task list validation
  * Shows contents of config['tasks'] for error msg
  * Properly checks distinct failure conditions
  * Fixes typo on kernel task AssertionError

lock: add debian 8.0 (jessie) as vps target

Signed-off-by: Sage Weil <sage@redhat.com>

Merge pull request #562 from ceph/wip-vps-kernel

get_latest_image_version_deb(): run apt-get update

Reviewed-by: Dan Mick <dmick@redhat.com>

get_latest_image_version_deb(): run apt-get update

When we were still using Chef, we accidentally ran it twice on downburst
VMs during scheduled jobs: once before the kernel task, and once after.
Now that we're using Ansible, and not running the one before, and
because the kernel task is special and runs before most tasks (even the
ansible task that might be part of the job), the kernel task might run
before apt has refreshed its cache. This is more likely to be a problem
on VMs, because their cache is certainly more stale, but could affect
physical hosts as well.

Make all deb-based systems update their cache before attempting to
install a kernel.

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #530 from dachary/wip-sh-helper

misc.py: sh helper to log command and output

Merge pull request #560 from ceph/wip-drop-chef

Drop Chef in favor of Ansible

README.rst: Replace chef with ansible

Signed-off-by: Zack Cerza <zack@redhat.com>

Replace chef with ansible.cephlab in job template

Signed-off-by: Zack Cerza <zack@redhat.com>

Use ansible.CephLab instead of chef in vm_setup()

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #559 from ceph/wip-fix-ansible

Fix Task, Ansible and CephLab unittests and overrides

Fix ansible overrides

Overrides weren't properly being looked up by name. This commit fixes
that.

Signed-off-by: Zack Cerza <zack@redhat.com>

Fix ansible unit tests

Long story short, the unit tests for Task, Ansible and CephLab got
inheritance all wrong. This commit fixes that.

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #547 from dachary/wip-worker-verbose

a worker --verbose calls run --verbose

Merge pull request #535 from dachary/wip-vm-with-no-host

lock.py: not all virtual machines have a dedicated host

lock.py: is_vpm should test is_vm

Testing the name of a machine to figure out if it is a virtual machine
is unreliable. Use the is_vm field of get_status instead.

Signed-off-by: Loic Dachary <loic@dachary.org>

lock.py: not all virtual machines have a dedicated host

Gracefully handle the case where a virtual machine has no dedicated
host. It's the case for OpenStack.

Signed-off-by: Loic Dachary <loic@dachary.org>

a worker --verbose calls run --verbose

When a worker runs with --verbose, it also runs the jobs with --verbose.

Signed-off-by: Loic Dachary <loic@dachary.org>

misc.py: sh helper to log command and output

It is the same as subprocess.check_output, only it log.debug the command
being run as well as its output.

Signed-off-by: Loic Dachary <loic@dachary.org>

Merge pull request #542 from dachary/wip-list-locks

list_locks must use 1 / 0 for True / False

Merge pull request #545 from dachary/wip-rm-proj-list

task/install: rm {proj}.list is idempotent

Merge pull request #541 from dachary/wip-suite-main

suite.py: make main() argv as an argument

Merge pull request #556 from ceph/wip-selinux

Skip SELinux operations on downburst VMs

syslog: Don't use chcon on downburst VMs

Signed-off-by: Zack Cerza <zack@redhat.com>

Exclude downburst VMs

Their cloud images have SELinux disabled; exclude them until we can
change that.

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #555 from ceph/wip-selinux

syslog: Set SELinux context for logfiles

Reviewed-by: Dan Mick <dmick@redhat.com>

syslog: Set SELinux context for logfiles

Signed-off-by: Zack Cerza <zack@redhat.com>

syslog: Refactor to expose logfile names

Signed-off-by: Zack Cerza <zack@redhat.com>

Use sudo when removing timedhosts files

Signed-off-by: Zack Cerza <zack@redhat.com>

list_locks must use 1 / 0 for True / False

Depending on the backend being used (sqlite or another), paddles won't
interpret locked=false as being the same as locked=0 (see
http://tracker.ceph.com/issues/12183 for more context).

Convert True to 1 and False to 0 to always get the same behavior from
paddles, regardless of the backend.

Signed-off-by: Loic Dachary <loic@dachary.org>

Merge pull request #548 from dachary/wip-machine-wait

include the machine type when waiting for machines

Merge pull request #553 from dachary/wip-schedule-main

schedule.py: make main() argv as an argument

Merge pull request #549 from ceph/wip-bootstrap

bootstrap: apt/yum install the list of dependencies if missing

Merge pull request #551 from dmick/master

lock.py: handle statuses with no description

bootstrap: add an install flag that installs missing required packages

If you run ./bootstrap install the script will install any missing
packages needed to complete the bootstrap.  This feature requires that
the user running ./bootstrap have sudo privileges.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

bootstrap: install libssl-dev on ubuntu if missing

python-pip fails to install without libssl-dev

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

bootstrap: apt/yum install the list of dependencies if missing

Instead of just printing the list and bailing, assume the user has sudo
and actually install them.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #550 from ceph/wip-bz-1233329

Work around BZ 1233329

schedule.py: make main() argv as an argument

Instead of using sys.argv implicitly, which is inconvenient for testing.

Signed-off-by: Loic Dachary <loic@dachary.org>

suite.py: make main() argv as an argument

Instead of using sys.argv implicitly, which is inconvenient for testing.

Signed-off-by: Loic Dachary <loic@dachary.org>