lock: add debian 8.0 (jessie) as vps target

Signed-off-by: Sage Weil <sage@redhat.com>

Merge pull request #562 from ceph/wip-vps-kernel

get_latest_image_version_deb(): run apt-get update

Reviewed-by: Dan Mick <dmick@redhat.com>

get_latest_image_version_deb(): run apt-get update

When we were still using Chef, we accidentally ran it twice on downburst
VMs during scheduled jobs: once before the kernel task, and once after.
Now that we're using Ansible, and not running the one before, and
because the kernel task is special and runs before most tasks (even the
ansible task that might be part of the job), the kernel task might run
before apt has refreshed its cache. This is more likely to be a problem
on VMs, because their cache is certainly more stale, but could affect
physical hosts as well.

Make all deb-based systems update their cache before attempting to
install a kernel.

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #530 from dachary/wip-sh-helper

misc.py: sh helper to log command and output

Merge pull request #560 from ceph/wip-drop-chef

Drop Chef in favor of Ansible

README.rst: Replace chef with ansible

Signed-off-by: Zack Cerza <zack@redhat.com>

Replace chef with ansible.cephlab in job template

Signed-off-by: Zack Cerza <zack@redhat.com>

Use ansible.CephLab instead of chef in vm_setup()

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #559 from ceph/wip-fix-ansible

Fix Task, Ansible and CephLab unittests and overrides

Fix ansible overrides

Overrides weren't properly being looked up by name. This commit fixes
that.

Signed-off-by: Zack Cerza <zack@redhat.com>

Fix ansible unit tests

Long story short, the unit tests for Task, Ansible and CephLab got
inheritance all wrong. This commit fixes that.

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #547 from dachary/wip-worker-verbose

a worker --verbose calls run --verbose

Merge pull request #535 from dachary/wip-vm-with-no-host

lock.py: not all virtual machines have a dedicated host

lock.py: not all virtual machines have a dedicated host

Gracefully handle the case where a virtual machine has no dedicated
host. It's the case for OpenStack.

Signed-off-by: Loic Dachary <loic@dachary.org>

a worker --verbose calls run --verbose

When a worker runs with --verbose, it also runs the jobs with --verbose.

Signed-off-by: Loic Dachary <loic@dachary.org>

misc.py: sh helper to log command and output

It is the same as subprocess.check_output, only it log.debug the command
being run as well as its output.

Signed-off-by: Loic Dachary <loic@dachary.org>

Merge pull request #542 from dachary/wip-list-locks

list_locks must use 1 / 0 for True / False

Merge pull request #545 from dachary/wip-rm-proj-list

task/install: rm {proj}.list is idempotent

Merge pull request #541 from dachary/wip-suite-main

suite.py: make main() argv as an argument

Merge pull request #556 from ceph/wip-selinux

Skip SELinux operations on downburst VMs

syslog: Don't use chcon on downburst VMs

Signed-off-by: Zack Cerza <zack@redhat.com>

Exclude downburst VMs

Their cloud images have SELinux disabled; exclude them until we can
change that.

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #555 from ceph/wip-selinux

syslog: Set SELinux context for logfiles

Reviewed-by: Dan Mick <dmick@redhat.com>

syslog: Set SELinux context for logfiles

Signed-off-by: Zack Cerza <zack@redhat.com>

syslog: Refactor to expose logfile names

Signed-off-by: Zack Cerza <zack@redhat.com>

Use sudo when removing timedhosts files

Signed-off-by: Zack Cerza <zack@redhat.com>

list_locks must use 1 / 0 for True / False

Depending on the backend being used (sqlite or another), paddles won't
interpret locked=false as being the same as locked=0 (see
http://tracker.ceph.com/issues/12183 for more context).

Convert True to 1 and False to 0 to always get the same behavior from
paddles, regardless of the backend.

Signed-off-by: Loic Dachary <loic@dachary.org>

Merge pull request #548 from dachary/wip-machine-wait

include the machine type when waiting for machines

Merge pull request #553 from dachary/wip-schedule-main

schedule.py: make main() argv as an argument

Merge pull request #549 from ceph/wip-bootstrap

bootstrap: apt/yum install the list of dependencies if missing

Merge pull request #551 from dmick/master

lock.py: handle statuses with no description

bootstrap: add an install flag that installs missing required packages

If you run ./bootstrap install the script will install any missing
packages needed to complete the bootstrap.  This feature requires that
the user running ./bootstrap have sudo privileges.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

bootstrap: install libssl-dev on ubuntu if missing

python-pip fails to install without libssl-dev

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

bootstrap: apt/yum install the list of dependencies if missing

Instead of just printing the list and bailing, assume the user has sudo
and actually install them.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #550 from ceph/wip-bz-1233329

Work around BZ 1233329

schedule.py: make main() argv as an argument

Instead of using sys.argv implicitly, which is inconvenient for testing.

Signed-off-by: Loic Dachary <loic@dachary.org>

suite.py: make main() argv as an argument

Instead of using sys.argv implicitly, which is inconvenient for testing.

Signed-off-by: Loic Dachary <loic@dachary.org>

Merge pull request #527 from ceph/wip-selinux

Let's test with SELinux

lock.py: handle statuses with no description

Signed-off-by: Dan Mick <dan.mick@redhat.com>

Merge pull request #543 from dachary/wip-decode-utf8

orchestra: decode('utf-8') before logging

Don't attempt to run dpkg on non-deb systems

Signed-off-by: Zack Cerza <zack@redhat.com>

Remove yum timedhosts files

Workaround for https://bugzilla.redhat.com/show_bug.cgi?id=1233329

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #540 from ceph/wip-12115-logging

Better logging when looking for a package version in the install task

include the machine type when waiting for machines

Signed-off-by: Loic Dachary <loic@dachary.org>

task/install: rm {proj}.list is idempotent

It does not matter if the {proj}.list file can't be removed because it
does not exist.

Signed-off-by: Loic Dachary <loic@dachary.org>

orchestra: decode('utf-8') before logging

http://tracker.ceph.com/issues/8313 Fixes: #8313

Signed-off-by: Loic Dachary <loic@dachary.org>

Better logging when looking for a package version in the install task

I think this used to be a wget call, so the url we were requesting to
fetch the package version would be logged by that wget call.  Since
we've changed that call to use requests and lost that logging, this adds
some of that logging back.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Bump ansible to 1.9.2

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #536 from dachary/wip-lock-main

lock.py: make main() argv as an argument

Merge pull request #538 from ceph/wip-pyopenssl

Fix InsecurePlatformWarning from urllib3

Fix InsecurePlatformWarning from urllib3

See
https://urllib3.readthedocs.org/en/latest/security.html#insecureplatformwarning

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #537 from ceph/wip-pause-queue

teuthology-queue --pause

teuthology-queue --pause

Signed-off-by: Zack Cerza <zack@redhat.com>

lock.py: make main() argv as an argument

Instead of using sys.argv implicitly, which is inconvenient for testing.

Signed-off-by: Loic Dachary <loic@dachary.org>

Merge pull request #529 from dmick/master

suite.py: say *which* path is invalid in _build_matrix

suite.py: say *which* path is invalid in _build_matrix

Signed-off-by: Dan Mick <dan.mick@redhat.com>

Merge pull request #528 from ceph/wip-ansible-teardown

Enable the Ansible task to optionally cleanup after itself.

Enable the Ansible task to optionally cleanup after itself.

If given the config value of ``cleanup`` the ansible task will rerun the
same playbook during the teardown stage with a ``teardown`` var added
with a value of True.  This will allow the playbook to cleanup after
itself during teardown, if the playbook supports this feature.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Add SELinux task to all jobs

Signed-off-by: Zack Cerza <zack@redhat.com>

Add SELinux task

A task to set SELinux mode during test execution. On teardown, also
checks the audit log for any denials.

Signed-off-by: Zack Cerza <zack@redhat.com>

Add SELinuxError

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #526 from ceph/wip-unbreak-kernel-task-3

suite: don't try to check ceph packages against kernel flavor

Merge pull request #522 from dmick/master

Silence urllib3 logging whether it's bundled in requests or not

Merge pull request #523 from dmick/wip-11885

scripts/lock.py: fix help for --json-query

Merge pull request #525 from ceph/wip-distro-kernel

get_latest_image_version_rpm(): ignore non-distro

get_latest_image_version_rpm(): ignore non-distro

This function is only used in distro kernel codepaths. Remove a similar
block of code from need_to_install_distro() and use this function.

Signed-off-by: Zack Cerza <zack@redhat.com>

suite: don't try to check ceph packages against kernel flavor

The whole kernel_flavor check in schedule_suite() is completely wrong.
ceph packages and kernel packages are built on different gitbuilders
and so a set of ceph flavors is distinct from a set a kernel flavors
(they happen to intersect because both have a 'basic' flavor but that's
it).  Querying ceph gitbuilders with kernel flavor (which is what it
currently does - has_packages_for_distro() talks to ceph gitbuilders)
is useless and only worked because the only kernel we currently care
about and use in qa is 'basic' kernel.  Remove the for i in set(...)
construct and only check install task (i.e. ceph) flavor.

Also, crucially, do not make an empty dict a kernel task config in
!kernel_hash (i.e. "do not install any kernel") case.  This makes
kernel task install a default version of the kernel (branch master) on
all remotes.

Both of the above are partial reverts of commit 9968c366b17f ("Also
check install task's flavor when scheduling").

Signed-off-by: Ilya Dryomov <idryomov@gmail.com>

Merge pull request #524 from ceph/wip-unbreak-kernel-task-2

suite: append flavor key only if kernel version is specified

suite: append flavor key only if kernel version is specified

There are three cases: a) don't install a kernel, b) install a distro
kernel or c) install a specified version.  Appending 'flavor: basic' to
kernel task config in the former two cases is wrong.  In case a)
appending flavor is not only bogus but also leads to bug: a { 'kernel':
{ 'flavor': 'basic' } } config confuses kernel task and it installs
a default version of the kernel (branch master) on all remotes when the
user's intent was to not install any kernel.  As for case b), distro
kernels are built by distros and don't have flavors.

Fix this by appending 'flavor: basic' to kernel task config only in
case c).

Signed-off-by: Ilya Dryomov <idryomov@gmail.com>

scripts/lock.py: fix help for --json-query

Fixes: #11885
Signed-off-by: Dan Mick <dan.mick@redhat.com>

Silence urllib3 logging whether it's bundled in requests or not

Also, do it only in teuthology/__init__.py

Signed-off-by: Dan Mick <dan.mick@redhat.com>

Merge pull request #521 from ceph/wip-distro-kernel

More distro kernel fixes

Call update_grub_rpm() with correct version

It was being called with 'distro', which won't work

Signed-off-by: Zack Cerza <zack@redhat.com>

Add some more logging for debugging

Signed-off-by: Zack Cerza <zack@redhat.com>

need_to_install_distro(): return newest version

Signed-off-by: Zack Cerza <zack@redhat.com>

Don't attempt to iterate over a bool

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #520 from ceph/wip-distro-kernel

Fix distro kernel installation on RPM systems

Make install_kernel() take an optional version arg

... and have install_and_reboot() use it for distro kernels

Signed-off-by: Zack Cerza <zack@redhat.com>

Don't falsely claim the newest kernel is running

Signed-off-by: Zack Cerza <zack@redhat.com>

Be more intelligent comparing kernel versions

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #480 from ceph/wip-rhins

Changes for rh installer to work

 - RH install task and review fixes

Signed-off-by: Vasu Kulkarni <vasu@redhat.com>

Remove old kernels before installing anything

Signed-off-by: Zack Cerza <zack@redhat.com>

need_to_install_distro(): take a remote

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #509 from dachary/wip-11830-baseurl

expose the install._get_baseurl template in .teuthology.yaml

Merge pull request #517 from dmick/wip-json-query-and

lock.py: json-query was matching any; make it match all

lock.py: json-query was matching any; make it match all

Signed-off-by: Dan Mick <dan.mick@redhat.com>

Merge pull request #516 from ceph/wip-schedule-rate-limit

Add github_branch_exists()

Reviewed-by: Dan Mick <dmick@redhat.com>

Add github_branch_exists()

Use it instead of get_branch_info() to avoid GitHub's API rate limiting.

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #515 from ceph/wip-fix-bootstrap

teuthology: stop pip and setuptools from fighting over deps that exis…

Move python-rados out of install and into nuke

Not all ceph branches contain python-rados; the original motivation for
mentioning it in the install task's package list was so that nuke would
remove it. There is another way, though, that doesn't affect the install
task's behavior at all (this is the way).

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #514 from ceph/wip-nuke-stale

teuthology-nuke improvements

teuthology: stop pip and setuptools from fighting over deps that exist in the system site packages

Signed-off-by: Gregory Meno <gmeno@redhat.com>

In _remove_deb(), check for .UR as well as .HR

Signed-off-by: Zack Cerza <zack@redhat.com>

Add python-rados to .deb package list

Signed-off-by: Zack Cerza <zack@redhat.com>

nuke_one(): remove confusing pluralization

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #511 from dmick/master

lock.py: allow selection of machines to list by os-type/os-version

Merge pull request #513 from ceph/wip-11808

Keep better count of locked nodes

Keep better count of locked nodes

http://tracker.ceph.com/issues/11808

Signed-off-by: Zack Cerza <zack@redhat.com>

lock.py: allow selection of machines to list by os-type/os-version

Also, clean up the status selection a tiny bit with winnow()

Signed-off-by: Dan Mick <dan.mick@redhat.com>