Enable the Ansible task to optionally cleanup after itself.

If given the config value of ``cleanup`` the ansible task will rerun the
same playbook during the teardown stage with a ``teardown`` var added
with a value of True.  This will allow the playbook to cleanup after
itself during teardown, if the playbook supports this feature.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #526 from ceph/wip-unbreak-kernel-task-3

suite: don't try to check ceph packages against kernel flavor

Merge pull request #522 from dmick/master

Silence urllib3 logging whether it's bundled in requests or not

Merge pull request #523 from dmick/wip-11885

scripts/lock.py: fix help for --json-query

Merge pull request #525 from ceph/wip-distro-kernel

get_latest_image_version_rpm(): ignore non-distro

get_latest_image_version_rpm(): ignore non-distro

This function is only used in distro kernel codepaths. Remove a similar
block of code from need_to_install_distro() and use this function.

Signed-off-by: Zack Cerza <zack@redhat.com>

suite: don't try to check ceph packages against kernel flavor

The whole kernel_flavor check in schedule_suite() is completely wrong.
ceph packages and kernel packages are built on different gitbuilders
and so a set of ceph flavors is distinct from a set a kernel flavors
(they happen to intersect because both have a 'basic' flavor but that's
it).  Querying ceph gitbuilders with kernel flavor (which is what it
currently does - has_packages_for_distro() talks to ceph gitbuilders)
is useless and only worked because the only kernel we currently care
about and use in qa is 'basic' kernel.  Remove the for i in set(...)
construct and only check install task (i.e. ceph) flavor.

Also, crucially, do not make an empty dict a kernel task config in
!kernel_hash (i.e. "do not install any kernel") case.  This makes
kernel task install a default version of the kernel (branch master) on
all remotes.

Both of the above are partial reverts of commit 9968c366b17f ("Also
check install task's flavor when scheduling").

Signed-off-by: Ilya Dryomov <idryomov@gmail.com>

Merge pull request #524 from ceph/wip-unbreak-kernel-task-2

suite: append flavor key only if kernel version is specified

suite: append flavor key only if kernel version is specified

There are three cases: a) don't install a kernel, b) install a distro
kernel or c) install a specified version.  Appending 'flavor: basic' to
kernel task config in the former two cases is wrong.  In case a)
appending flavor is not only bogus but also leads to bug: a { 'kernel':
{ 'flavor': 'basic' } } config confuses kernel task and it installs
a default version of the kernel (branch master) on all remotes when the
user's intent was to not install any kernel.  As for case b), distro
kernels are built by distros and don't have flavors.

Fix this by appending 'flavor: basic' to kernel task config only in
case c).

Signed-off-by: Ilya Dryomov <idryomov@gmail.com>

scripts/lock.py: fix help for --json-query

Fixes: #11885
Signed-off-by: Dan Mick <dan.mick@redhat.com>

Silence urllib3 logging whether it's bundled in requests or not

Also, do it only in teuthology/__init__.py

Signed-off-by: Dan Mick <dan.mick@redhat.com>

Merge pull request #521 from ceph/wip-distro-kernel

More distro kernel fixes

Call update_grub_rpm() with correct version

It was being called with 'distro', which won't work

Signed-off-by: Zack Cerza <zack@redhat.com>

Add some more logging for debugging

Signed-off-by: Zack Cerza <zack@redhat.com>

need_to_install_distro(): return newest version

Signed-off-by: Zack Cerza <zack@redhat.com>

Don't attempt to iterate over a bool

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #520 from ceph/wip-distro-kernel

Fix distro kernel installation on RPM systems

Make install_kernel() take an optional version arg

... and have install_and_reboot() use it for distro kernels

Signed-off-by: Zack Cerza <zack@redhat.com>

Don't falsely claim the newest kernel is running

Signed-off-by: Zack Cerza <zack@redhat.com>

Be more intelligent comparing kernel versions

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #480 from ceph/wip-rhins

Changes for rh installer to work

 - RH install task and review fixes

Signed-off-by: Vasu Kulkarni <vasu@redhat.com>

Remove old kernels before installing anything

Signed-off-by: Zack Cerza <zack@redhat.com>

need_to_install_distro(): take a remote

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #509 from dachary/wip-11830-baseurl

expose the install._get_baseurl template in .teuthology.yaml

Merge pull request #517 from dmick/wip-json-query-and

lock.py: json-query was matching any; make it match all

lock.py: json-query was matching any; make it match all

Signed-off-by: Dan Mick <dan.mick@redhat.com>

Merge pull request #516 from ceph/wip-schedule-rate-limit

Add github_branch_exists()

Reviewed-by: Dan Mick <dmick@redhat.com>

Add github_branch_exists()

Use it instead of get_branch_info() to avoid GitHub's API rate limiting.

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #515 from ceph/wip-fix-bootstrap

teuthology: stop pip and setuptools from fighting over deps that exis…

Move python-rados out of install and into nuke

Not all ceph branches contain python-rados; the original motivation for
mentioning it in the install task's package list was so that nuke would
remove it. There is another way, though, that doesn't affect the install
task's behavior at all (this is the way).

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #514 from ceph/wip-nuke-stale

teuthology-nuke improvements

teuthology: stop pip and setuptools from fighting over deps that exist in the system site packages

Signed-off-by: Gregory Meno <gmeno@redhat.com>

In _remove_deb(), check for .UR as well as .HR

Signed-off-by: Zack Cerza <zack@redhat.com>

Add python-rados to .deb package list

Signed-off-by: Zack Cerza <zack@redhat.com>

nuke_one(): remove confusing pluralization

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #511 from dmick/master

lock.py: allow selection of machines to list by os-type/os-version

Merge pull request #513 from ceph/wip-11808

Keep better count of locked nodes

Keep better count of locked nodes

http://tracker.ceph.com/issues/11808

Signed-off-by: Zack Cerza <zack@redhat.com>

lock.py: allow selection of machines to list by os-type/os-version

Also, clean up the status selection a tiny bit with winnow()

Signed-off-by: Dan Mick <dan.mick@redhat.com>

Merge pull request #510 from ceph/wip-ansible-vars

Add extra_vars support for Ansible

Add extra_vars support for Ansible

Signed-off-by: Zack Cerza <zack@redhat.com>

expose the install._get_baseurl template in .teuthology.yaml

Instead of hardcoding the template used by _get_baseurl to build the URL
of the repository where packages are to be found, make it a

   baseurl_template

configuration parameter in the teuthology.yaml file.

_update_rpm_package_list_and_install did not call _get_baseurl and hard
coded another template identical to the one used by _get_baseurl. The
only difference was {distro_release} instead of {dist} but they are
expected to be identical for rpm based distributions.

http://tracker.ceph.com/issues/11830 Fixes: #11830

Signed-off-by: Loic Dachary <loic@dachary.org>

Merge pull request #503 from ceph/wip-nuke-stale

Add --dry-run to teuthology-nuke

Add --dry-run

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #502 from ceph/wip-bump-versions

Bump default OS versions

Merge pull request #499 from ceph/wip-ansible-tweaks

Enablement for chef -> ansible transition

Create fake Remotes in a more standard way

This avoids them wanting to run 'hostname --fqdn' on remote nodes that
don't exist

Signed-off-by: Zack Cerza <zack@redhat.com>

Add ansible to pip requirements

Signed-off-by: Zack Cerza <zack@redhat.com>

Ensure our virtualenv's bin/ is in our PATH

So that we can run commands we install via pip from inside teuthology

Signed-off-by: Zack Cerza <zack@redhat.com>

Explicitly set ansible_ssh_user

... to the same as the teuthology user

Signed-off-by: Zack Cerza <zack@redhat.com>

Use Remote.hostname

Signed-off-by: Zack Cerza <zack@redhat.com>

Add CephLab subclass

It simply defaults to pointing at our ceph-cm-ansible repo and our
cephlab.yml playbook

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #504 from ceph/wip-get-job

ResultsReporter: add get_job()

Merge pull request #505 from ceph/wip-11591

Use requests locally instead of wget remotely

ResultsReporter: Add job_id kwarg to get_jobs()

If one is passed, only fetch a single job's information

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #507 from ceph/wip-lock-usability

teuthology-lock usability

Use requests locally instead of wget remotely

... in _update_deb_package_list_and_install()

Signed-off-by: Zack Cerza <zack@redhat.com>

Clarify error when --lock is used with no targets

http://tracker.ceph.com/issues/11812

Signed-off-by: Zack Cerza <zack@redhat.com>

In the case of invalid os_* args, give suggestions

http://tracker.ceph.com/issues/11813

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #506 from ceph/wip-unbreak-kernel-task

kernel: recognize flavor key

kernel: recognize flavor key

Since commit 7da76fa78f63 ("Use kernel_flavor when polling
gitbuilders"), teuthology-suite appends 'flavor: basic' to kernel task
config.  This broke all scheduled kernel suites, because
normalize_config() treats unknown keys as role types and when it
doesn't find a valid one it bails and returns {}, which means "do
nothing".

Fix this temporarily by adding flavor to a list of recognized keys.
This is wrong a bunch of levels, but it fixes a regression while
sticking to the way normalize_config() currently works.

Signed-off-by: Ilya Dryomov <idryomov@gmail.com>

Merge pull request #501 from ceph/wip-11772

Use CentOS packages on RHEL

Tested-by: Sage Weil <sage@redhat.com>

Bump default OS versions

Signed-off-by: Zack Cerza <zack@redhat.com>

Treat RHEL as CentOS in task.install

http://tracker.ceph.com/issues/11772

Signed-off-by: Zack Cerza <zack@redhat.com>

Treat RHEL as CentOS when scheduling

http://tracker.ceph.com/issues/11772

Signed-off-by: Zack Cerza <zack@redhat.com>

Fix Ansible.fetch_repo() for git:// URLs

With unit test

Signed-off-by: Zack Cerza <zack@redhat.com>

Also look for playbook file in repo directory

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #495 from ceph/wip-11645

Use kernel_flavor when polling gitbuilders

Add tests for get_install_task_flavor()

Also a couple bonus linter fixes

Signed-off-by: Zack Cerza <zack@redhat.com>

Add tests for get_flavor()

Signed-off-by: Zack Cerza <zack@redhat.com>

Log pulpito URL after scheduling

Signed-off-by: Zack Cerza <zack@redhat.com>

Add missing default for results_ui_server

It's already documented in docs/siteconfig.rst

Signed-off-by: Zack Cerza <zack@redhat.com>

Don't blindly continue if passed an invalid distro

Signed-off-by: Zack Cerza <zack@redhat.com>

Also check install task's flavor when scheduling

Signed-off-by: Zack Cerza <zack@redhat.com>

Don't assume 'basic' flavor in check_packages()

Signed-off-by: Zack Cerza <zack@redhat.com>

Abstract flavor-finding logic into get_flavor()

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #489 from dmick/master

lock.py: remove dead code trying to deal with locks

Merge pull request #472 from dmick/wip-json-query

lock.py: Add '--json-query' to allow complex search for --list/--brief

lock.py: Add '--json-query' to allow complex search for --list/--brief

--json-query <file> or --json-query <string> allows filtering search
results conveniently; the JSON must be a dictionary that is a subset
of the lock record to be matched.  The reason this was invented:
Find all VPSes on a particular vmhost:

teuthology-lock --list --all --json-query \
'{"vm_host":{"name":"mira003.front.sepia.ceph.com"}}'

Signed-off-by: Dan Mick <dan.mick@redhat.com>

Merge pull request #498 from ceph/wip-11684

Update kernel dependencies on Ubuntu

Update kernel dependencies on Ubuntu

Signed-off-by: Zack Cerza <zack@redhat.com>

Remove another pointless stdout suppression

Signed-off-by: Zack Cerza <zack@redhat.com>

Use kernel_flavor when polling gitbuilders

http://tracker.ceph.com/issues/11645

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #496 from dmick/wip-howmany

task/internal: account for locked machines acquired on previous loops

task/internal: account for locked machines acquired on previous loops

Signed-off-by: Dan Mick <dan.mick@redhat.com>

Merge pull request #494 from athanatos/wip-subset-print

suite: print out subset chosen

suite: print out subset chosen

Signed-off-by: Samuel Just <sjust@redhat.com>

Merge pull request #493 from ceph/wip-kernel-update

Remove old kernels on RPM-based systems

Remove old kernels on RPM-based systems

Signed-off-by: Zack Cerza <zack@redhat.com>

Use Remote.os instead of misc.get_system_type()

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #492 from ceph/wip-11605

Wip 11605

test_suite: add test for empty dir

Signed-off-by: Samuel Just <sjust@redhat.com>

suite: ignore empty directories

Signed-off-by: Samuel Just <sjust@redhat.com>

test_suite: add test for files without .yaml and .disable dirs

Signed-off-by: Samuel Just <sjust@redhat.com>

suite: ignore files not ending in .yaml and dirs ending in .disable

Signed-off-by: Samuel Just <sjust@redhat.com>

Merge pull request #490 from ktdreyer/travisci-home

tests: set HOME env var

test_suite: make_fake_listdir -> make_fake_fstools

fake_isfile was too simplistic.  Instead of using the path string
to determine whether it's a file, consider it a file if the
corresponding value in the dict is None.

Signed-off-by: Samuel Just <sjust@redhat.com>

tests: set HOME env var

Travis CI's docs say that HOME is supposed to be set to /home/travis by
default, however, it also says "do not depend on this value":
http://docs.travis-ci.com/user/ci-environment/

Teuthology depends on the $HOME environment variable being set, and the
test suites that depended on this recently failed to build in Travis CI.

Set the var explicitly so it's always available for the tests.

lock.py: remove dead code trying to deal with locks

Without this, lock.py keeps trying to get at the key in
case it might need it later...but there's nothing that even
uses that information left, so it just causes a delay.

Signed-off-by: Dan Mick <dan.mick@redhat.com>