teuthology: stop pip and setuptools from fighting over deps that exist in the system site packages

Signed-off-by: Gregory Meno <gmeno@redhat.com>

Merge pull request #511 from dmick/master

lock.py: allow selection of machines to list by os-type/os-version

Merge pull request #513 from ceph/wip-11808

Keep better count of locked nodes

Keep better count of locked nodes

http://tracker.ceph.com/issues/11808

Signed-off-by: Zack Cerza <zack@redhat.com>

lock.py: allow selection of machines to list by os-type/os-version

Also, clean up the status selection a tiny bit with winnow()

Signed-off-by: Dan Mick <dan.mick@redhat.com>

Merge pull request #510 from ceph/wip-ansible-vars

Add extra_vars support for Ansible

Add extra_vars support for Ansible

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #503 from ceph/wip-nuke-stale

Add --dry-run to teuthology-nuke

Add --dry-run

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #502 from ceph/wip-bump-versions

Bump default OS versions

Merge pull request #499 from ceph/wip-ansible-tweaks

Enablement for chef -> ansible transition

Create fake Remotes in a more standard way

This avoids them wanting to run 'hostname --fqdn' on remote nodes that
don't exist

Signed-off-by: Zack Cerza <zack@redhat.com>

Add ansible to pip requirements

Signed-off-by: Zack Cerza <zack@redhat.com>

Ensure our virtualenv's bin/ is in our PATH

So that we can run commands we install via pip from inside teuthology

Signed-off-by: Zack Cerza <zack@redhat.com>

Explicitly set ansible_ssh_user

... to the same as the teuthology user

Signed-off-by: Zack Cerza <zack@redhat.com>

Use Remote.hostname

Signed-off-by: Zack Cerza <zack@redhat.com>

Add CephLab subclass

It simply defaults to pointing at our ceph-cm-ansible repo and our
cephlab.yml playbook

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #504 from ceph/wip-get-job

ResultsReporter: add get_job()

Merge pull request #505 from ceph/wip-11591

Use requests locally instead of wget remotely

ResultsReporter: Add job_id kwarg to get_jobs()

If one is passed, only fetch a single job's information

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #507 from ceph/wip-lock-usability

teuthology-lock usability

Use requests locally instead of wget remotely

... in _update_deb_package_list_and_install()

Signed-off-by: Zack Cerza <zack@redhat.com>

Clarify error when --lock is used with no targets

http://tracker.ceph.com/issues/11812

Signed-off-by: Zack Cerza <zack@redhat.com>

In the case of invalid os_* args, give suggestions

http://tracker.ceph.com/issues/11813

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #506 from ceph/wip-unbreak-kernel-task

kernel: recognize flavor key

kernel: recognize flavor key

Since commit 7da76fa78f63 ("Use kernel_flavor when polling
gitbuilders"), teuthology-suite appends 'flavor: basic' to kernel task
config.  This broke all scheduled kernel suites, because
normalize_config() treats unknown keys as role types and when it
doesn't find a valid one it bails and returns {}, which means "do
nothing".

Fix this temporarily by adding flavor to a list of recognized keys.
This is wrong a bunch of levels, but it fixes a regression while
sticking to the way normalize_config() currently works.

Signed-off-by: Ilya Dryomov <idryomov@gmail.com>

Merge pull request #501 from ceph/wip-11772

Use CentOS packages on RHEL

Tested-by: Sage Weil <sage@redhat.com>

Bump default OS versions

Signed-off-by: Zack Cerza <zack@redhat.com>

Treat RHEL as CentOS in task.install

http://tracker.ceph.com/issues/11772

Signed-off-by: Zack Cerza <zack@redhat.com>

Treat RHEL as CentOS when scheduling

http://tracker.ceph.com/issues/11772

Signed-off-by: Zack Cerza <zack@redhat.com>

Fix Ansible.fetch_repo() for git:// URLs

With unit test

Signed-off-by: Zack Cerza <zack@redhat.com>

Also look for playbook file in repo directory

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #495 from ceph/wip-11645

Use kernel_flavor when polling gitbuilders

Add tests for get_install_task_flavor()

Also a couple bonus linter fixes

Signed-off-by: Zack Cerza <zack@redhat.com>

Add tests for get_flavor()

Signed-off-by: Zack Cerza <zack@redhat.com>

Log pulpito URL after scheduling

Signed-off-by: Zack Cerza <zack@redhat.com>

Add missing default for results_ui_server

It's already documented in docs/siteconfig.rst

Signed-off-by: Zack Cerza <zack@redhat.com>

Don't blindly continue if passed an invalid distro

Signed-off-by: Zack Cerza <zack@redhat.com>

Also check install task's flavor when scheduling

Signed-off-by: Zack Cerza <zack@redhat.com>

Don't assume 'basic' flavor in check_packages()

Signed-off-by: Zack Cerza <zack@redhat.com>

Abstract flavor-finding logic into get_flavor()

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #489 from dmick/master

lock.py: remove dead code trying to deal with locks

Merge pull request #472 from dmick/wip-json-query

lock.py: Add '--json-query' to allow complex search for --list/--brief

lock.py: Add '--json-query' to allow complex search for --list/--brief

--json-query <file> or --json-query <string> allows filtering search
results conveniently; the JSON must be a dictionary that is a subset
of the lock record to be matched.  The reason this was invented:
Find all VPSes on a particular vmhost:

teuthology-lock --list --all --json-query \
'{"vm_host":{"name":"mira003.front.sepia.ceph.com"}}'

Signed-off-by: Dan Mick <dan.mick@redhat.com>

Merge pull request #498 from ceph/wip-11684

Update kernel dependencies on Ubuntu

Update kernel dependencies on Ubuntu

Signed-off-by: Zack Cerza <zack@redhat.com>

Remove another pointless stdout suppression

Signed-off-by: Zack Cerza <zack@redhat.com>

Use kernel_flavor when polling gitbuilders

http://tracker.ceph.com/issues/11645

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #496 from dmick/wip-howmany

task/internal: account for locked machines acquired on previous loops

task/internal: account for locked machines acquired on previous loops

Signed-off-by: Dan Mick <dan.mick@redhat.com>

Merge pull request #494 from athanatos/wip-subset-print

suite: print out subset chosen

suite: print out subset chosen

Signed-off-by: Samuel Just <sjust@redhat.com>

Merge pull request #493 from ceph/wip-kernel-update

Remove old kernels on RPM-based systems

Remove old kernels on RPM-based systems

Signed-off-by: Zack Cerza <zack@redhat.com>

Use Remote.os instead of misc.get_system_type()

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #492 from ceph/wip-11605

Wip 11605

test_suite: add test for empty dir

Signed-off-by: Samuel Just <sjust@redhat.com>

suite: ignore empty directories

Signed-off-by: Samuel Just <sjust@redhat.com>

test_suite: add test for files without .yaml and .disable dirs

Signed-off-by: Samuel Just <sjust@redhat.com>

suite: ignore files not ending in .yaml and dirs ending in .disable

Signed-off-by: Samuel Just <sjust@redhat.com>

Merge pull request #490 from ktdreyer/travisci-home

tests: set HOME env var

test_suite: make_fake_listdir -> make_fake_fstools

fake_isfile was too simplistic.  Instead of using the path string
to determine whether it's a file, consider it a file if the
corresponding value in the dict is None.

Signed-off-by: Samuel Just <sjust@redhat.com>

tests: set HOME env var

Travis CI's docs say that HOME is supposed to be set to /home/travis by
default, however, it also says "do not depend on this value":
http://docs.travis-ci.com/user/ci-environment/

Teuthology depends on the $HOME environment variable being set, and the
test suites that depended on this recently failed to build in Travis CI.

Set the var explicitly so it's always available for the tests.

lock.py: remove dead code trying to deal with locks

Without this, lock.py keeps trying to get at the key in
case it might need it later...but there's nothing that even
uses that information left, so it just causes a delay.

Signed-off-by: Dan Mick <dan.mick@redhat.com>

Merge pull request #488 from ceph/wip-11552

Install scratch built kernels from koji

Fix copypasta

Signed-off-by: Zack Cerza <zack@redhat.com>

Adds support for installing kernels from koji task results.

The kernel task now takes a task_id argument that can be used to
download and install a kernel from task results.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Adds methods to extract info on a package from koji task results.

Once you get the results of a koji task you can use these methods to
look for and extract information about a given package.  If the package
is found it will return information about how to download and consume
the rpm generated by the task.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Adds packaging.get_koji_task_result, to query kojihub for a tasks result.

We need this because we want to be able to use scratch builds, which do
not generate a build ID. We can download the rpms we need by
retrieving the results of a task then looking at the list of rpms
it created.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #487 from ceph/wip-ansible

Ansible task

Clarify Task.filter_hosts() docstring

Signed-off-by: Zack Cerza <zack@redhat.com>

Ansible task tests

Signed-off-by: Zack Cerza <zack@redhat.com>

Ansible task

Signed-off-by: Zack Cerza <zack@redhat.com>

Sort hostnames in unit test

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #486 from ceph/wip-schedule

Wip schedule -- with fix for 11533

matrix: fix Concat.index -- should be (item, {concat_items})

Previously, it just returned {concat_items} which isn't right.

Signed-off-by: Samuel Just <sjust@redhat.com>

Merge pull request #479 from zhouyuan/config_max_reserve

Make the number machines to be reserved configurable

suite: add --subset option to allow us to schedule subsets of a suite

First, the old logic tended to do the following:

[0,1,2,3] x [a,b,c,d] -> [(0, a), (0, b), (0, c), ...]

which is a bummer since if we only schedule the first 1/4,
we only get combinations with 0.

Instead, we want:

[0,1,2,3] x [a,b,c,d] -> [(0, a), (1, b), (2, c), ...]

Second, the old logic tended to do the following:

[0,1,2,3] + [a,b,c,d] -> [0,1,2,3,a,b,c,d]

Which is a bummer since we need to all the way through the first
set before we get examples from the second.

Instead, we want:

[0,1,2,3] + [a,b,c,d] -> [0,a,1,b,2,c,3,d]

Lastly, if we have:

[0,1,2] + ([0,1,2],[a,b,c])

and want to schedule 1/3 of the suite, we don't want to
just schedule 0, we probably want to schedule all of
[0,1,2] and 1/3 of the second combo.  Thus, we want to
detect such cases and multiply out [0,1,2] into
[0,1,2,0,1,2,0,1,2].

Signed-off-by: Samuel Just <sam.just@inktank.com>
(cherry picked from commit 9a57759ec3df7a8b9490920538214ac189418c49)

test_suite: add test for bug 11533

Signed-off-by: Samuel Just <sjust@redhat.com>

Merge pull request #483 from SUSE/wip-suse-bootsrap

Added openSUSE and SLES conditions in bootstrap.

Added openSUSE and SLES conditions in bootstrap.

Signed-off-by: Kapil Sharma ksharma@suse.com

Revert "suite: add --subset option to allow us to schedule subsets of a suite"

This reverts commit 9a57759ec3df7a8b9490920538214ac189418c49.

See http://tracker.ceph.com/issues/11533

Merge pull request #340 from ceph/wip-schedule

suite: add --subset option to allow us to schedule subsets of a suit...

suite: add --subset option to allow us to schedule subsets of a suite

First, the old logic tended to do the following:

[0,1,2,3] x [a,b,c,d] -> [(0, a), (0, b), (0, c), ...]

which is a bummer since if we only schedule the first 1/4,
we only get combinations with 0.

Instead, we want:

[0,1,2,3] x [a,b,c,d] -> [(0, a), (1, b), (2, c), ...]

Second, the old logic tended to do the following:

[0,1,2,3] + [a,b,c,d] -> [0,1,2,3,a,b,c,d]

Which is a bummer since we need to all the way through the first
set before we get examples from the second.

Instead, we want:

[0,1,2,3] + [a,b,c,d] -> [0,a,1,b,2,c,3,d]

Lastly, if we have:

[0,1,2] + ([0,1,2],[a,b,c])

and want to schedule 1/3 of the suite, we don't want to
just schedule 0, we probably want to schedule all of
[0,1,2] and 1/3 of the second combo.  Thus, we want to
detect such cases and multiply out [0,1,2] into
[0,1,2,0,1,2,0,1,2].

Signed-off-by: Samuel Just <sam.just@inktank.com>

Merge pull request #481 from ceph/wip-11429

Wip 11429

Reviewed-by: Andrew Schoen <andrew.schoen@gmail.com>

task: add loop

task: add full_sequential

Make the number machines to be reserved configurable

Signed-off-by: Yuan Zhou <yuan.zhou@intel.com>

Merge pull request #478 from ceph/nuke-updates

Don't assert status==up when using internal.check_lock.

Don't assert status==up when using internal.check_lock.

Add a check_up kwarg to check_lock so that we can optionally skip
checking to see if a node is up before nuking it. This still allows
scheduled teuthology jobs to make sure they didn't lock a downed node.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Call add_remotes() before connect()

Signed-off-by: Zack Cerza <zack@redhat.com>

Run context manager exit if enter fails

In run_tasks(), we were waiting until a context manager's __enter__()
finished before adding it to the stack. As a result, if __enter__()
failed, __exit__() would never be called.

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #477 from ceph/wip-11491

include E9 errors for flake8 runs in tox.ini

include E9 errors for flake8 runs in tox.ini

Signed-off-by: Alfredo Deza <alfredo.deza@inktank.com>

Fix broken string

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #476 from ceph/wip-11474

Log more output in need_to_install_distro()

Add fetch_repo() and use it

Abstracts the copy-pasta codepath used by fetch_qa_suite() and
fetch_teuthology() into a function usable by both, and also usable to
fetch arbitrary repos. Provides branch selection, optional locking and
retry, and an optional bootstrap callback.

Signed-off-by: Zack Cerza <zack@redhat.com>

Fix CommandFailedError when node is None

Signed-off-by: Zack Cerza <zack@redhat.com>

Fix filter_hosts() when no filters are specified

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #475 from ceph/wip-newtasks

New-style tasks