Merge pull request #488 from ceph/wip-11552

Install scratch built kernels from koji

Fix copypasta

Signed-off-by: Zack Cerza <zack@redhat.com>

Adds support for installing kernels from koji task results.

The kernel task now takes a task_id argument that can be used to
download and install a kernel from task results.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Adds methods to extract info on a package from koji task results.

Once you get the results of a koji task you can use these methods to
look for and extract information about a given package.  If the package
is found it will return information about how to download and consume
the rpm generated by the task.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Adds packaging.get_koji_task_result, to query kojihub for a tasks result.

We need this because we want to be able to use scratch builds, which do
not generate a build ID. We can download the rpms we need by
retrieving the results of a task then looking at the list of rpms
it created.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #487 from ceph/wip-ansible

Ansible task

Clarify Task.filter_hosts() docstring

Signed-off-by: Zack Cerza <zack@redhat.com>

Ansible task tests

Signed-off-by: Zack Cerza <zack@redhat.com>

Ansible task

Signed-off-by: Zack Cerza <zack@redhat.com>

Sort hostnames in unit test

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #486 from ceph/wip-schedule

Wip schedule -- with fix for 11533

matrix: fix Concat.index -- should be (item, {concat_items})

Previously, it just returned {concat_items} which isn't right.

Signed-off-by: Samuel Just <sjust@redhat.com>

Merge pull request #479 from zhouyuan/config_max_reserve

Make the number machines to be reserved configurable

suite: add --subset option to allow us to schedule subsets of a suite

First, the old logic tended to do the following:

[0,1,2,3] x [a,b,c,d] -> [(0, a), (0, b), (0, c), ...]

which is a bummer since if we only schedule the first 1/4,
we only get combinations with 0.

Instead, we want:

[0,1,2,3] x [a,b,c,d] -> [(0, a), (1, b), (2, c), ...]

Second, the old logic tended to do the following:

[0,1,2,3] + [a,b,c,d] -> [0,1,2,3,a,b,c,d]

Which is a bummer since we need to all the way through the first
set before we get examples from the second.

Instead, we want:

[0,1,2,3] + [a,b,c,d] -> [0,a,1,b,2,c,3,d]

Lastly, if we have:

[0,1,2] + ([0,1,2],[a,b,c])

and want to schedule 1/3 of the suite, we don't want to
just schedule 0, we probably want to schedule all of
[0,1,2] and 1/3 of the second combo.  Thus, we want to
detect such cases and multiply out [0,1,2] into
[0,1,2,0,1,2,0,1,2].

Signed-off-by: Samuel Just <sam.just@inktank.com>
(cherry picked from commit 9a57759ec3df7a8b9490920538214ac189418c49)

test_suite: add test for bug 11533

Signed-off-by: Samuel Just <sjust@redhat.com>

Merge pull request #483 from SUSE/wip-suse-bootsrap

Added openSUSE and SLES conditions in bootstrap.

Added openSUSE and SLES conditions in bootstrap.

Signed-off-by: Kapil Sharma ksharma@suse.com

Revert "suite: add --subset option to allow us to schedule subsets of a suite"

This reverts commit 9a57759ec3df7a8b9490920538214ac189418c49.

See http://tracker.ceph.com/issues/11533

Merge pull request #340 from ceph/wip-schedule

suite: add --subset option to allow us to schedule subsets of a suit...

suite: add --subset option to allow us to schedule subsets of a suite

First, the old logic tended to do the following:

[0,1,2,3] x [a,b,c,d] -> [(0, a), (0, b), (0, c), ...]

which is a bummer since if we only schedule the first 1/4,
we only get combinations with 0.

Instead, we want:

[0,1,2,3] x [a,b,c,d] -> [(0, a), (1, b), (2, c), ...]

Second, the old logic tended to do the following:

[0,1,2,3] + [a,b,c,d] -> [0,1,2,3,a,b,c,d]

Which is a bummer since we need to all the way through the first
set before we get examples from the second.

Instead, we want:

[0,1,2,3] + [a,b,c,d] -> [0,a,1,b,2,c,3,d]

Lastly, if we have:

[0,1,2] + ([0,1,2],[a,b,c])

and want to schedule 1/3 of the suite, we don't want to
just schedule 0, we probably want to schedule all of
[0,1,2] and 1/3 of the second combo.  Thus, we want to
detect such cases and multiply out [0,1,2] into
[0,1,2,0,1,2,0,1,2].

Signed-off-by: Samuel Just <sam.just@inktank.com>

Merge pull request #481 from ceph/wip-11429

Wip 11429

Reviewed-by: Andrew Schoen <andrew.schoen@gmail.com>

task: add loop

task: add full_sequential

Make the number machines to be reserved configurable

Signed-off-by: Yuan Zhou <yuan.zhou@intel.com>

Merge pull request #478 from ceph/nuke-updates

Don't assert status==up when using internal.check_lock.

Don't assert status==up when using internal.check_lock.

Add a check_up kwarg to check_lock so that we can optionally skip
checking to see if a node is up before nuking it. This still allows
scheduled teuthology jobs to make sure they didn't lock a downed node.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Call add_remotes() before connect()

Signed-off-by: Zack Cerza <zack@redhat.com>

Run context manager exit if enter fails

In run_tasks(), we were waiting until a context manager's __enter__()
finished before adding it to the stack. As a result, if __enter__()
failed, __exit__() would never be called.

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #477 from ceph/wip-11491

include E9 errors for flake8 runs in tox.ini

include E9 errors for flake8 runs in tox.ini

Signed-off-by: Alfredo Deza <alfredo.deza@inktank.com>

Fix broken string

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #476 from ceph/wip-11474

Log more output in need_to_install_distro()

Add fetch_repo() and use it

Abstracts the copy-pasta codepath used by fetch_qa_suite() and
fetch_teuthology() into a function usable by both, and also usable to
fetch arbitrary repos. Provides branch selection, optional locking and
retry, and an optional bootstrap callback.

Signed-off-by: Zack Cerza <zack@redhat.com>

Fix CommandFailedError when node is None

Signed-off-by: Zack Cerza <zack@redhat.com>

Fix filter_hosts() when no filters are specified

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #475 from ceph/wip-newtasks

New-style tasks

Add unit tests for teuthology.task.Task

Signed-off-by: Zack Cerza <zack@redhat.com>

Add teuthology.task.Task

This is intended to be a base class providing a more modern, featured,
tested foundation for tasks. It has built-in overrides, host selection,
and optional skipping of the teardown stage.

Signed-off-by: Zack Cerza <zack@redhat.com>

need_to_install_distro(): log more output

This was another case where stdout/stderr was being supressed
needlessly. We need a bit of it for debugging purposes.

Signed-off-by: Zack Cerza <zack@redhat.com>

Clean up linter issues in need_to_install_distro()

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #474 from ceph/wip-11466

Fix branch selection logic

Fix branch selection logic

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #469 from zhouyuan/add_missing_files

Adding missing files in setup.py

Merge pull request #473 from ceph/wip-rate-limit

Don't call get_branch_info() for master branches

Reviewed-by: Dan Mick <dmick@redhat.com>

Merge pull request #471 from dmick/master

ssh_keys: save each remote's backup file name separately in a dict for u...

Don't call get_branch_info() for master branches

We're hitting the github API rate limit; if master doesn't exist we lose
anyway

Signed-off-by: Zack Cerza <zack@redhat.com>

ssh_keys: save each remote's backup file name separately in a dict for undo

Signed-off-by: Dan Mick <dan.mick@redhat.com>

Merge pull request #470 from ceph/wip-remote

Add timeouts to Remote connection functions

Split internal.connect() into two subtasks

One creates the ctx.cluster object; the other initiates connections

Signed-off-by: Zack Cerza <zack@redhat.com>

Pass timeout value down to connection.connect()

Signed-off-by: Zack Cerza <zack@redhat.com>

Add timeout arg to connect()

Default behavior is unchanged

Signed-off-by: Zack Cerza <zack@redhat.com>

Don't call Remote.connect() in Remote.__init__()

Signed-off-by: Zack Cerza <zack@redhat.com>

Make Remote.reconnect() retry optionally

Signed-off-by: Zack Cerza <zack@redhat.com>

Properly close connection on object deletion

Signed-off-by: Zack Cerza <zack@redhat.com>

Adding missing files in setup.py

Some non-python scripts are missing when install.

Signed-off-by: Yuan Zhou <yuan.zhou@intel.com>

Merge pull request #468 from dmick/wip-ssh-keys

ssh_keys: stop using sed, use saved backup of authorized_keys instead

ssh_keys: stop using sed, use saved backup of authorized_keys instead

Signed-off-by: Dan Mick <dan.mick@redhat.com>

Merge pull request #466 from ceph/wip-11426

Log stderr in get_latest_image_version_deb()

Log stderr in get_latest_image_version_deb()

It was being suppressed needlessly. Also fix lots of linter issues.

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #465 from ceph/kernel-koji-docs

Docs for using koji in the kernel task.

Docs for using koji in the kernel task.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #464 from ceph/wip-git.ceph.com

git.ceph.com

git.ceph.com

Signed-off-by: Sage Weil <sage@redhat.com>

Merge pull request #462 from ceph/wip-ssh-keys

When modifying authorized_keys, store a backup

When modifying authorized_keys, store a backup

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #460 from zhouyuan/mkdir_p

Make parent directories as needed

Merge pull request #463 from ceph/wip-suite-tests

Basic teuthology.suite.build_matrix() unit tests

Make test_gitbuilder_url() use the local config

Signed-off-by: Zack Cerza <zack@redhat.com>

Add unit tests for suite.build_matrix()

Signed-off-by: Zack Cerza <zack@redhat.com>

Parametrize build_matrix() for unit tests

Signed-off-by: Zack Cerza <zack@redhat.com>

Always call unlock_one() with the user arg

I'd seen a few cases where vps creation would fail, and then unlocking
failed because we were incorrectly guessing the owner of the lock.

Signed-off-by: Zack Cerza <zack@redhat.com>

Skip passing os_type/version when destroying

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #459 from ceph/wip-downburst

Refactor downburst provisioning

Add basic unit tests for Downburst

Signed-off-by: Zack Cerza <zack@redhat.com>

Make *_if_vm() more unit-testable

Allow passing in a custom Downburst instance. Also clean up several
linter issues.

Signed-off-by: Zack Cerza <zack@redhat.com>

Use provision.downburst_executable()

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #461 from ceph/wip-update-inventory

Add teuthology-update-inventory command

Add teuthology-update-inventory command

This ought to also replace teuthology-updatekeys, but might not be as
fast yet.

Signed-off-by: Zack Cerza <zack@redhat.com>

Move downburst code into new Downburst class

Signed-off-by: Zack Cerza <zack@redhat.com>

Make parent directories as needed

with '-p' when mkdir

Signed-off-by: Yuan Zhou <yuan.zhou@intel.com>

Clarify error logging in destroy_if_vm()

Signed-off-by: Zack Cerza <zack@redhat.com>

Be smarter about logging in create_if_vm()

Also return False on failure.

Signed-off-by: Zack Cerza <zack@redhat.com>

Strip ssh-keyscan output before logging it

Signed-off-by: Zack Cerza <zack@redhat.com>

Be more tolerant of git connection errors

Signed-off-by: Zack Cerza <zack@redhat.com>

Be slightly smarter when looking for stale locks

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #458 from ceph/wip-11248

Disable version check when ceph-deploy is used to install ceph.

Disable version check when ceph-deploy is used to install ceph.

See: http://tracker.ceph.com/issues/11248

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

On BranchNotFoundError, mark job as dead

We had been simply deleting jobs from paddles if the teuthology branch
was not found. Instead, mark them as dead with a useful failure_reason.

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #457 from ceph/wip-lttng-valgrind

valgrind: ignore lttng warning on un-cleaned-up state

valgrind: ignore lttng warning on un-cleaned-up state

This appears to have come from dca722ec7b2a7fc9214844ec92310074b5cb2faa,
which merged in support for use of lttng ust functions on fork. Valgrind
started warning on a Leak_StillReachable with lttng_ust_init in
the function call trace.

Hopefully this is specific enough that we don't mask out any other
lttng errors.

Fixes: #11247
Signed-off-by: Greg Farnum <gfarnum@redhat.com>

Merge pull request #456 from ceph/wip-11243

Verify version for other projects besides ceph in the install task

Verify version for other projects besides ceph in the install task

Fixes: http://tracker.ceph.com/issues/11243
Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Avoid double-unlocking with unlock_on_failure

If both unlock_on_failure and nuke-on-error are set, don't unlock now
because we're just going to nuke (and unlock) later.

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #451 from ceph/verify-version

Verify that the correct ceph version is installed on updates and install

Merge pull request #454 from ktdreyer/wip-comment-libvirt-bootstrap

bootstrap: explain the system python-libvirt pkg

bootstrap: explain the system python-libvirt pkg

In #sepia today, Zack explained the reasoning for the python-libvirt
package on the Debian family of distros.

Merge pull request #453 from ceph/wip-11170

Allow running teuthology-lock --update on broken vps nodes

Tweak ssh-keyscan timing

Make the call itself timeout after 1s instead of 5s. Make update_lock()
try 15 times, sleeping for 1s between attempts. A full timeout of
update_lock() should take ~30s.

Signed-off-by: Zack Cerza <zack@redhat.com>

Use safe_while instead of an unsafe loop

If ssh-keyscan fails, we would hang forever. Stop that nonsense, and
give up eventually, print a warning, and move on.

Signed-off-by: Zack Cerza <zack@redhat.com>

Fix error formatting when 'action' is passed

Signed-off-by: Zack Cerza <zack@redhat.com>