Tweak _remove_sources_list_{deb,rpm}()

Make their implementations more concise, their logging more verbose, and
avoid running apt-get update if no sources list was removed.

Signed-off-by: Zack Cerza <zack@redhat.com>

Don't run two apt-get updates in parallel

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #430 from tchaikov/fix-readme

README: update with teuthology-suite

README: update with teuthology-suite

* replace sample usage of deprecated schedule_suite.sh with that of
  teuthology-suite
* add a pointer to `teuthology-suite --help`

Fixes: #8678
Signed-off-by: Kefu Chai <kchai@redhat.com>

Merge pull request #429 from ceph/tests-task-cleanup

Adds a machine_type property to orchestra.remote.Remote

Adds a machine_type property to orchestra.remote.Remote

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #428 from ceph/wip-10774

Don't unlock VMs before destroying them

Don't destroy a vps that is owned by someone else

This only affects the unlock_one() codepath at this point.

Signed-off-by: Zack Cerza <zack@redhat.com>

Destroy VMs before unlocking, not after

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #426 from ceph/wip-10736

create a teuthology integration test task

Correctly pull the default machine_type if machine_type is not defined explicitly

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Do not log skipped tests as failed

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Added integration tests to ensure locking is working correctly

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Moved task.tests into it's own module and created tests.test_run

This sets up the basic structure for teuthology integration testing.
Any tests put in teuthology/task/tests will be autodiscovered and run
when 'tests' is in the task list of a job's config.

Each test will be given ctx and config and it's output will be logged
using our logger.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Use pytest to auto discover and run tests in task.tests

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

install: include libcephfs-jni in .deb list as well as RPM one

Signed-off-by: Greg Farnum <gfarnum@redhat.com>
Reviewed-by: Zack Cerza <zack@redhat.com>

Merge pull request #425 from ceph/wip-10753

Add a label to the ceph-qa-chef run in task.internal

Add a label to the ceph-qa-chef run in task.internal

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #423 from ceph/teuth-testing

Add a label to run.run

Added a 'tests' task that we can use to test teuthology features

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Add a label kwarg to run.run

This can be used to label or annotate commands to remotes so we can
print a meaningful log message if the command fails.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Make 'branch' a tag in Sentry

Signed-off-by: Zack Cerza <zack@redhat.com>

Add branch to Sentry info

Signed-off-by: Zack Cerza <zack@redhat.com>

Fix bug in submitting Sentry events

It wasn't working for non-scheduled jobs

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #422 from ceph/wip-10622

If the version file is empty, complain.

If the version file is empty, complain.

We *could* work around this, but I don't want to mask bugs in the build
system.

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #420 from ceph/wip-10625

deprecate support for a custom downburst config

Remove support for a custom downburst config in teuthology.provision

Will log a warning message if a custom downburst config is found in
ctx.config. Removes unused --downburst-conf option from teuthology-lock.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Removed downburst config support in get_distro and get_distro_version

We believe that nobody is using custom downburst configs anymore so
we're planning to deprecate this feature.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #421 from ceph/wip-tunables

ceph.conf: mon warn on legacy tunables = false

ceph.conf: mon warn on legacy tunables = false

so we can test legacy tunables

Signed-off-by: Sage Weil <sage@redhat.com>

Fix typo in libvirt.conf path

Signed-off-by: Zack Cerza <zack@redhat.com>

Add error message when SMTP server is unreachable

This only happens when scheduling fails.

Signed-off-by: Zack Cerza <zack@redhat.com>

Fix typo in --machine-type flag

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #417 from ceph/wip-10561

Enable kernel installs from brew

Adding unit test coverage to teuthology.packaging

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Only install the kernel from koji if needed.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Move koji related functions into teuthology.packaging

We can now use these functions in other places in teuthology.

I've also made the urls for koji configurable with the
teuthology config.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Enable kernel installs from koji

This enables a kernel to be installed from koji by putting the
following stanza under 'kernel' in your yaml config, 'koji: <build_id>'.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Don't allow calling teuthology-nuke with no args

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #419 from ceph/wip-wait

DaemonState: add wait()

Merge pull request #418 from ceph/wip-10621

Make teuthology-lock respect --os-type

Make teuthology-lock respect --os-type

This fixes the regression in issue #10621

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

DaemonState: add wait()

Signed-off-by: Sage Weil <sage@redhat.com>

Merge pull request #416 from ceph/wip-10610

rpm codepath cleanup

Less hardcoding of 'ceph' project in rpm codepath

Signed-off-by: Zack Cerza <zack@redhat.com>

Ensure yum repo file exists before tweaking it

Signed-off-by: Zack Cerza <zack@redhat.com>

Use yum localinstall to install ceph-release

Partly, do this so that if ceph-release is already installed, we don't
get an error.

Signed-off-by: Zack Cerza <zack@redhat.com>

Fix regression in non-ceph project handling

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #413 from ceph/extras-doc-update

Added some comments clarifying functionality in the install task.

Added some comments clarifying functionality in the install task.

I also put in a couple TODO comments for things to look at later.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Add cephfs-java to rpm packages

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #411 from ceph/wip-10580

Remove duplicate package list from install task

Merge pull request #412 from ceph/wip-10578

Change default results_timeout to 12h

Remove unncessary 'global' declaration

Signed-off-by: Zack Cerza <zack@redhat.com>

Change default results_timeout to 12h

Signed-off-by: Zack Cerza <zack@redhat.com>

Remove duplicate package list from install task

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #409 from ceph/wip-10573

Don't suppress stdout for most apt-get ops

Merge pull request #410 from ceph/print-teuth-command

Log the teuthology command being ran at the debug level

Log the teuthology command being ran at the debug level

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Don't suppress stdout for most apt-get ops

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #408 from ceph/revert-407-wip-verbose

Revert "teuthology-suite: default -v"

Revert "teuthology-suite: default -v"

Merge pull request #407 from ceph/wip-verbose

teuthology-suite: default -v

teuthology-suite: default -v

Signed-off-by: Sage Weil <sage@redhat.com>

Merge pull request #402 from ceph/wip-10467

Schedule jobs with missing packages, but fail them quickly

Adding some more test coverage to teuthology.suite

This is about a 10% increase in coverage on teuthology.suite

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

If a job was marked 'dead' by a task, retain that status on failure

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Make teuthology.suite.get_gitbuilder_host respect config.gitbuilder_host

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

New internal task to check packages and fail the job if any are missing

Introduces a new task, internal.check_packages, that checks gitbuilder
for ceph packages for the given os_type and sha1 defined in the job
config.  If no packages are found, fail the job. This new task is ran
before any other tasks.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Allow runs that have jobs with missing packages to schedule.

Runs that have jobs with missing packages will now schedule successfully
instead of throwing an exception and sending an email of the failure.
However, the jobs with missing packages are tracked and printed when
--dry-run is used.

Extracted the code that did these checks from schedule_suite so that it
could be reused elsewhere. Wrote unit tests on these newly extracted functions.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Respect gitbuilder_host in get_ceph_binary_url()

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #405 from ceph/docs-interactive

documentation updates for interactive and interactive-on-error

Additional information about the interative task in the README

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

docs update, interactive-on-error does trigger between nested tasks now

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #403 from dmick/master

Two bugs: vps hostkeys and interactive-on-error multiple activation

Merge pull request #404 from ceph/mirror

Point yum repo at gitbuilder_host

Point yum repo at gitbuilder_host

Signed-off-by: Zack Cerza <zack@redhat.com>

internal.vm_setup: call ssh with -o StrictHostKeyChecking=no

If one doesn't have this configured for ssh, the call to
ssh for vps'es in vm_setup will cause a tty prompt to accept
the unknown key.

Fixes: #10530
Signed-off-by: Dan Mick <dan.mick@redhat.com>

Reset interactive-on-error the first time it triggers

This way one only drops into the REPL once.  (It's possible
that it may be useful to configure this behavior, but I think
that's lily-gilding.)

Fixes: #10529
Signed-off-by: Dan Mick <dan.mick@redhat.com>

Add librbd1 and librados2 to deb list

Signed-off-by: Zack Cerza <zack@redhat.com>

Add librbd1 and librados2 to rpm list

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #401 from ceph/mirror

Respect gitbuilder_host setting in install task

Use teuthology.config for gitbuilder_host

Signed-off-by: Zack Cerza <zack@redhat.com>

Add default for gitbuilder_host

Signed-off-by: Zack Cerza <zack@redhat.com>

ceph.conf: change osd_map_max_advance to 10 by default

Signed-off-by: Samuel Just <sjust@redhat.com>
Reviewed-by: Sage Weil <sage@redhat.com>

Merge pull request #400 from ceph/wip-10466

Add documentation for teuthology.yaml

Add documentation for teuthology.yaml

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #399 from ceph/interactive-testing

Make log messages in run_tasks.py specify when the exception occurred.

When packages are not found, mention the OS

Signed-off-by: Zack Cerza <zack@redhat.com>

Make log messages in run_tasks.py specify when the exception occured.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph.conf: reduce whole-object digest update limit

Update these more aggressively in QA.  Let it non-zero so that
we still cover both code paths.

Signed-off-by: Sage Weil <sage@redhat.com>

Merge pull request #346 from dachary/wip-skip-report

report: skip if result_server is none

Merge pull request #398 from ceph/baremetal-osversion-default

Allow os_version and os_type to be None when locking bare metal nodes.

Adds logging that prints distro and version during vps provisioning.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Allow os_version and os_type to be None when locking bare metal nodes.

This fixes a bug that was defaulting os_version to 12.04 and os_type to
ubuntu when locking bare metal machines.  We don't want to default the
os_version or os_type when locking bare metal so that the locking code
can pick whichever node is available.

VPS nodes will get proper defaults in provision.create_if_vm if they
aren't explicitly defined by either the config yaml or the cli flags.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #397 from ceph/log-install-failures

When ceph-release fails to install for any reason, log it.

When installing ceph-release log all install failures.

This code used to make an exception for 'already installed' failures
during a ceph-relase install and not log them. Unfortunately, this also
caused all other types of errors to not log at all. With this change
remote.run will log any errors that happen during the command.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Fix yum-repo-mangling regexp

It was failing to work if the branch name contained a '-'.

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #396 from andrewschoen/issue-10279

respect --os-version and --os-type in teuthology.run