Suppress tracebacks when coverage isn't configured

Signed-off-by: Zack Cerza <zack@cerza.org>

Install virtualenv if it isn't present

Signed-off-by: Zack Cerza <zack@cerza.org>

Also install mysql on MacOS

Signed-off-by: Zack Cerza <zack@cerza.org>

Fix typo

Signed-off-by: Zack Cerza <zack@cerza.org>

Drop default watchdog_interval to 120s

Signed-off-by: Zack Cerza <zack@cerza.org>

Explicitly pass json header

Signed-off-by: Zack Cerza <zack@cerza.org>

Allow omitting 'tasks' stanza in job definitions

Signed-off-by: Zack Cerza <zack@cerza.org>

Abstract the lab domain (e.g. front.sepia.ceph.com)

This should make usage in other labs easier.

Signed-off-by: Zack Cerza <zack@cerza.org>

If lock_server is not set, check_lock() no-ops

Signed-off-by: Zack Cerza <zack@cerza.org>

ceph.conf: set mon pg warn max per osd = 10000

Signed-off-by: Sage Weil <sage@redhat.com>

Add libmysqlclient-dev to ubuntu requirements

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Revert "Remove MySQL requirements"

This reverts commit c69051367069eab4dd608753e14ffc8cee75b50b.

Remove MySQL requirements

These are only needed for teuthology-coverage, which requires a good
amount of extra setup (if it even works).

Signed-off-by: Zack Cerza <zack@cerza.org>

Fix for 9871 was wrong: original <= should always have been <

...but now it matters.  lock_list returns exactly the length needed,
and so the 'failure' case is strict less-than.

Suggested-by: Sandon VanNess <svanness@redhat.com>
Signed-off-by: Dan Mick <dan.mick@redhat.com>

Merge pull request #348 from ceph/wip-9871

lock.py: update keys for any owned VMs, even if none mentioned on CLI

lock.py: update keys for any owned VMs, even if none mentioned on CLI

teuthology-lock to create new VMs followed by "--list-targets" was
returning the old hostkeys.  The code rightly avoids fetching keys
for all hosts; this change makes it update keys owned by the
current querying user.

Fixes: #9871
Signed-off-by: Dan Mick <dan.mick@redhat.com>

Merge pull request #349 from ceph/wip-9914

internal.py: report more-accurate info about locked machines

Update to reflect bootstrap.sh's Fedora support

Signed-off-by: Zack Cerza <zack@cerza.org>

Merge pull request #350 from ceph/fedora

support Fedora when using bootstrap

support Fedora when using bootstrap

Signed-off-by: Greg Farnum <gfarnum@redhat.com>

internal.py: report more-accurate info about locked machines

Don't hide the fact that there are reserved machines that may
cause a scheduled lock request to have to wait.

Fixes: 9914
Signed-off-by: Dan Mick <dan.mick@redhat.com>

Add INSTALL.rst to sources

Signed-off-by: Zack Cerza <zack@cerza.org>

Add 'prep' step that copies docs into docs/source/

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Abstract source path

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Remove reference to static path

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

create a tox env for docs

Signed-off-by: Alfredo Deza <alfredo.deza@inktank.com>

ignore build/ output from docs

Signed-off-by: Alfredo Deza <alfredo.deza@inktank.com>

create the Makefile for sphinx docs generation

Signed-off-by: Alfredo Deza <alfredo.deza@inktank.com>

create the source dir for sphinx

Signed-off-by: Alfredo Deza <alfredo.deza@inktank.com>

Add a changelog

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Remove old install instructions

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Add "Choosing machines for a job" section

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Add "Provided utilities" section

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Rewrite description and overview

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Add separate install documentation

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Require six >= 1.5.0

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Merge pull request #344 from dachary/wip-9842-deep-merge

display informative error message if schedule fails to deep_merge

display informative error message if schedule fails to deep_merge

Display the two yaml structures that fail to merge in case of an
exception. That's a useful hint to find out what's wrong.

Signed-off-by: Loic Dachary <loic-201408@dachary.org>

Merge pull request #342 from ceph/wip-5876

task/nfs: stop nfs server after test finishes

Reviewed-by: John Spray <john.spray@redhat.com>

task/nfs: stop nfs server after test finishes more thoroughly

In addition to "exportfs -au", we take a sledgehammer to it
by shutting down all the worker threads and flushing out
the client export table.

Signed-off-by: Yan, Zheng <zyan@redhat.com>
Signed-off-by: Greg Farnum <Greg@inktank.com>

Better error handling in list_locks()

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Fix linter errors

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Merge pull request #343 from ceph/wip-dmick

Fixes for #9811 and #9812

task.ssh_keys(): manage authorized_keys, not keys2

See the issue for a description, but authorized_keys2 is dead
on RHEL7 and dying elsewhere.

Fixes: #9812
Signed-off-by: Dan Mick <dan.mick@inktank.com>

lock.lock_many(): use passed os_{type,version}, not ctx

Affects teuthology --lock with os_{type,version} in the yaml.

Fixes: #9811
Signed-off-by: Dan Mick <dan.mick@inktank.com>

Instead of setting status='pass', set success=True

Keeping this old behavior will mean that any tasks that are not updated
to use set_status() and still simply set success=False will still be
able to properly report their failures.

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Use new functions provided by job_status

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Add new job_status module

Provides methods for getting and setting job status. This is necessary
because we used to just use a boolean called 'success'. In order to stop
reporting infrastructure errors as failures, we need more than just a
boolean.

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Remove setting of unused 's3_branch' value

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Stop obsuring stderr when installing with yum

Over time, the code that actually used the buffer we stored stderr in
was removed, leaving us holding error messages and never displaying
them.

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Properly quote args that are strings

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

On SSH connection loss, mark jobs as 'dead'

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Remove stray exit statement

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Don't assume Ubuntu; also support MacOS X

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Drop libmysqlclient-dev

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Use os.path.expanduser() instead of /home

... for locating downburst executable

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Minor fix for vps-only locks

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Merge pull request #339 from ceph/wip-9292-wusui

Cleaned up documentation.

Cleaned up documentation.

Removed some Inktank references, mentioned the split of tasks (between
teuthology/task and chef-qa-suite/tasks), fixed some wording, removed
chef reference that no longer applies.

Did not update the teuthology-suite section at the end of this file
because further documentation changes are coming.

Fixes: #9292
Signed-off-by: Warren Usui <warren.usui@inktank.com>

Use arch in lock_machines()

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Query arch in lock_many()

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Use uname -m instead of uname -p

Debian hosts were reporting as 'unknown'

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

All BaseExceptions should hit failure codepath

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Move VersionNotFoundError to exceptions module

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Move ScheduleFailError to exceptions module

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Use os_type and os_version in lock_machines()

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Query os_type and os_version in lock_many()

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Remove default for --os-type

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Add OS.__repr__() and OS.to_dict()

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Move OS class to its own files

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

tasks/nfs: sync before unmounting or unexporting nfs clients/servers

We have some hope that this will resolve #8576 in the Ceph tracker.

Signed-off-by: Greg Farnum <greg@inktank.com>
Reviewed-by: Sage Weil <sage@redhat.com>

Bump requests version to >= 2.3.0

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Allow mixing of bare-metal machine_types

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Merge pull request #335 from ceph/wip-kernel-downgrade

Fix RPM kernel downgrade.

nfs: more lsof output, on clients too

Signed-off-by: Greg Farnum <greg@inktank.com>

Revert "Move default os_type to misc.get_distro()"

This reverts commit 3675a2e25c5d9a370922b714871492f31ed1783d.

Revert "Add os_type and os_version args to lock_many()"

This reverts commit f39b6958c4dd94f7e682833f4cf3122c4537dcde.

Merge pull request #337 from ceph/wip-9597

lock.py: Log failing os-version if it doesn't validate

lock.py: Log failing os-version if it doesn't validate

Fixes: #9597
Signed-off-by: Dan Mick <dan.mick@inktank.com>

Add 'lsb_release -a' parsing back to remote.OS

It can now parse either that or /etc/os-release, and remote.Remote will
attempt the latter first.

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Add os_type and os_version args to lock_many()

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Move default os_type to misc.get_distro()

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Merge pull request #336 from ceph/wip-nfs

enable lsof when unmounting nfs clients

enable lsof when unmounting nfs clients

Because the lsof interface is strange, use the verbose flag so we get
some output even if there is no use, and ignore errors because it will
return 1 if there's no filesystem use.

Signed-off-by: Greg Farnum <greg@inktank.com>

Fix RPM kernel downgrade.

Force even if an older version or existing.

Signed-off-by: Sandon Van Ness <sandon@inktank.com>

Merge pull request #334 from ceph/wip-9519-wusui

Handle list-json downburst failure.

Refuse to schedule jobs with 'multi' machine_type

That's not a real machine_type - it's a beanstalkd tube that is used
when a machine_type like 'plana,mira,burnupi' is used.

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Raise ConnectionLostError when the socket dies

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Handle list-json downburst failure.

Use check_output instead of Popen and communicate()
Fixes: #9519
Signed-off-by: Warren Usui <warren.usui@inktank.com>

Improve os-release parsing

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Rewrite teuthology-updatekeys

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Skip hostname test

Due to the workaround put in place recently

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Re-implement Distribution as OS

It now uses /etc/os-release instead of lsb_release, like the cool kids
are doing.

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Merge pull request #328 from ceph/wip-8700-wusui

Use docopts to parse daemon-helper

Merge pull request #333 from ceph/wip-9495-wusui

Run chef before operations that need it.

Merge pull request #331 from ceph/wip-transport-none

orchestra: fix ConnectionLostError path in wait()

Add a workaround for Remote.hostname

Since 'hostname --fqdn' isn't working reliably

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Run chef before operations that need it.

Chef, if it is needed, should be run before kernel tasks
and before all other user defined tasks.  It should not be
run by default.

Fixes: 9495
Signed-off-by: Warren Usui <warren.usui@inktank.com>

Fix daemon-helper argument parsing.

Fixes: 8700
Signed-off-by: Warren Usui <warren.usui@inktank.com>

Merge pull request #332 from ceph/wip-yaml-path

teuthology-suite: fix handling of extra YAML files