Reorganize documentation and Sphinx files

This should allow a more consistent experience between reading
Sphinx-generated HTML docs and just using GitHub's renderer.

Signed-off-by: Zack Cerza <zack@redhat.com>

Add docs to tox envlist

So PRs don't break documentation

Signed-off-by: Zack Cerza <zack@redhat.com>

Remove fancy source file handling

Signed-off-by: Zack Cerza <zack@redhat.com>

Add stub source files linking to canonical documents

Now we can drop the Makefile magic.

Signed-off-by: Zack Cerza <zack@redhat.com>

Add LAB_SETUP.rst to Sphinx build

Signed-off-by: Zack Cerza <zack@redhat.com>

Add reference configs

Signed-off-by: Zack Cerza <zack@redhat.com>

Add lab setup doc

Signed-off-by: Zack Cerza <zack@redhat.com>

Check individual jobs for packages

Previously we were just checking one time per run to see if packages had
been built. Now, let's check each job since os_type values can differ.
Fail if any are missing. Results are cached to avoid hugging the
archive to death.

Signed-off-by: Zack Cerza <zack@redhat.com>

Revert "ceph.conf: filestore fiemap = true"

This reverts commit 0f97481ce44e0487ac6cffa051a05590f907a081.

Until we fix #10166

Merge pull request #367 from ceph/wip-rgw-swift

swift: set full access to subusers creation

swift: set full access to subusers creation

Default subuser permissions are 'none'.

Signed-off-by: Yehuda Sadeh <yehuda@redhat.com>

Merge pull request #365 from ceph/wip-kill-pid-check

Verify running pid before passing it to be killed.

Verify running pid before passing it to be killed.

So we don't kill other processes that have taken jobs pid since
job has been no longer running.

Signed-off-by: Sandon Van Ness <sandon@redhat.com>

ceph.conf: filestore fiemap = true

Signed-off-by: Sage Weil <sage@redhat.com>

Merge pull request #364 from ceph/wip-scheduling

Fix / work around gitbuilder problems

Choose SHA1 sums more intelligently

By checking the actual gitbuilder archive that we care about, if
--distro is passed. If it is not, tweak the default to 'rhel' instead of
'ubuntu' since that seems to produce better results. To be clear, this
is a workaround I'm putting in place since our gitbuilders never seem to
be in sync.

Signed-off-by: Zack Cerza <zack@redhat.com>

More useful logging when unlocking single nodes

Signed-off-by: Zack Cerza <zack@redhat.com>

Mention test name when failing to schedule

Signed-off-by: Zack Cerza <zack@redhat.com>

Add a default results_sending_email

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #363 from ceph/wip-10089

drop default os_type of 'ubuntu' in teuthology-suite

Drop null values in placeholders

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #358 from andrewschoen/docopt-porting

porting teuthology-coverage to docopt

added a simple test for teuthology.coverage.main

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

added a simple test for teuthology.coverage.main

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

refactored teuthology.coverage to use an dict from docopt instead of a namespace from argparse

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Drop ubuntu as default distro for scheduled runs

Signed-off-by: Zack Cerza <zack@cerza.org>

added a test to make sure docopt was parsing things correctly for teuthology-coverage

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

cleaning up usage for teuthology-coverage

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

porting teuthology-coverage to docopt

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph.conf: mon pg warn max object skew = 0 (disable warning)

Make the 'too few pgs' warnings go away from qa runs.

Signed-off-by: Sage Weil <sage@redhat.com>

Merge pull request #357 from andrewschoen/tox-integration-tests

Moves all integration tests to an integration folder and provides a new ...

Merge pull request #356 from ceph/wip-default-machine-type

Allow setting default machine_type per-lab

Moves all integration tests to an integration folder and provides a new tox env to run only those tests

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Allow setting default machine_type per-lab

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #355 from ceph/wip-email

teuthology_results: add --dry-run

If timeout is None or zero, don't log

Signed-off-by: Zack Cerza <zack@redhat.com>

Add dry-run option

Signed-off-by: Zack Cerza <zack@redhat.com>

Use docopt instead of argparse

Signed-off-by: Zack Cerza <zack@redhat.com>

Use new config API

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #354 from andrewschoen/tox-cov-report

Adds a coverage report when running the tox tests

Adds a coverage report when running the tox tests

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #351 from ceph/wip-9925-wusui

Allow more strings in filters

Mention hostnames in ConnectionLostErrors

Signed-off-by: Zack Cerza <zack@cerza.org>

More suite filter changes.

Comment change, and update help message to reflect the ability to
use a comma separated list as a filter.

Merge pull request #352 from ceph/wip-update-vm-hostkeys

Continue fix for 9871

Merge pull request #353 from ceph/wip-9975

remove configuration files when nuking

use ctx instead of remotes

Signed-off-by: Alfredo Deza <alfredo.deza@inktank.com>

Also look for /etc/teuthology.yaml

First we look for ~/.teuthology.yaml - if that is not found, we look for
a system-wide configuration in /etc/teuthology.yaml

Signed-off-by: Zack Cerza <zack@cerza.org>

Fix duplicate test name

Signed-off-by: Zack Cerza <zack@cerza.org>

call the new helper in nuke_helper

Signed-off-by: Alfredo Deza <alfredo.deza@inktank.com>

create a configuration removal function in nuke.py

Signed-off-by: Alfredo Deza <alfredo.deza@inktank.com>

Don't explode if results_sending_email isn't set

Signed-off-by: Zack Cerza <zack@cerza.org>

Suppress tracebacks when coverage isn't configured

Signed-off-by: Zack Cerza <zack@cerza.org>

Install virtualenv if it isn't present

Signed-off-by: Zack Cerza <zack@cerza.org>

Also install mysql on MacOS

Signed-off-by: Zack Cerza <zack@cerza.org>

Fix typo

Signed-off-by: Zack Cerza <zack@cerza.org>

Drop default watchdog_interval to 120s

Signed-off-by: Zack Cerza <zack@cerza.org>

Explicitly pass json header

Signed-off-by: Zack Cerza <zack@cerza.org>

Allow omitting 'tasks' stanza in job definitions

Signed-off-by: Zack Cerza <zack@cerza.org>

Abstract the lab domain (e.g. front.sepia.ceph.com)

This should make usage in other labs easier.

Signed-off-by: Zack Cerza <zack@cerza.org>

If lock_server is not set, check_lock() no-ops

Signed-off-by: Zack Cerza <zack@cerza.org>

ceph.conf: set mon pg warn max per osd = 10000

Signed-off-by: Sage Weil <sage@redhat.com>

Continue fix for 9871

The existing logic was too tortured, and the previous fix was bad.
Rewrite to extract "get_statuses()" to a worker, and make it
extremely clear which VM hostkeys are being updated and why.

Signed-off-by: Dan Mick <dan.mick@redhat.com>

Add libmysqlclient-dev to ubuntu requirements

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Revert "Remove MySQL requirements"

This reverts commit c69051367069eab4dd608753e14ffc8cee75b50b.

Remove MySQL requirements

These are only needed for teuthology-coverage, which requires a good
amount of extra setup (if it even works).

Signed-off-by: Zack Cerza <zack@cerza.org>

Allow more strings in filters

A comma separated list can now be used in filter and filter-out.

Fixes: #9925
Signed-off-by: Warren Usui <warren.usui@inktank.com>

Fix for 9871 was wrong: original <= should always have been <

...but now it matters.  lock_list returns exactly the length needed,
and so the 'failure' case is strict less-than.

Suggested-by: Sandon VanNess <svanness@redhat.com>
Signed-off-by: Dan Mick <dan.mick@redhat.com>

Merge pull request #348 from ceph/wip-9871

lock.py: update keys for any owned VMs, even if none mentioned on CLI

lock.py: update keys for any owned VMs, even if none mentioned on CLI

teuthology-lock to create new VMs followed by "--list-targets" was
returning the old hostkeys.  The code rightly avoids fetching keys
for all hosts; this change makes it update keys owned by the
current querying user.

Fixes: #9871
Signed-off-by: Dan Mick <dan.mick@redhat.com>

Merge pull request #349 from ceph/wip-9914

internal.py: report more-accurate info about locked machines

Update to reflect bootstrap.sh's Fedora support

Signed-off-by: Zack Cerza <zack@cerza.org>

Merge pull request #350 from ceph/fedora

support Fedora when using bootstrap

support Fedora when using bootstrap

Signed-off-by: Greg Farnum <gfarnum@redhat.com>

internal.py: report more-accurate info about locked machines

Don't hide the fact that there are reserved machines that may
cause a scheduled lock request to have to wait.

Fixes: 9914
Signed-off-by: Dan Mick <dan.mick@redhat.com>

Add INSTALL.rst to sources

Signed-off-by: Zack Cerza <zack@cerza.org>

Add 'prep' step that copies docs into docs/source/

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Abstract source path

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Remove reference to static path

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

create a tox env for docs

Signed-off-by: Alfredo Deza <alfredo.deza@inktank.com>

ignore build/ output from docs

Signed-off-by: Alfredo Deza <alfredo.deza@inktank.com>

create the Makefile for sphinx docs generation

Signed-off-by: Alfredo Deza <alfredo.deza@inktank.com>

create the source dir for sphinx

Signed-off-by: Alfredo Deza <alfredo.deza@inktank.com>

Add a changelog

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Remove old install instructions

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Add "Choosing machines for a job" section

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Add "Provided utilities" section

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Rewrite description and overview

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Add separate install documentation

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Require six >= 1.5.0

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Merge pull request #344 from dachary/wip-9842-deep-merge

display informative error message if schedule fails to deep_merge

display informative error message if schedule fails to deep_merge

Display the two yaml structures that fail to merge in case of an
exception. That's a useful hint to find out what's wrong.

Signed-off-by: Loic Dachary <loic-201408@dachary.org>

Merge pull request #342 from ceph/wip-5876

task/nfs: stop nfs server after test finishes

Reviewed-by: John Spray <john.spray@redhat.com>

task/nfs: stop nfs server after test finishes more thoroughly

In addition to "exportfs -au", we take a sledgehammer to it
by shutting down all the worker threads and flushing out
the client export table.

Signed-off-by: Yan, Zheng <zyan@redhat.com>
Signed-off-by: Greg Farnum <Greg@inktank.com>

Better error handling in list_locks()

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Fix linter errors

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Merge pull request #343 from ceph/wip-dmick

Fixes for #9811 and #9812

task.ssh_keys(): manage authorized_keys, not keys2

See the issue for a description, but authorized_keys2 is dead
on RHEL7 and dying elsewhere.

Fixes: #9812
Signed-off-by: Dan Mick <dan.mick@inktank.com>

lock.lock_many(): use passed os_{type,version}, not ctx

Affects teuthology --lock with os_{type,version} in the yaml.

Fixes: #9811
Signed-off-by: Dan Mick <dan.mick@inktank.com>

Instead of setting status='pass', set success=True

Keeping this old behavior will mean that any tasks that are not updated
to use set_status() and still simply set success=False will still be
able to properly report their failures.

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>