Merge remote-tracking branch 'gh/firefly'

Revert "Do not spawn a parallel task if dictionary entry does not exist."

This reverts commit dadc9f7d0b6d9c13ccbc4edeb9f7875fc0ae0cac.

ceph.conf.template: add in sensible erasure coding defaults

Signed-off-by: Samuel Just <sam.just@inktank.com>

ceph_manager: fix erasure coding m, k values

Signed-off-by: Samuel Just <sam.just@inktank.com>

Log job PID

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Merge pull request #216 from ceph/wip-workunit-timeout

Add a 6h timeout to workunits

Add a 6h timeout to workunits

The timeout is configurable, but defaults to six hours. It's implemented
by using the 'timeout' command on the remote host.

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Merge pull request #215 from dachary/wip-ec-pool

ceph-manager: fix ec_pool parameters

Merge pull request #207 from ceph/wip-7356

helper for bombing out of infinite loops

ceph-manager: fix ec_pool parameters

* the crush ruleset and the pool create parameters must be identicals
  k=2 m= 1
* the --property argument is invalid
* the failure domain is ignored on pool create

Signed-off-by: Loic Dachary <loic@dachary.org>

Merge pull request #213 from ceph/wip-kdb-except

Allow setting kdb to fail.

Allow setting kdb to fail.

Some kernels (primarily Debian distro kernels) do not support
setting kdb. Rather than having the entire test fail.

Signed-off-by: Sandon Van Ness <sandon@inktank.com>

Merge pull request #212 from ceph/wip-limit

Added --limit option to teuthology-suite.

Merge pull request #211 from ceph/wip-7554

mds_thrash #7554

Added --limit option to teuthology-suite.

Use --limit to limit the number of jobs being scheduled during
teuthology-suite. Also can be used with schedule_suite.sh via the
10th argument.

Signed-off-by: Sandon Van Ness <sandon@inktank.com>
Signed-off-by: Yuri Weinstein <yuri.weinstein@inktank.com>

mds_thrash: Fix a potential getitem on None

get_mds_status returns None for things it can't see,
so have to check for Noneness on all its outputs.

Signed-off-by: John Spray <john.spray@inktank.com>

mds_thrash: Refactor gevent usage + get traceback

This simplifies the code to make MdsTrash be a greenlet
(as it logically is) rather than encapsulating one that
gets started in __init__ (spawning threads in constructors
is evil).

With this done, do_thrash is called from _run inside an
exception handler that will give us full tracebacks
if something bad happens.

Signed-off-by: John Spray <john.spray@inktank.com>

mds_thrash: PEP8-ize whitespace

...so that I can edit the code in a python IDE without
it lighting up like a christmas tree!

Signed-off-by: John Spray <john.spray@inktank.com>

Worker logging tweaks

Change some statements' log levels; don't show bootstrap output if there
is no error.

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

--dead implies --refresh

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Symlink worker log after child starts

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

In find_job_info(), also look for orig.config.yaml

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Push complete info when reporting jobs as dead

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Merge pull request #210 from ceph/wip-queue

Add teuthology-queue command for beanstalk Managmeent.

Merge pull request #208 from ceph/wip-7485

task: Add mds_creation_failure

Reviewed-by: Greg Farnum <greg@inktank.com>

fix docstring typo

Signed-off-by: Alfredo Deza <alfredo.deza@inktank.com>

task: Add mds_creation_failure

This is test code to accompany CephFS fix #7485.

Also fix DaemonState.wait_for_exit to clear up its 'proc'
attribute even if it fails, so that subsequent calls to 'restart'
happen properly.

Signed-off-by: John Spray <john.spray@inktank.com>

Make help a bit more obvious. Misc tweeks.

Put each yaml in the job_description on its own line so not so
wide of a line. Make delete default None not False in function.

Signed-off-by: Sandon Van Ness <sandon@inktank.com>

Add teuthology-queue command for beanstalk Managmeent.

Supports listing entire queue of machine type and deleting test
suite runs from the queue without wiping the entire queue.

Signed-off-by: Sandon Van Ness <sandon@inktank.com>

use itertools for seconds sum

Signed-off-by: Alfredo Deza <alfredo.deza@inktank.com>

tests for the new while helper

Signed-off-by: Alfredo Deza <alfredo.deza@inktank.com>

Flip logic of checking whether a branch can report

Previously we checked if the branch being used was in a whitelist of
branches known to contain the reporting feature. Now, switch to checking
against a blacklist of branches known to *not* have the feature:
argonaut, bobtail, cuttlefish and dumpling.

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

add a helper for while loops

Signed-off-by: Alfredo Deza <alfredo.deza@inktank.com>

schedule_suite: debug filestore = 20 too

Signed-off-by: Sage Weil <sage@inktank.com>

Merge pull request #205 from kdreyer-inktank/jenkins

jenkins: fail fast during job execution

Merge pull request #206 from ceph/wip-osd-debug

schedule_suite: debug osd = 20 for the time being

schedule_suite: debug osd = 20 for the time being

This will make it easier to chase the first pass of firefly bugs.

Signed-off-by: Sage Weil <sage@inktank.com>

Merge pull request #203 from ceph/wip-devstack

Add devstack task

jenkins: fail fast during job execution

Jenkins will dynamically write the commands in its database into a
script and run it with "-x" and "-e" in order to display each step and
fail after the first step fails.

Now that our commands are stored in Git, ensure that we're doing the
same thing.

Signed-off-by: Ken Dreyer <ken.dreyer@inktank.com>

Merge pull request #204 from ceph/wip-fix7397-wusui

Do not spawn a parallel task if dictionary entry does not exist.

Add unit test for task.devstack.parse_os_table()

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Add debug output for reconnect() failures

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Add explanations to asserts

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Guard against ctx.config being unset or None

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Do not spawn a parallel task if dictionary entry does not exist.

Fixes: 7397
Signed-off-by: Warren Usui <warren.usui@inktank.com>

Remove unused import

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Don't run the exercise subtask by default

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Add a retry to the rbd volume verification

This was running into an auth problem intermittently that Josh Durgin
said is likely not a real problem. Still, try the original call first
and fall back to a different one if it fails.

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Fix incorrect exception name in docstring

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Move external docs URLs

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Wait 30s for Keystone to start

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Change usages of StringIO.read() to getvalue()

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Source openrc before creating volume

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Add a new subtask: smoke()

Currently it creates a volume, then verifies that the volume exists in
Ceph - as opposed to some other place. This is intended to verify that
we've configured DevStack at least somewhat correctly.

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Forget about saving the exercise.sh log, for now

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Allow using different devstack branches

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Add devstack.exercise subtask

The subtask runs devstack/exercise.sh

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Make reconnect() use Remote.reconnect()

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Move reboot() to teuthology.misc

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Add documentation to reboot()

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Add note about memory requirements

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Simplify create_if_vm's downburst config logic

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Move restart_apache() to after the reboot

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Make rejoin-stack.sh start screen in detached mode

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Actually call Remote.reconnect()

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Tweaks to is_online and reconnect()

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Add logging calls to each helper function

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Set apache ServerName, reboot, restart devstack

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Add Remote.reconnect()

Also rename Remote._connect() to Remote.connect() and change its
semantics to match Remote.reconnect()

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Use new init parameters for Remote

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Make Remote.is_online more accurate

To really know if the connection is active, we need to read something
from the remote host.

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Remote instances can now establish SSH connections

Previously, they required an active ssh connection object to be passed
to them. That behavior is still functional.

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Add Remote.is_online property

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Add Remote.hostname property

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

get_file() returns a str, not a StringIO...

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Use ConfigParser.set() instead of update()

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Work around a bug in ConfigParser

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Call seek(0) on StringIO objects before reading

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Fix typoed virsh call

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Don't pass owner to copy_key()

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Use get_file() and sudo_write_file()

... instead of copy_file()

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Split out key generation

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Add update_devstack_config_files()

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Add set_libvirt_secret() and split out other steps

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Split out devstack-ceph configuration

This is starting to get long, so create configure_devstack_and_ceph()

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Copy ceph auth keys over to devstack node

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Add optional 'owner' arg to sudo_write_file()

This gets passed directly to chown as 'sudo chown $owner $file'

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Fix linter errors.

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Add skeleton devstack task

Currently only installs devstack on one node, and creates some pools on
the ceph cluster.

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Add copy_file() to scp files between remotes

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Merge pull request #201 from ceph/wip-6531-wusui

Fix formatting and add docstrings to ceph_manager.py

Add back in print in ceph_manager that the last checkin accidentally removed

Fix formatting and add docstrings to ceph_manager.py

Fixes: 6531
Signed-off-by: Warren Usui <warren.usui@inktank.com>

jenkins: add debugging output to shell script

When we migrated the Jenkins commands into Git, the exact commands are
no longer visible unless we run with "-x".

Add "set -x" to the script to enable debugging.

Signed-off-by: Ken Dreyer <ken.dreyer@inktank.com>

Merge pull request #195 from ceph/wip-7003-wusui

Add docstrings to the orchestra code.  Also fix minor formatting issues

Merge pull request #186 from ceph/wip-7369

Fix #7369: "sed expression must be raw string"

Fix syntax error in first docstring added.

Merge pull request #190 from kdreyer-inktank/jenkins

add jenkins-pull-requests-build script

Merge pull request #199 from ceph/wip-6540-wusui

Add docstrings.  Fix formatting issues for rgw.py

Merge pull request #196 from ceph/wip-6541-wusui

Fix docstrings in radosgw-admin-rest.py