ceph_manager: increase osd revival timeout from 75 -> 150 seconds

Saw this fail on a firefly run just bc of valgrind slowness.  Make the
timeout higher!

Signed-off-by: Sage Weil <sage@redhat.com>
(cherry picked from commit f84458bd93b74873687f0099850ef5cb1e3de1b5)

ceph_deploy: use new ship_utilities location

Signed-off-by: Sage Weil <sage@redhat.com>
(cherry picked from commit 828bb2a6ea934b8788570ca3f9871a637dbd3c70)

move ship_utilities to install task (from ceph test)

No need to install ceph just to get daemon-helper, adjust-ulimits, etc..
These utilities are used by lots of tasks, not just ceph.

Signed-off-by: Sage Weil <sage@redhat.com>
(cherry picked from commit 2dad906f4ac4658381f3984a8fe99f696f710fac)

rgw: set data extra pool correctly

When configuring multiregion zone, set the data extra pool

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>
(cherry picked from commit 63fb271b7ecd9c1ae16d6fff3a1630df2dd09e08)

Added requested comment.

Signed-off-by: Sandon Van Ness <sandon@inktank.com>

Remove unused variables and functions.

Signed-off-by: Sandon Van Ness <sandon@inktank.com>

Support installing ceph kernels from gitbuilder on rpm machines.

Signed-off-by: Sandon Van Ness <sandon@inktank.com>

tasks: Use '_' instead of '-' in names

Python modules are not allowed to contain hyphens
in the name.  Using hyphens only works here because
we're using low level __import__.

Change run_tasks to replace '-' with '_' when reading
configs, and rename the task modules to have valid
python module names.

Aside from general hygiene, the motivation to do this
is to allow one task to build on code in another
task by importing it.

Signed-off-by: John Spray <john.spray@inktank.com>
(cherry picked from commit 79dfe2cbefbbf14b69ae10c44a89a4fe45fedbe5)

Merge pull request #258 from ceph/wip-fix-format-samba

Fixed formatting and added a better variable for time out
Conflicts:

teuthology/task/samba.py

Merge pull request #251 from ceph/wip-8295

rgw: fix indentation for cache_pools

rgw: fix indentation for cache_pools

Fixes: #8295
Signed-off-by: Sage Weil <sage@inktank.com>

Merge pull request #250 from ceph/wip-fix-thrasher

ceph_manager: reset osd weights to 1 when waiting for clean

Reviewed-by: Josh Durgin <josh.durgin@inktank.com>

ceph_manager: reset osd weights to 1 when waiting for clean

If we leave the weights adjusted, we can get PGs stuck in a remapped state
because we are probabilistically rejecting placement.  Avoid this by
setting on in osds to 1.0 before waiting for clean.

Signed-off-by: Sage Weil <sage@inktank.com>

Restrict paramiko to old versions for now

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Revert "Handle raw data I/O."

This reverts commit 257e1459fa064701d789f0ad54384bb80b45e6d9.

Revert "Clean up remote.py and misc.py changes."

This reverts commit 74eff43ee1a2b73159277370cfa9d194e42bf49c.

ceph_manager: fix float stringification

Signed-off-by: Sage Weil <sage@inktank.com>

ceph_manager: fix typo

From ce7fa1839f4b3e3db675b2d68a2bb57849f58c1e. Tested this time.

Signed-off-by: Sage Weil <sage@inktank.com>
Reviewed-by: Josh Durgin <josh.durgin@inktank.com>

Merge pull request #248 from ceph/wip-thrash-osd-weights

ceph_manager: randomly reweight in osds

Reviewed-by: Josh Durgin <josh.durgin@inktank.com>

ceph_manager: randomly reweight in osds

Signed-off-by: Sage Weil <sage@inktank.com>

Bump paramiko to 1.12.0

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

rgw: option to create a cache pool

64mb for now!

Signed-off-by: Sage Weil <sage@inktank.com>
Reviewed-by: Josh Durgin <josh.durgin@inktank.com>

Merge pull request #247 from ceph/requests-sessions

Use a requests.Session object for retries instead of safe_while

Add branch name to job config

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Add suite name to job config

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Add /build and /*.yaml to gitignore

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Calculate a timeout to use based on queue size

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Add --runs, to print only run names

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Refactor teuthology.beanstalk

This architecture will make it easier to add new functionality.

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Drop usage of safe_while

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Use the new ResultsReporter.session object

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Add a requests.Session object to ResultsReporter

By default it is set up to retry requests 10 times

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Remove unused timeout arg to ResultsReporter init

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Merge pull request #243 from ceph/wip-8116-wusui

Wip 8116 wusui

Clean up remote.py and misc.py changes.

Fixed method names to be non-redundant (remote_mktemp in remote is
now just mktemp, for example), and made some parameters be more
self descriptive.  Added some docstrings.  Fixed sudo setting in
get_file method.

Made chmod independent of the actual sftp file getting.
Do not do extra file copy if non-sudo read is needed.
Fixed some parameter names. Made sure temp files are removed.

Handle raw data I/O.

Paramiko 1.13.0 checks data in the Channel and fails if
invalid UTF-8 characters are sent.  The teuthology/misc.py
functions that piped cat output (get_file) and piped tar
output (pull_directory and pull_directory_tarball) formerly
did not work for Paramiko 1.13.0.

Code was changed to use SFTPClient to copy raw data.  The
remote_mktemp and function was changed to be a method of the
remote object.  Remote object methods to copy files and write
tar files were also added.

In misc.py, get_file() was changed to be a wrapper around the
remote object call.  Pull_directory() and pull_directory_tarball
were changed to use the remote object methods as well.

The remote methods used to send the data makes use of the
SFTPClient interface in Paramiko.

The remote_mktemp function was also modified slightly to insure
that new-lines do not appear in temp file names.

Fixes: 8116
Signed-off-by: Warren Usui <warren.usui@inktank.com>

When deleting all of a run's jobs, delete the run

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Changes so these are not installed and still removed

Changes invocation of serialize_remote_roles to internal task to avoid being run during nuke

Moves node: remote mapping to the internal task.

These will likely go somewhere better before merge

Fixes #8050 Adds a cluster.yaml that is written by interactive task

valgrind: fix tcmalloc suppression for trusty

Fixes: #8225
Signed-off-by: Sage Weil <sage@inktank.com>

Revert "valgrind.supp: be less picky about library versions"

This reverts commit f895d16c9e2fd59aab446254e53480cdb91092a1.

Merge pull request #244 from ceph/wip-7199-wusui

Wip 7199 wusui

Allow scrubbing while thrashing

Added ability to implement scrubbing while thrashing
(scrub_interval in config can be set to an interval
similar to how clean_interval is set).  Defaults to 0,
which indicates that no scrubbing will take place.
Add scrub_interval description to thrashosds docstring.

Fixes: 7199
Signed-off-by: Warren Usui <warren.usui@inktank.com>

Only attempt to use sudo if necessary

Post last_in_suite jobs, but delete when run

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Update unit test for Cluster.__repr__()

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Fix Cluster.__repr__()

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Don't push last_in_suite jobs to paddles

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

task/: add tests for ec and rep mark_unfound_lost delete

Signed-off-by: Samuel Just <sam.just@inktank.com>

Bump psutil version requirement

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Fix for #8115

Increase boot disk size per #8115 where monitors shut down due to
/ being full on vm machines.

Signed-off-by: Sandon Van Ness <sandon@inktank.com>

Work around #8166

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Require requests >= 1.0

watch_tube() belongs to the beanstalk module

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Update requests version

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

s/wait-for-package/wait_for_package/

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Merge pull request #242 from ceph/wip-7773

Mirror beanstalkd queue in paddles

Refactor try_delete_jobs()

Also tweak its error message

Be slightly less verbose about logging

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Look for archive_base in config

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

When deleting jobs, also delete them from paddles

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Submit queued jobs to paddles

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Rename teuthology.queue to teuthology.worker

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Use shared methods to connect to beanstalkd

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

When killing a run, delete paddles jobs

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Add methods for querying and deleting jobs

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

safe_while: Don't sleep() on the first attempt

This was causing unnecessary delays in several places

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Pass -D flag to teuthology report

Fixes an issue where tests run on old teuthology branches that died for
uncommon reasons were not being marked as dead

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Update to use psutil 2.x API

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Generate subtasks instead of copy/pasting them

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Don't run apache functions if not using apache

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Optionally use civetweb instead of apache

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Don't pass apache's config to radosgw

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Rename some functions and variables

This is to make the refactoring a little smoother and easier to read.

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Fix all but one of the PEP-8 issues

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Improve unlock error messages.

Added messages if the hostname is invalid, and if
the user is not the owner of the lock.

Fixes: 6295
Signed-off-by: Warren Usui <warren.usui@inktank.com>

Fix kvm issues for Trusty

Change kvm reference to qemu-system-x86_64 and use raw format
in kvm/qemu command.  Tested on both Trusty and Precise.

Fixes: 7825
Signed-off-by: Warren Usui <warren.usui@inktank.com>

Change status to _status everywhere (fix regression)

0550dd119150acf8f7b7da2f32b3938c910c3c99 didn't add '_' to 'status'
everywhere it was needed.

Signed-off-by: Dan Mick <dan.mick@inktank.com>

ceph.conf: longer client_moutn_timeout (which also applies to librados)

Signed-off-by: Sage Weil <sage@inktank.com>

Merge pull request #238 from ceph/wip-pep8

Wip pep8

more statuses redefinition fixes

Signed-off-by: Alfredo Deza <alfredo.deza@inktank.com>

rename variable to avoid collision

Signed-off-by: Alfredo Deza <alfredo.deza@inktank.com>

remove unused import

Signed-off-by: Alfredo Deza <alfredo.deza@inktank.com>

fix redefinition of region

Signed-off-by: Alfredo Deza <alfredo.deza@inktank.com>

Merge pull request #236 from ceph/wip-fix-mon-warn-corrected

changed mon data avail warn  to avoid monitor storage warnings

Reviewed-by: Josh Durgin <josh.durgin@inktank.com>

changed mon data avail warn  to avoid monitor storage warnings

ceph.conf: don't force lockdep on mds

Signed-off-by: Sage Weil <sage@inktank.com>

Report job updated time

When reading job information from archive files, use the mtime of
teuthology.log as the job updated time

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Handle jobs with no targets

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

When ignoring a raised exception, at least log it

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Provide real error messages for unfound (sub)tasks

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

valgrind.supp: be less picky about library versions

...so that this works on trusty

Signed-off-by: Sage Weil <sage@inktank.com>

radosgw-agent: coerce max-entries config to a string

This is necessary to pass it as a command line argument.

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

Merge pull request #234 from ceph/wip-priority

schedule_suite: ugly hack to set priority when scheduling

rgw: idle timeout config moves to the external server line

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

schedule_suite: ugly hack to set priority when scheduling

I don't want to add another arg at the end of the very long list of
optional args, so I'll use an environment variable.  Ugly!  But this whole
script needs to be replace anyway.

Signed-off-by: Sage Weil <sage@inktank.com>

Revert "Lines formerly of the form '(remote,) = ctx.cluster.only(role).remotes.keys()'"

This reverts commit d693b3f8950ffd1f2492a4db0f8234fee31f00f0.