Merge pull request #252 from ceph/wip-fsx-krbd

rbd_fsx: expose krbd and related fsx options

Reviewed-by: Josh Durgin <josh.durgin@inktank.com>

Merge pull request #249 from ceph/wip-8284

rados.py: Add pool_snaps option for ceph_test_rados test command

rbd_fsx: expose krbd and related fsx options

Expose

-K (enable krbd mode) through 'krbd',
-Z (use direct IO) through 'direct_io',
-U (disable randomized striping) through 'randomized_striping',
-H (disable discard ops) through 'punch_holes',

-r readbdy (read alignment) through 'readbdy',
-w writebdy (write alignment) through 'writebdy',
-h holebdy (discard alignment) through 'holebdy'.

Signed-off-by: Ilya Dryomov <ilya.dryomov@inktank.com>

Rewrite most file-retrieval functions

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Fix linter errors

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

FIx mktemp dir and redundant Paramiko connecting.

Use previously initialized connection for sftp_get calls.
Use local directory for tarball temp file location.

Use SFTPClienti get for long reads/writes

Modified remote.py to use the paramiko SFTPClient get
method to extract long files (mostly tar files) from
the remote host.  The code formerly saved the data
in a long local string which was very inefficient.

Fixes: 8261
Signed-off-by: Warren Usui <warren.usui@inktank.com>

Revert "Revert "Clean up remote.py and misc.py changes.""

This reverts commit 02504c3fd27d788e2e446369015b14cbf259a8d2.

Revert "Revert "Handle raw data I/O.""

This reverts commit 0c8a3e2334631f5fc20cb7933d0005353ea6a46e.

Revert "Restrict paramiko to old versions for now"

This reverts commit c86df77aa68dc5331b98df3fa038faee77c578ad.

Use longer varchar for locked_by in DB.

Signed-off-by: Sandon Van Ness <sandon@inktank.com>

rados.py: Add pool_snaps option for ceph_test_rados test command

Fixes: #8284
Signed-off-by: David Zafman <david.zafman@inktank.com>

Merge pull request #251 from ceph/wip-8295

rgw: fix indentation for cache_pools

rgw: fix indentation for cache_pools

Fixes: #8295
Signed-off-by: Sage Weil <sage@inktank.com>

Merge pull request #250 from ceph/wip-fix-thrasher

ceph_manager: reset osd weights to 1 when waiting for clean

Reviewed-by: Josh Durgin <josh.durgin@inktank.com>

ceph_manager: reset osd weights to 1 when waiting for clean

If we leave the weights adjusted, we can get PGs stuck in a remapped state
because we are probabilistically rejecting placement.  Avoid this by
setting on in osds to 1.0 before waiting for clean.

Signed-off-by: Sage Weil <sage@inktank.com>

Restrict paramiko to old versions for now

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Revert "Handle raw data I/O."

This reverts commit 257e1459fa064701d789f0ad54384bb80b45e6d9.

Revert "Clean up remote.py and misc.py changes."

This reverts commit 74eff43ee1a2b73159277370cfa9d194e42bf49c.

ceph_manager: fix float stringification

Signed-off-by: Sage Weil <sage@inktank.com>

ceph_manager: fix typo

From ce7fa1839f4b3e3db675b2d68a2bb57849f58c1e. Tested this time.

Signed-off-by: Sage Weil <sage@inktank.com>
Reviewed-by: Josh Durgin <josh.durgin@inktank.com>

Merge pull request #248 from ceph/wip-thrash-osd-weights

ceph_manager: randomly reweight in osds

Reviewed-by: Josh Durgin <josh.durgin@inktank.com>

ceph_manager: randomly reweight in osds

Signed-off-by: Sage Weil <sage@inktank.com>

Bump paramiko to 1.12.0

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

rgw: option to create a cache pool

64mb for now!

Signed-off-by: Sage Weil <sage@inktank.com>
Reviewed-by: Josh Durgin <josh.durgin@inktank.com>

Merge pull request #247 from ceph/requests-sessions

Use a requests.Session object for retries instead of safe_while

Add branch name to job config

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Add suite name to job config

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Add /build and /*.yaml to gitignore

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Calculate a timeout to use based on queue size

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Add --runs, to print only run names

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Refactor teuthology.beanstalk

This architecture will make it easier to add new functionality.

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Drop usage of safe_while

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Use the new ResultsReporter.session object

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Add a requests.Session object to ResultsReporter

By default it is set up to retry requests 10 times

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Remove unused timeout arg to ResultsReporter init

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Merge pull request #243 from ceph/wip-8116-wusui

Wip 8116 wusui

Clean up remote.py and misc.py changes.

Fixed method names to be non-redundant (remote_mktemp in remote is
now just mktemp, for example), and made some parameters be more
self descriptive.  Added some docstrings.  Fixed sudo setting in
get_file method.

Made chmod independent of the actual sftp file getting.
Do not do extra file copy if non-sudo read is needed.
Fixed some parameter names. Made sure temp files are removed.

Handle raw data I/O.

Paramiko 1.13.0 checks data in the Channel and fails if
invalid UTF-8 characters are sent.  The teuthology/misc.py
functions that piped cat output (get_file) and piped tar
output (pull_directory and pull_directory_tarball) formerly
did not work for Paramiko 1.13.0.

Code was changed to use SFTPClient to copy raw data.  The
remote_mktemp and function was changed to be a method of the
remote object.  Remote object methods to copy files and write
tar files were also added.

In misc.py, get_file() was changed to be a wrapper around the
remote object call.  Pull_directory() and pull_directory_tarball
were changed to use the remote object methods as well.

The remote methods used to send the data makes use of the
SFTPClient interface in Paramiko.

The remote_mktemp function was also modified slightly to insure
that new-lines do not appear in temp file names.

Fixes: 8116
Signed-off-by: Warren Usui <warren.usui@inktank.com>

When deleting all of a run's jobs, delete the run

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Changes so these are not installed and still removed

Changes invocation of serialize_remote_roles to internal task to avoid being run during nuke

Moves node: remote mapping to the internal task.

These will likely go somewhere better before merge

Fixes #8050 Adds a cluster.yaml that is written by interactive task

valgrind: fix tcmalloc suppression for trusty

Fixes: #8225
Signed-off-by: Sage Weil <sage@inktank.com>

Revert "valgrind.supp: be less picky about library versions"

This reverts commit f895d16c9e2fd59aab446254e53480cdb91092a1.

Merge pull request #244 from ceph/wip-7199-wusui

Wip 7199 wusui

Allow scrubbing while thrashing

Added ability to implement scrubbing while thrashing
(scrub_interval in config can be set to an interval
similar to how clean_interval is set).  Defaults to 0,
which indicates that no scrubbing will take place.
Add scrub_interval description to thrashosds docstring.

Fixes: 7199
Signed-off-by: Warren Usui <warren.usui@inktank.com>

Only attempt to use sudo if necessary

Post last_in_suite jobs, but delete when run

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Update unit test for Cluster.__repr__()

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Fix Cluster.__repr__()

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Don't push last_in_suite jobs to paddles

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

task/: add tests for ec and rep mark_unfound_lost delete

Signed-off-by: Samuel Just <sam.just@inktank.com>

Bump psutil version requirement

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Fix for #8115

Increase boot disk size per #8115 where monitors shut down due to
/ being full on vm machines.

Signed-off-by: Sandon Van Ness <sandon@inktank.com>

Work around #8166

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Require requests >= 1.0

watch_tube() belongs to the beanstalk module

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Update requests version

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

s/wait-for-package/wait_for_package/

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Merge pull request #242 from ceph/wip-7773

Mirror beanstalkd queue in paddles

Refactor try_delete_jobs()

Also tweak its error message

Be slightly less verbose about logging

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Look for archive_base in config

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

When deleting jobs, also delete them from paddles

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Submit queued jobs to paddles

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Rename teuthology.queue to teuthology.worker

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Use shared methods to connect to beanstalkd

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

When killing a run, delete paddles jobs

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Add methods for querying and deleting jobs

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

safe_while: Don't sleep() on the first attempt

This was causing unnecessary delays in several places

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Pass -D flag to teuthology report

Fixes an issue where tests run on old teuthology branches that died for
uncommon reasons were not being marked as dead

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Update to use psutil 2.x API

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Generate subtasks instead of copy/pasting them

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Don't run apache functions if not using apache

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Optionally use civetweb instead of apache

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Don't pass apache's config to radosgw

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Rename some functions and variables

This is to make the refactoring a little smoother and easier to read.

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Fix all but one of the PEP-8 issues

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Improve unlock error messages.

Added messages if the hostname is invalid, and if
the user is not the owner of the lock.

Fixes: 6295
Signed-off-by: Warren Usui <warren.usui@inktank.com>

Fix kvm issues for Trusty

Change kvm reference to qemu-system-x86_64 and use raw format
in kvm/qemu command.  Tested on both Trusty and Precise.

Fixes: 7825
Signed-off-by: Warren Usui <warren.usui@inktank.com>

Change status to _status everywhere (fix regression)

0550dd119150acf8f7b7da2f32b3938c910c3c99 didn't add '_' to 'status'
everywhere it was needed.

Signed-off-by: Dan Mick <dan.mick@inktank.com>

ceph.conf: longer client_moutn_timeout (which also applies to librados)

Signed-off-by: Sage Weil <sage@inktank.com>

Merge pull request #238 from ceph/wip-pep8

Wip pep8

more statuses redefinition fixes

Signed-off-by: Alfredo Deza <alfredo.deza@inktank.com>

rename variable to avoid collision

Signed-off-by: Alfredo Deza <alfredo.deza@inktank.com>

remove unused import

Signed-off-by: Alfredo Deza <alfredo.deza@inktank.com>

fix redefinition of region

Signed-off-by: Alfredo Deza <alfredo.deza@inktank.com>

Merge pull request #236 from ceph/wip-fix-mon-warn-corrected

changed mon data avail warn  to avoid monitor storage warnings

Reviewed-by: Josh Durgin <josh.durgin@inktank.com>

changed mon data avail warn  to avoid monitor storage warnings

ceph.conf: don't force lockdep on mds

Signed-off-by: Sage Weil <sage@inktank.com>

Report job updated time

When reading job information from archive files, use the mtime of
teuthology.log as the job updated time

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Handle jobs with no targets

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

When ignoring a raised exception, at least log it

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Provide real error messages for unfound (sub)tasks

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

valgrind.supp: be less picky about library versions

...so that this works on trusty

Signed-off-by: Sage Weil <sage@inktank.com>

radosgw-agent: coerce max-entries config to a string

This is necessary to pass it as a command line argument.

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

Merge pull request #234 from ceph/wip-priority

schedule_suite: ugly hack to set priority when scheduling