Merge pull request #242 from ceph/wip-7773

Mirror beanstalkd queue in paddles

Refactor try_delete_jobs()

Also tweak its error message

Be slightly less verbose about logging

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Look for archive_base in config

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

When deleting jobs, also delete them from paddles

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Submit queued jobs to paddles

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Rename teuthology.queue to teuthology.worker

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Use shared methods to connect to beanstalkd

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

When killing a run, delete paddles jobs

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Add methods for querying and deleting jobs

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

safe_while: Don't sleep() on the first attempt

This was causing unnecessary delays in several places

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Pass -D flag to teuthology report

Fixes an issue where tests run on old teuthology branches that died for
uncommon reasons were not being marked as dead

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Update to use psutil 2.x API

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Generate subtasks instead of copy/pasting them

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Don't run apache functions if not using apache

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Optionally use civetweb instead of apache

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Don't pass apache's config to radosgw

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Rename some functions and variables

This is to make the refactoring a little smoother and easier to read.

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Fix all but one of the PEP-8 issues

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Improve unlock error messages.

Added messages if the hostname is invalid, and if
the user is not the owner of the lock.

Fixes: 6295
Signed-off-by: Warren Usui <warren.usui@inktank.com>

Fix kvm issues for Trusty

Change kvm reference to qemu-system-x86_64 and use raw format
in kvm/qemu command.  Tested on both Trusty and Precise.

Fixes: 7825
Signed-off-by: Warren Usui <warren.usui@inktank.com>

Change status to _status everywhere (fix regression)

0550dd119150acf8f7b7da2f32b3938c910c3c99 didn't add '_' to 'status'
everywhere it was needed.

Signed-off-by: Dan Mick <dan.mick@inktank.com>

ceph.conf: longer client_moutn_timeout (which also applies to librados)

Signed-off-by: Sage Weil <sage@inktank.com>

Merge pull request #238 from ceph/wip-pep8

Wip pep8

more statuses redefinition fixes

Signed-off-by: Alfredo Deza <alfredo.deza@inktank.com>

rename variable to avoid collision

Signed-off-by: Alfredo Deza <alfredo.deza@inktank.com>

remove unused import

Signed-off-by: Alfredo Deza <alfredo.deza@inktank.com>

fix redefinition of region

Signed-off-by: Alfredo Deza <alfredo.deza@inktank.com>

Merge pull request #236 from ceph/wip-fix-mon-warn-corrected

changed mon data avail warn  to avoid monitor storage warnings

Reviewed-by: Josh Durgin <josh.durgin@inktank.com>

changed mon data avail warn  to avoid monitor storage warnings

ceph.conf: don't force lockdep on mds

Signed-off-by: Sage Weil <sage@inktank.com>

Report job updated time

When reading job information from archive files, use the mtime of
teuthology.log as the job updated time

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Handle jobs with no targets

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

When ignoring a raised exception, at least log it

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Provide real error messages for unfound (sub)tasks

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

valgrind.supp: be less picky about library versions

...so that this works on trusty

Signed-off-by: Sage Weil <sage@inktank.com>

radosgw-agent: coerce max-entries config to a string

This is necessary to pass it as a command line argument.

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

Merge pull request #234 from ceph/wip-priority

schedule_suite: ugly hack to set priority when scheduling

rgw: idle timeout config moves to the external server line

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

schedule_suite: ugly hack to set priority when scheduling

I don't want to add another arg at the end of the very long list of
optional args, so I'll use an environment variable.  Ugly!  But this whole
script needs to be replace anyway.

Signed-off-by: Sage Weil <sage@inktank.com>

Revert "Lines formerly of the form '(remote,) = ctx.cluster.only(role).remotes.keys()'"

This reverts commit d693b3f8950ffd1f2492a4db0f8234fee31f00f0.

Lines formerly of the form '(remote,) = ctx.cluster.only(role).remotes.keys()'
and '(remote,) = ctx.cluster.only(role).remotes.iterkeys()' would fail with
ValueError and no message if there were less than 0 or more than 1 key.
Now a new function, get_single_remote_value() is called which prints out
more understandable messages.

Fixes: 7510
Reviewed-by: Josh Durgin <josh.durgin@inktank.com>
Signed-off-by: Warren Usui <warren.usui@inktank.com>

Don't explode when finding an empty job

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Merge pull request #232 from ceph/wip-suite-priority

suite: allow priority to be set

suite: allow priority to be specified when scheduling

Signed-off-by: Sage Weil <sage@inktank.com>

rgw: allow overriding options

This is mainly useful for toggling ec/replicated pools right now.

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

radosgw-admin: skip data sync tests when only metadata is configured

Fixes http://tracker.ceph.com/issues/7818

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

rgw: fix ec-data-pool config

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

Add log statement to find_run_info()

Sometimes it takes a while.

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Exit gracefully on KeyboardInterrupt

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Add --description flag

Default to not printing job descriptions. Add -d/--description flag to
control that behavior. Change --delete's short option to -D. Other small
output tweaks.

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

s/JOB/PATTERN/

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Tweak usage

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Correct help text

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Fix lots of linter errors

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Add --preserve-queue to teuthology-kill

For any cases where we just want to kill the running jobs and not delete
any scheduled jobs. This only applies to killing entire runs and is not
the default.

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Postpone creation of logger object

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

rgw: add option to use erasure coding instead of replication

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

radosgw-agent: default to 1000 max entries

Using a small number of max entries is only needed for one test, so
make it configurable. Setting it too low makes s3tests fail.

Fixes http://tracker.ceph.com/issues/7742

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

internal: cleaner fix for binary gibberish in logs

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

internal: ignore binary junk in kernel logs

NUL bytes can show up here after powercycle testing

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

ceph: ignore daemon types that aren't configured

not every cluster needs an mds

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

radosgw-agent: use our mirror instead of github

Signed-off-by: Sage Weil <sage@inktank.com>

Merge remote-tracking branch 'gh/firefly'

Merge pull request #231 from ceph/wip-fix-rgw

fix rgw task

rgw: handle empty conf case

2014-03-20T23:30:28.964 ERROR:teuthology.contextutil:Saw exception from nested tasks
Traceback (most recent call last):
  File "/home/teuthworker/teuthology-firefly/teuthology/contextutil.py", line 27, in nested
    vars.append(enter())
  File "/usr/lib/python2.7/contextlib.py", line 17, in __enter__
    return self.gen.next()
  File "/home/teuthworker/teuthology-firefly/teuthology/task/rgw.py", line 83, in ship_config
    idle_timeout = conf.get('idle_timeout', 30)
AttributeError: 'NoneType' object has no attribute 'get'

This happens with job yamls like:

- rgw:
  - client.0

(where it is a list and not a dict of clients)

Signed-off-by: Sage Weil <sage@inktank.com>

Merge remote-tracking branch 'gh/firefly'

Merge pull request #230 from ceph/wip-7702

rgw: allow fastcgi idle timeout to be adjusted

Reviewed-by: Yehuda Sadeh <yehuda@inktank.com>

rgw: allow fastcgi idle timeout to be adjusted

Signed-off-by: Sage Weil <sage@inktank.com>

Merge branch 'firefly'

internal: ignore ext4 recovery msg

  plana43 kernel: [   21.179205] EXT4-fs (sda1): INFO: recovery required on readonly filesystem

is harmless.

Signed-off-by: Sage Weil <sage@inktank.com>

Merge branch 'firefly'

ceph.conf: tolerate 500ms of clock drift (up from 250)

Signed-off-by: Sage Weil <sage@inktank.com>

Merge remote-tracking branch 'gh/firefly'

Merge pull request #229 from dachary/wip-ec-pool

ceph_manager: update ec_pool creation parameters

ceph_manager: update ec_pool creation parameters

As of https://github.com/ceph/ceph/pull/1477 the erasure code parameters
are controled via the osd erasure-code-profile set command instead of
being inlined and duplicated in the crush ruleset creation and the pool
creation. There is no need to create the crush ruleset, it is done
implicitly.

Signed-off-by: Loic Dachary <loic@dachary.org>

ceph_manager: default to 16 initial pgs per pool

1 is really too few for anything to happen at a
reasonable rate.

Signed-off-by: Samuel Just <sam.just@inktank.com>

ceph_manager::wait_for_clean: reset timeout if we make progress

Fixes: #7748
Signed-off-by: Samuel Just <sam.just@inktank.com>

Merge pull request #227 from ceph/wip-7749

Pass '--object-sync-timeout 30' to radosgw-agent

Reviewed-by: Josh Durgin <josh.durgin@inktank.com>

Pass '--object-sync-timeout 30' to radosgw-agent

http://tracker.ceph.com/issues/7749

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Merge pull request #226 from ceph/wip-7714

prevent undefined values in finally block

Fix max_job_time timeout

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

prevent undefined values in finally block

Signed-off-by: Alfredo Deza <alfredo.deza@inktank.com>

schedule_suite.sh: turn up journal log too

Signed-off-by: Sage Weil <sage@inktank.com>

Make distro kernels work on Trusty.

Some grub changes and package names caused them to fail on trusty.

Signed-off-by: Sandon Van Ness <sandon@inktank.com>

Merge remote-tracking branch 'gh/firefly'

lock: allow -a with --brief

Signed-off-by: Sage Weil <sage@inktank.com>

Handle newer btrfstools.

Newer btfs userland tools needs a -f like xfs instead of a prompt
for yes. Trusty needs this change.

Signed-off-by: Sandon Van Ness <sandon@inktank.com>

Merge pull request #222 from ceph/wip-trusty

Handle newer btrfstools.

Handle newer btrfstools.

Newer btfs userland tools needs a -f like xfs instead of a prompt
for yes. Trusty needs this change.

Signed-off-by: Sandon Van Ness <sandon@inktank.com>

radosbench: cleanup will probably take longer than writing the objects

With thrashing, cleanup will require recovering the degraded objects
first, while the initial write out doesn't since they they are new
objects.

Signed-off-by: Samuel Just <sam.just@inktank.com>

Merge pull request #220 from ceph/wip-print

Add print task.

Merge pull request #221 from ceph/wip-brief

lock.py: allow --brief to stand on its own (without --list)

lock.py: allow --brief to stand on its own (without --list)

I use --brief all the time, and it's annoying to have to type
the useless --list at the same time.

Signed-off-by: Dan Mick <dan.mick@inktank.com>

Add print task.

Made a task that simply prints the output that is given to it as
an argument. Can be used like any other task (under sequential,
etc...)

IE:

tasks:
- print: "String"
- chef: null
- print: "Another String"

Signed-off-by: Sandon Van Ness <sandon@inktank.com>
Signed-off-by: Yuri Weinstein <yuri.weinstein@inktank.com>

radosgw-admin: test data sync with more than max-entries objects

For now hard code the max-entries for the radosgw-agent, since
this is the only test that is affected by it.

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

radosgw-admin: check that data deletions work as well

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

radosgw-admin: fix typo in data sync test

re-indent and set k.key instead of k.Key

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

radosgw-admin: ignore 301 test against the same src and dest regions

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

rgw: create clients in all zones when regions are used

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>