rgw: fix dir creation and keyring

fastcgi_sock dir needs to exist before radosgw starts, and apache-execed radosgw needs an explicit keyring argument.

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

Reconnect after running chef task.

Just a simple change to reconnect to SSH after running
ceph-qa-chef to get around things like ulimit changes.

Signed-off-by: Sandon Van Ness <sandon@inktank.com>

Fix RHEL/centos ceph-deploy installs.

Use a hiphen as a diliminator instead of a dot.

Signed-off-by: Sandon Van Ness <sandon@inktank.com>

ceph_manager: wait 20s before wait_for_clean in test_map_discontinuity

Fixes: #5806
Signed-off-by: Samuel Just <sam.just@inktank.com>

Remove now unnecessary try/except/raise that came about as a result of
the previous check-in.

Fixes: #5803
Signed-off-by: Warren Usui <warren.usui@inktank.com>

Always raise exception if yum install fails.  This avoids later confusion when
packages are missing (the old code skipped 'Nothing to do' messages, but these
cases are still errors).

Fixes #5803
Signed-off-by: Warren Usui <warren.usui@inktank.com>
Reviewed by: Sandon Van Ness

More changes for creating vms manually with lock (no config)

Needed some more changes to allow for the case of creating vm's
manually with teuthology-lock instead of letting teuthology handle
it in internal.py with lock_machines(). Just some additional checks
to go to defaults when ctx.config is non-existent (causes an
attributeerror).

Signed-off-by: Sandon Van Ness <sandon@inktank.com>
Reviewed-by: Warren Usui <warren.usui@inktank.com>

Fixing teuthology-lock for os-type instead of vm-type.

Teuthology got updated to use --os-type and os_type in yaml
instead of --vm-type. I added this to teuthology but forgot
to update tuthology-lock as well for manually creating vms.

Signed-off-by: Sandon Van Ness <sandon@inktank.com>

rados_util: adjust-ulimits, not enable-coredump

This was responsible for the lost_unfound test breakage.

Signed-off-by: Sage Weil <sage@inktank.com>

ceph_manager: wait for all_up in test_map_discontinuity

Signed-off-by: Samuel Just <sam.just@inktank.com>

ceph_manager: allow-experimental-feature now causes an EINVAL

Signed-off-by: Samuel Just <sam.just@inktank.com>

s3tests: clone correct branch

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

Merge pull request #20 from ceph/double-requirements

fix double requirements issue

fix double requirements issue

Signed-off-by: Alfredo Deza <alfredo@deza.pe>

adjust-ulimits: 16k open files

Signed-off-by: Sage Weil <sage@inktank.com>

ceph_manager, dump_stuck: fix injectargs args

Signed-off-by: Sage Weil <sage@inktank.com>

radosgw-admin: fix typo in import

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

valgrind: suppress curl, gnutlss, libfcgi leaks

Signed-off-by: Sage Weil <sage@inktank.com>

ceph_manager: don't mark out an out osd on kill_osd(..., mark_out=True)

Fixes

2013-07-27T02:02:23.879 INFO:teuthology.task.thrashosds.thrasher:Recovered, killing an osd
2013-07-27T02:02:23.879 INFO:teuthology.task.thrashosds.thrasher:Killing osd 2, live_osds are [3, 4, 0, 1, 5, 2]
2013-07-27T02:02:24.547 INFO:teuthology.task.thrashosds.thrasher:Removing osd 2, in_osds are: [4, 0, 1, 5]
...
ValueError: list.remove(x): x not in list

Signed-off-by: Sage Weil <sage@inktank.com>

rest-api: rename

Signed-off-by: Sage Weil <sage@inktank.com>

Add rest_api, a new task that starts up /usr/bin/ceph-rest-api running
as a daemon.

Fixes: 5613
Signed-off-by: Warren Usui <warren.usui@inktank.com>

Allow OS version over-ride (distro version)

Read os_version from yaml to over-ride teuthology defaults.

Signed-off-by: Sandon Van Ness <sandon@inktank.com>

Merge pull request #19 from alfredodeza/master

Top Level Cleanup

rgw: correct socket option name

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

rgw: add rgw log socket to daemonized radosgw too

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

rgw: pass socket path directly to radosgw

Only radosgw needs this option, and each one will be different, so
remove it from the ceph.conf template.

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

ceph_manager: add test_map_discontinuity to thrasher

Signed-off-by: Samuel Just <sam.just@inktank.com>

samba: run lsof and fuser after shutdown

The clients are pretty regularly reporting busy on unmount when
samba runs above them. This will hopefully give us some info about why.

Signed-off-by: Greg Farnum <greg@inktank.com>

Merge branch 'master' of github.com:ceph/teuthology

Merge remote-tracking branch 'origin/wip-sandon-vm'

Conflicts:
teuthology/lock.py
teuthology/misc.py
teuthology/task/install.py

added test_mon_destroy option to ceph-deploy task

Signed-off-by: tamil <tamil.muthamizhan@inktank.com>

Added --os-type argument to run.py

Because for some reason it was never there before?

Signed-off-by: Sandon Van Ness <sandon@inktank.com>

Added get_distro() to misc.py

Since getting the ostype is used multiple places I made a
function for it and modified the existing code to use
said function. I also added tests for the function.

Signed-off-by: Sandon Van Ness <sandon@inktank.com>

Fix priority so it only is added once.

Needed for baremetal so the sed doesn't keep adding
the priority line in the repos file.

Signed-off-by: Sandon Van Ness <sandon@inktank.com>

ceph_manager: try both new and old tell mon.* syntax

So we can test old code with new teuthology (e.g., upgrade testing)

Signed-off-by: Sage Weil <sage@inktank.com>

schedule_suite: less ceph-deploy client debugging

schedule_suite.sh: select ceph-dpeloy branch

schedule_suite.sh: don't need full ms debug on mons

Signed-off-by: Sage Weil <sage@inktank.com>

ceph: make restart take both a list of daemons and other arguments

Signed-off-by: Sage Weil <sage@inktank.com>
Reviewed-by: Tamil Muthamizhan <tamil@inktank.com>

teuth: rgw task example config update

Due to bug #5716, pools need to start with a '.' at present.
Updating the examples to follow this convention.

Signed-off-by: Joe Buck <jbbuck@gmail.com>
Reviewed-by: Josh Durgin <josh.durgin@inktank.com>

teuth: fix issue in cleanup code

The post-yield code in create_dirs needed to
be tweaked to correctly delete the {tdir}/apache
directory (if it exists) on each client.

Signed-off-by: Joe Buck <jbbuck@gmail.com>
Reviewed-by: Josh Durgin <josh.durgin@inktank.com>

ceph: wait-for-osds-up option for restart

Signed-off-by: Sage Weil <sage@inktank.com>

ceph: wait_for_osds_up

Signed-off-by: Sage Weil <sage@inktank.com>

rgw: add multi-region and zone support

Take client<->zone/region and the associated pools from ceph.conf, so
we don't have to invent a new format to specify it.

General region info is added to a new configuration section in the rgw
task. Each client is assumed to be a different zone, and a system user
is created with the key specified in the yaml, so it can be passed to
later task configuration as well. This isn't strictly necessary, but
avoids having to lookup this info in later tasks through something
like radosgw-admin.

Ports are allocated automatically because there's no obvious mapping
from host to client in the task configuration. Later tests can get the
endpoints desired by reading the region map.

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

task_util: move rados command here

Six copies are replaced with one, with an added option to check status
automatically. This should probably be used in a few places where the
return code is ignored.

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

rgw: move common rgwadmin function to a new utility file

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

teuth: reworked rgw to support regions / zones

Signed-off-by: Joe Buck <jbbuck@gmail.com>

teuthology: updating RGW task to support regions

Extending the rgw.py task to allow for regions and zones
to be specified in the YAML file.

Signed-off-by: Joe Buck <jbbuck@gmail.com>

add test requirements to requirements file

Signed-off-by: Alfredo Deza <alfredo@deza.pe>

remove test dependencies from setup.py

Signed-off-by: Alfredo Deza <alfredo@deza.pe>

fix RST formatting issues in README file

Signed-off-by: Alfredo Deza <alfredo@deza.pe>

removing todo org file from the root of the project

Signed-off-by: Alfredo Deza <alfredo@deza.pe>

remove Makefile that attempted to do linting

Signed-off-by: Alfredo Deza <alfredo@deza.pe>

Re-create guest if it already exists

In some cases tests fail or nuke fails and the guest is
not properly destroyed. This will look to see if it gets
an error due to the guest already existing or its disks
existing and will re-create the guest.

Signed-off-by: Sandon Van Ness <sandon@inktank.com>

Add distro type to schedule_suite.sh

Also added machinetype to the name.

Signed-off-by: Sandon Van Ness <sandon@inktank.com>

Wait a little longer before recreating VMs

Just to allow for the create to still work incase the os
volume is fairly large (takes a while to resize) and in
case the host machine is bogged down due to disk I/O.

Signed-off-by: Sandon Van Ness <sandon@inktank.com>

Use os_type instead of vm_type. Add os_version

Use os_type instead of vm_type for more generic naming
for when we start re-imaging bare metal. Also added a
os_version dictionary for default versions of distros
that we want over-riding what downburst defaults are.

Signed-off-by: Sandon Van Ness <sandon@inktank.com>

ceph: add wait_for_mon_quorum command

tasks:
...
- ceph.wait_for_mon_quorum: [a, b]
...

will block until the mon quorum consists of exactly [a, b].  This is
compared directly to the relevant field from 'ceph quorum_status'
which has the alphanumeric names only.

Signed-off-by: Sage Weil <sage@inktank.com>

sequential, parallel: allow entries to be references to top-level config

Often we want to build a test collection that substitutes different
sequences of tasks into a parallel/sequential construction.  However, the
yaml combination that happens when generating jobs is not smart enough to
substitute some fragment into a deeply-nested piece of yaml.

Instead, make these sequences top-level entries in the config dict, and
reference them.  For example:

tasks:
- install:
- ceph:
- parallel:
  - workload
  - upgrade-sequence
workload:
  workunit:
    - something
upgrade-sequence:
  install.restart: [osd.0, osd.1]

Signed-off-by: Sage Weil <sage@inktank.com>

thrashosds: add delay option after recovery

Signed-off-by: Samuel Just <sam.just@inktank.com>

task: mon_clock_skew_check: grab max-skew value from ceph-mon's config

Instead of relying on hardcoded values, obtain the max-skew default from
'ceph-mon --show-config-value mon_clock_drift_allowed' to match the mon's
expectation.

Signed-off-by: Joao Eduardo Luis <joao.luis@inktank.com>
Reviewed-by: Sage Weil <sage@inktank.com>

admin_socket: loop until the socket command succeeds

Sometimes the thing we're talking to is slow to start, or to register the
command we are running.  Loop in that case, at least for a while.

Signed-off-by: Sage Weil <sage@inktank.com>

apache.conf: load modules conditionally

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

ceph-deploy: do not test mon destroy by default

task: mon_clock_skew_check: by default, use max skew from global config

If not defined, defaults to 0.05;  if 'max-skew' however is defined, it
must override whatever is on the config.

Signed-off-by: Joao Eduardo Luis <joao.luis@inktank.com>

task: mon_clock_skew_check: missing 'str'.format() key crashed the test

Signed-off-by: Joao Eduardo Luis <joao.luis@inktank.com>

mon_thrash: tolerate scrub command failure

We can get EBUSY if there is an election going on.

Merge branch 'wip-teuthREAD-wusui'

Update to describe tasks and parameters to tasks, including the install
parameters requested in 4470.  Added more information to the vm section,
and included a section documenting the test suites.

Signed-off-by: Warren Usui <warren.usui@inktank.com>
Fixes: 4470
Reviewed By: Dan Mick and Alfredo Deza

Include Alfredo's suggestions

Merge branch 'wip-centos-rgw'

rgw: turn off continue print on centos

Also note that a ceph.conf setting is needed for that too

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

install: remove ceph-release rpm file after it's used

No need for it anymore, it's just taking up space

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

Merge remote-tracking branch 'gh/next'

sleep: new task

Merge pull request #18 from alfredodeza/master

Safer dict.get in queues.py

failed dict.get evaluates to None

safer get by falling back to a dictionary

Merge branch 'wip-machine-based-workers' into next

Merge branch 'wip-machine-based-workers'

ceph: do not ignore osd leaks

Signed-off-by: Sage Weil <sage@inktank.com>

nuke: killall ceph-disk, too

Signed-off-by: Sage Weil <sage@inktank.com>

Worker processes by machine type instead of teuthology branch.

teuthology-suite and schedulewill now take --worker instead of
--branch. The branch is set by setting teuthology_branch in the
yaml used to schedule the job.

The teuthology branches are assumed to be in ~/teuthology-$branch
of whatever user is running the workers.

schedule_suite.sh: escape ceph-deploy overrides

ceph-deploy: support overrides

Something like

overrides:
  ceph-deploy:
    foo: bar

Signed-off-by: Sage Weil <sage@inktank.com>

Merge remote-tracking branch 'gh/next'

Merge branch 'wip-machine-type'

Reviewed-by: Sandon Van Ness <sandon@inktank.com>

lock: filter machine type for --list, --list-targets

Signed-off-by: Sage Weil <sage@inktank.com>

lock: make --summary list all machines by default

Signed-off-by: Sage Weil <sage@inktank.com>

lock: drop machine-type default, but require for lock-many

Signed-off-by: Sage Weil <sage@inktank.com>

ceph.conf.template: enable osd debug verify stray on activate

Signed-off-by: Samuel Just <sam.just@inktank.com>

radosgw-admin: adapt task to recent changes

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

Merge branch 'master' of github.com:ceph/teuthology

added overrides for ceph-deploy

Signed-off-by: tamil <tamil.muthamizhan@inktank.com>

workunit: set CEPH_CLI_TEST_DUP_COMMAND

This will make the CLI do every mon command twice and make sure they both
succeed.  This catches problems with mon command idempotency faster than
waiting for random failures trigger.

added conf section to ceph-deploy task

Signed-off-by: tamil <tamil.muthamizhan@inktank.com>

Created tasktest to test sequential and parallel tasks.
Added sequential task and parallel task.
Changed _run_one_task to run_one_task (now called by new tasks too).

Fix #4969
Signed-off-by: Warren Usui <warren.usui@inktank.com>

calling mon destroy command after mds create

Signed-off-by: tamil <tamil.muthamizhan@inktank.com>

ceph_manager: drop -t arg prefix for pg dump_stuck

This is no longer needed, and ugly to support.

Signed-off-by: Sage Weil <sage@inktank.com>

Remove btrfs-tools and xfsprogs install step.

We already install btrfs-tools and xfsprogs with ceph-qa-chef
Doing it here was just causing problems on non-ubuntu
distros and I really see no point for it to have it now.

Allow Overrides for ceph-deploy task

This is needed so we can set the ceph branch for ceph-deploy
to use via the main yaml which is created via the suite
scheduler.

Signed-off-by: Sandon Van Ness <sandon@inktank.com>