Merge pull request #27 from dachary/wip-5946

do not check the jobid if check-locks is False

do not check the jobid if check-locks is False

Because it relies on the lock server which is presumably not available
since check-locks was set to False. It matters when using teuthology
on a minimal installation.

http://tracker.ceph.com/issues/5946 fixes #5946

Signed-off-by: Loic Dachary <loic@dachary.org>

Merge pull request #28 from alfredodeza/5887

Allow a user to define a ceph-deploy branch to use (instead of master)

Merge pull request #24 from ceph/wip-5937

Don't hit an AttributeError if ctx.config['overrides'] is set to None

remove fallback of the fallback. so silly

Signed-off-by: Alfredo Deza <alfredo@deza.pe>

Remove three characters just for Alfredo

safer fallback. Updates docstring

Signed-off-by: Alfredo Deza <alfredo@deza.pe>

Merge pull request #25 from dmick/master

tasks/ceph-deploy: allow configurations with no mds

Change "Exception" to "RuntimeError" as advised by zackc

Signed-off-by: Dan Mick <dan.mick@inktank.com>

tasks/ceph-deploy: allow configurations with no mds

Signed-off-by: Dan Mick <dan.mick@inktank.com>

Don't hit an AttributeError if ctx.config['overrides'] is set to None

Merge pull request #23 from ceph/pep8

Make this module pep8-clean.

Make this module pep8-clean.

Merge pull request #22 from ceph/rpm-upgrades

Fix rpm upgrades for nested branch configs

Make _get_baseurlinfo_and_dist() provide the correct uri

Merge pull request #21 from ceph/rpm-upgrades

Make install.upgrade work on RPM-based systems.

Make install.upgrade work with CentOS/RHEL/Fedora.

Add Remote.system_type property. Also, clean up whitespace.

admin_socket: split command into multiple arguments

We were passing the command as a single string, but that does not work the
same way it used to.

Signed-off-by: Sage Weil <sage@inktank.com>

ceph.conf: open osd classes on start

This is the default for master, but needs to be explicitly enabled for
cuttlefish.

Merge remote-tracking branch 'gh/next'

add a key for ceph-deploy-branch detection

Signed-off-by: Alfredo Deza <alfredo@deza.pe>

Add a useful error message in case of an invalid hostname

s3readwrite.py: enable overrides

Enable s3readwrite task to have the branch to
download specified and for overrides to be
incorporated into the config at run-time.
Code based on the s3tests.py task.

Signed-off-by: Joe Buck <jbbuck@gmail.com>
Reviewed-by: Josh Durgin <josh.durgin@inktank.com>

Merge remote-tracking branch 'gh/next'

samba: wait for smbd process to exit

I saw

2013-08-03T12:56:26.641 DEBUG:teuthology.orchestra.run:Running [10.214.131.28]: 'sudo killall -9 smbd'
2013-08-03T12:56:26.727 DEBUG:teuthology.orchestra.run:Running [10.214.131.28]: 'sudo lsof /home/ubuntu/cephtest/93695/mnt.0'
2013-08-03T12:56:26.830 INFO:teuthology.orchestra.run.out:[10.214.131.28]: COMMAND   PID USER   FD   TYPE DEVICE SIZE/OFF NODE NAME
2013-08-03T12:56:26.830 INFO:teuthology.orchestra.run.out:[10.214.131.28]: smbd    12381 root  cwd    DIR    0,0        0    1 /home/ubuntu/cephtest/93695/mnt.0

which makes me think we just need to wait a moment before
attempting the umount?

Signed-off-by: Sage Weil <sage@inktank.com>

rgw.py: add None object check when parsing info

The rgw task was failing to check for a None object
when parsing user info in the case where there were
config options set for the client that did not include
user info (e.g. valgrind: ).

rgw: do not ignore leaks

Signed-off-by: Sage Weil <sage@inktank.com>

rgw.py: adding a safety check

Correcting a bug where specifying
a rgw server for a client but not specifying
a system user would throw an exception.

Signed-off-by: Joe Buck <jbbuck@gmail.com>
Reviewed-by: Josh Durgin <josh.durgin@inktank.com>

rgw: add log settings to example config

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

radosgw-agent: get verbose logs from the agent

This makes it a lot easier to debug.

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

radosgw-agent: move zone extraction to helper

This will be useful for other tasks.

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

rgw: don't make domain_root pool the same as zone root

These are supposed to be separate pools.

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

rgw: create system users with the --system flag

without this they have no special permissions

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

rgy.py: make log_(data|metadata) configurable

The log_data and log_metadata are made configurable
via the YAML file and default to false
(meaning neither data nor metadata operations are
logged).

Signed-off-by: Joe Buck <jbbuck@gmail.com>
Reviewed-by: Josh Durgin <josh.durgin@inktank.com>

radosgw-agent: rename task to match tool name

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

rgw_sync_agent: fix a bunch of issues

- Read ceph.conf from stored copy that includes overrides
- Get system users and keys from cluster instead of reading other
  tasks' yaml, which may not be complete.
- Put zone info extraction from the cluster into utility functions,
  since it'll be useful for other tests later.
- Work with more than one agent on a single host
- Accept more than one client to run, like almost every other task
- Rename target to dest for consistency with radosgw-agent
- Don't make everything one large function

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

rgw: ignore exit status when removing base apache dir

subdirs have already been removed, and this only needs to succeed once
per host.

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

rgw_sync_agent: add new rgw_sync_agent task

This pulls access data out of the rgw task and off disk,
and then downloads, sets up, and runs an rgw sync agent
in test mode.

Signed-off-by: Greg Farnum <greg@inktank.com>

Fix for #5836 (--lock-many with vms)

This makes --lock-many work when --machine-type vps is passed.
Before it wasn't handled correctly and guests were not created.
Now it creates and gives the back the user the list-targets for
said guests.

teuthology-lock --lock-many 4 --machine-type vps --os-type centos

This fixes issue #5836

Signed-off-by: Sandon Van Ness <sandon@inktank.com>
Reviewed-by: Alfredo Deza <alfredo@deza.pe>

Fix for Debian wheezy (remove vda from block device list)

On debian wheezy its mount output uses device-by-label and makes
our normal method of checking if a device is mounted not work.
Since vm's will always be vda for their boot device we will just
remove it from devs if its in there so it doesn't attempt to zap
vda.

I also added a strip() to remove the last blank entry that was
always getting added to the devs list on all machines. Example:

devs=['/dev/sda', '/dev/sdb', '/dev/sdc', '/dev/sdd', '']

Signed-off-by: Sandon Van Ness <sandon@inktank.com>
Reviewed-by: Alfredo Deza <alfredo@deza.pe>

rgw.py: check for empty client config

Fixes a bug where an rgw client without
a system user specified would cause teuthology
to error out.

Signed-off-by: Joe Buck <jbbuck@gmail.com>
Reviewed-by: Yehuda Sadeh <yehuda@inktank.com>

rgw.py: refactoring to separate user creation

By separating out the user creation from
generating the region/zone info, we can generate
users for RGW tests that run against the default
pools.

Signed-off-by: Joe Buck <jbbuck@gmail.com>
Reviewed-by: Josh Durgin <josh.durgin@inktank.com>

rgw.py: change --secret-key to --secret

A 'user create' call was being passed to radosgw-admin
with '--secret-key' instead of the valid '--secret'
which was causing a random secret to be generated,
which was causing subsequent tests to fail.

Signed-off-by: Joe Buck <jbbuck@gmail.com>

s3/swift tests: call radosgw-admin as the right client

This allows the right region and zone info to be read from ceph.conf

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

rgw: fix dir creation and keyring

fastcgi_sock dir needs to exist before radosgw starts, and apache-execed radosgw needs an explicit keyring argument.

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

Reconnect after running chef task.

Just a simple change to reconnect to SSH after running
ceph-qa-chef to get around things like ulimit changes.

Signed-off-by: Sandon Van Ness <sandon@inktank.com>

Fix RHEL/centos ceph-deploy installs.

Use a hiphen as a diliminator instead of a dot.

Signed-off-by: Sandon Van Ness <sandon@inktank.com>

ceph_manager: wait 20s before wait_for_clean in test_map_discontinuity

Fixes: #5806
Signed-off-by: Samuel Just <sam.just@inktank.com>

Remove now unnecessary try/except/raise that came about as a result of
the previous check-in.

Fixes: #5803
Signed-off-by: Warren Usui <warren.usui@inktank.com>

Always raise exception if yum install fails.  This avoids later confusion when
packages are missing (the old code skipped 'Nothing to do' messages, but these
cases are still errors).

Fixes #5803
Signed-off-by: Warren Usui <warren.usui@inktank.com>
Reviewed by: Sandon Van Ness

More changes for creating vms manually with lock (no config)

Needed some more changes to allow for the case of creating vm's
manually with teuthology-lock instead of letting teuthology handle
it in internal.py with lock_machines(). Just some additional checks
to go to defaults when ctx.config is non-existent (causes an
attributeerror).

Signed-off-by: Sandon Van Ness <sandon@inktank.com>
Reviewed-by: Warren Usui <warren.usui@inktank.com>

Fixing teuthology-lock for os-type instead of vm-type.

Teuthology got updated to use --os-type and os_type in yaml
instead of --vm-type. I added this to teuthology but forgot
to update tuthology-lock as well for manually creating vms.

Signed-off-by: Sandon Van Ness <sandon@inktank.com>

rados_util: adjust-ulimits, not enable-coredump

This was responsible for the lost_unfound test breakage.

Signed-off-by: Sage Weil <sage@inktank.com>

ceph_manager: wait for all_up in test_map_discontinuity

Signed-off-by: Samuel Just <sam.just@inktank.com>

ceph_manager: allow-experimental-feature now causes an EINVAL

Signed-off-by: Samuel Just <sam.just@inktank.com>

s3tests: clone correct branch

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

Merge pull request #20 from ceph/double-requirements

fix double requirements issue

fix double requirements issue

Signed-off-by: Alfredo Deza <alfredo@deza.pe>

adjust-ulimits: 16k open files

Signed-off-by: Sage Weil <sage@inktank.com>

ceph_manager, dump_stuck: fix injectargs args

Signed-off-by: Sage Weil <sage@inktank.com>

radosgw-admin: fix typo in import

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

valgrind: suppress curl, gnutlss, libfcgi leaks

Signed-off-by: Sage Weil <sage@inktank.com>

ceph_manager: don't mark out an out osd on kill_osd(..., mark_out=True)

Fixes

2013-07-27T02:02:23.879 INFO:teuthology.task.thrashosds.thrasher:Recovered, killing an osd
2013-07-27T02:02:23.879 INFO:teuthology.task.thrashosds.thrasher:Killing osd 2, live_osds are [3, 4, 0, 1, 5, 2]
2013-07-27T02:02:24.547 INFO:teuthology.task.thrashosds.thrasher:Removing osd 2, in_osds are: [4, 0, 1, 5]
...
ValueError: list.remove(x): x not in list

Signed-off-by: Sage Weil <sage@inktank.com>

rest-api: rename

Signed-off-by: Sage Weil <sage@inktank.com>

Add rest_api, a new task that starts up /usr/bin/ceph-rest-api running
as a daemon.

Fixes: 5613
Signed-off-by: Warren Usui <warren.usui@inktank.com>

Allow OS version over-ride (distro version)

Read os_version from yaml to over-ride teuthology defaults.

Signed-off-by: Sandon Van Ness <sandon@inktank.com>

Merge pull request #19 from alfredodeza/master

Top Level Cleanup

rgw: correct socket option name

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

rgw: add rgw log socket to daemonized radosgw too

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

rgw: pass socket path directly to radosgw

Only radosgw needs this option, and each one will be different, so
remove it from the ceph.conf template.

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

ceph_manager: add test_map_discontinuity to thrasher

Signed-off-by: Samuel Just <sam.just@inktank.com>

samba: run lsof and fuser after shutdown

The clients are pretty regularly reporting busy on unmount when
samba runs above them. This will hopefully give us some info about why.

Signed-off-by: Greg Farnum <greg@inktank.com>

Merge branch 'master' of github.com:ceph/teuthology

Merge remote-tracking branch 'origin/wip-sandon-vm'

Conflicts:
teuthology/lock.py
teuthology/misc.py
teuthology/task/install.py

added test_mon_destroy option to ceph-deploy task

Signed-off-by: tamil <tamil.muthamizhan@inktank.com>

Added --os-type argument to run.py

Because for some reason it was never there before?

Signed-off-by: Sandon Van Ness <sandon@inktank.com>

Added get_distro() to misc.py

Since getting the ostype is used multiple places I made a
function for it and modified the existing code to use
said function. I also added tests for the function.

Signed-off-by: Sandon Van Ness <sandon@inktank.com>

Fix priority so it only is added once.

Needed for baremetal so the sed doesn't keep adding
the priority line in the repos file.

Signed-off-by: Sandon Van Ness <sandon@inktank.com>

ceph_manager: try both new and old tell mon.* syntax

So we can test old code with new teuthology (e.g., upgrade testing)

Signed-off-by: Sage Weil <sage@inktank.com>

schedule_suite: less ceph-deploy client debugging

schedule_suite.sh: select ceph-dpeloy branch

schedule_suite.sh: don't need full ms debug on mons

Signed-off-by: Sage Weil <sage@inktank.com>

ceph: make restart take both a list of daemons and other arguments

Signed-off-by: Sage Weil <sage@inktank.com>
Reviewed-by: Tamil Muthamizhan <tamil@inktank.com>

teuth: rgw task example config update

Due to bug #5716, pools need to start with a '.' at present.
Updating the examples to follow this convention.

Signed-off-by: Joe Buck <jbbuck@gmail.com>
Reviewed-by: Josh Durgin <josh.durgin@inktank.com>

teuth: fix issue in cleanup code

The post-yield code in create_dirs needed to
be tweaked to correctly delete the {tdir}/apache
directory (if it exists) on each client.

Signed-off-by: Joe Buck <jbbuck@gmail.com>
Reviewed-by: Josh Durgin <josh.durgin@inktank.com>

ceph: wait-for-osds-up option for restart

Signed-off-by: Sage Weil <sage@inktank.com>

ceph: wait_for_osds_up

Signed-off-by: Sage Weil <sage@inktank.com>

rgw: add multi-region and zone support

Take client<->zone/region and the associated pools from ceph.conf, so
we don't have to invent a new format to specify it.

General region info is added to a new configuration section in the rgw
task. Each client is assumed to be a different zone, and a system user
is created with the key specified in the yaml, so it can be passed to
later task configuration as well. This isn't strictly necessary, but
avoids having to lookup this info in later tasks through something
like radosgw-admin.

Ports are allocated automatically because there's no obvious mapping
from host to client in the task configuration. Later tests can get the
endpoints desired by reading the region map.

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

task_util: move rados command here

Six copies are replaced with one, with an added option to check status
automatically. This should probably be used in a few places where the
return code is ignored.

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

rgw: move common rgwadmin function to a new utility file

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

teuth: reworked rgw to support regions / zones

Signed-off-by: Joe Buck <jbbuck@gmail.com>

teuthology: updating RGW task to support regions

Extending the rgw.py task to allow for regions and zones
to be specified in the YAML file.

Signed-off-by: Joe Buck <jbbuck@gmail.com>

add test requirements to requirements file

Signed-off-by: Alfredo Deza <alfredo@deza.pe>

remove test dependencies from setup.py

Signed-off-by: Alfredo Deza <alfredo@deza.pe>

fix RST formatting issues in README file

Signed-off-by: Alfredo Deza <alfredo@deza.pe>

removing todo org file from the root of the project

Signed-off-by: Alfredo Deza <alfredo@deza.pe>

remove Makefile that attempted to do linting

Signed-off-by: Alfredo Deza <alfredo@deza.pe>

Re-create guest if it already exists

In some cases tests fail or nuke fails and the guest is
not properly destroyed. This will look to see if it gets
an error due to the guest already existing or its disks
existing and will re-create the guest.

Signed-off-by: Sandon Van Ness <sandon@inktank.com>

Add distro type to schedule_suite.sh

Also added machinetype to the name.

Signed-off-by: Sandon Van Ness <sandon@inktank.com>