ceph: do not ignore osd leaks

Signed-off-by: Sage Weil <sage@inktank.com>

nuke: killall ceph-disk, too

Signed-off-by: Sage Weil <sage@inktank.com>

schedule_suite.sh: escape ceph-deploy overrides

ceph-deploy: support overrides

Something like

overrides:
  ceph-deploy:
    foo: bar

Signed-off-by: Sage Weil <sage@inktank.com>

Merge remote-tracking branch 'gh/next'

Merge branch 'wip-machine-type'

Reviewed-by: Sandon Van Ness <sandon@inktank.com>

lock: filter machine type for --list, --list-targets

Signed-off-by: Sage Weil <sage@inktank.com>

lock: make --summary list all machines by default

Signed-off-by: Sage Weil <sage@inktank.com>

lock: drop machine-type default, but require for lock-many

Signed-off-by: Sage Weil <sage@inktank.com>

ceph.conf.template: enable osd debug verify stray on activate

Signed-off-by: Samuel Just <sam.just@inktank.com>

radosgw-admin: adapt task to recent changes

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

Merge branch 'master' of github.com:ceph/teuthology

added overrides for ceph-deploy

Signed-off-by: tamil <tamil.muthamizhan@inktank.com>

workunit: set CEPH_CLI_TEST_DUP_COMMAND

This will make the CLI do every mon command twice and make sure they both
succeed.  This catches problems with mon command idempotency faster than
waiting for random failures trigger.

added conf section to ceph-deploy task

Signed-off-by: tamil <tamil.muthamizhan@inktank.com>

Created tasktest to test sequential and parallel tasks.
Added sequential task and parallel task.
Changed _run_one_task to run_one_task (now called by new tasks too).

Fix #4969
Signed-off-by: Warren Usui <warren.usui@inktank.com>

calling mon destroy command after mds create

Signed-off-by: tamil <tamil.muthamizhan@inktank.com>

ceph_manager: drop -t arg prefix for pg dump_stuck

This is no longer needed, and ugly to support.

Signed-off-by: Sage Weil <sage@inktank.com>

ceph.conf: enable old message assert

If this triggers, the RECONNECT_SEQ feature is broken (and
maybe we've caught #5517).

Add mon create and destroy with an optional argument mon_initial_members

Signed-off-by: tamil <tamil.muthamizhan@inktank.com>

lock: fix typo

VM: Use mac addresses from DB instead of randomizing.

In order to make IP addresses less likely to change and to allow
a smaller DHCP pool to be used I generated static MAC addresses
for all the vpm entries in the DB. I also put the correct entries
for all the other types of machines as well for their primary
(eth0) mac address as well in order to keep things standardized
and so there is another location where we have this information.

Without this fix going through a few tests would exhaust the DHCP
pool which at the time was around 460 IP addresses for virtual
machines and has since been upped to ~690 IP addresses.

Signed-off-by: Sandon Van Ness <sandon@inktank.com>
Reviewed-by: Warren Usui <warren.usui@inktank.com>

Merge pull request #17 from ceph/wip-mon-thrash

mon thrash improvements

Reviewed-by: Josh Durgin <josh.durgin@inktank.com>

mon_thrasher: add pause/unpause of mons to thrashing

This adds an additional element of laggyness to the cluster which should
cause mons to call new elections.

Signed-off-by: Sage Weil <sage@inktank.com>

daemon-helper: send arbitrary signals via stdin

Each byte written to stdin will be interpreted as a signal.

Signed-off-by: Sage Weil <sage@inktank.com>

mon_thrash: optionally scrub after each iteration (default true)

Signed-off-by: Sage Weil <sage@inktank.com>

mon_thrash: fix more naming

Signed-off-by: Sage Weil <sage@inktank.com>

mon_thrash: use _ instead of - consistently

Signed-off-by: Sage Weil <sage@inktank.com>

Fix VM issues.

Fix of #5494 although bad description. Instead of adding a wait
the code used to detect if the guest was back up is fixed. The
previous code appeared to assume only one machine and broke
when it was waiting for multiple machines if the guests did not
come up within 10 seconds of each other

Make nuke not do the normal stuff if the machine is a VPS as we
just destroy them when they get unlocked.

Instead of getting downburst options from ~/.teuthology.yaml get
it from the yaml given to teuthology for the test/task instead.

Fixed an error that would make all the default downburst values
not take effect if any of them were set via a yaml.

Signed-off-by: Sandon Van Ness <sandon@inktank.com>
Reviewed-by: Warren Usui <warren.usui@inktank.com>

ceph: don't check leaks on client.* (i.e., radosgw)

...until we fix them.  This way we can see other valgrind issues.

radosgw-admin: add missing quote

radosgw-admin: test 'bucket list' command (all buckets)

Verifies fix for #5455
Signed-off-by: Sage Weil <sage@inktank.com>

Update keys if they have changed before locking

Signed-off-by: Sandon Van Ness <sandon@inktank.com>

ceph: disable logrotate

This screwed up the log archival step at the end, and generally makes a
mess of automated runs.

Fixe: #5451

dump_stuck: fix test

The mon-osd-report-timeout setting shouldn't be there!  We will set the
other item explicitly, and remove both from the suite yaml.

Fixes: #5440

Merge pull request #15 from ceph/wip-ulimits

Reviewed-by: Warren Usui <warren.usui@inktank.com>

Merge pull request #16 from ceph/wip-5431

Reviewed-by: Warren Usui <warren.usui@inktank.com>

rados: fix multiclient tests

Each client (not run) gets its own pool!

Signed-off-by: Sage Weil <sage@inktank.com>

dump_stuck: fix race with osd start

Occasionally we don't wait long enough for the osd to start and
mark itself up.  Keep trying until flush succeeds.

Fixes: #5431
Signed-off-by: Sage Weil <sage@inktank.com>

enable-coredump -> adjust-ulimits

and set max_files to be big, too!

Merge remote-tracking branch 'remotes/origin/wip-sandon-cephdeploy'

Merge pull request #14 from clee/cleanup

Clean up nested-if logic

Reviewed-by: Sage Weil <sage@inktank.com>

Wipe out existing id_rsa.pub and id_rsa before pushing ssh keys

A very simple change. Just touch a file first (to create it if it
doesn't yet exist so the delete doesn't error out) and then delete
it before pushing the keys to the file. This should avoid the
id_rsa.pub and id_rsa files from getting messed up due to previous
runs which were interrupted or failed (or if those files exist for
some reason). This appears to be what was causing breaking in the
ceph-deploy nightlies.

Signed-off-by: Sandon Van Ness <sandon@inktank.com>

Clean up nested-if logic

task/peering_speed_test.py: add test which summarizes pg peering speed

Running this regularly may warn us about slow peering.

Signed-off-by: Samuel Just <sam.just@inktank.com>

task/: add args.py

The usage doc string for a task is tedious to write and
hard to keep reconciled with the code as defaults are changed.
args.py includes a helper to put it all in one place.

Signed-off-by: Samuel Just <sam.just@inktank.com>

schedule_suite.sh: specify admin_socket branch in overrides yaml

Signed-off-by: Sage Weil <sage@inktank.com>

Include MySQLdb
Fixes: #5120

Fix to ignore ssh-key checking if running on virtual machines or
if a line that reads 'sshkey: ignore' is in the yaml file.

Fix #5364
Signed-off-by: Warren Usui <warren.usui@inktank.com>

Make reset of ssh key code conditional on being a virtual machine.
Add and use is_vm to determine if we are running on a virtual machine.

Fix #5364
Signed-off-by: Warren Usui <warren.usui@inktank.com>

admin_socket: fetch test from correct branch

valgrind: give up and ignore all leveldb leaks

Hopefully if it is our fault we will have our own struct wrapping the
leveldb resource that we leak.

Use authorized_keys2 instead of authorized_keys

Instead of going through the trouble of adding/removing lines
from authorized_keys which has all our normal keys in it, instead
push keys to the unused authorized_keys2 file which makes the key
management significantly simpler as that file can just be wiped
out each time instead of worrying about preserving contents.

Signed-off-by: Sandon Van Ness <sandon@inktank.com>

Use authorized_keys2 instead of authorized_keys

Instead of going through the trouble of adding/removing lines
from authorized_keys which has all our normal keys in it, instead
push keys to the unused authorized_keys2 file which makes the key
management significantly simpler as that file can just be wiped
out each time instead of worrying about preserving contents.

Signed-off-by: Sandon Van Ness <sandon@inktank.com>

valgrind: another leveldb leak

misc: let clients use any pool

rados.py, for example, creates new pools for each instance.

ceph_manager: fix ceph tell mon.*

Need -- to make cli stop parsing (or quote the options).
Otherwise, the options will be parsed/applied to the cli's
librados instance.

no need for ceph --concise argument

ceph_manager: use new ceph tell mon.* syntax

Signed-off-by: Samuel Just <sam.just@inktank.com>
Reviewed-by: Sage Weil <sage@inktank.com>

rados: fix up for parallel work

- use a separate pool for each client
- create pool at start, destroy pool at end
- use all clients, if not explicitly specified

Signed-off-by: Sage Weil <sage@inktank.com>

adding a newline to auth key data

Signed-off-by: tamil <tamil.muthamizhan@inktank.com>

Merge branch 'master' of github.com:ceph/teuthology

modified ceph-deploy to throw appropriate exceptions

Signed-off-by: tamil <tamil.muthamizhan@inktank.com>

stop stripping leading \n from osd commands

leaving them in for mon command, but not for any good reason.

Merge branch 'wip-RhelFix-wusui'

valgrind: make leveldb thread suppression more general

The thread can get created from a range of callers; ignore them all.

Use install -d for /var/log/ceph.
Additional fix needed for #4946

Signed-off-by: Warren Usui <warren.usui@inktank.com>

Fix capitalization of CentOS

Fixes: #5313
Signed-off-by: Warren Usui <warren.usui@inktank.com>

added support for rhel

Signed-off-by: tamil <tamil.muthamizhan@inktank.com>

teuthology-lock --summary:  allow --machine-type=all

Somehow this got lost; putting it back

Signed-off-by: Dan Mick <dan.mick@inktank.com>
(cherry picked from commit e4eb4aa23b66a5b33cf6ff14305ae8c3d328fb50)

ceph: ignore ceph-osd leaks for now :(

Merge branch 'wip-teuthVm-wusui'

valgrind: glibc/boost_thread leak suppressions

ceph_manager: drop -- before --format=json arg

Signed-off-by: Sage Weil <sage@inktank.com>

valgrind: more leveldb whitelisting

Support added for running scheduled tasks on virtual machines.
    This included:
    A). changes made so that full path names on some files were used
        (scheduled tasks started in different home directories).
    B.) Changes to insure tasks come up on the beanstalkc queue properly,
    C.) Finding and inserting the libvirt eqivalent code for vm machines
        in order to simulate ipmi actions,
    D.) Fix host key code, report valgrind issue more clearly.
    E.) Some message and downburst call changes.

    Fix #4988
    Fix #5122
Signed-off-by: Warren Usui <warren.usui@inktank.com>

merged system_value for rpms

Signed-off-by: tamil <tamil.muthamizhan@inktank.com>

support install task for fedora

Signed-off-by: tamil <tamil.muthamizhan@inktank.com>

Merge branch 'wip-RhelInstall-wusui'

Add RHEL support to teuthology

Fix #4946
Signed-off-by: Warren Usui <warren.usui@inktank.com>

task/install.py: extraneous subscript in upgrade() for only some remotes

Signed-off-by: Dan Mick <dan.mick@inktank.com>

teuthology-lock --summary:  allow --machine-type=all

Signed-off-by: Dan Mick <dan.mick@inktank.com>

ceph_manager: don't say you have no arguments and then list them

Calling ceph pg dump --format=json works better without -- before pg
(how did this work before?...)

Signed-off-by: Dan Mick <dan.mick@inktank.com>

ceph: fix valgrind grep output parsing

When you pass a single file to zgrep you don't get the filename prefix,
which confuses the split line a few lines down.

ceph: debug valgrind error

  File "/var/lib/teuthworker/teuthology-master/teuthology/task/ceph.py", line 215, in valgrind_post
    (file, kind) = line.split(':')
ValueError: need more than 1 value to unpack

valgrind: add another leveldb suppression

valgrind: update suppressions for leveldb, libc leaks from mon

These result in clean valgrind leak checks on the mon (at least with my
limited vstart testing).

Rhel support added

Fixes: #4946
Signed-off-by: Warren Usui <warren.usui@inktank.com>

ceph: fix valgrind log check

- logs are gzipped; use zgrep
- wait for the proc to exit before looking at stdout

Signed-off-by: Sage Weil <sage@inktank.com>

schedule_suite.sh: resolve ceph sha1 using deb gitbuilder, not tarball

The tarball one is old and largely obsolete.

thrashosds: sync before doing powercycle testing

Hopefully fixes #5112

schedule_suite.sh: 8hr -> 10hr suite timeout

Still missing some slow rbd tests.

install: make overrides grouped by project

This lets us set different overrides for e.g. ceph vs samba, and makes it
so the schedule_teuthology.sh overrides don't specify a ceph sha1 for
samba installs.

Signed-off-by: Sage Weil <sage@inktank.com>

client config will be done only after the cluster is operational.

Signed-off-by: tamil <tamil.muthamizhan@inktank.com>

set permission for config file

Signed-off-by: tamil <tamil.muthamizhan@inktank.com>

schedule_suite.sh: put sha1 in install: overrides, not ceph:

Signed-off-by: Sage Weil <sage@inktank.com>

added UserKnownHostsfile to ssh config

Signed-off-by: tamil <tamil.muthamizhan@inktank.com>

Fix scrub_test.py permission error

Add description of yaml file including log-whitelist
Add sudo to dd that corrupts data

Signed-off-by: David Zafman <david.zafman@inktank.com>
Reviewed-by: Warren Usui <warren.usui@inktank.com>:wq

qemu: load the kvm module before trying to use it

It should be loaded before this, but in some cases it is not for some reason.

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

schedule_suite.sh: bump suite timeout from 6->8 hours

This captures the current slow rbd tasks.

Signed-off-by: Sage Weil <sage@inktank.com>