adding a newline to auth key data

Signed-off-by: tamil <tamil.muthamizhan@inktank.com>

Merge branch 'master' of github.com:ceph/teuthology

modified ceph-deploy to throw appropriate exceptions

Signed-off-by: tamil <tamil.muthamizhan@inktank.com>

stop stripping leading \n from osd commands

leaving them in for mon command, but not for any good reason.

Merge branch 'wip-RhelFix-wusui'

valgrind: make leveldb thread suppression more general

The thread can get created from a range of callers; ignore them all.

Use install -d for /var/log/ceph.
Additional fix needed for #4946

Signed-off-by: Warren Usui <warren.usui@inktank.com>

Fix capitalization of CentOS

Fixes: #5313
Signed-off-by: Warren Usui <warren.usui@inktank.com>

added support for rhel

Signed-off-by: tamil <tamil.muthamizhan@inktank.com>

teuthology-lock --summary:  allow --machine-type=all

Somehow this got lost; putting it back

Signed-off-by: Dan Mick <dan.mick@inktank.com>
(cherry picked from commit e4eb4aa23b66a5b33cf6ff14305ae8c3d328fb50)

ceph: ignore ceph-osd leaks for now :(

Merge branch 'wip-teuthVm-wusui'

valgrind: glibc/boost_thread leak suppressions

ceph_manager: drop -- before --format=json arg

Signed-off-by: Sage Weil <sage@inktank.com>

valgrind: more leveldb whitelisting

Support added for running scheduled tasks on virtual machines.
    This included:
    A). changes made so that full path names on some files were used
        (scheduled tasks started in different home directories).
    B.) Changes to insure tasks come up on the beanstalkc queue properly,
    C.) Finding and inserting the libvirt eqivalent code for vm machines
        in order to simulate ipmi actions,
    D.) Fix host key code, report valgrind issue more clearly.
    E.) Some message and downburst call changes.

    Fix #4988
    Fix #5122
Signed-off-by: Warren Usui <warren.usui@inktank.com>

merged system_value for rpms

Signed-off-by: tamil <tamil.muthamizhan@inktank.com>

support install task for fedora

Signed-off-by: tamil <tamil.muthamizhan@inktank.com>

Merge branch 'wip-RhelInstall-wusui'

Add RHEL support to teuthology

Fix #4946
Signed-off-by: Warren Usui <warren.usui@inktank.com>

task/install.py: extraneous subscript in upgrade() for only some remotes

Signed-off-by: Dan Mick <dan.mick@inktank.com>

teuthology-lock --summary:  allow --machine-type=all

Signed-off-by: Dan Mick <dan.mick@inktank.com>

ceph_manager: don't say you have no arguments and then list them

Calling ceph pg dump --format=json works better without -- before pg
(how did this work before?...)

Signed-off-by: Dan Mick <dan.mick@inktank.com>

ceph: fix valgrind grep output parsing

When you pass a single file to zgrep you don't get the filename prefix,
which confuses the split line a few lines down.

ceph: debug valgrind error

  File "/var/lib/teuthworker/teuthology-master/teuthology/task/ceph.py", line 215, in valgrind_post
    (file, kind) = line.split(':')
ValueError: need more than 1 value to unpack

valgrind: add another leveldb suppression

valgrind: update suppressions for leveldb, libc leaks from mon

These result in clean valgrind leak checks on the mon (at least with my
limited vstart testing).

Rhel support added

Fixes: #4946
Signed-off-by: Warren Usui <warren.usui@inktank.com>

ceph: fix valgrind log check

- logs are gzipped; use zgrep
- wait for the proc to exit before looking at stdout

Signed-off-by: Sage Weil <sage@inktank.com>

schedule_suite.sh: resolve ceph sha1 using deb gitbuilder, not tarball

The tarball one is old and largely obsolete.

thrashosds: sync before doing powercycle testing

Hopefully fixes #5112

schedule_suite.sh: 8hr -> 10hr suite timeout

Still missing some slow rbd tests.

install: make overrides grouped by project

This lets us set different overrides for e.g. ceph vs samba, and makes it
so the schedule_teuthology.sh overrides don't specify a ceph sha1 for
samba installs.

Signed-off-by: Sage Weil <sage@inktank.com>

client config will be done only after the cluster is operational.

Signed-off-by: tamil <tamil.muthamizhan@inktank.com>

set permission for config file

Signed-off-by: tamil <tamil.muthamizhan@inktank.com>

schedule_suite.sh: put sha1 in install: overrides, not ceph:

Signed-off-by: Sage Weil <sage@inktank.com>

added UserKnownHostsfile to ssh config

Signed-off-by: tamil <tamil.muthamizhan@inktank.com>

Fix scrub_test.py permission error

Add description of yaml file including log-whitelist
Add sudo to dd that corrupts data

Signed-off-by: David Zafman <david.zafman@inktank.com>
Reviewed-by: Warren Usui <warren.usui@inktank.com>:wq

qemu: load the kvm module before trying to use it

It should be loaded before this, but in some cases it is not for some reason.

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

schedule_suite.sh: bump suite timeout from 6->8 hours

This captures the current slow rbd tasks.

Signed-off-by: Sage Weil <sage@inktank.com>

localdir: create/cleanup mnt.foo dir on local fs

This creates and cleans up a local mnt dir that can be consumed
by other tasks (like workunit, samba, etc), just like any
other client (ceph-fuse, kclient), except it is just a dir on
the local fs.

Signed-off-by: Sage Weil <sage@inktank.com>

Do not scan for vm locks when listing all machines.

Fixes: #4830
Signed-off-by: Warren Usui <warren.usui@inktank.com>

Revert "radosgw-admin: Test bucket list for bucket starting with underscore."

This reverts commit fa70eb8f67371568f47ae237606be63024164214.

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

nuke: don't require noipmi in ctx

This is called from run.py too, which won't have ctx.noipmi.
The default of using impmi is fine for now for run.py.

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

default project to ceph and extra_pkgs to none

Signed-off-by: tamil <tamil.muthamizhan@inktank.com>

Merge branch 'wip-teuth4768a-wusui'

Conflicts:
teuthology/task/install.py

install: default to ceph project throughout

Signed-off-by: Sage Weil <sage@inktank.com>

ceph_manager: add timeout option to revive, increase for power_cycle

Signed-off-by: Samuel Just <sam.just@inktank.com>

Merge branch 'next'

install: only remove ceph data of project is ceph

Signed-off-by: Sage Weil <sage@inktank.com>

task/cifs-mount.py: Task for mounting cifs

The cifs-mount task mounts a smb endpoint from the
first available smbd server (the samba.0 role).  This
task is similar to the ceph-fuse task, file system
tests can be run on the resulting mount point.

Signed-off-by: Sam Lang <sam.lang@inktank.com>

task/samba.py: Samba task to setup/start smbd

The samba task sets up samba on all 'samba' roles
with ceph as the backend storage module.  The task
creates a smb.conf file that points to ceph, and
starts smbd.

Signed-off-by: Sam Lang <sam.lang@inktank.com>

task/daemon-helper: Add nostdin option

Some daemons (smbd) will try to read from stdin and check if its a
socket, using that for sending/receiving messages.  If /dev/null is
used for stdin, the daemon aborts.  This patch adds a 'nostdin' option
to the daemon-helper so that the daemon can be started without /dev/null
as stdin.

Signed-off-by: Sam Lang <sam.lang@inktank.com>

task/install.py: Allow installation of non-ceph

Generalizes the install task to specify a "project" which defaults to
'ceph', but can be configured to install different project packages,
for example:

install:
  project: samba
  extra_packages: samba

The default install task uses 'ceph' as the project, and relies on an
existing set of defined packages to install.  For other projects, the
packages to be installed must be specified with the extra_packages
field.  Multiple install tasks can be specified:

install:
install:
  project: samba
  extra_packages: samba

Which installs ceph packages and then samba packages.

Also, cleanup in nuke.py so that nuke and install use the same list of
packages when doing the remove steps.

Signed-off-by: Sam Lang <sam.lang@inktank.com>

Fix teuthology installations on physical Centos machines.
Yum installs of packages specify a pacakge number.  Initial
install of yum source changed to not fail if already done.
Added yum cleans where necessary.

Fixes: #4768
Signed-off-by: Warren Usui <warren.usui@inktank.com>

s3tests: add force-branch with higher precdence than 'branch'

This way we can force a branch despite something in overrides.

Signed-off-by: Sage Weil <sage@inktank.com>

nuke.py: Allow ipmi power cycling to be skipped

Some nodes don't have ipmi setup.  Allow nuke to
skip the ipmi checking if -i (--noipmi) is specified.

Signed-off-by: Sam Lang <sam.lang@inktank.com>

For vms, fix some bad default configuration settings.

Fixes: #4881
Signed-off-by: Warren Usui <warren.usui@inktank.com>

ceph_manager: mount_osd_data expects osd as a str

Signed-off-by: Samuel Just <sam.just@inktank.com>

ceph.py: set up ctx.disk_config outside of the loop

Signed-off-by: Samuel Just <sam.just@inktank.com>

ceph.py: the journal component does not current work with restart

Removing for the time being.

Signed-off-by: Samuel Just <sam.just@inktank.com>

Merge remote branch 'origin/next'

fix some errors found by pyflakes

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

s3tests: revert useless portion of 1c50db6a4630d07e72144dafd985c397f8a42dc5

Perhaps it was attempting to debug something, but it shouldn't have been committed.

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

rgw tests: remove users after each test

These should all be cleanup up at some point. They're
almost all the same code.

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

rgw tests: clean up immediately after the test

There's no need for an explicit cleanup function, so move it back
to where it came from (except in s3roundtrip, which did not have it).

Instead, since these use a nested contextmanager, pass through
and yield to the top-level run_tasks after the nested
contextmanager has finished (and thus run all the cleanup steps
in the subtasks for this test).

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

ceph: allow restarting radosgw

Only split once, since radosgw will have client.X after it.
Monitors and MDSs may have names with more .s as well.

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

rgw: add to ctx.daemons so it can be stopped/started dynamically

Name the daemon after the client it runs on, since only
one per host is supported anyway.

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

misc: move daemon stopping function to a generic place

This will be useful for other daemons, like radosgw, in the future.

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

Verbose output on ceph-qa-chef.

Signed-off-by: Sandon Van Ness <sandon@inktank.com>

misc: default base_test_dir to /home/ubuntu/cephtest

This matches what the teuthworker is currently doing.

swift, s3readwrite: add missing yield

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

Disable quiet mode wget output on wget for ceph-qa-chef

So maybe I can get a better idea of what is causing it to fail.

Signed-off-by: Sandon Van Ness <sandon@inktank.com>

s3tests, s3readwrite, swift: cleanup explicitly

Cleaning up test dir explicitly after run, so that
consecutive runs don't fail.

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

workunit: use passed refspec rather than checking sha1 again

Signed-off-by: Samuel Just <sam.just@inktank.com>
Reviewed-by: Josh Durgin <josh.durgin@inktank.com>

install.upgrade: apt-get install instead of upgrade

Upgrade does not actually upgrade in some cases; use install!

Signed-off-by: Sage Weil <sage@inktank.com>

install: prefer 'branch' over 'sha1'

The upgrade tasks specify 'branch' in the job file, but the
schedule_suite.sh script sets a sha1 in the overrides.  Make
the upgrade tests actually test an upgrade by preferring branch
over sha1 when both are specified.

This is fragile, but ought to do the trick for now!

Signed-off-by: Sage Weil <sage@inktank.com>

Fix improperly spaced line.

Use get('field', default) to assign downburst values for vps.

Fixes: #4592
Signed-off-by: Warren Usui <warren.usui@inktank.com>
Reviewed by: Dan Mick <dan.mick@inktank.com>

repair_test.py: Additional test cases

Test repair with more than 1 damaged object and with different types of damage
Regression test for bug #4778

Signed-off-by: David Zafman <david.zafman@inktank.com>
Reviewed-by: Samuel Just <sam.just@inktank.com>

Add changes to make teuthology suites work on vms.

Fixes: #4719
Signed-off-by: Warren Usui <warren.usui@inktank.com>
Reviewed by: Dan Mick <dan.mick@inktank.com>

Merge branch 'wip-teuthologyfix4693-wusui'

Check downburst paths. Display an appropriate error message if an
executable downburst cannot be found.

Fixes: #4693
Signed-off-by: Warren Usui <warren.usui@inktank.com>
Reviewed by: Dan Mick <dan.mick@inktank.com>

Merge branch 'next' of github.com:ceph/teuthology into next

Increase IPMI attempts to try to get around Flakey IPMI.

Signed-off-by: Sandon Van Ness <sandon@inktank.com>
Reviewed-by: Sam Lang <sam.lang@inktank.com>

ceph.conf: enable full debugging on the mon

Increase IPMI attempts to try to get around Flakey IPMI.

Signed-off-by: Sandon Van Ness <sandon@inktank.com>
Reviewed-by: Sam Lang <sam.lang@inktank.com>

Merge branch 'next'

ceph-deploy: fix stop command

Signed-off-by: Sage Weil <sage@inktank.com>

added ceph.client.admin.keyring on the client to run rbd and rados tests

Signed-off-by: tamil <tamil.muthamizhan@inktank.com>

added extra packages required by ceph-deploy for rbd and rados tests

Signed-off-by: tamil <tamil.muthamizhan@inktank.com>

Merge branch 'next'

ceph-deploy: stop daemons, archive, then purge[data]

Purge removes logs, and we want to archive those, so explicitly shut down
all daemons before doing the archiving step.

Signed-off-by: Sage Weil <sage@inktank.com>

ceph.conf: lower mon disk avail warning threshold

Only wanr when we hit 90% instead of default 70%

Signed-off-by: Sage Weil <sage@inktank.com>
(cherry picked from commit cf4bf09b2c4dae034332fb893cf96ed31adb7a4b)

Merge branch 'next'

Conflicts:
teuthology/lock.py
teuthology/lockstatus.py
teuthology/misc.py
teuthology/task/install.py

misc: Fix for case status['description'] == None

Skip the machine that has a description, but the
value is None.

Signed-off-by: Sam Lang <sam.lang@inktank.com>
Reviewed-by: Warren Usui <warren.usui@inktank.com>

radosgw-admin-rest: Add task for RESTful admin api.

Signed-off-by caleb miles <caleb.miles@inktank.com>

radosgw-admin-rest: Add task for RESTful admin api.

Signed-off-by caleb miles <caleb.miles@inktank.com>

misc: Check for 'None' string from yaml

The description attribute from the machines yaml returned by the
locker might be the string 'None'.  Need to explicitly check for
that to avoid using a test dir of /tmp/cephtest/None.

Signed-off-by: Sam Lang <sam.lang@inktank.com>

lock: Fix import cycle breakage

fa2049f caused an import cycle between lock.py and misc.py.  Move the
needed functions from lock.py to lockstatus.py so that we can avoid the
import cycle.

Signed-off-by: Sam Lang <sam.lang@inktank.com>
Conflicts:
teuthology/lock.py