s3tests, s3readwrite, swift: cleanup explicitly

Cleaning up test dir explicitly after run, so that
consecutive runs don't fail.

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

Merge remote-tracking branch 'origin/wip-3634'

Merge branch 'unstable'

Conflicts:
teuthology/task/workunit.py

Install ceph debs and use installed debs

The ceph task installs ceph using the debian
packages now, and all invocations of binaries installed
in {tmpdir}/binary/usr/local/bin/ are replace with
the use of the binaries installed in standard locations
by the debs.

Author:    Sander Pool <sander.pool@inktank.com>
Signed-off-by: Sam Lang <sam.lang@inktank.com>

Replace /tmp/cephtest/ with configurable path

Teuthology uses /tmp/cephtest/ as the scratch test directory for
a run.  This patch replaces /tmp/cephtest/ everywhere with a
per-run directory: {basedir}/{rundir} where {basedir} is a directory
configured in .teuthology.yaml (/tmp/cephtest if not specified),
and {rundir} is the name of the run, as given in --name.  If no name
is specified, {user}-{timestamp} is used.

To get the old behavior (/tmp/cephtest), set test_path: /tmp/cephtest
in .teuthology.yaml.

This change was modivated by #3782, which requires a test dir that
survives across reboots, but also resolves #3767.

Signed-off-by: Sam Lang <sam.lang@inktank.com>
Reviewed-by: Josh Durgin <josh.durgin@inktank.com>

task/swift: change upstream repository url

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

Merge branch 'wip-mon-thrasher'

s3tests: fix typo

rgw-logsocket: a task to verify opslog socket works

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

s3tests: run against arbitrary branch/sha1 of s3-tests.git

pull s3-tests.git using git, not http

ceph.newdream.net -> ceph.com

Merge branch 'master' of github.com:ceph/teuthology

github.com/NewDreamNetwork -> github.com/ceph

Add necessary imports for s3 tasks, and keep them alphabetical.

rgw: access key uses url safe chars

Signed-off-by: Yehuda Sadeh <yehuda.sadeh@dreamhost.com>

use local mirrors for (most) github urls

A cronjob on ceph.newdream.net updates these every 15 minutes.  Sigh.

Rename "testrados" and "testswift" tasks to not begin with "test".

Anything "test*" looks like a unit test, and shouldn't be used for
actual code.

testswift: fix config

rgw: add swift task

still not completely working (for some reason it skips all the tests)

s3-tests: use radosgw-admin instead of radosgw_admin

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

s3tests: Clone repository from github.

Signed-off-by: Tommi Virtanen <tommi.virtanen@dreamhost.com>

Move orchestra to teuthology.orchestra so there's just one top-level package.

Callers of task s3tests.create_users don't need to provide dummy "fixtures" dict.

allow s3tests.create_users defaults be overridden

Make targets a dictionary mapping hosts to ssh host keys.

Skip s3-tests marked fails_on_rgw, they will fail anyway.

The shell exits after the command, hence there is no need for pushd/popd.

Add s3tests task.