Don't drop the rest of os.environ

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Use os.path.expanduser() instead of os.environ

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Fix typo

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Fix lock paths

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Use the ceph_branch if suite_branch isn't found

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Merge pull request #289 from ceph/split_prep

Split prep

Discourage modifying defaults in instances

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Don't use double underscores

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Run tests for base class in subclass tests

Also remove test_defaults() since it was a bad idea.

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Tweak fetch_teuthology_branch()

Specifically, make it match fetch_qa_suite()'s behavior.

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Clone ceph-qa-suite and add it to PYTHONPATH

So that teuthology runs can find their tasks

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Use config.src_base_path

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Add src_base_path to defaults.

Defaults to ~/src

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Store the suite_branch in the job config

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Use the new JobConfig object

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Make teuthology.config *far* more robust

In addition to parsing its configuration from a yaml file, it can now be
created from a dict. It can also be dumped as a dict, or as a yaml
stream. It is also now split into multiple classes so that the same
implementation can be used for job configs, and not just as a proxy for
~/.teuthology.yaml.

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Update existing unit test, and add another.

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Use a dict for a job template instead of a string.

This makes later modifications far easier.

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Add test for config substitution

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Remove unused import

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Fix install_except_hook()

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Don't execute network-using tests by default

Set TEST_ONLINE to use them.

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Don't use master as the default teuthology branch

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

watch-suite.sh: new syntax

Signed-off-by: Sage Weil <sage@inktank.com>

Merge pull request #276 from dachary/wip-typo

documentation typo

Merge pull request #282 from ceph/wip-jcsp-misc

Wip jcsp misc

Merge pull request #285 from ceph/wip-8750-jcsp

task/ceph: move set_max_mds into cephfs_setup

Reviewed-by: Sage Weil <sage@redhat.com>

Make the archive dir a positional argument

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Merge pull request #279 from ceph/wip-ls

ls: make --archive-dir default to .

Merge pull request #286 from ceph/wip-results-timeout

suite: change default results_timeout to 9h (from 6h)

Reviewed-by: Josh Durgin <josh.durgin@inktank.com>

suite: default to 9h results_timeout

6h isn't enough for xfstests.

Signed-off-by: Sage Weil <sage@inktank.com>

task/ceph: move set_max_mds into cephfs_setup

Move the calculation of active MDS count out
of the generic service setup and into the
filesystem setup.

Fixes: #8750
Signed-off-by: John Spray <john.spray@redhat.com>

ceph.conf: drop min pg per osd warning

With only the rbd pool getting created this needs to be dropped

Signed-off-by: Sage Weil <sage@inktank.com>

Merge pull request #281 from dachary/wip-lost-unfound

fix create_pool_with_unique_name call to use profile name

Reviewed-by: Sage Weil <sage@redhat.com>

Don't mess with ~/src/teuthology by default

Setting 'automated_scheduling: True' in ~/.teuthology.yaml enables it.

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Relocate teuthology checkouts to ~/src/

Also use an underscore instead of a dash between 'teuthology' and the
branch name.

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

task/ceph: add option to avoid doing scrub

When iterating on test in development, it's useful
to be able to skip this step.

Signed-off-by: John Spray <john.spray@redhat.com>

nuke: fix unmounted multiple fuse mount points

It was trying to pass multiple paths to fusermount, but
it should instead invoke fusermount for each path.

Signed-off-by: John Spray <john.spray@redhat.com>

run_tasks: catch malformed task case

If you do something like this:

- foo:
- bar:
- baz

Then catching AttributeError is necessary for giving a somewhat
friendlier error on the 'baz' where we have a string instead
of a dict.

Signed-off-by: John Spray <john.spray@redhat.com>

task/ceph_manager: generalize admin_socket calls

This is so that tasks can access the admin sockets
of other service types such as the MDS.

Signed-off-by: John Spray <john.spray@redhat.com>

Remove default results_server

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Allow setting results_email in teuthology.yaml

(Instead of passing --email to teuthology-suite)

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Don't remove the teuthology repo if errors occur

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Optionally, don't remove a repo when errors occur

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Add another unit test

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

fix create_pool_with_unique_name call to use profile name

The hardcoded arguments are deprecated for the profile name. Create a
profile that matches the previous default arguments. Read the config to
allow the caller to override the defaults from the yaml file.

Signed-off-by: Loic Dachary <loic@dachary.org>

document create_pool erasure_code_profile_name argument

Signed-off-by: Loic Dachary <loic@dachary.org>

Allow testing with online repos

It is not the default.

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Add a unit test simulating simultaneous checkouts

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Add a couple unit tests for teuthology.parallel

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Merge pull request #280 from dachary/wip-erasure-code-profile

add rgw.create_ec_pool default profile

add rgw.create_ec_pool default profile

the former arguments had defaults, the caller do not set them

Signed-off-by: Loic Dachary <loic@dachary.org>

ls: make --archive-dir default to .

This is how I use it 99% of the time.

Signed-off-by: Sage Weil <sage@inktank.com>

Merge pull request #275 from ceph/wip-replace-update-sh

Replace update.sh functionality

Rename suite_base to suite_dir

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Add --suite-branch and --suite-base

The former lets you specify a specific ceph-qa-suite branch to use for
testing. The latter lets you specify an as-is directory to use, for
example if you want ro run tests that you don't want to commit yet.

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Use a test-specific name/email for the git calls

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Add more unit tests

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Merge pull request #277 from dachary/wip-erasure-code-profile

erasure code profile: fix bugs found while testing manually

Merge pull request #278 from ceph/wip-nullfs

Support the new fs syntax.

Reviewed-by: Greg Farnum <greg@inktank.com>

erasure-code: fix typo in create_pool argument name

missing _name at the end

Signed-off-by: Loic Dachary <loic@dachary.org>

erasure-code: do not prepend 'ceph' to the erasure-code-profile command

When used in the radosgw context, the 'ceph' string must be present but
when used in ceph_manager, the 'ceph' string is already included.

Signed-off-by: Loic Dachary <loic@dachary.org>

erasure-code: str() to avoid + conversion errors

if the value from the yaml file is an int, it must be converted into a
string bevore being concatenated with '='

Signed-off-by: Loic Dachary <loic@dachary.org>

Merge pull request #271 from dachary/wip-erasure-code-profile

erasure-code: separate profile from pool creation

Fix linter errors

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Add a basic validation of the branch value

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Run unit tests offline

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

documentation typo

Signed-off-by: Loic Dachary <loic@dachary.org>

erasure-code: separate profile from pool creation

Instead of being hard coded, the erasure code profile is read from yaml
as:

    erasure_code_profile:
      name: teuthologyprofile
      k: 2
      m: 1
      ruleset-failure-domain: osd

Which translates into

    ceph osd erasure-code-profile set teuthologyprofile \
        k=2 m=1 ruleset-failure-domain=osd

The semantic of k/m etc. depends on the erasure code plugin, but it is
common to use k as the dividing factor for each object and m as the
number of coding chunks.

Using a different set of parameters or a different plugin can
be done without modifying the teuthology code:

    erasure_code_profile:
      name: LRCprofile
      plugin: LRC
      mapping: __DD__DD
      layers: [[ "_cDD_cDD", "" ], [ "cDDD____", "" ], [ "____cDDD", ""]]

For backward compatibility, the default erasure code profile is set to

      k: 2
      m: 1
      ruleset-failure-domain: osd

which matches the previously hardcoded default of the corresponding
functions.

Signed-off-by: Loic Dachary <loic@dachary.org>

Merge pull request #233 from ceph/wip-background

run something in the background

background_exec: run something in the background

This is a contextmanager task that will run some command in the background
for the duration of any subsequent tasks, and kill it in the cleanup
phase.

Signed-off-by: Sage Weil <sage@inktank.com>

daemon-helper: optional kill an entire process group

Signed-off-by: Sage Weil <sage@inktank.com>

Split up repo helper into separate functions

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

task: update 'newfs' users to 'fs new'

Signed-off-by: John Spray <john.spray@redhat.com>

task/ceph: Invoke newfs for CephFS as needed

New ceph versions will no longer create the
CephFS pools and will not enable the filesystem
by default.  This change adds an explicit step
to the cluster initialization to create the
filesystem if it doesn't already exist.

Signed-off-by: John Spray <john.spray@inktank.com>

Use corrected tube_name

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Return corrected tube_name

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Use teuthology.beanstalk

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Document checkout_repo()

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Drop a "fix" for a bug that probably never existed

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Add a note about teuthology scheduling

Specifically, that we always schedule using the master branch.

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Improve missing branch detection and logging

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Add unit tests for repo_utils

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Use 'ceph-qa-suite.git' for the repo name

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Also handle teuthology repo checkouts

Our shell script did this also.

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Handle ceph-qa-suite checkouts

Previously we had an internally-maintained shell script that did this.

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Generalize error message

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Fix linter errors

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Move repo checkout code to new module repo_utils

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Use a more informative variable name for dest_path

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Merge pull request #274 from dachary/wip-facet

document how to specify a facet in teuthology-suite

document how to specify a facet in teuthology-suite

Signed-off-by: Loic Dachary <loic@dachary.org>

Only delete jobs that match the pattern

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Swap order of job_id and run_name when deleting

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Skip the kernel stanza if the branch passed is '-'

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Add more docstrings

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

No need to explicitly return None here

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Update unit tests to reflect renamed function

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Add a few more docstrings and a debug statement

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>

Fix a couple linter errors

Signed-off-by: Zack Cerza <zack.cerza@inktank.com>