Respect gitbuilder_host in get_ceph_binary_url()

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #405 from ceph/docs-interactive

documentation updates for interactive and interactive-on-error

Additional information about the interative task in the README

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

docs update, interactive-on-error does trigger between nested tasks now

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #403 from dmick/master

Two bugs: vps hostkeys and interactive-on-error multiple activation

Merge pull request #404 from ceph/mirror

Point yum repo at gitbuilder_host

Point yum repo at gitbuilder_host

Signed-off-by: Zack Cerza <zack@redhat.com>

internal.vm_setup: call ssh with -o StrictHostKeyChecking=no

If one doesn't have this configured for ssh, the call to
ssh for vps'es in vm_setup will cause a tty prompt to accept
the unknown key.

Fixes: #10530
Signed-off-by: Dan Mick <dan.mick@redhat.com>

Reset interactive-on-error the first time it triggers

This way one only drops into the REPL once.  (It's possible
that it may be useful to configure this behavior, but I think
that's lily-gilding.)

Fixes: #10529
Signed-off-by: Dan Mick <dan.mick@redhat.com>

Add librbd1 and librados2 to deb list

Signed-off-by: Zack Cerza <zack@redhat.com>

Add librbd1 and librados2 to rpm list

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #401 from ceph/mirror

Respect gitbuilder_host setting in install task

Use teuthology.config for gitbuilder_host

Signed-off-by: Zack Cerza <zack@redhat.com>

Add default for gitbuilder_host

Signed-off-by: Zack Cerza <zack@redhat.com>

ceph.conf: change osd_map_max_advance to 10 by default

Signed-off-by: Samuel Just <sjust@redhat.com>
Reviewed-by: Sage Weil <sage@redhat.com>

Merge pull request #400 from ceph/wip-10466

Add documentation for teuthology.yaml

Add documentation for teuthology.yaml

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #399 from ceph/interactive-testing

Make log messages in run_tasks.py specify when the exception occurred.

When packages are not found, mention the OS

Signed-off-by: Zack Cerza <zack@redhat.com>

Make log messages in run_tasks.py specify when the exception occured.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph.conf: reduce whole-object digest update limit

Update these more aggressively in QA.  Let it non-zero so that
we still cover both code paths.

Signed-off-by: Sage Weil <sage@redhat.com>

Merge pull request #346 from dachary/wip-skip-report

report: skip if result_server is none

Merge pull request #398 from ceph/baremetal-osversion-default

Allow os_version and os_type to be None when locking bare metal nodes.

Adds logging that prints distro and version during vps provisioning.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Allow os_version and os_type to be None when locking bare metal nodes.

This fixes a bug that was defaulting os_version to 12.04 and os_type to
ubuntu when locking bare metal machines.  We don't want to default the
os_version or os_type when locking bare metal so that the locking code
can pick whichever node is available.

VPS nodes will get proper defaults in provision.create_if_vm if they
aren't explicitly defined by either the config yaml or the cli flags.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #397 from ceph/log-install-failures

When ceph-release fails to install for any reason, log it.

When installing ceph-release log all install failures.

This code used to make an exception for 'already installed' failures
during a ceph-relase install and not log them. Unfortunately, this also
caused all other types of errors to not log at all. With this change
remote.run will log any errors that happen during the command.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Fix yum-repo-mangling regexp

It was failing to work if the branch name contained a '-'.

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #396 from andrewschoen/issue-10279

respect --os-version and --os-type in teuthology.run

Including a couple FIXME comments in misc.get_distro so we can remember
to revisit this function later.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Use teuthology.misc.get_distro and teuthology.misc.get_distro_
version in the internal.lock_machines task.

When the internal task wasn't using get_distro to retrieve os_type it
could set os_type to None, causing the lock to fail. This happened when
there was not an os_type defined in the config or a --os-type flag given.
Now, os_type will be properly defaulted to ubuntu when trying to lock
bare metal machines.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Fixed a couple imports that were importing teuthology.misc as
teuthology.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

include the os_type in the log message when it's invalid

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Respect --os-version and --os-type in teuthology.run.

Remove default value of 'ubuntu' for --os-type for teuthology.run and
make sure that teuthology.misc.get_distro accounts for ctx.os_type now
defaulting to None instead of 'ubuntu'.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Fix TestResultsEmail

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #391 from ceph/wip-kernel-local-rpm

kernel: local rpm support

kernel: update main docstring

Revise examples, document local kernel package support.

Signed-off-by: Ilya Dryomov <idryomov@redhat.com>

Properly ignore site-specific lab_domain in tests

Signed-off-by: Zack Cerza <zack@redhat.com>

More logging in get_distro_from_downburst()

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #394 from ceph/wip-default-kernel

scripts/suite.py: change default kernel from 'testing' to '-'

kernel: add rpm: key

Add 'rpm:' key to not confuse people with stuff like

  kernel:
    deb: /path/to/foo.rpm

Signed-off-by: Ilya Dryomov <idryomov@redhat.com>

kernel: maybe_generate_initrd_rpm()

gitbuilder and local packages may not have initrd hooks in them,
depending on how old is the kernel - an appropriate %post section was
added to upstream spec only in 3.12.

Signed-off-by: Ilya Dryomov <idryomov@redhat.com>

kernel: get_latest_image_version_{rpm, deb}()

A bit of refactoring to make things more clear and align distro case
with the rest of the code.  get_version_from_pkg() is renamed to
get_latest_image_version_deb() and get_latest_image_version_rpm() is
introduced to match it.

Signed-off-by: Ilya Dryomov <idryomov@redhat.com>

kernel: local rpm support

install_kernel() now takes a path to a package in /tmp and can use
get_image_version() to obtain image version.

Signed-off-by: Ilya Dryomov <idryomov@redhat.com>

kernel: get_image_version()

Use 'dpkg-deb -c' for debs instead of rolling our own.

Signed-off-by: Ilya Dryomov <idryomov@redhat.com>

kernel: download_kernel() shouldn't install kernels

Stop using rpm http url capabilities and download packages ourselves.
This keeps the structure the same for both rpms and debs and makes it
possible to fit in local rpm support.  Drop the "rpm already installed"
check for the same reasons.

Signed-off-by: Ilya Dryomov <idryomov@redhat.com>

kernel: fix 'sha1: distro' vs per role configs

We may want to setup different kernels for different roles (as long as
all roles on the same node agree on their choice), so returning as soon
as 'distro' is seen is not right.  Also, no need to use find() as
'distro' is always an exact match.

Signed-off-by: Ilya Dryomov <idryomov@redhat.com>

kernel: gitbuilder_pkg_name(), remote_pkg_path()

In preparation for local rpm support, encapsulate package naming.
Using sudo to rm copied/downloaded package is not necessary.

Signed-off-by: Ilya Dryomov <idryomov@redhat.com>

Revert "ceph.conf: ms die on skipped message = true"

This reverts commit aa047a2806d44944399b50f2749754f47c92025f.

valgrind: add msync suppression for el7

already had the other distros

Signed-off-by: Sage Weil <sage@redhat.com>

Merge branch 'master' of github.com:ceph/teuthology

scripts/suite.py: remove default -k (kernel) value

Note: will require current cron jobs to change to request -k testing
explicitly.  Removes current special meaning of '-k -'.

Fixes: #10304
Signed-off-by: Dan Mick <dan.mick@redhat.com>

Revert "respect --os-version and --os-type in teuthology.run. fixes #10279"

This reverts commit 5e943bb35f74d56667dbd73da4032d0acec8fef4.

Merge pull request #393 from ceph/wip-10260

teuthology.run: conditionally add fake_ctx to teuthology.config.config

Fix broken error message

Signed-off-by: Zack Cerza <zack@redhat.com>

Tweak ScheduleFailError wording

Signed-off-by: Zack Cerza <zack@redhat.com>

Remove stray 'raise'

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #390 from ceph/wip-nuke-stale

teuthology-nuke --stale

Remove redundant read_config() call

Signed-off-by: Zack Cerza <zack@redhat.com>

Add teuthology-nuke --stale

Signed-off-by: Zack Cerza <zack@redhat.com>

Port to docopt

Signed-off-by: Zack Cerza <zack@redhat.com>

PEP-8 fixes

Signed-off-by: Zack Cerza <zack@redhat.com>

Add find_stale_locks()

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #395 from andrewschoen/worker-waiting-status-bug

remove the status from the call to paddles from worker.py

remove the status from the call to paddles from worker; this allows the job's updated time to change without changing it's status. The status of the job could be either running or waiting

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Fix breakage in 6114acc

Signed-off-by: Zack Cerza <zack@redhat.com>

teuthology.run: conditionally add fake_ctx to teuthology.config.config

The intent here is to get the 'interactive-on-error' config value
passed down to contextutil.nested(), but it is recognized that we need
a way to share global configuration; for now, since nested() really
needs the entire ctx, we can get it out of fake_ctx.config, but there
needs to be a cleaner way as FakeNamespace is phased out.

Fixes: #10260
Signed-off-by: Dan Mick <dan.mick@redhat.com>

Merge pull request #387 from andrewschoen/issue-10279

respect --os-version and --os-type in teuthology.run. fixes #10279

Merge pull request #392 from andrewschoen/locking-status-10278

put a job into a 'waiting' status while it's locking machines

Timeout needs to be an int

Signed-off-by: Zack Cerza <zack@redhat.com>

put a job into a 'waiting' status while it's locking machines

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #389 from andrewschoen/run-report-bugfix

we need to use fake_ctx.summary when reporting the outcome of a run

kernel: get_sha1_from_pkg_name()

Move package name parsing into its own routine and make the regex more
robust:
  - match only hex chars
  - don't limit ourselves to 7 chars, match up to 40 chars
  - accept 'g' prefixed with either _ (rpm) or - (deb)

Signed-off-by: Ilya Dryomov <idryomov@redhat.com>

kernel: fix commit hash matching in need_to_install(), take 2

Commit 10d7f9095fbb ("kernel: fix commit hash matching in
need_to_install()") switched startswith() around to accommodate
a shorter "want" version.  That however broke the opposite case: when
installing from gitbuilders "want" is actually a full 40-char hash.
Do away with starswith() and just compare substrings.

Signed-off-by: Ilya Dryomov <idryomov@redhat.com>

Merge pull request #388 from ceph/wip-10283

teuthology/suite: log correct per-job description

we need to use fake_ctx.summary when reporting the outcome of a run because it gets modified by the tasks

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

teuthology/suite: log correct per-job description

Add 'description' to the items tracked in 'jobs_to_schedule'.
Make it a dict for somewhat clearer item extraction in the actual
scheduling loop.

Also fix an unrelated pep8 formatting error.

Fixes: #10283
Signed-off-by: Dan Mick <dan.mick@redhat.com>

respect --os-version and --os-type in teuthology.run. fixes #10279

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Don't assume y on distro kernel reinstall...

Because if its the running kernel yum will skip the current
version and install install an older package? WTF? I would not
expect such behavior from a reinstall but it is what it is...

Also skipping current running kernel output was in stderr not the
stdout so I made changes to reflect that.

Signed-off-by: Sandon Van Ness <sandon@redhat.com>

Merge pull request #386 from andrewschoen/run-test

ensures owner and machine_type are added to fake_ctx with the correct va...

ensures owner and machine_type are added to fake_ctx with the correct values if they're missing from args

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #384 from andrewschoen/doc-tweaks

fixed broken links to worker_start.sh and create_nodes.py in the docs

Merge pull request #383 from ceph/wip-downburst-fqdn

Use FQDN in downburst yaml.

Merge pull request #385 from andrewschoen/run-test

a test to make sure that fake_ctx has everything it needs in teuthology.run

write a test for teuthology.run that makes sure that all fields needed in fake_ctx for the tasks to operate are present

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

docopt was creating a --lock) param; fix the docstring so that doesn't happen

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

fixed broken links to worker_start.sh and create_nodes.py

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Use FQDN in downburst yaml.

As newer rhel's like to default to localdomain screwing with things
if its not set. Older cloud-init/distros appear to just ignore the
domain.

Signed-off-by: Sandon Van Ness <sandon@redhat.com>

Re-store improvised owner value

Signed-off-by: Zack Cerza <zack@redhat.com>

Correctly handle explicit None values

With test.

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #322 from ceph/wip-fix-update-hang

Fix update hang.

Merge pull request #382 from andrewschoen/doc-tweaks

Doc tweaks

added autogenerated rst files from sphinx-apidoc in .gitignore

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

add a reference so we can link installation and setup from readme

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #370 from andrewschoen/docopt-run

refactor of teuthology.run

fixing some docs

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Replaced the TeuthologyConfig instance in FakeNamespace with a dict, all the tasks expect that to be a dict

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Fixed a bug where I wasn't setting machine_type correctly.  Also, made
local variables for each of the keys in args to help readability.

Wrote tests for teuthology.run.main. Coverage increased to 94%

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

modified __getattr__ for FakeNamespace so that it raises AttributeError on a missing attr.  This allows a FakeNamespace instance to work correctly with getattr(). Also removed .get() from YamlConfig as we decided it was unnecessary

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

simple documentation update

Signed-off-by: Andrew Schoen <aschoen@redhat.com>