valgrind.supp: suppress ec factory leaks

fixme someday

Signed-off-by: Sage Weil <sage@redhat.com>

Merge pull request #645 from ceph/wip-131version

fix for version match, 1.3.1 now maps to 0.94.3

fix for version match, 1.3.1 now maps to 0.94.3 instead of the prevoius 0.94.2

Signed-off-by: Vasu Kulkarni <vasu@redhat.com>

Merge pull request #644 from ceph/wip-valgrind

misc: do not trace children with valgrind

misc: do not trace children with valgrind

Fixes: #13251
Signed-off-by: Sage Weil <sage@redhat.com>

Merge pull request #639 from ceph/wip-prun

Add teuthology-prune-logs

Merge pull request #642 from dachary/wip-openstack-throttle

openstack: throttling helps the instance running the cluster

Merge pull request #643 from dachary/wip-openstack-centos-6

openstack: update CentOS 6 cloud image

openstack: update CentOS 6 cloud image

Signed-off-by: Loic Dachary <loic@dachary.org>

openstack: throttling helps the instance running the cluster

The instance throttling (not launching more than X instances per minute)
helps the instance running the teuthology cluster when running multiple
workers. The workload does not spike when launching a suite and that
allows to run more workers on a machine with the same hardware configuration.

Signed-off-by: Loic Dachary <loic@dachary.org>

Add teuthology-prune-logs

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #623 from dachary/wip-13031-repositories

internal: move buildpackages before install task

internal: do not check packages if task buildpackages is found

The buildpackages task is responsible for creating the packages, there
is no point in verifying they are already present.

Signed-off-by: Loic Dachary <loic@dachary.org>

internal: move buildpackages before install task

If a buildpackages task is found, ensure it is always before the install
task because it is intended to produce the packages that will be used by
the install task.

http://tracker.ceph.com/issues/13031 Refs: #13031

Signed-off-by: Loic Dachary <loic@dachary.org>

Merge pull request #636 from ceph/wip-13116

ceph.conf: short cephfs data pool replay window

Reviewed-by: Samuel Just <sjust@redhat.com>

ceph.conf: short cephfs data pool replay window

This will make it more likely for us to hit #13116

Signed-off-by: Sage Weil <sage@redhat.com>

Merge pull request #635 from ceph/wip-readme-typo

README.rst: minor grammar/style fixes (first half)

README.rst: minor grammar/style fixes (first half)

Signed-off-by: Nathan Cutler <ncutler@suse.com>

Merge pull request #634 from ceph/wip-fix-email

Fix results-email-job scheduling

Fix email scheduling bug

The call to teuthology_schedule was buried inside an 'if dry_run:'
clause. That clause is unnecessary since teuthology_schedule handles
dry_run cases - we pass it the same value as an arg

Signed-off-by: Zack Cerza <zack@redhat.com>

Revert "suite: fixes a bug that causes the email results job to not be scheduled"

This reverts commit be5ce3662caeadd489ffada0cdda823da0fb4abd.

Merge pull request #633 from dachary/wip-openstack-ephemeral

openstack: get rid of failed attempt to use ephemerals

Merge pull request #632 from dachary/wip-os-client-config

os-client-config is fixed

openstack: get rid of failed attempt to use ephemerals

It's a hack at best.

Signed-off-by: Loic Dachary <loic@dachary.org>

os-client-config is fixed

No need to pin 1.6.3 since 1.7.3 has been released and fixes the
regression.

https://bugs.launchpad.net/python-openstackclient/+bug/1496689

Signed-off-by: Loic Dachary <loic@dachary.org>

Merge pull request #630 from dachary/wip-os-client-config

openstack: workaround os-client-config 1.7.0 regression

Merge pull request #631 from ceph/wip-13125

suite: fixes a bug that causes the email results job to not be scheduled

suite: fixes a bug that causes the email results job to not be scheduled

See: http://tracker.ceph.com/issues/13125

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

openstack: workaround os-client-config 1.7.0 regression

Signed-off-by: Loic Dachary <loic@dachary.org>

Merge pull request #629 from dachary/wip-openstack-centos

openstack: update CentOS image

openstack: update CentOS image

Get the latest CentOS 7 cloud image.

Signed-off-by: Loic Dachary <loic@dachary.org>

Merge pull request #627 from dachary/wip-openstack-gitbuilder-host

openstack: explicitly set gitbuilder_host default

Merge pull request #628 from dachary/wip-openstack-cleanup

openstack: cleanup the src directory when stopping the cluster

openstack: cleanup the src directory when stopping the cluster

So that there is no leftover from the ceph-qa-suite clones.

Signed-off-by: Loic Dachary <loic@dachary.org>

openstack: explicitly set gitbuilder_host default

So that it is easier to replace because there is no need to verify if
it's already present or not.

Signed-off-by: Loic Dachary <loic@dachary.org>

Merge pull request #626 from dachary/wip-openstack-debian

openstack: upgrade to debian 8.2.0

Merge pull request #625 from dachary/wip-clone-openstack

openstack: clone from the teuthology master

openstack: upgrade to debian 8.2.0

Signed-off-by: Loic Dachary <loic@dachary.org>

openstack: clone from the teuthology master

Do not clone from an obsolete development branch by default.

Signed-off-by: Loic Dachary <loic@dachary.org>

Merge pull request #621 from ceph/wip-13030

packaging: correctly select flavor when initializing with a remote

packaging: correctly select flavor when initializing with a remote

See: http://tracker.ceph.com/issues/13030

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #618 from dachary/wip-openstack-throttle

openstack: throttle job scheduling by default

Merge pull request #619 from dachary/wip-openstack-jessie

openstack: add jessie / debian 8 support

openstack: add jessie / debian 8 support

http://tracker.ceph.com/issues/12988 Fixes: #12988

Signed-off-by: Loic Dachary <loic@dachary.org>

openstack: throttle job scheduling by default

When running a suite with 50 jobs, it will schedule about 100 instance
creation within less than a minute. It is likely to exceed the API
quotas of the OpenStack provider (number of instance creation per
minute) and lead to instance creation failures.

Set the teuthology-suite to be called with --throttle 15 by default,
that is about 60 / 15 = 4 * 2 = ~8 server creation per minute.

http://tracker.ceph.com/issues/12977 Fixes: #12977

Signed-off-by: Loic Dachary <loic@dachary.org>

suite: add --throttle to pause between jobs

When scheduling, wait SLEEP seconds between jobs.  Useful to avoid
bursts that may be too hard on the underlying infrastructure or exceed
OpenStack API limits (server creation per minute for instance).

http://tracker.ceph.com/issues/12977 Refs: #12977

Signed-off-by: Loic Dachary <loic@dachary.org>

Merge pull request #620 from ceph/wip-12995

Fix bug in using priority 0

Fix bug in using priority 0

http://tracker.ceph.com/issues/12995

Signed-off-by: Zack Cerza <zack@redhat.com>

openstack: fix teuthology config test for clone

The test failed because it looked for upload= instead of clone=

Signed-off-by: Loic Dachary <ldachary@dachary.org>

Revert "use modern paramiko"

This reverts commit 76e1b093354dd31d94dd56299d1a245ff82db72e.

I see lots of these failures:

2015-09-06T00:02:43.199 ERROR:paramiko.transport:SSHException: Key-exchange timed out waiting for key negotiation

Merge pull request #610 from ceph/wip-rh131-cephlab

Add version check for 1.3.1, add ansible task

Reviewed-by: Dan Mick <dmick@redhat.com>

Add ansible task to install repo if config provides it

If playbook is specificed as shown in doc string usage, It will run ansible task and install
the repos so that rpm's can be installed from the provided repo

Signed-off-by: Vasu Kulkarni <vasu@redhat.com>

Don't consume config['rhbuild'] until overrides are merged

rhbuild from config was read before overrides was merged

Signed-off-by: Vasu Kulkarni <vasu@redhat.com>

Merge pull request #616 from ceph/wip-modern-paramiko

use modern paramiko

use modern paramiko

We need >= 1.15 to connect to newer OpenSSH, such as the version used
by debian jessie.

Signed-off-by: Sage Weil <sage@redhat.com>

Add support for rh version 1.3.1

This adds support for RH version 1.3.1, previously it will work
with only 1.3.0 downstream builds

Signed-off-by: Vasu Kulkarni <vasu@redhat.com>

Merge pull request #615 from dachary/wip-openstack-doc

openstack: update HOWTO

openstack: update HOWTO

Clone from master instead of a designated branch.

Signed-off-by: Loic Dachary <loic@dachary.org>

Remove libpython-dev for now

It's not available on precise and is breaking testing in the sepia lab

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #613 from ceph/wip-12934

GitbuilderProject: fetch sha1 from gitbuilder if not in the config

GitbuilderProject: fetch sha1 from gitbuilder if not in the config

If the sha1 is not provided in the job config, it needs to be fetched
from gitbuilder.

See: http://tracker.ceph.com/issues/12934

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #592 from dachary/wip-6502-openstack-v3

transparent OpenStack provisioning for teuthology-suite

openstack: explains args vs argv

Signed-off-by: Loic Dachary <loic@dachary.org>

openstack: --upload defaults to teuthology-logs.public.ceph.com

Instead of a non-ceph domain.

Signed-off-by: Loic Dachary <loic@dachary.org>

Add unit tests for OpenStack config defaults

Signed-off-by: Zack Cerza <zack@redhat.com>

openstack: make git clone configurable

When teuthology-openstack clone theuthology for the purpose of creating
the cluster, use the clone configuration value instead of a hardcoded value.

Signed-off-by: Loic Dachary <loic@dachary.org>

openstack: set config default and documentation

Add documentation for the ~/.teuthology.yaml OpenStack configuration
values and set reasonable defaults.

Signed-off-by: Loic Dachary <loic@dachary.org>

openstack: remove debug line that does not print

It misses the IP that was set previous to 20bdef4b7892178d5e0fb8fa23beae52ba143eb2

Signed-off-by: Loic Dachary <loic@dachary.org>

OpenStack(): Don't connect via paramiko directly

Instead, use teuthology.orchestra.connection.connect() - to take
advantage of its parsing of the ssh config. This way users won't run
into surprises when using OpenStack vs. other machine types.

Signed-off-by: Zack Cerza <zack@redhat.com>

connect(): Optionally override key_filename

Signed-off-by: Zack Cerza <zack@redhat.com>

connect(): Make retries optional

Signed-off-by: Zack Cerza <zack@redhat.com>

openstack: teuthology.init needs credentials to nuke

And it cannot assume it is running from the home directory of the user
although it's the case most of the time.

Signed-off-by: Loic Dachary <loic@dachary.org>

openstack: centos-7 image must be recent

Using the CentOS 7 image available at

  http://cloud.centos.org/centos/7/images/CentOS-7-x86_64-GenericCloud.qcow2

ansible will think it runs

  RedHat 7.1.1503 (Core)

and with a more recent image

  http://cloud.centos.org/centos/7/images/CentOS-7-x86_64-GenericCloud-1503.qcow2

it will think that it runs

  CentOS Linux release 7.1.1503 (Core)

http://tracker.ceph.com/issues/12725 Fixes: #12725

Signed-off-by: Loic Dachary <loic@dachary.org>
tmp

upload teuthology archive on completion

Signed-off-by: Loic Dachary <loic@dachary.org>

transparent OpenStack provisioning for teuthology-suite

The teuthology-openstack command is a wrapper around teuthology-suite
that transparently creates the teuthology cluster using OpenStack
virtual machine.

For machines of machine_type == openstack in paddles, when locking a
machine, an instance is created in the matching OpenStack cluster with:

   openstack server create redhat

And renamed into redhat042010 if assigned the IP x.x.42.10/16. It is then
locked in paddles which has been prepare with one slot for each
available IP in the range.

An OpenStack cluster is defined in the .teuthology.yaml file as follows:

openstack:
  user-data: teuthology/openstack/openstack-{os_type}-{os_version}-user-data.txt
  nameserver: 167.114.252.136
  machine:
    disk: 10 # GB
    ram: 7000 # MB
    cpus: 1
  volumes:
    count: 0
    size: 1 # GB
  flavor-select-regexp: ^vps-ssd
  subnet: 167.114.224.0/19

When the machine is unlocked, it is destroyed with

   openstack server delete redhat042010

The python-openstackclient command line is used instead of the
corresponding API because it is well maintained and documented.

Integration tests require an OpenStack tenant.

http://tracker.ceph.com/issues/6502 Fixes: #6502

Signed-off-by: Loic Dachary <loic@dachary.org>

Merge pull request #608 from ceph/wip-jessie

packaging: add jessie codename

packaging: add jessie codename

Signed-off-by: Sage Weil <sage@redhat.com>

Merge pull request #607 from ceph/wip-suite-very-verbose

teuthology-suite: very-verbose mode

teuthology-suite: very-verbose mode

If called with --dry-run --verbose --verbose (or --dry-run -vv), call
teuthology-schedule --dry-run for each job that would be scheduled. This
causes teuthology-schedule to print out each would-be job config.

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #606 from dachary/wip-11881-multipath

internal: ceph-deploy may have ceph-create-keys INFO in syslog

Merge pull request #605 from ceph/wip-ceph-deploy-commit

suite: pass dev-commit: <sha1> to ceph-deploy

internal: ceph-deploy may have ceph-create-keys INFO in syslog

This is not a concern for error and should be ignored.

Signed-off-by: Loic Dachary <loic@dachary.org>

Merge pull request #604 from ceph/wip-fix-kernel-centos-version

packaging: only mangle the version string for the ceph project

suite: pass dev-commit: <sha1> to ceph-deploy

Use the new ceph-deploy install --dev-commit <sha1> option to inform the
install.

Signed-off-by: Sage Weil <sage@redhat.com>

packaging: only mangle the version string for the ceph project

This parsing is not needed on other projects and it was breaking
the kernel task by trying to verify an incorrect version was installed.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #603 from ceph/wip-12795

kernel: use packaging.GitbuilderProject to talk with gitbuilder.

kernel: use packaging.GitbuilderProject to talk with gitbuilder.

This fixes issue: http://tracker.ceph.com/issues/12795

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #602 from ceph/wip-show-job-priority

When listing jobs, show their priority

When listing jobs, show their priority

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #601 from ceph/wip-ansible-test

test_execute_playbook(): patch Remote.reconnect()

test_execute_playbook(): patch Remote.reconnect()

Speeds up that unit test greatly.

Signed-off-by: Zack Cerza <zack@redhat.com>

valgrind.supp: ignore boost::uuid randomness from uninit memory

https://svn.boost.org/trac/boost/ticket/7248

Signed-off-by: Sage Weil <sage@redhat.com>

Merge pull request #600 from ceph/wip-ansible-logging

ansible: raise an AnsibleFailedError even when parsing fails

ansible: raise an AnsibleFailedError even when parsing fails

If _handle_failures fails to parse the yaml in the ansible error log, it
can still give the contents of the failure log to an AnsibleFailedError
in it's unparsed form.

I also changed the log.exception to log.error when an ParserError occurs
as I think it was confusing some having that extra traceback in the log.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #572 from ivotron/doc-enhancement-on-lab-components

Documentation on lab components

Adds documentation about components of a Ceph Lab

Merge pull request #599 from ceph/wip-archive-ansible-log

task.ansible: archive the ansible log even if parsing fails

task.ansible: archive the ansible log even if parsing fails

This fixes a bug where if we fail to parse the ansible log it is never
archived.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #598 from ceph/wip-ansible-log-perms

task.ansible: set the ansible_failure.yaml file mode to 0664

task.ansible: set the ansible_failure.yaml file mode to 0664

The failure log was originally created with mode 0600 which does not
allow apache to serve the file. This changes the mode to 0664 to match
the rest of the archived files from a teuthology job.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>