testnodes: Check for and remove custom apt repos

http://tracker.ceph.com/issues/12794

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #118 from ceph/wip-skip-entitlements-sepia

Common: If no entitlements, skip repo replacement

Common: If no entitlements, skip repo replacement

We were seeing "error while evaluating conditional: replace_repos" when
running against RHEL nodes which were missing entitlements. Even though
that won't be a particularly positive scenario, this was a bug that
should be fixed.

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #117 from ceph/wip-epel-mirrorlist

Enable mirrorlist for epel repo

Enable mirrorlist for epel repo

Signed-off-by: dgalloway <dgallowa@REDHAT.COM>

Merge pull request #116 from ceph/wip-12693

downstream-setup: separate cleanup and setup tasks into their own files

downstream-setup: separate cleanup and setup tasks into their own files

This is a refactor that makes this role a bit easier to understand and
use. I've simplified main.yml to only include setup.yml and cleanup.yml.
This separation of cleanup and setup related tasks make it a bit easier
to understand.

Also fixes this bug: http://tracker.ceph.com/issues/12693

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #111 from ceph/wip-12670

testnode: make teuthology_user passwordless

Reviewed-by: Dan Mick <dmick@redhat.com>

testnode: make teuthology_user passwordless

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #115 from ceph/distill-git-url

puddle: accept hostkey when cloning distill's rcm-metadata.git

puddle: accept hostkey when cloning distill's rcm-metadata.git

I recently switched rcm-metadata.git to use the git:// protocol instead
of http://. When operating on a repository that uses a
protocol other than HTTP, Ansible's git module unconditionally requires
accept_hostkey to be set.

(See https://github.com/ansible/ansible-modules-core/issues/1931 for the
upstream report.)

Merge pull request #114 from ceph/wip-fix-ssh-keys

users: fixes bug related to ssh key update retries

users: fixes bug related to ssh key update retries

When updating ssh keys for users we implemented a do until loop that
will account for transient issues when downloading the key from github.
The problem was that if the url fails then the var we were registering
was never created and the 'until' block errors out trying to check it.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #113 from ceph/wip-dev-puddle

puddle: add ceph-1.3.z config

puddle: add ceph-1.3.z config

Add a new Puddle configuration file for ceph-1.3.z.

Output to the "dev-puddle" location for now.

In RHCeph 1.3.1, we're introducing Foreman, which has a dependency on
the SCL product. Add this to the Puddle configuration for the
"Installer" repo.

puddle: add "Installer" repo to ceph-1.3-rhel-7-async

I missed adding this one when I created this file. add it here.

Merge pull request #112 from ceph/wip-dev-puddle

puddle: add "dev-puddle" virtualhost

puddle: add "dev-puddle" virtualhost

In DNS, dev-puddle is a CNAME to puddle. Set up Nginx's configuration
file to handle this new name and route the requests to a dedicated
"dev-puddle" htdocs directory.

Update the nginx task to create multiple docroots, and add "dev-puddle"
to be the second one.

puddle: rm unused nginx parameter

We weren't using this and it's just cruft. delete it

Merge pull request #110 from ceph/wip-testnode-doc-update

tesnode: add `ceph_packages` to the README

Reviewed-by: Dan Mick <dmick@redhat.com>

testnode: rename ceph_packages to ceph_packages_to_remove

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tesnode: add `ceph_packages` to the README

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #109 from dachary/wip-python-rados

python-rados does not exist in firefly

python-rados does not exist in firefly

It must be removed if present otherwise a firefly installation will
fail with:

Package python-ceph is obsoleted by python-rados,
  but obsoleting package does not provide for requirements

or similar errors.

Signed-off-by: Loic Dachary <loic@dachary.org>

Merge pull request #108 from ceph/wip-fix-epel-centos

testnode: add epel_packages for centos 6 and 7

Reviewed-by: Dan Mick <dmick@redhat.com>

testnode: add epel_packages for centos 6 and 7

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #106 from ceph/wip-rhel-entitlements

Wip rhel entitlements

Merge pull request #103 from jcsp/wip-centos7-xfs

roles: add xfsprogs-devel for centos7

Removed erroneous check

Fixes
1) already subscribed machines w/ bad repos weren't cleaned
2) enable repos would always run if 'rhsm_repos|length > 0' conditional used

Signed-off-by: dgalloway <dgallowa@REDHAT.COM>

Merge pull request #107 from ceph/wip-keys

use static versions of release.asc and autobuild.asc

use static versions of release.asc and autobuild.asc

Pulling them out of gitweb hits the server too hard.

Signed-off-by: Sage Weil <sage@redhat.com>

Merge pull request #104 from ceph/wip-var-loading-order

testnode: fix var file loading order

testnode: fix var file loading order

We want to load distro specific variables before we load major version
specific variables. Loading of vars should happen in this order: package
manager, distro, major version, version.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

roles: add xfsprogs-devel for centos7

Fixes: #12658
Signed-off-by: John Spray <john.spray@redhat.com>

Merge pull request #102 from ceph/wip-epel-packages

testnode: put epel packages in their own list for rhel 6 and 7

Reviewed-by: Dan Mick <dmick@redhat.com>
Reviewed-by: Zack Cerza <zcerza@redhat.com>

Merge pull request #101 from ceph/wip-revoke-users

Add the ability to revoke user accounts

testnode: explicitly enable the epel repo when installing python-pip

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

testnode: put epel packages in their own list for rhel 6 and 7

This separates packages we install from epel into their own list for rhel 6 and 7.
We do this so that we can install them with the epel repo explicitly enabled.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Users: Fix broken example in README.rst

Signed-off-by: Zack Cerza <zack@redhat.com>

Users: Add the ability to revoke user accounts

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #96 from ceph/wip-ansible-failures-module

A callback plugin that logs failure message

A callback plugin that logs failure messages

If the environment variable ANSIBLE_FAILURE_LOG is present then a log of
all failures in the playbook will be persisted to the file
path given in the ANSIBLE_FAILURE_LOG.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #99 from dmick/master

testnode/tasks/ntp: make sure ntpd is started

testnode/tasks/ntp: make sure ntpd is started

Tested with:

$ ansible-playbook -i ../ceph-octo-secrets/ansible/inventory/octo
--limit 'magna064*' --tag ntp-client testnodes.yml

Fixes: #12603
Signed-off-by: Dan Mick <dan.mick@redhat.com>

Merge pull request #90 from ceph/wip-wrap-readme

doc: wrap README.rst at 80 characters

Merge pull request #91 from ceph/wip-puddle-updates

Puddle updates

Merge pull request #97 from ceph/wip-teuthology-role

Add teuthology role and playbook

Add teuthology role and playbook

So far, it only depends on the sudo and users roles. The playbook also
runs the common role.

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #95 from ceph/revert-94-wip-12424

Revert "Adds cgroups packages and net_cls kernel module to ubuntu sys…

Revert "Adds cgroups packages and net_cls kernel module to ubuntu systems"

Merge pull request #94 from ivotron/wip-12424

Adds cgroups packages and net_cls kernel module to ubuntu systems

Adds cgroups packages and net_cls kernel module to ubuntu systems

This commit is part of the work for http://tracker.ceph.com/issues/12424
which enables the ceph task in ceph/ceph-qa-suite to create and place
osd/mon/mds in control groups.

For ubuntu, kernels for precise and up have CONFIG_CGROUP_* enabled, so
the only thing that it's required is to install cgroup-lite which is a
service that mounts the cgroups virtual FS. The cgroup-bin package will
also be used from the ceph task to manipulate (create/modify/delete)
control groups.

The net_cls subsystem is included as a module (cls_cgroup) and is not
enabled by cgroup-lite, i.e. it has to be explicitly loaded. so we add
it to /etc/modules

puddle: add ceph-1.3.0 to async configs

Similar to the change in commit
84818a7a7bd00a3c18f0326c312dc3abef77c05e, add the the CEPH-1.3 release
to the CEPH-ASYNC config files.

The purpose of this change is to make it easier for QE to consume
the builds in Puddle repos that correspond to ASYNC advisories.

puddle: update distill directory name for ceph 1.3

The final Brew tag for 1.3 was "-compose", not "-candidate" or
"-pending".

puddle: add ceph-1.2 to async configs

Add the the CEPH-1.2 release to the CEPH-ASYNC config files.

The purpose of this change is to make it easier for QE to consume
the builds in Puddle repos that correspond to ASYNC advisories.

Prior to this change, QE had to make sure to enable the production Ceph
repositories with subscription-manager before using the packages in an
ASYNC advisory's Puddle. With this change, all the latest "1.2.3"
packages will be combined together with the "1.2-async" packages into a
single Puddle.

This has a side-effect advantage in that we can simplify the "externals"
sections of these config files.

Merge pull request #93 from ceph/wip-cobbler-update-cm

Cobbler: update CM repos before running ansible

Cobbler: update CM repos before running ansible

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #92 from ceph/wip-debug-distros

Common: Log the OS/version of each node

Common: Log the OS/version of each node

I think this will help with debugging.

Signed-off-by: Zack Cerza <zack@redhat.com>

doc: wrap README.rst at 80 characters

My Eyes! The goggles do nothing!

Merge pull request #89 from ceph/wip-rhel67

Add RHEL 6.7

Add RHEL 6.7

Signed-off-by: Zack Cerza <zack@redhat.com>

Simplify extra_distros logic

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #88 from ceph/wip-ipmi

Cobbler IPMI configuration and utilities

Merge pull request #75 from ceph/wip-testnode-docs

Documentation for the testnode role.

Reviewed-by: Dan Mick <dmick@redhat.com>

cobbler_systems: populate IPMI information

Signed-off-by: Zack Cerza <zack@redhat.com>

Cobbler: ship ipmi-related utility scripts

console.sh, reboot.sh, and reimage.sh

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #87 from ceph/wip-cobbler-users

Cobbler: enable adding more user accounts

Reviewed-by: Dan Mick <dmick@redhat.com>

Cobbler: change default password

So that it's usably by third parties

Signed-off-by: Zack Cerza <zack@redhat.com>

Cobbler: discover port in restart.yml

... because that's the only place it's needed

Signed-off-by: Zack Cerza <zack@redhat.com>

Cobbler: write users.digest base on a var

... instead of a template, so we can add users on a per-lab basis.

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #86 from ceph/wip-12380

Retry authorized_keys updates

Retry authorized_keys updates

http://tracker.ceph.com/issues/12380
We're seeing transient issues connecting to githubusercontent.com. This
commit will cause ansible to retry three times with a five-second delay
between tries. Hopefully that's good enough.

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #85 from ceph/wip-12381

testnode: add dbench and bonnie++ for centos7

testnode: ensure yum-utils is present before yum-complete-transaction

This isn't there on centos 7 causing the yum-complete-transaction task
to fail.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

testnode: add dbench and bonnie++ to package list for centos7

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #84 from ceph/wip-12371

testnode: remove scsci-target-utils and iscsi-initiator-utils

testnode: remove scsci-target-utils and iscsi-initiator-utils

We don't want to install these anymore as they're causing issues with
the teuthology install task because of their dependency on librados.

See: http://tracker.ceph.com/issues/12371

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #82 from ceph/wip-yum-core-base

Install the Core and Base groups on rpm systems

Install the Core and Base groups on rpm systems

We need to make sure basic things like bzip2 are installed.

Signed-off-by: Zack Cerza <zack@redhat.com>

f; more review feedback from dmick

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

f; attempt to make comments better in defaults/main.yml

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

f; try to explain how packages and common_packages work

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

testnode: adds common_apt_repos and apt_repos to the docs and defaults

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

f; review feedback from dan

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

testnode: add documentation for this role

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

testnode: add common_packages to defaults/main.yml

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #81 from dmick/master

Fix warning in 'when' clause in 'Create the teuthology user.'

Fix warning in 'when' clause in 'Create the teuthology user.'

Warnings appeared each run:

[WARNING]: It is unnecessary to use '{{' in conditionals, leave variables in
loop expressions bare

Apparently 'when' clauses are already Jinja2 expressions, and so don't
need the normal variable quoting.

Signed-off-by: Dan Mick <dan.mick@redhat.com>

Merge pull request #80 from ceph/wip-remove-mandatory-secrets-path

common: |mandatory is not needed for secrets_path, it is always defined.

Reviewed-by: Dan Mick <dmick@redhat.com>

common: |mandatory is not needed for secrets_path, it is always defined.

secrets_path comes from the secrets role and it is always defined.  It
will default to /etc/ansible/secrets if the env var ANSIBLE_SECRETS_PATH
is not defined. You can also define secrets_path by passing a variable
to the playbook being used.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #79 from ceph/wip-cobbler-git

cobbler: install git

Merge pull request #77 from ceph/wip-cobbler-system-defaults

cobbler_systems: properly find defaults

Merge pull request #78 from ceph/wip-cobbler-rh-firewall

Cobbler: ignore firewalld if it's not running

cobbler: install git

Signed-off-by: Zack Cerza <zack@redhat.com>

Cobbler: ignore firewalld if it's not running

Signed-off-by: Zack Cerza <zack@redhat.com>

cobbler_systems: properly find defaults

For interface and kernel_options

Signed-off-by: Zack Cerza <zack@redhat.com>

Make firewall changes immediate

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #76 from ceph/wip-cobbler-rh-firewall

Manage the firewall on RHEL/CentOS 6/7

Manage the firewall on RHEL/CentOS 6/7

On EL7, poke holes for http and https. On EL6, just stop iptables.

Signed-off-by: Zack Cerza <zack@redhat.com>