testnode: do not install fastcgi on RHEL

Red Hat QE occasionally tests full in-place OS upgrades from RHEL 6 to
RHEL 7. When mod_fastcgi is pre-installed on a RHEL 6 node, and the node
is upgraded to RHEL 7, then Apache will refuse to start unless the QE
team member also upgrades the mod_fastcgi package explicitly. (see
https://bugzilla.redhat.com/1230679 for an example)

Since RGW's Civetweb is becoming mainstream, we don't really need to
focus on mod_fastcgi for Ceph any more, and having it pre-installed on
our RHEL nodes is more of a hindrance than a help.

I'm leaving the CentOS configs alone, for now, so we don't interfere
with any upstream testing with mod_fastcgi.

Merge pull request #165 from ceph/wip-paddles-nginx

Use nginx as a reverse proxy for paddles

Use nginx as a reverse proxy for paddles

This is to avoid timeouts when gunicorn workers are busy.

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #153 from dillaman/wip-13308

testnode: install QEMU packages on Fedora, RHEL, and CentOS

Merge pull request #160 from dmick/master

vmlist.py: query multiple openstack providers, 'regions' in provider, add .conf template

Merge pull request #163 from ceph/wip-correct-hostname

testnodes: Set hostnames properly

Reviewed-by: Dan Mick <dmick@redhat.com>

testnodes: Set hostnames properly

Instead of using convoluted logic to determine whether or not to set the
hostname, just do it. The hostname module is nice and idempotent.

This was inspired by http://tracker.ceph.com/issues/13679

Signed-off-by: Zack Cerza <zack@redhat.com>

vmlist.py: remove some broken hosts from the default list

Signed-off-by: Dan Mick <dan.mick@redhat.com>

vmlist.py: Add prototype .vmlist.conf file

Signed-off-by: Dan Mick <dan.mick@redhat.com>

Add cloud-<provider-string> sections, and list them all

For dreamcompute, project id is enough; for ovh, tenant id
and region id need to be specified.  Allow those optional
fields, and loop across all providers; for regions, take a list
and subloop across all regions (if it exists).

For ovh, this means adding a config section like

[cloud-ovh-cattle]
cloud_user: <user>
cloud_password: <pass>
cloud_project_id: 5633955729735406
cloud_tenant_id: 131b886b156a4f84b5f41baf2fbe646c
cloud_region_names: GRA1, BHS1
cloud_auth_url: https://auth.cloud.ovh.net/v2.0

Signed-off-by: Dan Mick <dan.mick@redhat.com>

vmlist.py: change from 'defaults' to a 'global' section

defaults adds the entries to every section, which is wasteful.  Not
thrilled with managing my own defaults, but it seems easy enough
to make [global] section and prepopulate it (in preparation for more
sections).  Also allow 'get' to return None for nonexistent key.

Signed-off-by: Dan Mick <dan.mick@redhat.com>

Merge pull request #162 from ceph/wip-dban-autonuke

cobbler: renaming cobbler distro/profile to indicate autonuke/non-interactive

cobbler: renaming cobbler distro/profile to indicate autonuke/non-interactive

Signed-off-by: dgalloway <dgallowa@REDHAT.COM>

Merge pull request #143 from ceph/wip-cobbler-hostname

Set hostname in cobbler system profiles

Merge pull request #159 from ceph/wip-teuthology-max-job-time

Allow setting max job time for teuthology

Reviewed-by: Dan Mick <dmick@redhat.com>

Allow setting max job time for teuthology

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #158 from ceph/wip-testnodes-disk-group

testnodes: Add teuthology_user to 'disk' group

testnodes: Add teuthology_user to 'disk' group

We were already doing this for apt systems; do it for yum systems as
well

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #157 from dachary/wip-blkin

Temporarily disable blkin repo (part 2)

Temporarily disable blkin repo (part 2)

Tests that need blkin are welcome to install it in a way that makes sense.

http://tracker.ceph.com/issues/13572

Signed-off-by: Loic Dachary <ldachary@redhat.com>

Merge pull request #156 from ceph/wip-drop-blkin

Temporarily disable blkin repo

Temporarily disable blkin repo

http://tracker.ceph.com/issues/13572

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #155 from ceph/wip-puddle-updates

puddle: nginx configs for HTTPS

puddle: nginx Basic auth for /ubuntu

The production web server that hosts Ubuntu repositories will be secured
with HTTP Basic auth. Simulate this on the puddle web server as well.

/etc/nginx/htpasswd is managed outside of Ansible.

puddle: nginx configs for HTTPS

I'm adding HTTPS to our Puddle web server in order to support test Apt
repos over HTTPS.

The packages will be hosted under http://puddle.fqdn/ubuntu/

The key and certificate files are managed outside of Ansible.

Merge pull request #154 from ceph/wip-paddles

paddles: Update prod.py

paddles: Update prod.py

Fixes a bug introduced by:
https://github.com/pecan/pecan/commit/b14f4aa1682b77681a760ed948f8972a4e0d7d2a

Signed-off-by: Zack Cerza <zack@redhat.com>

testnode: install QEMU packages on Fedora, RHEL, and CentOS

Several RBD test cases require QEMU to be present to verify integration.
Ubuntu package list already included QEMU packages.

Fixes: #13308
Signed-off-by: Jason Dillaman <dillaman@redhat.com>

Merge pull request #152 from ceph/wip-paddles

paddles: Always include secrets

Reviewed-by: Dan Mick <dmick@redhat.com>

paddles: Always include secrets

Currently this only stores the db_pass var. Also fix the name of the
play.

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #151 from ceph/wip-ovh

Various changes for OVH deployment

Reviewed-by: Dan Mick <dmick@redhat.com>

teuthology: Add teuthology_yaml_extra

This is an optional var that allows arbitrary yaml fragments to be
included in teuthology.yaml

Signed-off-by: Zack Cerza <zack@redhat.com>

teuthology: Remove bogus default

Signed-off-by: Zack Cerza <zack@redhat.com>

teuthology: Serve logs under /teuthology

Signed-off-by: Zack Cerza <zack@redhat.com>

teuthology: Add tags for config and logs

Signed-off-by: Zack Cerza <zack@redhat.com>

paddles: Restart if prod.py changes

Signed-off-by: Zack Cerza <zack@redhat.com>

paddles: Always call the set_fact plays

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #150 from ceph/wip-fix-users

Don't attempt to add groups that don't exist

Reviewed-by: Dan Mick <dmick@redhat.com>

Don't attempt to add groups that don't exist

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #149 from dmick/master

Create users with same-named primary group

Create users with same-named primary group

If adding sudo, add as secondary group ('groups:').  This is more
standard, and allows for quick enumeration of "who's in sudo" by
examining /etc/group

Signed-off-by: Dan Mick <dan.mick@redhat.com>

Merge pull request #139 from ceph/wip-dban

Add dummy dban-2.3.0 entry

Merge pull request #148 from ceph/wip-teuthology

teuthology: Serve logs over http

teuthology: Serve logs over http

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #147 from ceph/wip-teuthology

teuthology: manage teuthology system users

teuthology: manage teuthology system users

'teuthology' for scheduling and 'teuthworker' for execution

This is intended to mirror our existing setups

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #138 from ceph/wip-puddle-updates

puddle: multiple updates

Merge pull request #146 from ceph/wip-paddles

Add new paddles role

pulpito: Restart if the config changes

Signed-off-by: Zack Cerza <zack@redhat.com>

paddles: Add new paddles role

Signed-off-by: Zack Cerza <zack@redhat.com>

Set hostname in cobbler system profiles

This should take care of a problem we encountered in issue 12672
http://tracker.ceph.com/issues/12672

Signed-off-by: dgalloway <dgallowa@REDHAT.COM>

Merge pull request #145 from ceph/wip-hostname

testnode: set_hostname should be a global task

Update documentation for lab_domain var

testnode: set_hostname should be a global task

Signed-off-by: dgalloway <dgallowa@REDHAT.COM>

puddle: new RH-COMMON advisory undergoing testing

Adjust the RHEL 6 and 7 RH-COMMON Puddle configs for a new async update
that will be undergoing testing.

puddle: output RHCEPH 1.3 to separate locations

I periodically generate Puddles for both RHCS 1.3.0-async and 1.3.1.
It's confusing when these Puddles exist in the same parent directory.
Split them up into two directories so it is easier to understand what
each Puddle is.

Merge pull request #144 from ceph/wip-13237

Remove custom qemu packages

Remove custom qemu packages

Signed-off-by: dgalloway <dgallowa@REDHAT.COM>

Merge pull request #132 from ceph/wip-magna-smart

Updates to nagios disk monitoring script

Reviewed-by: Dan Mick <dmick@redhat.com>

Merge pull request #142 from ceph/wip-12739

Use local epel mirrorlist

Configure yum to use local epel mirrorlists

Signed-off-by: dgalloway <dgallowa@REDHAT.COM>

Merge pull request #141 from ceph/wip-rm-cuttlefish-repo

testnode: rm cuttlefish repository

testnode: rm cuttlefish repository

Prior to this commit, every RHEL 6 and CentOS 6 node would automatically
have the cuttlefish repository enabled.

This hardcoding seems wrong. Now that we've moved the RPMs off of
ceph.com to download.ceph.com, it actually breaks nodes. So let's stop
hard-coding this one altogether.

Reported-by: Warren Usui <wusui@redhat.com>

Merge pull request #140 from ceph/wip-13203-epel-fcgi

testnode: add fcgi to the list of EPEL packages

testnode: add fcgi to the list of EPEL packages

For Ceph upstream, we rely on fcgi from EPEL.

http://tracker.ceph.com/issues/13203 Refs: #13203

Add dummy dban-2.3.0 entry

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #135 from ceph/wip-cobbler-rescue

cobbler_profile: add non-iso image support and inktank-rescue

Make multiline output default

Found typo in conditional

Merge pull request #137 from ceph/rm-ceph-extras

rm ceph-extras repository config

Merge pull request #136 from dmick/master

Some fixes to vmlist.py: update host lists, fix error from missing cloud config items

rm ceph-extras repository config

This repository contains packages that we don't have time to continue
maintaining. In particular, the CentOS 6 QEMU packages were vulnerable
to VENOM (CVE-2015-3456) and no users should rely on them. The other
packages in "ceph-extras" will continue to incur security issues over
time.

With the recent migration from "ceph.com" -> "download.ceph.com", we've
chosen not to copy these "ceph-extras" files over to the new locations.

vmlist.py: default cloud_* so their absence doesn't cause errors

Signed-off-by: Dan Mick <dan.mick@redhat.com>

vmlist.py: senta01 was inexplicably missing (and made me miss ursula!)

Signed-off-by: Dan Mick <dan.mick@redhat.com>

vmlist.py: mira004 is back from the dead

Signed-off-by: Dan Mick <dan.mick@redhat.com>

Add distro_prep tag to distro_prep.yml

Signed-off-by: Zack Cerza <zack@redhat.com>

Add dummy inktank-rescue entry

Signed-off-by: Zack Cerza <zack@redhat.com>

Add inktank-rescue to cobbler.yml

Signed-off-by: Zack Cerza <zack@redhat.com>

cobbler_profile: Import kernel/initrd distros

This will be useful for things like rescue images.

Signed-off-by: Zack Cerza <zack@redhat.com>

cobbler_profile: Split out ISO importing

So that we can have a separate codepath for importing distros from
non-ISO sources.

Signed-off-by: Zack Cerza <zack@redhat.com>

Cobbler: Create other_image_dir

Signed-off-by: Zack Cerza <zack@redhat.com>

Cobbler: Add other_image_dir default

For storing non-iso images for distro/profile creation

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #134 from ceph/wip-fix-distros

cobbler_profile fixes

Ubuntu 14.04.2 -> 14.04.3

14.04.2 is deprecated and ISOs are no longer shipped.

Signed-off-by: Zack Cerza <zack@redhat.com>

CentOS 6.6 -> 6.7

6.6 is deprecated and ISOs are no longer shipped.

Signed-off-by: Zack Cerza <zack@redhat.com>

Add dummy entry for RHEL-6.7

Signed-off-by: Zack Cerza <zack@redhat.com>

Don't attempt to manage tftpd on apt systems

Signed-off-by: Zack Cerza <zack@redhat.com>

Revert "Simplify extra_distros logic"

This reverts commit 0e5eaacba746c698315755b2f8464043d8f37910.

Merge pull request #133 from ceph/wip-pulpito-playbook

Adds the pulpito playbook

Adds the pulpito playbook

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Some useful comments explaining functions

Count num failed drives and output in first line of multiline output

Proceed as JBOD if not RAID

Merge pull request #131 from ceph/wip-pulpito

Pulpito role

Add pulpito role to cephlab.yml

Signed-off-by: Zack Cerza <zack@redhat.com>

Add role to deploy pulpito

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #130 from ceph/wip-12921

downstream-setup: yum_repos will now be removed during cleanup

downstream-setup: yum_repos will now be removed during cleanup

Fixes: http://tracker.ceph.com/issues/12921
Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #129 from ceph/wip-smart

smart.pl multiline mode: show failed/missing drives as well

Reviewed-by: David Galloway <dgalloway@redhat.com>

smart.pl: drive numbers are 1-based

Signed-off-by: Dan Mick <dan.mick@redhat.com>