vmlist.py: vercoi is no more

Signed-off-by: Dan Mick <dan.mick@redhat.com>

Merge pull request #178 from dmick/wip-nvme

Add task to partition extra drives (like on smithi)

Add task to partition extra drives (like on smithi)

Signed-off-by: Dan Mick <dan.mick@redhat.com>

Merge pull request #177 from ceph/wip-disable-lab-extras

Disable lab-extras repo and iozone installs

Disable lab-extras repo and iozone installs

Tests invoking iozone will still fail. But it's better than nothing, at
least until we get the apt-mirror data we're missing.

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #176 from ceph/wip-disable-fastcgi

Disable fastcgi repos and package installs

Disable fastcgi repos and package installs

This is temporary since we don't have those repos on the new gitbuilder
archive yet. Once we do, we should remove these mentions and replace
them with code in teuthology tasks which need fastcgi.

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #175 from ceph/wip-apt-mirror

Point to apt-mirror.sepia.ceph.com

Point to apt-mirror.sepia.ceph.com

... instead of apt-mirror.front.sepia.ceph.com

Signed-off-by: Zack Cerza <zack@redhat.com>

Drop cephlab_apt-mirror_hack

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #174 from ceph/wip-dns

testnode: Handle interfaces stanzas with leading whitespace

Reviewed-by: Dan Mick <dmick@redhat.com>

Merge pull request #172 from ceph/wip-13851

A new playbook to install or remove packages

Handle interfaces stanzas with leading whitespace

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #173 from ceph/wip-dns

Stop using static networking configuration

Reviewed-by: Dan Mick <dmick@redhat.com>

Drop static-ip.sh

Signed-off-by: Zack Cerza <zack@redhat.com>

Undo resolvconf hackery

Signed-off-by: Zack Cerza <zack@redhat.com>

packages: add a README file

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Adds a new role and playbook for package management

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Stop using cephlab_ubuntu_network

This snippet hacks resolvconf to hardcode nameservers. We want to stop
doing that. Another commit will fix existing installs.

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #171 from ceph/rhel72

Add RHEL 7.2

Add RHEL 7.2

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #169 from ceph/wip-cobbler-ksmeta

cobbler: add ksmeta capabilities for cobbler_managed systems

cobbler: add ksmeta capabilities for cobbler_managed systems

- This change will pull the 'kickstart_metadata' variables from the secrets repos and set ksmeta options for testnodes in Cobbler

Merge pull request #166 from ceph/wip-rm-fastcgi-rhel

testnode: do not install fastcgi on RHEL

testnode: do not install fastcgi on RHEL

Red Hat QE occasionally tests full in-place OS upgrades from RHEL 6 to
RHEL 7. When mod_fastcgi is pre-installed on a RHEL 6 node, and the node
is upgraded to RHEL 7, then Apache will refuse to start unless the QE
team member also upgrades the mod_fastcgi package explicitly. (see
https://bugzilla.redhat.com/1230679 for an example)

Since RGW's Civetweb is becoming mainstream, we don't really need to
focus on mod_fastcgi for Ceph any more, and having it pre-installed on
our RHEL nodes is more of a hindrance than a help.

I'm leaving the CentOS configs alone, for now, so we don't interfere
with any upstream testing with mod_fastcgi.

Merge pull request #165 from ceph/wip-paddles-nginx

Use nginx as a reverse proxy for paddles

Use nginx as a reverse proxy for paddles

This is to avoid timeouts when gunicorn workers are busy.

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #153 from dillaman/wip-13308

testnode: install QEMU packages on Fedora, RHEL, and CentOS

Merge pull request #160 from dmick/master

vmlist.py: query multiple openstack providers, 'regions' in provider, add .conf template

Merge pull request #163 from ceph/wip-correct-hostname

testnodes: Set hostnames properly

Reviewed-by: Dan Mick <dmick@redhat.com>

testnodes: Set hostnames properly

Instead of using convoluted logic to determine whether or not to set the
hostname, just do it. The hostname module is nice and idempotent.

This was inspired by http://tracker.ceph.com/issues/13679

Signed-off-by: Zack Cerza <zack@redhat.com>

vmlist.py: remove some broken hosts from the default list

Signed-off-by: Dan Mick <dan.mick@redhat.com>

vmlist.py: Add prototype .vmlist.conf file

Signed-off-by: Dan Mick <dan.mick@redhat.com>

Add cloud-<provider-string> sections, and list them all

For dreamcompute, project id is enough; for ovh, tenant id
and region id need to be specified.  Allow those optional
fields, and loop across all providers; for regions, take a list
and subloop across all regions (if it exists).

For ovh, this means adding a config section like

[cloud-ovh-cattle]
cloud_user: <user>
cloud_password: <pass>
cloud_project_id: 5633955729735406
cloud_tenant_id: 131b886b156a4f84b5f41baf2fbe646c
cloud_region_names: GRA1, BHS1
cloud_auth_url: https://auth.cloud.ovh.net/v2.0

Signed-off-by: Dan Mick <dan.mick@redhat.com>

vmlist.py: change from 'defaults' to a 'global' section

defaults adds the entries to every section, which is wasteful.  Not
thrilled with managing my own defaults, but it seems easy enough
to make [global] section and prepopulate it (in preparation for more
sections).  Also allow 'get' to return None for nonexistent key.

Signed-off-by: Dan Mick <dan.mick@redhat.com>

Merge pull request #162 from ceph/wip-dban-autonuke

cobbler: renaming cobbler distro/profile to indicate autonuke/non-interactive

cobbler: renaming cobbler distro/profile to indicate autonuke/non-interactive

Signed-off-by: dgalloway <dgallowa@REDHAT.COM>

Merge pull request #143 from ceph/wip-cobbler-hostname

Set hostname in cobbler system profiles

Merge pull request #159 from ceph/wip-teuthology-max-job-time

Allow setting max job time for teuthology

Reviewed-by: Dan Mick <dmick@redhat.com>

Allow setting max job time for teuthology

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #158 from ceph/wip-testnodes-disk-group

testnodes: Add teuthology_user to 'disk' group

testnodes: Add teuthology_user to 'disk' group

We were already doing this for apt systems; do it for yum systems as
well

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #157 from dachary/wip-blkin

Temporarily disable blkin repo (part 2)

Temporarily disable blkin repo (part 2)

Tests that need blkin are welcome to install it in a way that makes sense.

http://tracker.ceph.com/issues/13572

Signed-off-by: Loic Dachary <ldachary@redhat.com>

Merge pull request #156 from ceph/wip-drop-blkin

Temporarily disable blkin repo

Temporarily disable blkin repo

http://tracker.ceph.com/issues/13572

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #155 from ceph/wip-puddle-updates

puddle: nginx configs for HTTPS

puddle: nginx Basic auth for /ubuntu

The production web server that hosts Ubuntu repositories will be secured
with HTTP Basic auth. Simulate this on the puddle web server as well.

/etc/nginx/htpasswd is managed outside of Ansible.

puddle: nginx configs for HTTPS

I'm adding HTTPS to our Puddle web server in order to support test Apt
repos over HTTPS.

The packages will be hosted under http://puddle.fqdn/ubuntu/

The key and certificate files are managed outside of Ansible.

Merge pull request #154 from ceph/wip-paddles

paddles: Update prod.py

paddles: Update prod.py

Fixes a bug introduced by:
https://github.com/pecan/pecan/commit/b14f4aa1682b77681a760ed948f8972a4e0d7d2a

Signed-off-by: Zack Cerza <zack@redhat.com>

testnode: install QEMU packages on Fedora, RHEL, and CentOS

Several RBD test cases require QEMU to be present to verify integration.
Ubuntu package list already included QEMU packages.

Fixes: #13308
Signed-off-by: Jason Dillaman <dillaman@redhat.com>

Merge pull request #152 from ceph/wip-paddles

paddles: Always include secrets

Reviewed-by: Dan Mick <dmick@redhat.com>

paddles: Always include secrets

Currently this only stores the db_pass var. Also fix the name of the
play.

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #151 from ceph/wip-ovh

Various changes for OVH deployment

Reviewed-by: Dan Mick <dmick@redhat.com>

teuthology: Add teuthology_yaml_extra

This is an optional var that allows arbitrary yaml fragments to be
included in teuthology.yaml

Signed-off-by: Zack Cerza <zack@redhat.com>

teuthology: Remove bogus default

Signed-off-by: Zack Cerza <zack@redhat.com>

teuthology: Serve logs under /teuthology

Signed-off-by: Zack Cerza <zack@redhat.com>

teuthology: Add tags for config and logs

Signed-off-by: Zack Cerza <zack@redhat.com>

paddles: Restart if prod.py changes

Signed-off-by: Zack Cerza <zack@redhat.com>

paddles: Always call the set_fact plays

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #150 from ceph/wip-fix-users

Don't attempt to add groups that don't exist

Reviewed-by: Dan Mick <dmick@redhat.com>

Don't attempt to add groups that don't exist

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #149 from dmick/master

Create users with same-named primary group

Create users with same-named primary group

If adding sudo, add as secondary group ('groups:').  This is more
standard, and allows for quick enumeration of "who's in sudo" by
examining /etc/group

Signed-off-by: Dan Mick <dan.mick@redhat.com>

Merge pull request #139 from ceph/wip-dban

Add dummy dban-2.3.0 entry

Merge pull request #148 from ceph/wip-teuthology

teuthology: Serve logs over http

teuthology: Serve logs over http

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #147 from ceph/wip-teuthology

teuthology: manage teuthology system users

teuthology: manage teuthology system users

'teuthology' for scheduling and 'teuthworker' for execution

This is intended to mirror our existing setups

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #138 from ceph/wip-puddle-updates

puddle: multiple updates

Merge pull request #146 from ceph/wip-paddles

Add new paddles role

pulpito: Restart if the config changes

Signed-off-by: Zack Cerza <zack@redhat.com>

paddles: Add new paddles role

Signed-off-by: Zack Cerza <zack@redhat.com>

Set hostname in cobbler system profiles

This should take care of a problem we encountered in issue 12672
http://tracker.ceph.com/issues/12672

Signed-off-by: dgalloway <dgallowa@REDHAT.COM>

Merge pull request #145 from ceph/wip-hostname

testnode: set_hostname should be a global task

Update documentation for lab_domain var

testnode: set_hostname should be a global task

Signed-off-by: dgalloway <dgallowa@REDHAT.COM>

puddle: new RH-COMMON advisory undergoing testing

Adjust the RHEL 6 and 7 RH-COMMON Puddle configs for a new async update
that will be undergoing testing.

puddle: output RHCEPH 1.3 to separate locations

I periodically generate Puddles for both RHCS 1.3.0-async and 1.3.1.
It's confusing when these Puddles exist in the same parent directory.
Split them up into two directories so it is easier to understand what
each Puddle is.

Merge pull request #144 from ceph/wip-13237

Remove custom qemu packages

Remove custom qemu packages

Signed-off-by: dgalloway <dgallowa@REDHAT.COM>

Merge pull request #132 from ceph/wip-magna-smart

Updates to nagios disk monitoring script

Reviewed-by: Dan Mick <dmick@redhat.com>

Merge pull request #142 from ceph/wip-12739

Use local epel mirrorlist

Configure yum to use local epel mirrorlists

Signed-off-by: dgalloway <dgallowa@REDHAT.COM>

Merge pull request #141 from ceph/wip-rm-cuttlefish-repo

testnode: rm cuttlefish repository

testnode: rm cuttlefish repository

Prior to this commit, every RHEL 6 and CentOS 6 node would automatically
have the cuttlefish repository enabled.

This hardcoding seems wrong. Now that we've moved the RPMs off of
ceph.com to download.ceph.com, it actually breaks nodes. So let's stop
hard-coding this one altogether.

Reported-by: Warren Usui <wusui@redhat.com>

Merge pull request #140 from ceph/wip-13203-epel-fcgi

testnode: add fcgi to the list of EPEL packages

testnode: add fcgi to the list of EPEL packages

For Ceph upstream, we rely on fcgi from EPEL.

http://tracker.ceph.com/issues/13203 Refs: #13203

Add dummy dban-2.3.0 entry

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #135 from ceph/wip-cobbler-rescue

cobbler_profile: add non-iso image support and inktank-rescue

Make multiline output default

Found typo in conditional

Merge pull request #137 from ceph/rm-ceph-extras

rm ceph-extras repository config

Merge pull request #136 from dmick/master

Some fixes to vmlist.py: update host lists, fix error from missing cloud config items

rm ceph-extras repository config

This repository contains packages that we don't have time to continue
maintaining. In particular, the CentOS 6 QEMU packages were vulnerable
to VENOM (CVE-2015-3456) and no users should rely on them. The other
packages in "ceph-extras" will continue to incur security issues over
time.

With the recent migration from "ceph.com" -> "download.ceph.com", we've
chosen not to copy these "ceph-extras" files over to the new locations.

vmlist.py: default cloud_* so their absence doesn't cause errors

Signed-off-by: Dan Mick <dan.mick@redhat.com>

vmlist.py: senta01 was inexplicably missing (and made me miss ursula!)

Signed-off-by: Dan Mick <dan.mick@redhat.com>

vmlist.py: mira004 is back from the dead

Signed-off-by: Dan Mick <dan.mick@redhat.com>

Add distro_prep tag to distro_prep.yml

Signed-off-by: Zack Cerza <zack@redhat.com>