cobbler_profile: Add CentOS 7.1 and 7.2

Also rename the old CentOS 7 profile to reflect that it is for 7.0

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #167 from ceph/wip-rhel-pkg

rhel package changes required for ceph

Merge pull request #187 from dmick/master

users: filter userlists against 'users' later

users: filter userlists against 'users' later

Filter the user lists after the other list-modifying
operations.  This way, the user-requested 'users' variable
filter has final say over which users are considered.

Signed-off-by: Dan Mick <dan.mick@redhat.com>

Remove ceph dependency packages

Remove the additional ceph dependency packages and let the installer install them
during install task.

Signed-off-by: Vasu Kulkarni <vasu@redhat.com>

add leveldb and xmlstartlet from epel

leveldb and xmlstartlet are required for rhel to satisfy dependency

Signed-off-by: Vasu Kulkarni vasu@redhat.com

Merge pull request #185 from ceph/wip-nrpe-reload

testnodes: fixing nrpe service configuration setup order

Reviewed-by: Dan Mick <dmick@redhat.com>

testnodes: fixing nrpe service configuration setup order

- Undo commit 2f28215cf79e596142986c8835040e5b1676849b
  - Service should be restarted after nrpe.cfg is modified; not after the /etc/default/{{ nrpe_service_name }} file is modified
  - /etc/default/{{ nrpe_service_name }} gets read anytime service is restarted

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #184 from ceph/wip-nagios-clients

testnodes: updates nagios clients for lab move and yum systems

Reviewed-by: Dan Mick <dmick@redhat.com>

testnodes: Service should be restarted after all configuring is done

Signed-off-by: David Galloway <dgallowa@redhat.com>

testnodes: Updating /etc/default service filename to be OS agnostic

Signed-off-by: David Galloway <dgallowa@redhat.com>

testnodes: Update nrpe config to use long-form switches and new nagios server IPs

Signed-off-by: David Galloway <dgallowa@redhat.com>

testnodes: Change handler to use nrpe service name variable

Signed-off-by: David Galloway <dgallowa@redhat.com>

testnodes: Set OS-specific nrpe variables

Signed-off-by: David Galloway <dgallowa@redhat.com>

testnodes: Move nagios task to be OS agnostic

Also moved disk_monitoring task since it's related to nagios

Signed-off-by: David Galloway <dgallowa@redhat.com>

testnodes: Install nrpe and its plugins on rpm-based systems

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #183 from ceph/wip-extra-admins

users: Allow extending managed_admin_users

Reviewed-by: Dan Mick <dmick@redhat.com>

users: Allow extending managed_admin_users

Using a new variable called extra_admin_users, it is now possible to
grant sudo access to a set of users on a subset of hosts.

Signed-off-by: Zack Cerza <zack@redhat.com>

users: Remove false statement and reindent

The false statement was about revocation, which is correctly covered
later in the text.

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #182 from ceph/wip-puddle-updates

puddle: ceph-1.3.z adjustments

puddle: ceph-1.3.z adjustments

Now that RHCS 1.3.1 is released,

 - Tweak the version numbers in Puddle. These numbers are cosmetic and
   control the names of the directories where Puddle puts its output.
   As explained in bfc268d7d11ce4757f44a8729830dff9ecb93df9, the purpose
   of the separate output directories is to allow the RH QE team to
   distinguish between "the next micro RHCS release" (in this case,
   1.3.2), and any async updates we will ship for RHCS 1.3 in the
   meantime.

 - Add ceph-1.3.z to the list of advisories to query in Red Hat's Errata
   Tool.

Merge pull request #164 from ceph/wip-puddle-updates

puddle: add rsyncd

puddle: add rsyncd

Run rsyncd with access to the "ubuntu" directory. This will permit Red
Hat's rel-eng to view this repository layout.

Merge pull request #181 from ceph/revert-177-wip-disable-lab-extras

Revert "Disable lab-extras repo and iozone installs"

Revert "Disable lab-extras repo and iozone installs"

Merge pull request #180 from ceph/revert-176-wip-disable-fastcgi

Revert "Disable fastcgi repos and package installs"

Revert "Disable fastcgi repos and package installs"

Merge pull request #179 from dmick/master

vmlist.py: vercoi is no more

RIP in pieces

vmlist.py: vercoi is no more

Signed-off-by: Dan Mick <dan.mick@redhat.com>

Merge pull request #178 from dmick/wip-nvme

Add task to partition extra drives (like on smithi)

Add task to partition extra drives (like on smithi)

Signed-off-by: Dan Mick <dan.mick@redhat.com>

Merge pull request #177 from ceph/wip-disable-lab-extras

Disable lab-extras repo and iozone installs

Disable lab-extras repo and iozone installs

Tests invoking iozone will still fail. But it's better than nothing, at
least until we get the apt-mirror data we're missing.

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #176 from ceph/wip-disable-fastcgi

Disable fastcgi repos and package installs

Disable fastcgi repos and package installs

This is temporary since we don't have those repos on the new gitbuilder
archive yet. Once we do, we should remove these mentions and replace
them with code in teuthology tasks which need fastcgi.

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #175 from ceph/wip-apt-mirror

Point to apt-mirror.sepia.ceph.com

Point to apt-mirror.sepia.ceph.com

... instead of apt-mirror.front.sepia.ceph.com

Signed-off-by: Zack Cerza <zack@redhat.com>

Drop cephlab_apt-mirror_hack

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #174 from ceph/wip-dns

testnode: Handle interfaces stanzas with leading whitespace

Reviewed-by: Dan Mick <dmick@redhat.com>

Merge pull request #172 from ceph/wip-13851

A new playbook to install or remove packages

Handle interfaces stanzas with leading whitespace

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #173 from ceph/wip-dns

Stop using static networking configuration

Reviewed-by: Dan Mick <dmick@redhat.com>

Drop static-ip.sh

Signed-off-by: Zack Cerza <zack@redhat.com>

Undo resolvconf hackery

Signed-off-by: Zack Cerza <zack@redhat.com>

packages: add a README file

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Adds a new role and playbook for package management

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Stop using cephlab_ubuntu_network

This snippet hacks resolvconf to hardcode nameservers. We want to stop
doing that. Another commit will fix existing installs.

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #171 from ceph/rhel72

Add RHEL 7.2

Add RHEL 7.2

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #169 from ceph/wip-cobbler-ksmeta

cobbler: add ksmeta capabilities for cobbler_managed systems

cobbler: add ksmeta capabilities for cobbler_managed systems

- This change will pull the 'kickstart_metadata' variables from the secrets repos and set ksmeta options for testnodes in Cobbler

Merge pull request #166 from ceph/wip-rm-fastcgi-rhel

testnode: do not install fastcgi on RHEL

testnode: do not install fastcgi on RHEL

Red Hat QE occasionally tests full in-place OS upgrades from RHEL 6 to
RHEL 7. When mod_fastcgi is pre-installed on a RHEL 6 node, and the node
is upgraded to RHEL 7, then Apache will refuse to start unless the QE
team member also upgrades the mod_fastcgi package explicitly. (see
https://bugzilla.redhat.com/1230679 for an example)

Since RGW's Civetweb is becoming mainstream, we don't really need to
focus on mod_fastcgi for Ceph any more, and having it pre-installed on
our RHEL nodes is more of a hindrance than a help.

I'm leaving the CentOS configs alone, for now, so we don't interfere
with any upstream testing with mod_fastcgi.

Merge pull request #165 from ceph/wip-paddles-nginx

Use nginx as a reverse proxy for paddles

Use nginx as a reverse proxy for paddles

This is to avoid timeouts when gunicorn workers are busy.

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #153 from dillaman/wip-13308

testnode: install QEMU packages on Fedora, RHEL, and CentOS

Merge pull request #160 from dmick/master

vmlist.py: query multiple openstack providers, 'regions' in provider, add .conf template

Merge pull request #163 from ceph/wip-correct-hostname

testnodes: Set hostnames properly

Reviewed-by: Dan Mick <dmick@redhat.com>

testnodes: Set hostnames properly

Instead of using convoluted logic to determine whether or not to set the
hostname, just do it. The hostname module is nice and idempotent.

This was inspired by http://tracker.ceph.com/issues/13679

Signed-off-by: Zack Cerza <zack@redhat.com>

vmlist.py: remove some broken hosts from the default list

Signed-off-by: Dan Mick <dan.mick@redhat.com>

vmlist.py: Add prototype .vmlist.conf file

Signed-off-by: Dan Mick <dan.mick@redhat.com>

Add cloud-<provider-string> sections, and list them all

For dreamcompute, project id is enough; for ovh, tenant id
and region id need to be specified.  Allow those optional
fields, and loop across all providers; for regions, take a list
and subloop across all regions (if it exists).

For ovh, this means adding a config section like

[cloud-ovh-cattle]
cloud_user: <user>
cloud_password: <pass>
cloud_project_id: 5633955729735406
cloud_tenant_id: 131b886b156a4f84b5f41baf2fbe646c
cloud_region_names: GRA1, BHS1
cloud_auth_url: https://auth.cloud.ovh.net/v2.0

Signed-off-by: Dan Mick <dan.mick@redhat.com>

vmlist.py: change from 'defaults' to a 'global' section

defaults adds the entries to every section, which is wasteful.  Not
thrilled with managing my own defaults, but it seems easy enough
to make [global] section and prepopulate it (in preparation for more
sections).  Also allow 'get' to return None for nonexistent key.

Signed-off-by: Dan Mick <dan.mick@redhat.com>

Merge pull request #162 from ceph/wip-dban-autonuke

cobbler: renaming cobbler distro/profile to indicate autonuke/non-interactive

cobbler: renaming cobbler distro/profile to indicate autonuke/non-interactive

Signed-off-by: dgalloway <dgallowa@REDHAT.COM>

Merge pull request #143 from ceph/wip-cobbler-hostname

Set hostname in cobbler system profiles

Merge pull request #159 from ceph/wip-teuthology-max-job-time

Allow setting max job time for teuthology

Reviewed-by: Dan Mick <dmick@redhat.com>

Allow setting max job time for teuthology

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #158 from ceph/wip-testnodes-disk-group

testnodes: Add teuthology_user to 'disk' group

testnodes: Add teuthology_user to 'disk' group

We were already doing this for apt systems; do it for yum systems as
well

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #157 from dachary/wip-blkin

Temporarily disable blkin repo (part 2)

Temporarily disable blkin repo (part 2)

Tests that need blkin are welcome to install it in a way that makes sense.

http://tracker.ceph.com/issues/13572

Signed-off-by: Loic Dachary <ldachary@redhat.com>

Merge pull request #156 from ceph/wip-drop-blkin

Temporarily disable blkin repo

Temporarily disable blkin repo

http://tracker.ceph.com/issues/13572

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #155 from ceph/wip-puddle-updates

puddle: nginx configs for HTTPS

puddle: nginx Basic auth for /ubuntu

The production web server that hosts Ubuntu repositories will be secured
with HTTP Basic auth. Simulate this on the puddle web server as well.

/etc/nginx/htpasswd is managed outside of Ansible.

puddle: nginx configs for HTTPS

I'm adding HTTPS to our Puddle web server in order to support test Apt
repos over HTTPS.

The packages will be hosted under http://puddle.fqdn/ubuntu/

The key and certificate files are managed outside of Ansible.

Merge pull request #154 from ceph/wip-paddles

paddles: Update prod.py

paddles: Update prod.py

Fixes a bug introduced by:
https://github.com/pecan/pecan/commit/b14f4aa1682b77681a760ed948f8972a4e0d7d2a

Signed-off-by: Zack Cerza <zack@redhat.com>

testnode: install QEMU packages on Fedora, RHEL, and CentOS

Several RBD test cases require QEMU to be present to verify integration.
Ubuntu package list already included QEMU packages.

Fixes: #13308
Signed-off-by: Jason Dillaman <dillaman@redhat.com>

Merge pull request #152 from ceph/wip-paddles

paddles: Always include secrets

Reviewed-by: Dan Mick <dmick@redhat.com>

paddles: Always include secrets

Currently this only stores the db_pass var. Also fix the name of the
play.

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #151 from ceph/wip-ovh

Various changes for OVH deployment

Reviewed-by: Dan Mick <dmick@redhat.com>

teuthology: Add teuthology_yaml_extra

This is an optional var that allows arbitrary yaml fragments to be
included in teuthology.yaml

Signed-off-by: Zack Cerza <zack@redhat.com>

teuthology: Remove bogus default

Signed-off-by: Zack Cerza <zack@redhat.com>

teuthology: Serve logs under /teuthology

Signed-off-by: Zack Cerza <zack@redhat.com>

teuthology: Add tags for config and logs

Signed-off-by: Zack Cerza <zack@redhat.com>

paddles: Restart if prod.py changes

Signed-off-by: Zack Cerza <zack@redhat.com>

paddles: Always call the set_fact plays

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #150 from ceph/wip-fix-users

Don't attempt to add groups that don't exist

Reviewed-by: Dan Mick <dmick@redhat.com>

Don't attempt to add groups that don't exist

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #149 from dmick/master

Create users with same-named primary group

Create users with same-named primary group

If adding sudo, add as secondary group ('groups:').  This is more
standard, and allows for quick enumeration of "who's in sudo" by
examining /etc/group

Signed-off-by: Dan Mick <dan.mick@redhat.com>

Merge pull request #139 from ceph/wip-dban

Add dummy dban-2.3.0 entry

Merge pull request #148 from ceph/wip-teuthology

teuthology: Serve logs over http

teuthology: Serve logs over http

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #147 from ceph/wip-teuthology

teuthology: manage teuthology system users

teuthology: manage teuthology system users

'teuthology' for scheduling and 'teuthworker' for execution

This is intended to mirror our existing setups

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #138 from ceph/wip-puddle-updates

puddle: multiple updates

Merge pull request #146 from ceph/wip-paddles

Add new paddles role