cobbler_profile: add profiles for ubuntu precise, trusty and vivid.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

cobbler: add new ubuntu preseed and kernel snippet to defaults/main.yml

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

cobbler: adds a snippet to create post install kernel options.

This snippet is used by the cephlab_preseed_late script to set the
GRUB_CMDLINE_LINUX value in /etc/defaults/grub to what's defined by
the system, profile or distro that's currently being imaged.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

cobbler: adds a ubuntu preseed that can be used for multiple versions.

This uses the os_version cobbler variable to decide which version of
ubuntu it's using. This variable is set on the distro that is currently
using the cephlab_ubuntu preseed.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #34 from ceph/wip-distill-updates

puddle: use distill configs from rcm-metadata.git

puddle: skip some cleanup in ceph-distill

The ceph-distill script was deleting some files that distill doesn't
create any more (because we now set "skip_phase = createiso"). Stop
attempting to delete these.

puddle: distill uses "compose" tag

See RT #345524

puddle: use distill configs from rcm-metadata.git

Originally I thought that we could store each of distill's individual
configuration files in ceph-cm-ansible.git, but this is becoming
untenable because there are too many templated values, and I'm trying to
sync these files closely with the copies from Red Hat's rel-eng team.

This commit uses the git module to clone a rcm-metadata.git repository
to /etc/distill and alters the "ceph-distill" wrapper script to use that
location instead.

Since the individual templated files are no longer needed (the full
versions are in rcm-metadata.git), delete them from the tree here.

Merge pull request #33 from ceph/wip-trigger

Don't block while running the larger playbook

Don't block while running the larger playbook

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #32 from ceph/wip-nginx-install

puddle: move nginx params on to multiple lines

puddle: move nginx params on to multiple lines

Follow the convention of putting each parameter on multiple lines,
instead of cramming everything into one line.

This is a style change only; no functional change.

Signed-off-by: Ken Dreyer <kdreyer@redhat.com>

Merge pull request #31 from ceph/wip-s3tests-11637

Install python-devel and python-virtualenv on rhel 7.x

Merge pull request #24 from dmick/master

Add tools subdir containing vmlist.py script

Install python-devel and python-virtualenv on rhel 7.x

re: http://tracker.ceph.com/issues/11637

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #29 from ceph/cobbler-import-distro

Add cobbler_role profile

Move ISO dir/mountpoint creation to cobbler role

Signed-off-by: Zack Cerza <zack@redhat.com>

cobbler: update distro signatures

Signed-off-by: Zack Cerza <zack@redhat.com>

Add cobbler_role profile

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #28 from ceph/wip-fix-rhel6

Fix RHEL6

Merge pull request #27 from ceph/wip-11567

Make rhel 7.0 tasks run on any rhel 7.x version.

Ensure rpcbind is started before starting nfs-server.

This fixes a bug where on rhel 7.1 nfs-server failed to start because
rpcbind was not running.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Install SELinux python bindings on RHEL6

Signed-off-by: Zack Cerza <zack@redhat.com>

Use a new snippet for configuring disks on RHEL

Signed-off-by: Zack Cerza <zack@redhat.com>

Make rhel 7.0 tasks run on any rhel 7.x version.

This shouldn't have been restricted to only 7.0 in the first place. We
noticed this problem while testing rhel 7.1 and noticing that firewalld
was not disabled.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

vmlist.py: treat "-h/--host" case outside the normal flow

Needlessly complex trying to mix the streams, and no reason for
a separate process when doing only one machine; needed to make
outputfile default to None anyway

Signed-off-by: Dan Mick <dan.mick@redhat.com>

vmlist.py: allow env to override config; add comment for Cfg class

Signed-off-by: Dan Mick <dan.mick@redhat.com>

vmlist.py: vmmachines -> vm_hosts, --machine -> --host

Signed-off-by: Dan Mick <dan.mick@redhat.com>

vmlist.py: Allow outputfile == None for list_nova too

Signed-off-by: Dan Mick <dan.mick@redhat.com>

Merge pull request #26 from ceph/wip-fix-user-tag

'user' tag, not 'users'

'user' tag, not 'users'

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #23 from ceph/wip-non-sudo-users

users: create users with sudo privs and some without

Merge pull request #25 from ceph/wip-git

Make sure git is installed

Make sure git is installed

Signed-off-by: Zack Cerza <zack@redhat.com>

Add tools subdir containing vmlist.py script

Signed-off-by: Dan Mick <dan.mick@redhat.com>

users: creates users with sudo access and users without.

Introduces a new list of users, managed_admin_users, which are given
sudo access.  The existing list, managed_users, are not not given sudo
access.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

users: move create_users.yml into main.yml in the users role.

This just simplifies the structure a bit, there was really no need to
have that as a separate file.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #22 from ceph/wip-cobbler-selinux

Use SELinux permissive on RHEL

Use SELinux permissive on RHEL

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #1 from ceph/users

Adds a users role and adds that role to cobbler.yml and testnodes.yml

Merge pull request #21 from ceph/wip-cobbler-tweaks

Cobbler tweaks, and retry entitlements

Retry subscription-manager register

Because of: https://bugzilla.redhat.com/show_bug.cgi?id=1218804

Signed-off-by: Zack Cerza <zack@redhat.com>

Run the full playbook after user,pubkeys

Signed-off-by: Zack Cerza <zack@redhat.com>

Make users a dependancy of the common role.

We want all nodes to manage users so in that respect it is common, but
keeping it in it's own role allows us more flexibility in its use.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Add a new users playbook.

This will run against all hosts and add / update that nodes
managed_users.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Adds a users role and adds that role to cobbler.yml and testnodes.yml

This new role will be used to create users and setup authorized_keys for
lists of users defined in group inventory files.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #20 from ceph/wip-puddle-updates

puddle: add CEPH-TOOLS repo and `ceph-puddle` utility

puddle: add ceph-puddle wrapper script

This wraps k5start and Puddle so I don't have to remember the exact
command and keytab location. I can now simply run "ceph-puddle", like
so:

  $ ceph-puddle /etc/puddle/ceph/ceph-1.3-rhel-7.conf

The purpose of this commit is to make it easier/simpler to run Puddle
with Kerberos credentials.

Merge pull request #19 from ceph/wip-cobbler-rhel-ks

Cobbler: don't hog all disks when installing RHEL

Group disk-related options together

Signed-off-by: Zack Cerza <zack@redhat.com>

Use a small root partition instead of LVM

Signed-off-by: Zack Cerza <zack@redhat.com>

puddle: add ceph-1.3 tools repo

This repository will be included with RHEL. It is the replacement for
Ceph's use of RH-COMMON, so it will contain the Ceph client bits and
ceph-radosgw package.

See Red Hat rel-eng's RT #344094 (internal ticket).

Fix syntax error

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #18 from ceph/wip-auto-ansible

Cobbler: automatically run ansible after install of new-style profiles

Use the cephlab_rc_local snippet

Signed-off-by: Zack Cerza <zack@redhat.com>

Add a snippet to write an /etc/rc.local

The /etc/rc.local causes the post-install trigger to be run a second
time, then touches a special file so it doesn't run on every reboot.

Signed-off-by: Zack Cerza <zack@redhat.com>

Add post-install trigger to run ansible

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #17 from ceph/teuth-user-group

Add a teuthology_user group and assign it to the teuthology_user.

Add a teuthology_user group and assign it to the teuthology_user.

This fixes a bug when creating a CPAN config directory that belongs to the
group teuthology_user.  If this group wasn't created already that play
fails.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #16 from ceph/wip-puddle-1.2-default-vars

puddle: add default ceph-1.2 vars

puddle: add default ceph-1.2 vars

Commit a22e9f9d8a52a5039de60b3812016446b2cc0a01 introduced a number of
"ceph_1_2" vars without setting their default values. Set them here.

Merge pull request #15 from ceph/wip-puddle-1.2-async

puddle: add 1.2 configs for ceph-async

puddle: add 1.2 configs for ceph-async

CEPH-ASYNC advisories have a slightly different config than the config
we used for the 1.2.3 release. Here are the changes I made from the
1.2.3 configs:

  1. "errata_release" is "CEPH-ASYNC"
  2. Packages are not always signed (remove the keys settings)
  3. We need to add more repos for repoclosure to succeed (namely, the
     production read-only pulp repos)

Merge pull request #14 from ceph/wip-pubkeys

pubkeys and user tags

Add user tag to user-creation tasks

Signed-off-by: Zack Cerza <zack@redhat.com>

Add pubkeys tag to ansible_user keys task

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #13 from ceph/wip-cm-uid

Use  ansible_user_uid_ in ansible-managed role

Use  ansible_user_uid_ in ansible-managed role

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #12 from ceph/ansible-user-uid

Also set the ansible_user's uid when creating it in cephlab_trusty.preseed

Set the uid of the ansible user in cephlab_trusty.preseed.

We need to explicitly set this uid here just like we do in the
cephlab_user snippet. I also created a var for the uid because we need it in
multiple places.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Add defaults for ansible_user and ansible_user_uid_

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #11 from ceph/wip-cm-uid

Use a UID of 1100 for ansible_user

Use a UID of 1100 for ansible_user

Otherwise, sometimes it ends up with 1000, which we want teuthology_user
to have.

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #8 from ceph/check-mode-fix

More fixes to support --check mode.

More fixes to support --check mode.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #7 from ceph/mv-default-rhsm-vars

move default rhsm vars to "common" role

move default rhsm vars to "common" role

Commit 3d1ecaac01f9ed7a589741700fdb7fc22056218c moved the Red Hat
subscription bits into the "common" role, but I neglected to move the
default variables to "common" as well. Move them here.

Merge pull request #6 from ceph/check-mode-fix

Fixed bug where entitlement setup would fail with --check.

Fixed bug where entitlement setup would fail with --check.

The command module is skipped when --check is used which causes the
registered var subscription to not exist the next task fails.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #5 from ceph/puddle-updates

Puddle updates

Add defaults for the puddle and distill hashes.

This is just helpful as a guide to know what vars are being used in the
puddle role.  These will actually get their values from a group_vars
file for the puddle node.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Add tags to the puddle role.

These might be helpful if we ever want to reconfigure puddle without
re-installing it.  Same with distill.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #3 from ceph/wip-puddle

add puddle role and playbook

Merge pull request #4 from ceph/resolvconf-cleanup

Remove apt-mirror.front from octo resolv.conf base config.

Remove apt-mirror.front from octo resolv.conf base config.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

add puddle role and playbook

Add the necessary configuration for installing and running distill and
puddle.

Many of the templated variables here are internal to Red Hat and are
present in the other "secrets" Ansible repository.

Signed-off-by: Ken Dreyer <kdreyer@redhat.com>

remove todo section from readme

We can put these in a separate file at some point if we need to.

Merge branch 'epel-testing' into 'master'

Adds epel-testing to the list of epel repos we install in common.

This also restructures the task a bit so that we can easily add new
repos as vars like we do in the testnodes role.

Merge branch 'new-tags' into 'master'

Add sudoers tag to the sudoers.d tasks in the ansible-managed role.

This gives us another, maybe better, way to configure sudoers for
pipelining if we want to enable that by default in ansible.cfg.

Add sudoers tag to the sudoers.d tasks in the ansible-managed role.

This gives us another, maybe better, way to configure sudoers for
pipelining if we want to enable that by default in ansible.cfg.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Adds epel-testing to the list of epel repos we install in common.

This also restructures the task a bit so that we can easily add new
repos as vars. The epel-testing repo is disabled by defaulti and will
be activated by the roles that need it.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge branch 'epel-fix' into 'master'

Move the creation of epel.repo to the common role.

This also makes the change to use epel packages that we didn't build ourselves.

There are a couple extra commits here fixing things I found during the process of writing / testing this update.

Move the creation of epel.repo to the common role.

This also makes the change to use epel packages not built by us.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Make sure yum clean all is ran after repos are changed.

There was a bug here because the repo_file registered variable was being
overwritten causing the yum clean all not to run even though the first
block using repo_file had changed. Not reusing the same var for both the
blocks fixed the issue.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Fixed a couple bugs with ansible user creation.

We need to delete the users password after creation or ansible fails to
connect with the cm user because the node is asking for a password.

Also, the lineinfile making sure #includedir was present wasn't working
correctly.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge branch 'gitbuilder-var' into 'master'

testnodes: use gitbuilder_host in apt preferences.

Because we can template the gitbuilder_host now we don't need both
ceph.pref and ceph-redhat.pref.

Discussed in IRC today. It appears we can do this based on the history in Chef.

https://github.com/ceph/ceph-qa-chef/commit/7a5738732b17161b2d29e6535a64c519ea02706b and

https://github.com/ceph/ceph-qa-chef/commit/66f7c40a21c6fb554e19731b56af310273607889

Merge branch 'wip-readme-ansible-managed' into 'master'

doc: add steps for making a host "ansible managed"

Not all hosts have the "cm" user present; this commit adds a bit of text to README to indicate how to bootstrap that.

doc: add steps for making a host "ansible managed"

Not all hosts have the "cm" user present; this commit adds a bit of text
to README to indicate how to bootstrap that.

Signed-off-by: Ken Dreyer <kdreyer@redhat.com>

testnodes: use gitbuilder_host in apt preferences.

Because we can template the gitbuilder_host now we don't need both
ceph.pref and ceph-redhat.pref.

Discussed in IRC today. It appears we can do this based on the history in Chef
(https://github.com/ceph/ceph-qa-chef/commit/7a5738732b17161b2d29e6535a64c519ea02706b
 and
 https://github.com/ceph/ceph-qa-chef/commit/66f7c40a21c6fb554e19731b56af310273607889)

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge branch 'kerberos-rm-keyring-cache-type' into 'master'

common: rm kerberos KEYRING cache type

This is only available in later versions of MIT Kerberos and the Linux kernels, so it probably won't work on distros older than RHEL 7.