Merge pull request #27 from ceph/wip-11567

Make rhel 7.0 tasks run on any rhel 7.x version.

Ensure rpcbind is started before starting nfs-server.

This fixes a bug where on rhel 7.1 nfs-server failed to start because
rpcbind was not running.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Make rhel 7.0 tasks run on any rhel 7.x version.

This shouldn't have been restricted to only 7.0 in the first place. We
noticed this problem while testing rhel 7.1 and noticing that firewalld
was not disabled.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #26 from ceph/wip-fix-user-tag

'user' tag, not 'users'

'user' tag, not 'users'

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #23 from ceph/wip-non-sudo-users

users: create users with sudo privs and some without

Merge pull request #25 from ceph/wip-git

Make sure git is installed

Make sure git is installed

Signed-off-by: Zack Cerza <zack@redhat.com>

users: creates users with sudo access and users without.

Introduces a new list of users, managed_admin_users, which are given
sudo access.  The existing list, managed_users, are not not given sudo
access.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

users: move create_users.yml into main.yml in the users role.

This just simplifies the structure a bit, there was really no need to
have that as a separate file.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #22 from ceph/wip-cobbler-selinux

Use SELinux permissive on RHEL

Use SELinux permissive on RHEL

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #1 from ceph/users

Adds a users role and adds that role to cobbler.yml and testnodes.yml

Merge pull request #21 from ceph/wip-cobbler-tweaks

Cobbler tweaks, and retry entitlements

Retry subscription-manager register

Because of: https://bugzilla.redhat.com/show_bug.cgi?id=1218804

Signed-off-by: Zack Cerza <zack@redhat.com>

Run the full playbook after user,pubkeys

Signed-off-by: Zack Cerza <zack@redhat.com>

Make users a dependancy of the common role.

We want all nodes to manage users so in that respect it is common, but
keeping it in it's own role allows us more flexibility in its use.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Add a new users playbook.

This will run against all hosts and add / update that nodes
managed_users.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Adds a users role and adds that role to cobbler.yml and testnodes.yml

This new role will be used to create users and setup authorized_keys for
lists of users defined in group inventory files.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #20 from ceph/wip-puddle-updates

puddle: add CEPH-TOOLS repo and `ceph-puddle` utility

puddle: add ceph-puddle wrapper script

This wraps k5start and Puddle so I don't have to remember the exact
command and keytab location. I can now simply run "ceph-puddle", like
so:

  $ ceph-puddle /etc/puddle/ceph/ceph-1.3-rhel-7.conf

The purpose of this commit is to make it easier/simpler to run Puddle
with Kerberos credentials.

Merge pull request #19 from ceph/wip-cobbler-rhel-ks

Cobbler: don't hog all disks when installing RHEL

Group disk-related options together

Signed-off-by: Zack Cerza <zack@redhat.com>

Use a small root partition instead of LVM

Signed-off-by: Zack Cerza <zack@redhat.com>

puddle: add ceph-1.3 tools repo

This repository will be included with RHEL. It is the replacement for
Ceph's use of RH-COMMON, so it will contain the Ceph client bits and
ceph-radosgw package.

See Red Hat rel-eng's RT #344094 (internal ticket).

Fix syntax error

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #18 from ceph/wip-auto-ansible

Cobbler: automatically run ansible after install of new-style profiles

Use the cephlab_rc_local snippet

Signed-off-by: Zack Cerza <zack@redhat.com>

Add a snippet to write an /etc/rc.local

The /etc/rc.local causes the post-install trigger to be run a second
time, then touches a special file so it doesn't run on every reboot.

Signed-off-by: Zack Cerza <zack@redhat.com>

Add post-install trigger to run ansible

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #17 from ceph/teuth-user-group

Add a teuthology_user group and assign it to the teuthology_user.

Add a teuthology_user group and assign it to the teuthology_user.

This fixes a bug when creating a CPAN config directory that belongs to the
group teuthology_user.  If this group wasn't created already that play
fails.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #16 from ceph/wip-puddle-1.2-default-vars

puddle: add default ceph-1.2 vars

puddle: add default ceph-1.2 vars

Commit a22e9f9d8a52a5039de60b3812016446b2cc0a01 introduced a number of
"ceph_1_2" vars without setting their default values. Set them here.

Merge pull request #15 from ceph/wip-puddle-1.2-async

puddle: add 1.2 configs for ceph-async

puddle: add 1.2 configs for ceph-async

CEPH-ASYNC advisories have a slightly different config than the config
we used for the 1.2.3 release. Here are the changes I made from the
1.2.3 configs:

  1. "errata_release" is "CEPH-ASYNC"
  2. Packages are not always signed (remove the keys settings)
  3. We need to add more repos for repoclosure to succeed (namely, the
     production read-only pulp repos)

Merge pull request #14 from ceph/wip-pubkeys

pubkeys and user tags

Add user tag to user-creation tasks

Signed-off-by: Zack Cerza <zack@redhat.com>

Add pubkeys tag to ansible_user keys task

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #13 from ceph/wip-cm-uid

Use  ansible_user_uid_ in ansible-managed role

Use  ansible_user_uid_ in ansible-managed role

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #12 from ceph/ansible-user-uid

Also set the ansible_user's uid when creating it in cephlab_trusty.preseed

Set the uid of the ansible user in cephlab_trusty.preseed.

We need to explicitly set this uid here just like we do in the
cephlab_user snippet. I also created a var for the uid because we need it in
multiple places.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Add defaults for ansible_user and ansible_user_uid_

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #11 from ceph/wip-cm-uid

Use a UID of 1100 for ansible_user

Use a UID of 1100 for ansible_user

Otherwise, sometimes it ends up with 1000, which we want teuthology_user
to have.

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #8 from ceph/check-mode-fix

More fixes to support --check mode.

More fixes to support --check mode.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #7 from ceph/mv-default-rhsm-vars

move default rhsm vars to "common" role

move default rhsm vars to "common" role

Commit 3d1ecaac01f9ed7a589741700fdb7fc22056218c moved the Red Hat
subscription bits into the "common" role, but I neglected to move the
default variables to "common" as well. Move them here.

Merge pull request #6 from ceph/check-mode-fix

Fixed bug where entitlement setup would fail with --check.

Fixed bug where entitlement setup would fail with --check.

The command module is skipped when --check is used which causes the
registered var subscription to not exist the next task fails.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #5 from ceph/puddle-updates

Puddle updates

Add defaults for the puddle and distill hashes.

This is just helpful as a guide to know what vars are being used in the
puddle role.  These will actually get their values from a group_vars
file for the puddle node.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Add tags to the puddle role.

These might be helpful if we ever want to reconfigure puddle without
re-installing it.  Same with distill.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #3 from ceph/wip-puddle

add puddle role and playbook

Merge pull request #4 from ceph/resolvconf-cleanup

Remove apt-mirror.front from octo resolv.conf base config.

Remove apt-mirror.front from octo resolv.conf base config.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

add puddle role and playbook

Add the necessary configuration for installing and running distill and
puddle.

Many of the templated variables here are internal to Red Hat and are
present in the other "secrets" Ansible repository.

Signed-off-by: Ken Dreyer <kdreyer@redhat.com>

remove todo section from readme

We can put these in a separate file at some point if we need to.

Merge branch 'epel-testing' into 'master'

Adds epel-testing to the list of epel repos we install in common.

This also restructures the task a bit so that we can easily add new
repos as vars like we do in the testnodes role.

Merge branch 'new-tags' into 'master'

Add sudoers tag to the sudoers.d tasks in the ansible-managed role.

This gives us another, maybe better, way to configure sudoers for
pipelining if we want to enable that by default in ansible.cfg.

Add sudoers tag to the sudoers.d tasks in the ansible-managed role.

This gives us another, maybe better, way to configure sudoers for
pipelining if we want to enable that by default in ansible.cfg.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Adds epel-testing to the list of epel repos we install in common.

This also restructures the task a bit so that we can easily add new
repos as vars. The epel-testing repo is disabled by defaulti and will
be activated by the roles that need it.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge branch 'epel-fix' into 'master'

Move the creation of epel.repo to the common role.

This also makes the change to use epel packages that we didn't build ourselves.

There are a couple extra commits here fixing things I found during the process of writing / testing this update.

Move the creation of epel.repo to the common role.

This also makes the change to use epel packages not built by us.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Make sure yum clean all is ran after repos are changed.

There was a bug here because the repo_file registered variable was being
overwritten causing the yum clean all not to run even though the first
block using repo_file had changed. Not reusing the same var for both the
blocks fixed the issue.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Fixed a couple bugs with ansible user creation.

We need to delete the users password after creation or ansible fails to
connect with the cm user because the node is asking for a password.

Also, the lineinfile making sure #includedir was present wasn't working
correctly.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge branch 'gitbuilder-var' into 'master'

testnodes: use gitbuilder_host in apt preferences.

Because we can template the gitbuilder_host now we don't need both
ceph.pref and ceph-redhat.pref.

Discussed in IRC today. It appears we can do this based on the history in Chef.

https://github.com/ceph/ceph-qa-chef/commit/7a5738732b17161b2d29e6535a64c519ea02706b and

https://github.com/ceph/ceph-qa-chef/commit/66f7c40a21c6fb554e19731b56af310273607889

Merge branch 'wip-readme-ansible-managed' into 'master'

doc: add steps for making a host "ansible managed"

Not all hosts have the "cm" user present; this commit adds a bit of text to README to indicate how to bootstrap that.

doc: add steps for making a host "ansible managed"

Not all hosts have the "cm" user present; this commit adds a bit of text
to README to indicate how to bootstrap that.

Signed-off-by: Ken Dreyer <kdreyer@redhat.com>

testnodes: use gitbuilder_host in apt preferences.

Because we can template the gitbuilder_host now we don't need both
ceph.pref and ceph-redhat.pref.

Discussed in IRC today. It appears we can do this based on the history in Chef
(https://github.com/ceph/ceph-qa-chef/commit/7a5738732b17161b2d29e6535a64c519ea02706b
 and
 https://github.com/ceph/ceph-qa-chef/commit/66f7c40a21c6fb554e19731b56af310273607889)

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge branch 'kerberos-rm-keyring-cache-type' into 'master'

common: rm kerberos KEYRING cache type

This is only available in later versions of MIT Kerberos and the Linux kernels, so it probably won't work on distros older than RHEL 7.

Merge branch 'initial-playbook' into 'master'

Create a playbook to run for initial node setup.

This playbook is meant to be pointed at a node after it's been freshly created.  It will ensure that the node is setup to be managed by ansible and then provision it according to it's role set in the hosts file.

All I've included now is the testnodes.yml playbook, but we could include cobbler.yml and any future playbook we write here.  Playbooks will be skipped that don't match up with the current host being provisioned.  For example, if we add cobbler.yml to this playbook and run it against a testnode the cobbler setup would be skipped because it is not in the 'cobbler' group which constrains the plays in cobbler.yml.

common: rm kerberos KEYRING cache type

This is only available in later versions of MIT Kerberos and the Linux
kernels, so it probably won't work on distros older than RHEL 7.

Merge branch 'wip-kerberos-common' into 'master'

common: add kerberos task

Add a new "kerberos" task to the common role. This will install the kerberos client (kinit) on all hosts and configure /etc/krb5.conf with the appropriate realm.

On our internal lab, ansible will insert our Red Hat kerberos realm into the default_realm. In the community lab, this will use a dummy EXAMPLE.COM realm, similar to what the packages install by default.

common: add kerberos task

Add a new "kerberos" task to the common role. This will install the
kerberos client (kinit) on all hosts and configure /etc/krb5.conf with
the appropriate realm.

On our internal lab, ansible will insert our Red Hat kerberos realm into
the default_realm. In the community lab, this will use a dummy
EXAMPLE.COM realm, similar to what the packages install by default.

Creates a new playbook to run for initial node setup.

This playbook is meant to be pointed at a freshly reimaged node to
ensure that it's setup to be managed by ansible and provisioned
according to its defined role in the inventory.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge branch 'sudoers-update' into 'master'

Some updates to sudoers

I noticed that when running the ansible_managed.yml playbook against a rhel node that had already been provisioned that the cm user did not have sudo privs.  This was because there was no #includedir directive in /etc/sudoers to activate anything inside of sudoers.d.

This fixes that in the sudoers template for yum systems as well as ensuring the #includedir is present in ansible_managed.yml.

Merge branch 'chef-pr-12' into 'master'

RBD: add user, prereq packages, and LVM config for xfstests

This is a port of:

https://github.com/ceph/ceph-qa-chef/pull/12/files

Merge branch 'debian' into 'master'

Port of debian 7 from chef

This is mainly just moving things around so that ubuntu and debian can both use those.  Also, a few debian specific things and repos / packages for debian.

RBD: add support for xfstests and required prerequisites.

This is a port of:

https://github.com/ceph/ceph-qa-chef/pull/12/files

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Customized the debian wheezy sshd_config

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Add a stock debian wheezy sshd_config

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Stop apache2 and collectl after installing them.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Add apt_repos and packages for debian 7.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Setup debian specific things.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Reorganizing tasks that debian and ubuntu both need.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge branch 'git-mirror' into 'master'

Use the git_mirror_host var.

Merge branch 'rhel-cleanup' into 'master'

Minor cleanup of an unneeded task.

This won't be needed anymore once the ubuntu stuff gets merged.  It includes a commit that adds the 'always' tag to vars.yml ensuring that those will get ran every time --tags is used.

It should be fine to merge before the ubuntu port as well.

Ensure sudoers.d will work with ansible_managed.yml.

If the includedir directive isn't enabled in /etc/sudoers then our
custom cephlab_sudo file in sudoers.d won't be loaded.  This means that
our new ansible user can't use sudo and nothing works.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Add #includedir directive to /etc/sudoers.

This ensures that we're including files in /etc/sudoers.d. This is
important so that the cephlab_sudo file we put in /etc/sudoers.d stays
activated.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Use the git_mirror_host var.

Our git mirror host just changed and the value for it shouldn't
have been hardcoded anyway.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge branch 'ubuntu' into 'master'

Support for ubuntu trusty and precise.

I've tested this on both precise and trusty.  I'm reimaging another trusty node now to try another fresh provision, but I don't expect any trouble.

Customize sshd_config for ubuntu precise

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Install python-pip on systems that use apt.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

with_items must be a single list, not a list of lists.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Add a stock sshd_config for ubuntu precise

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Add packages for precise; move common packages to vars/ubuntu.yml.

This allows precise and trusty to share a list of packages that are
common to both of them.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Add a sources.list.precise template; use mirror_host var in sources.list.*

Signed-off-by: Andrew Schoen <aschoen@redhat.com>