Better --check compatibility for ceph-rgw role

Carefully chosen "always_run: true" parameters for read-only tasks that
register variables. This enables --check runs (at least on deployed
clusters).

Better --check compatibility for ceph-restapi role

Carefully chosen "always_run: true" parameters for read-only tasks that
register variables. This enables --check runs (at least on deployed
clusters).

Better --check compatibility for ceph-rbd-mirror role

Carefully chosen "always_run: true" parameters for read-only tasks that
register variables. This enables --check runs (at least on deployed
clusters).

Better --check compatibility for ceph-osd role

Carefully chosen "always_run: true" parameters for read-only tasks that
register variables. This enables --check runs (at least on deployed
clusters).

Better --check compatibility for ceph-nfs role

Carefully chosen "always_run: true" parameters for read-only tasks that
register variables. This enables --check runs (at least on deployed
clusters).

Better --check compatibility for ceph-mon role

Carefully chosen "always_run: true" parameters for read-only tasks that
register variables. This enables --check runs (at least on deployed
clusters).

Better --check compatibility for ceph-mds role

Carefully chosen "always_run: true" parameters for read-only tasks that
register variables. This enables --check runs (at least on deployed
clusters).

Better --check compatibility for ceph-fetch-keys role

Carefully chosen "always_run: true" parameters for read-only tasks that
register variables. This enables --check runs (at least on deployed
clusters).

Better --check compatibility for ceph-common role

Carefully chosen "always_run: true" parameters for read-only tasks that
register variables. This enables --check runs (at least on deployed
clusters).

Better --check compatibility for ceph-common-coreos role

Carefully chosen "always_run: true" parameters for read-only tasks that
register variables. This enables --check runs (at least on deployed
clusters).

Better --check compatibility for ceph-agent role

Carefully chosen "always_run: true" parameters for read-only tasks that
register variables. This enables --check runs (at least on deployed
clusters).

Merge pull request #1102 from Logan2211/fix-default-syntax

Fix jinja defaulting syntax

Merge pull request #1118 from guits/master

[shrink-mon]: force playbook to fail if there is only one mon

[shrink-mon]: force playbook to fail if there is only one mon

The playbook will fail if only 1 mon is in the cluster
and advise to use the `purge-cluster` playbook instead.

Fix #1083

Fix jinja defaulting syntax

a397922 introduced a syntax error by attempting to default an unquoted
string, which causes execution failures on some ansible versions with:

Failed to template {{ ceph_rhcs_mount_path }}: Failed to template {{ ceph_stable_rh_storage_mount_path | default(/tmp/rh-storage-mount) }}: template error while templating string: unexpected '/'

Merge pull request #1117 from D3N14L/master

Improve --check compatibility for ceph-common, ceph-mon and ceph-rgw roles

Merge pull request #1113 from guits/master

All `include_vars` need to have `*.yml`, `*.yaml` or `*.json` extension.

All `include_vars` need to have `*.yml`, `*.yaml` or `*.json` extension.

As introduced in the following PR:
- https://github.com/ansible/ansible/pull/17207
we need to refactor our code.

Better --check compatibility for ceph-rgw role

Carefully chosen "always_run: true" parameters for read-only tasks that
register variables. This enables --check runs (at least on deployed
clusters).

Better --check compatibility for ceph-mon role

Carefully chosen "always_run: true" parameters for read-only tasks that
register variables. This enables --check runs (at least on deployed
clusters).

Better --check compatibility for ceph-common role

Carefully chosen "always_run: true" parameters for read-only tasks that
register variables. This enables --check runs (at least on deployed
clusters).

contrib: add a new script to update remote repos

This script allows us to split ceph-ansible role directory into
repositories that can be pushed.
This script is an enhanced version of splitup.yml that was using git
subtree. I haven't found any straighforward way to push tag using git
subtree where git filter-branch seems easier and more practical.

Now we can not only push commits from master but also all the relative
tags. It is nice for projects that want to consume our roles from the
Ansible Galaxy, pointing to a specific tags looking for a particular
release.

For backward compatobility, I pushed a branch called
"master-history-bkp" on all the github.com/ceph/ansbible-ceph-*
repositories. So current projects using a SHA to retrieve the roles
won't be impacted by this change.

At the time of the commit, running this script took  104.60s to
complete.

Signed-off-by: Sébastien Han <seb@redhat.com>
Co-Authored-By: Erwan Velu <erwan@redhat.com>
Co-Authored-By: Logan Vig <logan2211@gmail.com>

contrib: add a new script to update remote repos

This script allows us to split ceph-ansible role directory into
repositories that can be pushed.
This script is an enhanced version of splitup.yml that was using git
subtree. I haven't found any straighforward way to push tag using git
subtree where git filter-branch seems easier and more practical.

Now we can not only push commits from master but also all the relative
tags. It is nice for projects that want to consume our roles from the
Ansible Galaxy, pointing to a specific tags looking for a particular
release.

For backward compatobility, I pushed a branch called
"master-history-bkp" on all the github.com/ceph/ansbible-ceph-*
repositories. So current projects using a SHA to retrieve the roles
won't be impacted by this change.

At the time of the commit, running this script took  104.60s to
complete.

Signed-off-by: Sébastien Han <seb@redhat.com>
Co-Authored-By: Erwan Velu <erwan@redhat.com>
Co-Authored-By: Logan Vig <logan2211@gmail.com>

Make NTP checks usable with '--check'

As those task are only reading the installed packages and their output
is required in later tasks it is safe to run them also in check mode.

Merge pull request #1112 from zhsj/fix-py3

fix python3 compatibility in jinja2 template.

Merge pull request #1101 from ceph/ci-testing

testing: changes to allow for concurrent functional tests

Merge pull request #1077 from font/rolling_update

Support containerized rolling update

Merge pull request #1109 from ceph/bz-1396742

rolling_update: clarify "serial" usage

fix python3 compatibility in jinja2 template.

rename iterkeys to keys

testing: each scenario should use it's own fetch_directory

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

rolling_update: clarify "serial" usage

Prior to this commit the serial variable was poorly documented. Now we
are making clear that this value should be left untouched as the rolling
update mechanism should happen serially.

Solves: bz-1396742
Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1104 from ktdreyer/rm-apache

remove apache support for RGW

testing: remove the timeout for the ansible-playbook call

This isn't available on OSX and we'll end up hitting this timeout when
we don't want to, let's just remove it.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: update the subnet in the ceph.conf tests

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: add a UUID to the disk name when using libvirt

This will allow each testing scenario to have a unique names
for it's disks so there will not be conflicts when running tests
in parallel.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

remove apache support for RGW

libfcgi is dead upstream (http://tracker.ceph.com/issues/16784)

The RGW developers intend to remove libfcgi support entirely before the
Luminous release.

Since libfcgi gets little-to-no developer attention or testing, remove
it entirely from ceph-ansible.

tests: fix monitor_address in ubuntu/16.04/mon/hosts

We changed the subnet in vagrant_variables.yml so this needs to change
here as well.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

testing: use the same sequence in the group_vars for every test scenario

Signed-off-by: Alfredo Deza <adeza@redhat.com>

testing: use a sequence in the subnets for every vagrant_variables.yml to avoid collisions

Signed-off-by: Alfredo Deza <adeza@redhat.com>

testing: vagranfile should use random hostnames to prevent collisions

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #1107 from font/osd_keyring_err

Fix error caused by missing OSD cluster keyring

Merge pull request #1106 from ktdreyer/rpm-packaging

add RPM packaging for CI

Fix error caused by missing OSD cluster keyring

Ansible task was not properly fetching OSD cluster keyring causing
the keyring to be missing when we needed to authenticate. Similarly, we
were not properly waiting on the OSD keyring to be available before
continuing.

Signed-off-by: Ivan Font <ifont@redhat.com>

add RPM packaging for CI

"make rpm" will build a ceph-ansible RPM and place it in the current
working directory.

This will allow us to run this command in Jenkins for every branch.

Merge pull request #1105 from ceph/libvirt-domain-conflicts

tests: sets random_hostname to true for libvirt nodes

tests: sets random_hostname to true for libvirt nodes

This will keep us from having name conflicts between our different
testing scenarios.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Rolling update changes for containerized deployments

Separate out systemd restart tasks for containerized and
non-containerized deployments

Signed-off-by: Ivan Font <ifont@redhat.com>

Warn user when upgrading cluster with only one mon

Signed-off-by: Ivan Font <ifont@redhat.com>

Support containerized rolling update

- Update rolling update playbook to support containerized deployments
  for mons, osds, mdss, and rgws
- Skip checking if existing cluster is running when performing a rolling
  update
- Fixed bug where we were failing to start the mds container because it
  was missing the admin keyring. The admin keyring was missing because
  it was not being pushed from the mon host to the ansible host due to
  the keyring not being available before running the copy_configs.yml
  task include file. Now we forcefully wait for the admin keyring to be
  generated before continuing with the copy_configs.yml task include file
- Skip pre_requisite.yml when running on atomic host. This technically
  no longer requires specifying to skip tasks containing the with_pkg tag
- Add missing variables to all.docker.sample
- Misc. cleanup

Signed-off-by: Ivan Font <ifont@redhat.com>

Merge pull request #1103 from ceph/gatherkeys-timeout

testing: add a timeout per ansible call to workaround possible gatherkeys issues

testing: add a timeout per ansible call to workaround possible gatherkeys issues

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #1099 from jsaintrocc/checkmode-fix

Replaced Ansible 2.2 specific `check_mode: no`

Merge pull request #1100 from ceph/rhbz-1395073

rolling_update: bump retries for osd_check/retries to 20 minutes

rolling_update: bump retries for osd_check/retries to 20 minutes

Signed-off-by: Alfredo Deza <adeza@redhat.com>
Resolves: rhbz#1395073

Replaced Ansible 2.2 specific check_mode: no with backwards compatible always_run: yes

Merge pull request #1098 from ceph/libvirt-devices

tests: make libvirt use the same device names as virtualbox

tests: make libvirt use the same device names as virtualbox

This makes our libvirt boxes come up with the OS on /dev/vda and
three devices added at /dev/sd{a/b/c} so that we can ensure that
the OSD devices we want to use can always be available for
both virtualbox and libvirt for both xenial and centos7.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #1097 from ceph/ansible-ci-version

ci: bump ansible version to 2.2

ci: bump ansible version to 2.2

ceph-ansible is now fully compliant with ansible 2.2 so bumping the
ansible version to make we test the right things.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1092 from ceph/ceph-boxes

Use new ceph vagrant boxes

Merge pull request #1068 from ceph/v2.2

moving to ansible v2.2 compatibility

Merge pull request #1082 from albertomurillo/v2.2

sync config_template plugin with master branch

Merge pull request #1096 from ceph/cleanup-yml-tests

tests: remove all validating yml playbooks

tests: remove all validating yml playbooks

Signed-off-by: Alfredo Deza <adeza@redhat.com>

testing: define the ceph box in the sample vagrant_variable file

Signed-off-by: Alfredo Deza <adeza@redhat.com>

testing: disable vagrant sync folder add on xenial mon osd scenario

Signed-off-by: Alfredo Deza <adeza@redhat.com>

testing: disable vagrant sync folder add on xenial mon osd mds rgw scenario

Signed-off-by: Alfredo Deza <adeza@redhat.com>

testing: disable vagrant sync folder add on centos 7 mon osd mds rgw scenario

Signed-off-by: Alfredo Deza <adeza@redhat.com>

testing: disable vagrant sync folder add on centos 7 mon osd scenario

Signed-off-by: Alfredo Deza <adeza@redhat.com>

testing: use ceph vagrant box on ubuntu xenial mon osd scenario

Signed-off-by: Alfredo Deza <adeza@redhat.com>

testing: use ceph vagrant box on ubuntu xenial mon osd mds rgw scenario

Signed-off-by: Alfredo Deza <adeza@redhat.com>

testing: add comment for ceph vagrant boxes on centos 7 mon osd scenario

Signed-off-by: Alfredo Deza <adeza@redhat.com>

testing: add comment for ceph vagrant boxes on centos 7 mon osd mds rgw scenario

Signed-off-by: Alfredo Deza <adeza@redhat.com>

testing: parse and set DISABLE_SYNCED_FOLDER in vagrant file

Signed-off-by: Alfredo Deza <adeza@redhat.com>

tests: disable sync folder when testing

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #1093 from ceph/RHBZ-1394929

rolling update: stop services before upgrading and start afterwards

rolling update: stop RGWs before upgrade and start afterwards

Signed-off-by: Andrew Schoen <aschoen@redhat.com>
Resolves: rhbz#1394929

rolling update: stop MDSs before upgrading and start afterwards

Signed-off-by: Andrew Schoen <aschoen@redhat.com>
Resolves: rhbz#1394929

rolling update: stop MONs before upgrading and start afterwards

Signed-off-by: Andrew Schoen <aschoen@redhat.com>
Resolves: rhbz#1394929

rolling update: stop OSDs before upgrading

This avoids a bug where OSDs are sometimes restarted twice on
upgrades which leaves the OSD process running but not marked up.

See:

https://bugzilla.redhat.com/show_bug.cgi?id=1394928
https://bugzilla.redhat.com/show_bug.cgi?id=1391675
https://bugzilla.redhat.com/show_bug.cgi?id=1394929

Signed-off-by: Andrew Schoen <aschoen@redhat.com>
Resolves: rhbz#1394929

Merge pull request #1091 from ceph/rgw-when

ceph-rgw: add systemd condition

Merge pull request #1032 from ceph/backward-compat-rhcs

common: backward compatibility name for rhcs

ceph-rgw: add systemd condition

We have a fact that detects the package manager, so we can detect if
systemd is used. Radosgw was still using some old logic from Ubuntu.
Ubuntu 16.04 now has systemd so we don't need to configure rgw as it was
running on upstart.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1089 from ceph/vagrant-boxes

tests: adds a few more scenarios

tests: adds comments to tox.ini describing each scenario

Signed-off-by: Andrew Schoen <aschoen@redhat.com>
Resolves: vagrant#boxes

tests: make the centos7-mon-osd scenario use raw_multi_journal

Signed-off-by: Andrew Schoen <aschoen@redhat.com>
Resolves: vagrant#boxes

tests: adds the centos7-cluster scenario to tox.ini

Signed-off-by: Andrew Schoen <aschoen@redhat.com>
Resolves: vagrant#boxes

tests: adds a scenario for a centos7 1mon 1osd 1mds 1rgw cluster

Signed-off-by: Andrew Schoen <aschoen@redhat.com>
Resolves: vagrant#boxes

tests: adds the xenial mon-osd-mds-rgw scenario as xenial-cluster

I tried adding the scenario as xenial-mon-osd-mds-rgw but for
whatever reason tox refused to select that environment. Changing the
name to xenial-cluster fixed that though.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>
Resolves: vagrant#boxes

tests: adds a scenario to test a xenial 1mon 1osd 1mds 1rgw cluster

This scenario duplicates what we are currently doing with our
ceph-ansible testing using OVH and a single node, except now
we are using 4 separate nodes.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>
Resolves: vagrant#boxes

tests: make xenial-mon-osd use raw_multi_journal instead of collocation

Signed-off-by: Andrew Schoen <aschoen@redhat.com>
Resolves: vagrant#boxes

Merge pull request #1087 from ceph/vagrant-boxes

use vagrant boxes that support libvirt and virtualbox

tests: provide a way use libvirt with vagrant and tox

This allows for:

tox -- --provider=libvirt

Signed-off-by: Andrew Schoen <aschoen@redhat.com>
Resolves: vagrant#boxes

tests: change the centos box to centos/7

This box supports both libvirt and virtualbox. Eventually we want to
be building our own boxes but this should work in the short term.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: change the xenial box to yk0/ubuntu-xenial

This box supports both virtualbox and libvirt. Eventually
we want to be building our own vagrant boxes, but this might
work for now.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>
Resolves: vagrant#boxes

Merge pull request #1086 from ceph/testing-updates

testing: adds 3 new functional testing scenarios

tests: adds the vagrant_variables.yml that were previously ignored

Signed-off-by: Andrew Schoen <aschoen@redhat.com>
Resolves: testing#updates

don't ignore vagrant_variables.yml in test directories

Signed-off-by: Andrew Schoen <aschoen@redhat.com>
Resolves: testing#updates

tests: updates tox to test the new scenarios

This also turns on -vv for ansible and adds an environment for
ansible==1.9.4 testing.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>
Resolves: testing#updates

tests: adds a 1mon 1osd centos7 test scenario

This uses journal collocation for the osd.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>
Resolves: testing#updates