fix python3 compatibility in jinja2 template.

rename iterkeys to keys

Merge pull request #1104 from ktdreyer/rm-apache

remove apache support for RGW

remove apache support for RGW

libfcgi is dead upstream (http://tracker.ceph.com/issues/16784)

The RGW developers intend to remove libfcgi support entirely before the
Luminous release.

Since libfcgi gets little-to-no developer attention or testing, remove
it entirely from ceph-ansible.

Merge pull request #1107 from font/osd_keyring_err

Fix error caused by missing OSD cluster keyring

Merge pull request #1106 from ktdreyer/rpm-packaging

add RPM packaging for CI

Fix error caused by missing OSD cluster keyring

Ansible task was not properly fetching OSD cluster keyring causing
the keyring to be missing when we needed to authenticate. Similarly, we
were not properly waiting on the OSD keyring to be available before
continuing.

Signed-off-by: Ivan Font <ifont@redhat.com>

add RPM packaging for CI

"make rpm" will build a ceph-ansible RPM and place it in the current
working directory.

This will allow us to run this command in Jenkins for every branch.

Merge pull request #1105 from ceph/libvirt-domain-conflicts

tests: sets random_hostname to true for libvirt nodes

tests: sets random_hostname to true for libvirt nodes

This will keep us from having name conflicts between our different
testing scenarios.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #1103 from ceph/gatherkeys-timeout

testing: add a timeout per ansible call to workaround possible gatherkeys issues

testing: add a timeout per ansible call to workaround possible gatherkeys issues

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #1099 from jsaintrocc/checkmode-fix

Replaced Ansible 2.2 specific `check_mode: no`

Merge pull request #1100 from ceph/rhbz-1395073

rolling_update: bump retries for osd_check/retries to 20 minutes

rolling_update: bump retries for osd_check/retries to 20 minutes

Signed-off-by: Alfredo Deza <adeza@redhat.com>
Resolves: rhbz#1395073

Replaced Ansible 2.2 specific check_mode: no with backwards compatible always_run: yes

Merge pull request #1098 from ceph/libvirt-devices

tests: make libvirt use the same device names as virtualbox

tests: make libvirt use the same device names as virtualbox

This makes our libvirt boxes come up with the OS on /dev/vda and
three devices added at /dev/sd{a/b/c} so that we can ensure that
the OSD devices we want to use can always be available for
both virtualbox and libvirt for both xenial and centos7.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #1097 from ceph/ansible-ci-version

ci: bump ansible version to 2.2

ci: bump ansible version to 2.2

ceph-ansible is now fully compliant with ansible 2.2 so bumping the
ansible version to make we test the right things.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1092 from ceph/ceph-boxes

Use new ceph vagrant boxes

Merge pull request #1068 from ceph/v2.2

moving to ansible v2.2 compatibility

Merge pull request #1082 from albertomurillo/v2.2

sync config_template plugin with master branch

Merge pull request #1096 from ceph/cleanup-yml-tests

tests: remove all validating yml playbooks

tests: remove all validating yml playbooks

Signed-off-by: Alfredo Deza <adeza@redhat.com>

testing: define the ceph box in the sample vagrant_variable file

Signed-off-by: Alfredo Deza <adeza@redhat.com>

testing: disable vagrant sync folder add on xenial mon osd scenario

Signed-off-by: Alfredo Deza <adeza@redhat.com>

testing: disable vagrant sync folder add on xenial mon osd mds rgw scenario

Signed-off-by: Alfredo Deza <adeza@redhat.com>

testing: disable vagrant sync folder add on centos 7 mon osd mds rgw scenario

Signed-off-by: Alfredo Deza <adeza@redhat.com>

testing: disable vagrant sync folder add on centos 7 mon osd scenario

Signed-off-by: Alfredo Deza <adeza@redhat.com>

testing: use ceph vagrant box on ubuntu xenial mon osd scenario

Signed-off-by: Alfredo Deza <adeza@redhat.com>

testing: use ceph vagrant box on ubuntu xenial mon osd mds rgw scenario

Signed-off-by: Alfredo Deza <adeza@redhat.com>

testing: add comment for ceph vagrant boxes on centos 7 mon osd scenario

Signed-off-by: Alfredo Deza <adeza@redhat.com>

testing: add comment for ceph vagrant boxes on centos 7 mon osd mds rgw scenario

Signed-off-by: Alfredo Deza <adeza@redhat.com>

testing: parse and set DISABLE_SYNCED_FOLDER in vagrant file

Signed-off-by: Alfredo Deza <adeza@redhat.com>

tests: disable sync folder when testing

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #1093 from ceph/RHBZ-1394929

rolling update: stop services before upgrading and start afterwards

rolling update: stop RGWs before upgrade and start afterwards

Signed-off-by: Andrew Schoen <aschoen@redhat.com>
Resolves: rhbz#1394929

rolling update: stop MDSs before upgrading and start afterwards

Signed-off-by: Andrew Schoen <aschoen@redhat.com>
Resolves: rhbz#1394929

rolling update: stop MONs before upgrading and start afterwards

Signed-off-by: Andrew Schoen <aschoen@redhat.com>
Resolves: rhbz#1394929

rolling update: stop OSDs before upgrading

This avoids a bug where OSDs are sometimes restarted twice on
upgrades which leaves the OSD process running but not marked up.

See:

https://bugzilla.redhat.com/show_bug.cgi?id=1394928
https://bugzilla.redhat.com/show_bug.cgi?id=1391675
https://bugzilla.redhat.com/show_bug.cgi?id=1394929

Signed-off-by: Andrew Schoen <aschoen@redhat.com>
Resolves: rhbz#1394929

Merge pull request #1091 from ceph/rgw-when

ceph-rgw: add systemd condition

Merge pull request #1032 from ceph/backward-compat-rhcs

common: backward compatibility name for rhcs

ceph-rgw: add systemd condition

We have a fact that detects the package manager, so we can detect if
systemd is used. Radosgw was still using some old logic from Ubuntu.
Ubuntu 16.04 now has systemd so we don't need to configure rgw as it was
running on upstart.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1089 from ceph/vagrant-boxes

tests: adds a few more scenarios

tests: adds comments to tox.ini describing each scenario

Signed-off-by: Andrew Schoen <aschoen@redhat.com>
Resolves: vagrant#boxes

tests: make the centos7-mon-osd scenario use raw_multi_journal

Signed-off-by: Andrew Schoen <aschoen@redhat.com>
Resolves: vagrant#boxes

tests: adds the centos7-cluster scenario to tox.ini

Signed-off-by: Andrew Schoen <aschoen@redhat.com>
Resolves: vagrant#boxes

tests: adds a scenario for a centos7 1mon 1osd 1mds 1rgw cluster

Signed-off-by: Andrew Schoen <aschoen@redhat.com>
Resolves: vagrant#boxes

tests: adds the xenial mon-osd-mds-rgw scenario as xenial-cluster

I tried adding the scenario as xenial-mon-osd-mds-rgw but for
whatever reason tox refused to select that environment. Changing the
name to xenial-cluster fixed that though.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>
Resolves: vagrant#boxes

tests: adds a scenario to test a xenial 1mon 1osd 1mds 1rgw cluster

This scenario duplicates what we are currently doing with our
ceph-ansible testing using OVH and a single node, except now
we are using 4 separate nodes.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>
Resolves: vagrant#boxes

tests: make xenial-mon-osd use raw_multi_journal instead of collocation

Signed-off-by: Andrew Schoen <aschoen@redhat.com>
Resolves: vagrant#boxes

Merge pull request #1087 from ceph/vagrant-boxes

use vagrant boxes that support libvirt and virtualbox

tests: provide a way use libvirt with vagrant and tox

This allows for:

tox -- --provider=libvirt

Signed-off-by: Andrew Schoen <aschoen@redhat.com>
Resolves: vagrant#boxes

tests: change the centos box to centos/7

This box supports both libvirt and virtualbox. Eventually we want to
be building our own boxes but this should work in the short term.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: change the xenial box to yk0/ubuntu-xenial

This box supports both virtualbox and libvirt. Eventually
we want to be building our own vagrant boxes, but this might
work for now.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>
Resolves: vagrant#boxes

Merge pull request #1086 from ceph/testing-updates

testing: adds 3 new functional testing scenarios

tests: adds the vagrant_variables.yml that were previously ignored

Signed-off-by: Andrew Schoen <aschoen@redhat.com>
Resolves: testing#updates

don't ignore vagrant_variables.yml in test directories

Signed-off-by: Andrew Schoen <aschoen@redhat.com>
Resolves: testing#updates

tests: updates tox to test the new scenarios

This also turns on -vv for ansible and adds an environment for
ansible==1.9.4 testing.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>
Resolves: testing#updates

tests: adds a 1mon 1osd centos7 test scenario

This uses journal collocation for the osd.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>
Resolves: testing#updates

tests: adds a 1mon 1osd xenial test scenario

This sets up the osd using journal collocation

Signed-off-by: Andrew Schoen <aschoen@redhat.com>
Resolves: testing#updates

tests: ceph.conf tests for the xenial 3 mon cluster

Signed-off-by: Andrew Schoen <aschoen@redhat.com>
Resolves: testing#updates

tests: adds a xenial 3 mon test scenario

This can be used to test if mon hosts and
mon initial members are being set properly with
multiple hosts.

Also, to verify that monitor_address and monitor_interface
options both work as described.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>
Resolves: testing#updates

tests: ignore folders created by ceph-ansible during testing

Signed-off-by: Andrew Schoen <aschoen@redhat.com>
Resolves: testing#updates
Signed-off-by: Andrew Schoen <aschoen@redhat.com>

common: reformat mon_initial_members with indention

Signed-off-by: Andrew Schoen <aschoen@redhat.com>
Resolves: testing#updates

common: provide a default for monitor_address_block

Signed-off-by: Andrew Schoen <aschoen@redhat.com>
Resolves: testing#updates

tests: remove the initial_members scenario

This was just a placeholder until we could get more valid scenarios in
place.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>
Resolves: testing#updates

common: check for monitor_interface before monitor_address in ceph.conf

Signed-off-by: Andrew Schoen <aschoen@redhat.com>
Resolves: testing#updates

sync config_template plugin with master branch

ansible 2.2 deprecates first_available_file option which is used in
the config_template module by 'generate ceph configuration file' task.

This change syncs the config_module files from their master repository
in github.com/openstack/openstack/ansible-plugins which includes the fix

https://github.com/openstack/openstack-ansible-plugins/commit/2f6cac2cf6ddebf462e21c70da7f60fa334b5f1e

Signed-off-by: Alberto Murillo Silva <alberto.murillo.silva@intel.com>

Merge pull request #1074 from ceph/test-group-vars

functional test scenarios should include a group_vars dir

tests: require a group_vars folder in the scenario dir

This will allow for no changes needed in the ansible playbook command
when adding new scenarios. Each scenario will just need a hosts file and
a group_vars directory to define how the cluster should be setup.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #1058 from ceph/pytest-harness

testing harness with py.test and Vagrant

tests: add a hosts file for the initial_members scenario

Signed-off-by: Alfredo Deza <adeza@redhat.com>
Resolves: pytest#harness

tests: gitignore the .tox subdir

Signed-off-by: Alfredo Deza <adeza@redhat.com>
Resolves: pytest#harness

tests: make the tox.ini config call the ssh config helper script

Signed-off-by: Alfredo Deza <adeza@redhat.com>
Resolves: pytest#harness

tests: add a helper script to generate vagrant ssh configs

Signed-off-by: Alfredo Deza <adeza@redhat.com>
Resolves: pytest#harness

tests: remove the need for a setenv entry per scenario in tox.ini

Signed-off-by: Andrew Schoen <aschoen@redhat.com>
Resolves: pytest#harness

tests: adds a tox.ini to run the functional tests

This currently tests the initial-members scenario for both ansible 2.1
and ansible 2.2. It assumes a hosts file and vagrant_ssh_config exists
in the scenario directory.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>
Resolves: pytest#harness

tests: mon_initial_members should look for the right hostname

Signed-off-by: Alfredo Deza <adeza@redhat.com>
Resolves: pytest#harness

tests: fix helper to use the actual lines form ceph.conf

Signed-off-by: Alfredo Deza <adeza@redhat.com>
Resolves: pytest#harness

tests: use a different vagrant box

Signed-off-by: Alfredo Deza <adeza@redhat.com>
Resolves: pytest#harness

tests: include the vagrant_variables.yml file specific to this scenario

Signed-off-by: Alfredo Deza <adeza@redhat.com>
Resolves: pytest#harness

tests: create a README with some explanation on how to use the test harness

Signed-off-by: Alfredo Deza <adeza@redhat.com>
Resolves: pytest#harness

tests: define a requirements.txt file

Signed-off-by: Alfredo Deza <adeza@redhat.com>
Resolves: pytest#harness

tests: create an example scenario file

Signed-off-by: Alfredo Deza <adeza@redhat.com>
Resolves: pytest#harness

tests: create the conftest file that does all the magic

Signed-off-by: Alfredo Deza <adeza@redhat.com>
Resolves: pytest#harness

tests: add the symlinked Vagrantfile to initial_members

Signed-off-by: Alfredo Deza <adeza@redhat.com>
Resolves: pytest#harness

create a scenario config file for mon initial members

Signed-off-by: Alfredo Deza <adeza@redhat.com>
Resolves: pytest#harness

tests: add __init__.py for functional tests

Signed-off-by: Alfredo Deza <adeza@redhat.com>
Resolves: pytest#harness

tests: common basic tests for after installation

Signed-off-by: Alfredo Deza <adeza@redhat.com>
Resolves: pytest#harness

tests: add __init__.py for mon tests

Signed-off-by: Alfredo Deza <adeza@redhat.com>
Resolves: pytest#harness

tests: create a test to check for mon_initial_members

Signed-off-by: Alfredo Deza <adeza@redhat.com>
Resolves: pytest#harness

tests: placeholder pytest.ini to define test root dir

Signed-off-by: Alfredo Deza <adeza@redhat.com>
Resolves: pytest#harness

Merge pull request #1073 from ceph/upgrade

rolling_update: add variable to upgrade ceph

rolling_update: add variable to upgrade ceph

My stupid self removed this crucial variable here: 217ce3ca thinking it
was another hard coded variable import where this is actually the
trigger for the upgrade.

Closes: #1071
Signed-off-by: Sébastien Han <seb@redhat.com>

moving to ansible v2.2 compatibility

Signed-off-by: Sébastien Han <seb@redhat.com>
Co-Authored-By: Julien Francoz julien@francoz.net

Merge pull request #1070 from ceph/RHBZ-1391675

rolling update: fix restarts of radosgw

rolling update: fix restarts of radosgw

Signed-off-by: Andrew Schoen <aschoen@redhat.com>
Resolves: rhbz#1391675
Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #1069 from ceph/dmycrypt-checks

osd dmcrypt: add ability to check devices

Merge pull request #1065 from ceph/fix-conf-template

various fixes for the ceph.conf template