Merge pull request #1135 from guits/master

Add gluster nfs ganesha repo only for Ubuntu

Add gluster nfs ganesha repo only for Ubuntu

According to the official documentation, adding PPA is not available for Debian.

Merge pull request #1125 from guits/master

Use 'package' module instead of yum, apt and dnf

Merge pull request #1131 from guits/refact_code

Refact temporary vars in ceph-common defaults.

Refact temporary vars in ceph-common defaults.

These variables were defined here to be sure that
`roles/ceph-common/tasks/checks/check_mandatory_vars.yml` has all variables defined.

Merge pull request #1132 from ktdreyer/no-ceph-extra

rm ceph-extra.repo and redhat_distro_ceph_extra variable

rm ceph-extra.repo and redhat_distro_ceph_extra variable

We removed the "apache" setting for "radosgw_frontend" in
adfdf6871e1172b542342064c13147789f39571a.

As part of that change, we removed the final references to
ceph-extra.repo, but I failed to clean up this file itself.

Now that nothing uses this file, delete it.

This file contained the sole reference to redhat_distro_ceph_extra, so
we can drop that variable as well.

Merge pull request #1130 from ceph/colocated-tests

initial pass on tests for collocated journals

tests: use underscores to prevent tox combinatorial issues

Signed-off-by: Alfredo Deza <adeza@redhat.com>
Resolves: colocated#tests

Use 'package' module instead of yum, apt and dnf

Refactor the code using 'package' module

Fix Issue #520

(However it doesn't cover all cases because some cases are not refactorable.
Ex: because of diverging packages name between distribution)

tests: specify the devices for OSDs in the scenario for collocation

Signed-off-by: Alfredo Deza <adeza@redhat.com>
Resolves: colocated#tests

tests: create tests for collocated journals

Signed-off-by: Alfredo Deza <adeza@redhat.com>
Resolves: colocated#tests

contrib: untrap before calling popd

we need to untrap before calling popd if the script is being run from a
directory different than the git repo. popd will go back to the previous
directory and trap will execute reset_hard_origin function on EXIT.
If we are not in the righ directory, this will fail.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1127 from ceph/osd-scenarios

testing dmcrypt OSD scenarios

tests: change centos7-cluster to use raw_multi_journal

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: change xenial-cluster to use raw_multi_journal

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

testing: change raw-multi-journal to journal-collocation

We want to test journal collocation here because we're gonna switch
xenial-cluster and centos7-cluster to use a dedicated journal.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

testing: rename the dmcrypt-dedicated-journal to dmcrypt-journal

We're going to assume all scenarios use a dedicated journal unless
otherwise specified.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

contrib: don't fetch tags since we push force

reverting 4be9c52bafdf4b55edde2aebce9607268a7871e3

Signed-off-by: Sébastien Han <seb@redhat.com>

tests: make Vagrantfile a symlink for dmcrypt scenarios

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: adds a scenario using OSD dmcrypt_journal_collocation

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: adds a dmcrypt-dedicated-journal testing scenario

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

contrib: use push force because of the CI

If we don't force push we won't be able to push new content from
jenkins.

Signed-off-by: Sébastien Han <seb@redhat.com>

tests: rename the centos7-mon-osd scenario to raw-multi-journal

We really only need to test the raw-multi-journal OSD scenario on one
OS and it needed a better name to use with the CI.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

contrib: do a fetch all so we don't push force

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1124 from ceph/galaxy

contrib: It doesn't make sense to pull all tags

contrib: It doesn't make sense to pull all tags

On certain git versions running: git pull origin --tags ends up with the
following error: It doesn't make sense to pull all tags; you probably
meant: git fetch --tags

So removing the --tags since later in the execution we do a git fetch
--tags

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1123 from ceph/galaxy

contrib: add a goto basedir function

contrib: add a goto basedir function

This way if the script is not executed from the git directory we jump
into it, do our stuff and then go back to the dir where the user was.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1121 from D3N14L/master

Reviewed all roles and site.yml.sample and added "always_run: true" where appropriate

Better --check compatibility for ceph-rgw role

Carefully chosen "always_run: true" parameters for read-only tasks that
register variables. This enables --check runs (at least on deployed
clusters).

Better --check compatibility for ceph-restapi role

Carefully chosen "always_run: true" parameters for read-only tasks that
register variables. This enables --check runs (at least on deployed
clusters).

Better --check compatibility for ceph-rbd-mirror role

Carefully chosen "always_run: true" parameters for read-only tasks that
register variables. This enables --check runs (at least on deployed
clusters).

Better --check compatibility for ceph-osd role

Carefully chosen "always_run: true" parameters for read-only tasks that
register variables. This enables --check runs (at least on deployed
clusters).

Better --check compatibility for ceph-nfs role

Carefully chosen "always_run: true" parameters for read-only tasks that
register variables. This enables --check runs (at least on deployed
clusters).

Better --check compatibility for ceph-mon role

Carefully chosen "always_run: true" parameters for read-only tasks that
register variables. This enables --check runs (at least on deployed
clusters).

Better --check compatibility for ceph-mds role

Carefully chosen "always_run: true" parameters for read-only tasks that
register variables. This enables --check runs (at least on deployed
clusters).

Better --check compatibility for ceph-fetch-keys role

Carefully chosen "always_run: true" parameters for read-only tasks that
register variables. This enables --check runs (at least on deployed
clusters).

Better --check compatibility for ceph-common role

Carefully chosen "always_run: true" parameters for read-only tasks that
register variables. This enables --check runs (at least on deployed
clusters).

Better --check compatibility for ceph-common-coreos role

Carefully chosen "always_run: true" parameters for read-only tasks that
register variables. This enables --check runs (at least on deployed
clusters).

Better --check compatibility for ceph-agent role

Carefully chosen "always_run: true" parameters for read-only tasks that
register variables. This enables --check runs (at least on deployed
clusters).

Merge pull request #1102 from Logan2211/fix-default-syntax

Fix jinja defaulting syntax

Merge pull request #1118 from guits/master

[shrink-mon]: force playbook to fail if there is only one mon

[shrink-mon]: force playbook to fail if there is only one mon

The playbook will fail if only 1 mon is in the cluster
and advise to use the `purge-cluster` playbook instead.

Fix #1083

Fix jinja defaulting syntax

a397922 introduced a syntax error by attempting to default an unquoted
string, which causes execution failures on some ansible versions with:

Failed to template {{ ceph_rhcs_mount_path }}: Failed to template {{ ceph_stable_rh_storage_mount_path | default(/tmp/rh-storage-mount) }}: template error while templating string: unexpected '/'

Merge pull request #1117 from D3N14L/master

Improve --check compatibility for ceph-common, ceph-mon and ceph-rgw roles

Merge pull request #1113 from guits/master

All `include_vars` need to have `*.yml`, `*.yaml` or `*.json` extension.

All `include_vars` need to have `*.yml`, `*.yaml` or `*.json` extension.

As introduced in the following PR:
- https://github.com/ansible/ansible/pull/17207
we need to refactor our code.

Better --check compatibility for ceph-rgw role

Carefully chosen "always_run: true" parameters for read-only tasks that
register variables. This enables --check runs (at least on deployed
clusters).

Better --check compatibility for ceph-mon role

Carefully chosen "always_run: true" parameters for read-only tasks that
register variables. This enables --check runs (at least on deployed
clusters).

Better --check compatibility for ceph-common role

Carefully chosen "always_run: true" parameters for read-only tasks that
register variables. This enables --check runs (at least on deployed
clusters).

contrib: add a new script to update remote repos

This script allows us to split ceph-ansible role directory into
repositories that can be pushed.
This script is an enhanced version of splitup.yml that was using git
subtree. I haven't found any straighforward way to push tag using git
subtree where git filter-branch seems easier and more practical.

Now we can not only push commits from master but also all the relative
tags. It is nice for projects that want to consume our roles from the
Ansible Galaxy, pointing to a specific tags looking for a particular
release.

For backward compatobility, I pushed a branch called
"master-history-bkp" on all the github.com/ceph/ansbible-ceph-*
repositories. So current projects using a SHA to retrieve the roles
won't be impacted by this change.

At the time of the commit, running this script took  104.60s to
complete.

Signed-off-by: Sébastien Han <seb@redhat.com>
Co-Authored-By: Erwan Velu <erwan@redhat.com>
Co-Authored-By: Logan Vig <logan2211@gmail.com>

contrib: add a new script to update remote repos

This script allows us to split ceph-ansible role directory into
repositories that can be pushed.
This script is an enhanced version of splitup.yml that was using git
subtree. I haven't found any straighforward way to push tag using git
subtree where git filter-branch seems easier and more practical.

Now we can not only push commits from master but also all the relative
tags. It is nice for projects that want to consume our roles from the
Ansible Galaxy, pointing to a specific tags looking for a particular
release.

For backward compatobility, I pushed a branch called
"master-history-bkp" on all the github.com/ceph/ansbible-ceph-*
repositories. So current projects using a SHA to retrieve the roles
won't be impacted by this change.

At the time of the commit, running this script took  104.60s to
complete.

Signed-off-by: Sébastien Han <seb@redhat.com>
Co-Authored-By: Erwan Velu <erwan@redhat.com>
Co-Authored-By: Logan Vig <logan2211@gmail.com>

Make NTP checks usable with '--check'

As those task are only reading the installed packages and their output
is required in later tasks it is safe to run them also in check mode.

Merge pull request #1112 from zhsj/fix-py3

fix python3 compatibility in jinja2 template.

Merge pull request #1101 from ceph/ci-testing

testing: changes to allow for concurrent functional tests

Merge pull request #1077 from font/rolling_update

Support containerized rolling update

Merge pull request #1109 from ceph/bz-1396742

rolling_update: clarify "serial" usage

fix python3 compatibility in jinja2 template.

rename iterkeys to keys

testing: each scenario should use it's own fetch_directory

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

rolling_update: clarify "serial" usage

Prior to this commit the serial variable was poorly documented. Now we
are making clear that this value should be left untouched as the rolling
update mechanism should happen serially.

Solves: bz-1396742
Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1104 from ktdreyer/rm-apache

remove apache support for RGW

testing: remove the timeout for the ansible-playbook call

This isn't available on OSX and we'll end up hitting this timeout when
we don't want to, let's just remove it.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: update the subnet in the ceph.conf tests

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: add a UUID to the disk name when using libvirt

This will allow each testing scenario to have a unique names
for it's disks so there will not be conflicts when running tests
in parallel.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

remove apache support for RGW

libfcgi is dead upstream (http://tracker.ceph.com/issues/16784)

The RGW developers intend to remove libfcgi support entirely before the
Luminous release.

Since libfcgi gets little-to-no developer attention or testing, remove
it entirely from ceph-ansible.

tests: fix monitor_address in ubuntu/16.04/mon/hosts

We changed the subnet in vagrant_variables.yml so this needs to change
here as well.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

testing: use the same sequence in the group_vars for every test scenario

Signed-off-by: Alfredo Deza <adeza@redhat.com>

testing: use a sequence in the subnets for every vagrant_variables.yml to avoid collisions

Signed-off-by: Alfredo Deza <adeza@redhat.com>

testing: vagranfile should use random hostnames to prevent collisions

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #1107 from font/osd_keyring_err

Fix error caused by missing OSD cluster keyring

Merge pull request #1106 from ktdreyer/rpm-packaging

add RPM packaging for CI

Fix error caused by missing OSD cluster keyring

Ansible task was not properly fetching OSD cluster keyring causing
the keyring to be missing when we needed to authenticate. Similarly, we
were not properly waiting on the OSD keyring to be available before
continuing.

Signed-off-by: Ivan Font <ifont@redhat.com>

add RPM packaging for CI

"make rpm" will build a ceph-ansible RPM and place it in the current
working directory.

This will allow us to run this command in Jenkins for every branch.

Merge pull request #1105 from ceph/libvirt-domain-conflicts

tests: sets random_hostname to true for libvirt nodes

tests: sets random_hostname to true for libvirt nodes

This will keep us from having name conflicts between our different
testing scenarios.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Rolling update changes for containerized deployments

Separate out systemd restart tasks for containerized and
non-containerized deployments

Signed-off-by: Ivan Font <ifont@redhat.com>

Warn user when upgrading cluster with only one mon

Signed-off-by: Ivan Font <ifont@redhat.com>

Support containerized rolling update

- Update rolling update playbook to support containerized deployments
  for mons, osds, mdss, and rgws
- Skip checking if existing cluster is running when performing a rolling
  update
- Fixed bug where we were failing to start the mds container because it
  was missing the admin keyring. The admin keyring was missing because
  it was not being pushed from the mon host to the ansible host due to
  the keyring not being available before running the copy_configs.yml
  task include file. Now we forcefully wait for the admin keyring to be
  generated before continuing with the copy_configs.yml task include file
- Skip pre_requisite.yml when running on atomic host. This technically
  no longer requires specifying to skip tasks containing the with_pkg tag
- Add missing variables to all.docker.sample
- Misc. cleanup

Signed-off-by: Ivan Font <ifont@redhat.com>

Merge pull request #1103 from ceph/gatherkeys-timeout

testing: add a timeout per ansible call to workaround possible gatherkeys issues

testing: add a timeout per ansible call to workaround possible gatherkeys issues

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #1099 from jsaintrocc/checkmode-fix

Replaced Ansible 2.2 specific `check_mode: no`

Merge pull request #1100 from ceph/rhbz-1395073

rolling_update: bump retries for osd_check/retries to 20 minutes

rolling_update: bump retries for osd_check/retries to 20 minutes

Signed-off-by: Alfredo Deza <adeza@redhat.com>
Resolves: rhbz#1395073

Replaced Ansible 2.2 specific check_mode: no with backwards compatible always_run: yes

Merge pull request #1098 from ceph/libvirt-devices

tests: make libvirt use the same device names as virtualbox

tests: make libvirt use the same device names as virtualbox

This makes our libvirt boxes come up with the OS on /dev/vda and
three devices added at /dev/sd{a/b/c} so that we can ensure that
the OSD devices we want to use can always be available for
both virtualbox and libvirt for both xenial and centos7.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #1097 from ceph/ansible-ci-version

ci: bump ansible version to 2.2

ci: bump ansible version to 2.2

ceph-ansible is now fully compliant with ansible 2.2 so bumping the
ansible version to make we test the right things.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1092 from ceph/ceph-boxes

Use new ceph vagrant boxes

Merge pull request #1068 from ceph/v2.2

moving to ansible v2.2 compatibility

Merge pull request #1082 from albertomurillo/v2.2

sync config_template plugin with master branch

Merge pull request #1096 from ceph/cleanup-yml-tests

tests: remove all validating yml playbooks

tests: remove all validating yml playbooks

Signed-off-by: Alfredo Deza <adeza@redhat.com>

testing: define the ceph box in the sample vagrant_variable file

Signed-off-by: Alfredo Deza <adeza@redhat.com>

testing: disable vagrant sync folder add on xenial mon osd scenario

Signed-off-by: Alfredo Deza <adeza@redhat.com>

testing: disable vagrant sync folder add on xenial mon osd mds rgw scenario

Signed-off-by: Alfredo Deza <adeza@redhat.com>

testing: disable vagrant sync folder add on centos 7 mon osd mds rgw scenario

Signed-off-by: Alfredo Deza <adeza@redhat.com>

testing: disable vagrant sync folder add on centos 7 mon osd scenario

Signed-off-by: Alfredo Deza <adeza@redhat.com>

testing: use ceph vagrant box on ubuntu xenial mon osd scenario

Signed-off-by: Alfredo Deza <adeza@redhat.com>