mon: remove collect keys

Once the monitor process starts it will also trigger `ceph-create-keys`
which will collect the admin key and bootstrap keys. We used to force
this command because we were having issues on some distros like centos
7.0 and 7.1 not triggering this. This is fixed on centos 7.2 and not an
issue on ubuntu 14.04 or 16.04 so we can remove this task. If the
monitor hangs or fails to start the playbook will fail right after at
the "wait for client.admin key exists" task after 300sec.

Closes: #1161
Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1152 from ceph/gitignore-travis

Gitignore travis

git: update gitignore

* ignore yml files in general
* refactor based on commit f8e043b6ea5ac4e886532d4f2f675c507b44b955 that
changed directory layouts

Signed-off-by: Sébastien Han <seb@redhat.com>
(cherry picked from commit ec5c6f5da566611c4e0b88f925cbd26dc90368d6)

ci: remove travis

since now we have the ceph CI taking care of the syntax check we don't
need travis anymore. Thanks Travis you served us well!

Signed-off-by: Sébastien Han <seb@redhat.com>
(cherry picked from commit 9fbe65cb72e01c586af3a27788c8e3e9549e0abf)

Merge pull request #1144 from yanshanchen/fix-shrink-osd-regex

the pattern in regex_replace is not right when the pid of osd is bigger  than 9999

this patch fix the regex pattern in infrastructure-playbooks/shrink-osd.yml  when the  osd's pid num is bigger than 9999

Signed-off-by: chenyanshan <yanshanchen@139.com>

Merge pull request #1141 from ceph/more-mons

centos7_cluster and xenial_cluster scenarios should use 3 mons

tests: make centos7_cluster use three mons

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: rename the directory for centos7_cluster

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: removes unused xenial_conf_tests and xenial_mon_osd scenarios

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: rename the directory for xenial_cluster

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: add 2 more mons to xenial_cluster

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #1138 from ceph/docker-scenario

tests: adds a docker_cluster scenario

tests: remove unused group_vars/osds from docker_cluster

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: docker_cluster does not need os_tuning_params

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: docker_cluster should run conf_tests

This also makes the conf_tests take the subnet as input
so multiple scenarios on differing subnets can use these tests.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: use journal_size in ceph_osd_docker_extra_env for docker_cluster

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: remove unsued options from docker_cluster vagrant variables

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: docker_cluster should use 3 mons

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: docker_cluster should use the site-docker.yml playbook

This commits allows for scenarios to pick their own playbook while
defaulting to use site.yml.sample.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-rgw: default rgw_config_keys in defaults/main.yml

This avoid an issue with it being undefined if nfs_obj_gw is
set to False.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: update the group_vars for docker_cluster

Fixes the monitor_interface and sets osd scenario config
options so the mandatory checks pass.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-rgw: no need to use playbook_dir when fetching configs for docker

This avoids a bug when fetch_directory is not a relative to the playbook
directory.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-osd: no need to use playbook_dir when fetching configs for docker

This causes a bug when fetch_directory is not relative to the playbook
directory.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-mon: no need to include playbook_dir when fetching configs

This causes a bug when fetch_directory is not a relative path to the
playbook location.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-mon: adds static: no to an include to avoid an ansible bug

Adding that avoids this bug:

https://github.com/ansible/ansible/issues/18206

Without that you'll get failures like:

TASK [ceph-mon : set keys permissions]
*****************************************
task path:
/home/andrewschoen/ceph-ansible/roles/ceph-mon/tasks/ceph_keys.yml:31
fatal: [mon0]: FAILED! => {"failed": true, "msg": "'dict object' has no attribute 'stdout_lines'"}

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: adds a docker_cluster scenario

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: change the subnet on dmcrypt-journal-collocation

It was currently set conflicting with dmcrypt-journal

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #1139 from ceph/last-cleanup-apache

common: remove apache file

common: remove apache file

we recently dropped the support for apache with rgw, so this commit
removes the last remaining file.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1135 from guits/master

Add gluster nfs ganesha repo only for Ubuntu

Add gluster nfs ganesha repo only for Ubuntu

According to the official documentation, adding PPA is not available for Debian.

Merge pull request #1125 from guits/master

Use 'package' module instead of yum, apt and dnf

Merge pull request #1131 from guits/refact_code

Refact temporary vars in ceph-common defaults.

Refact temporary vars in ceph-common defaults.

These variables were defined here to be sure that
`roles/ceph-common/tasks/checks/check_mandatory_vars.yml` has all variables defined.

Merge pull request #1132 from ktdreyer/no-ceph-extra

rm ceph-extra.repo and redhat_distro_ceph_extra variable

rm ceph-extra.repo and redhat_distro_ceph_extra variable

We removed the "apache" setting for "radosgw_frontend" in
adfdf6871e1172b542342064c13147789f39571a.

As part of that change, we removed the final references to
ceph-extra.repo, but I failed to clean up this file itself.

Now that nothing uses this file, delete it.

This file contained the sole reference to redhat_distro_ceph_extra, so
we can drop that variable as well.

Merge pull request #1130 from ceph/colocated-tests

initial pass on tests for collocated journals

tests: use underscores to prevent tox combinatorial issues

Signed-off-by: Alfredo Deza <adeza@redhat.com>
Resolves: colocated#tests

Use 'package' module instead of yum, apt and dnf

Refactor the code using 'package' module

Fix Issue #520

(However it doesn't cover all cases because some cases are not refactorable.
Ex: because of diverging packages name between distribution)

tests: specify the devices for OSDs in the scenario for collocation

Signed-off-by: Alfredo Deza <adeza@redhat.com>
Resolves: colocated#tests

tests: create tests for collocated journals

Signed-off-by: Alfredo Deza <adeza@redhat.com>
Resolves: colocated#tests

contrib: untrap before calling popd

we need to untrap before calling popd if the script is being run from a
directory different than the git repo. popd will go back to the previous
directory and trap will execute reset_hard_origin function on EXIT.
If we are not in the righ directory, this will fail.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1127 from ceph/osd-scenarios

testing dmcrypt OSD scenarios

tests: change centos7-cluster to use raw_multi_journal

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: change xenial-cluster to use raw_multi_journal

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

testing: change raw-multi-journal to journal-collocation

We want to test journal collocation here because we're gonna switch
xenial-cluster and centos7-cluster to use a dedicated journal.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

testing: rename the dmcrypt-dedicated-journal to dmcrypt-journal

We're going to assume all scenarios use a dedicated journal unless
otherwise specified.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

contrib: don't fetch tags since we push force

reverting 4be9c52bafdf4b55edde2aebce9607268a7871e3

Signed-off-by: Sébastien Han <seb@redhat.com>

tests: make Vagrantfile a symlink for dmcrypt scenarios

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: adds a scenario using OSD dmcrypt_journal_collocation

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: adds a dmcrypt-dedicated-journal testing scenario

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

contrib: use push force because of the CI

If we don't force push we won't be able to push new content from
jenkins.

Signed-off-by: Sébastien Han <seb@redhat.com>

tests: rename the centos7-mon-osd scenario to raw-multi-journal

We really only need to test the raw-multi-journal OSD scenario on one
OS and it needed a better name to use with the CI.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

contrib: do a fetch all so we don't push force

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1124 from ceph/galaxy

contrib: It doesn't make sense to pull all tags

contrib: It doesn't make sense to pull all tags

On certain git versions running: git pull origin --tags ends up with the
following error: It doesn't make sense to pull all tags; you probably
meant: git fetch --tags

So removing the --tags since later in the execution we do a git fetch
--tags

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1123 from ceph/galaxy

contrib: add a goto basedir function

contrib: add a goto basedir function

This way if the script is not executed from the git directory we jump
into it, do our stuff and then go back to the dir where the user was.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1121 from D3N14L/master

Reviewed all roles and site.yml.sample and added "always_run: true" where appropriate

Better --check compatibility for ceph-rgw role

Carefully chosen "always_run: true" parameters for read-only tasks that
register variables. This enables --check runs (at least on deployed
clusters).

Better --check compatibility for ceph-restapi role

Carefully chosen "always_run: true" parameters for read-only tasks that
register variables. This enables --check runs (at least on deployed
clusters).

Better --check compatibility for ceph-rbd-mirror role

Carefully chosen "always_run: true" parameters for read-only tasks that
register variables. This enables --check runs (at least on deployed
clusters).

Better --check compatibility for ceph-osd role

Carefully chosen "always_run: true" parameters for read-only tasks that
register variables. This enables --check runs (at least on deployed
clusters).

Better --check compatibility for ceph-nfs role

Carefully chosen "always_run: true" parameters for read-only tasks that
register variables. This enables --check runs (at least on deployed
clusters).

Better --check compatibility for ceph-mon role

Carefully chosen "always_run: true" parameters for read-only tasks that
register variables. This enables --check runs (at least on deployed
clusters).

Better --check compatibility for ceph-mds role

Carefully chosen "always_run: true" parameters for read-only tasks that
register variables. This enables --check runs (at least on deployed
clusters).

Better --check compatibility for ceph-fetch-keys role

Carefully chosen "always_run: true" parameters for read-only tasks that
register variables. This enables --check runs (at least on deployed
clusters).

Better --check compatibility for ceph-common role

Carefully chosen "always_run: true" parameters for read-only tasks that
register variables. This enables --check runs (at least on deployed
clusters).

Better --check compatibility for ceph-common-coreos role

Carefully chosen "always_run: true" parameters for read-only tasks that
register variables. This enables --check runs (at least on deployed
clusters).

Better --check compatibility for ceph-agent role

Carefully chosen "always_run: true" parameters for read-only tasks that
register variables. This enables --check runs (at least on deployed
clusters).

Merge pull request #1102 from Logan2211/fix-default-syntax

Fix jinja defaulting syntax

Merge pull request #1118 from guits/master

[shrink-mon]: force playbook to fail if there is only one mon

[shrink-mon]: force playbook to fail if there is only one mon

The playbook will fail if only 1 mon is in the cluster
and advise to use the `purge-cluster` playbook instead.

Fix #1083

Fix jinja defaulting syntax

a397922 introduced a syntax error by attempting to default an unquoted
string, which causes execution failures on some ansible versions with:

Failed to template {{ ceph_rhcs_mount_path }}: Failed to template {{ ceph_stable_rh_storage_mount_path | default(/tmp/rh-storage-mount) }}: template error while templating string: unexpected '/'

Merge pull request #1117 from D3N14L/master

Improve --check compatibility for ceph-common, ceph-mon and ceph-rgw roles

Merge pull request #1113 from guits/master

All `include_vars` need to have `*.yml`, `*.yaml` or `*.json` extension.

All `include_vars` need to have `*.yml`, `*.yaml` or `*.json` extension.

As introduced in the following PR:
- https://github.com/ansible/ansible/pull/17207
we need to refactor our code.

Better --check compatibility for ceph-rgw role

Carefully chosen "always_run: true" parameters for read-only tasks that
register variables. This enables --check runs (at least on deployed
clusters).

Better --check compatibility for ceph-mon role

Carefully chosen "always_run: true" parameters for read-only tasks that
register variables. This enables --check runs (at least on deployed
clusters).

Better --check compatibility for ceph-common role

Carefully chosen "always_run: true" parameters for read-only tasks that
register variables. This enables --check runs (at least on deployed
clusters).

contrib: add a new script to update remote repos

This script allows us to split ceph-ansible role directory into
repositories that can be pushed.
This script is an enhanced version of splitup.yml that was using git
subtree. I haven't found any straighforward way to push tag using git
subtree where git filter-branch seems easier and more practical.

Now we can not only push commits from master but also all the relative
tags. It is nice for projects that want to consume our roles from the
Ansible Galaxy, pointing to a specific tags looking for a particular
release.

For backward compatobility, I pushed a branch called
"master-history-bkp" on all the github.com/ceph/ansbible-ceph-*
repositories. So current projects using a SHA to retrieve the roles
won't be impacted by this change.

At the time of the commit, running this script took  104.60s to
complete.

Signed-off-by: Sébastien Han <seb@redhat.com>
Co-Authored-By: Erwan Velu <erwan@redhat.com>
Co-Authored-By: Logan Vig <logan2211@gmail.com>

contrib: add a new script to update remote repos

This script allows us to split ceph-ansible role directory into
repositories that can be pushed.
This script is an enhanced version of splitup.yml that was using git
subtree. I haven't found any straighforward way to push tag using git
subtree where git filter-branch seems easier and more practical.

Now we can not only push commits from master but also all the relative
tags. It is nice for projects that want to consume our roles from the
Ansible Galaxy, pointing to a specific tags looking for a particular
release.

For backward compatobility, I pushed a branch called
"master-history-bkp" on all the github.com/ceph/ansbible-ceph-*
repositories. So current projects using a SHA to retrieve the roles
won't be impacted by this change.

At the time of the commit, running this script took  104.60s to
complete.

Signed-off-by: Sébastien Han <seb@redhat.com>
Co-Authored-By: Erwan Velu <erwan@redhat.com>
Co-Authored-By: Logan Vig <logan2211@gmail.com>

Make NTP checks usable with '--check'

As those task are only reading the installed packages and their output
is required in later tasks it is safe to run them also in check mode.

Merge pull request #1112 from zhsj/fix-py3

fix python3 compatibility in jinja2 template.

Merge pull request #1101 from ceph/ci-testing

testing: changes to allow for concurrent functional tests

Merge pull request #1077 from font/rolling_update

Support containerized rolling update

Merge pull request #1109 from ceph/bz-1396742

rolling_update: clarify "serial" usage

fix python3 compatibility in jinja2 template.

rename iterkeys to keys

testing: each scenario should use it's own fetch_directory

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

rolling_update: clarify "serial" usage

Prior to this commit the serial variable was poorly documented. Now we
are making clear that this value should be left untouched as the rolling
update mechanism should happen serially.

Solves: bz-1396742
Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1104 from ktdreyer/rm-apache

remove apache support for RGW

testing: remove the timeout for the ansible-playbook call

This isn't available on OSX and we'll end up hitting this timeout when
we don't want to, let's just remove it.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: update the subnet in the ceph.conf tests

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: add a UUID to the disk name when using libvirt

This will allow each testing scenario to have a unique names
for it's disks so there will not be conflicts when running tests
in parallel.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

remove apache support for RGW

libfcgi is dead upstream (http://tracker.ceph.com/issues/16784)

The RGW developers intend to remove libfcgi support entirely before the
Luminous release.

Since libfcgi gets little-to-no developer attention or testing, remove
it entirely from ceph-ansible.

tests: fix monitor_address in ubuntu/16.04/mon/hosts

We changed the subnet in vagrant_variables.yml so this needs to change
here as well.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

testing: use the same sequence in the group_vars for every test scenario

Signed-off-by: Alfredo Deza <adeza@redhat.com>

testing: use a sequence in the subnets for every vagrant_variables.yml to avoid collisions

Signed-off-by: Alfredo Deza <adeza@redhat.com>

testing: vagranfile should use random hostnames to prevent collisions

Signed-off-by: Alfredo Deza <adeza@redhat.com>