Only assemble {{ cluster }}.conf and osd.conf

Ansible's assemble module by default will put all files in the src
directory together into dest. We only want to put {{ cluster }}.conf
and osd.conf together, not anything that might have found its way into
/etc/ceph/ceph.d (e.g. files left by the sysadmin taking backups
before an ansible run). So specify a regexp that matches only those
two files.

Signed-off-by: Matthew Vernon <mv3@sanger.ac.uk>

Merge pull request #1428 from ceph/fix-mgr

mon: fix with_items being evaluated before when

mon: fix with_items being evaluated before when

Ansible evaluates the 'with_items' before the 'when' so if the inventory
does not have the group declared it'll fail. To fix this, we set an
empty array to make the with_items happy and then evaluate with the
'when'.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1427 from ceph/downstream-testing

tests: updates for rhcs testing

tests: enable the rhcs-7-extras-nightly repo on test nodes

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: change centos/atomic-host box name to rhel7

We'd like to test everything rhcs on the same rhel7 box.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #1425 from ceph/bump-kraken

common: bump ceph version to kraken

common: bump ceph version to kraken

Kraken has been out for a couple of weeks now and the CI can test both
Kraken and Jewel.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1377 from ceph/ceph-mgr

mgr: add new role for ceph-mgr

test: add mgr bootstrap support

Signed-off-by: Sébastien Han <seb@redhat.com>

docker: fix monitors name

Prior to this change we were deploying a monitor using tis fqdn name but
we were checking its state and performing actions on it using its
shortname.

Signed-off-by: Sébastien Han <seb@redhat.com>

mgr: add new role for ceph-mgr

The Ceph Manager daemon (ceph-mgr) runs alongside monitor daemons, to
provide additional monitoring and interfaces to external monitoring and
management systems.

Only works as of the Kraken release.

Co-Authored-By: Guillaume Abrioux <gabrioux@redhat.com>
Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1421 from ceph/tox-docs

tox-driven docs

Merge pull request #1422 from k0ste/newfeature

ceph-common: persist "disable_transparent_hugepage"

ceph-common: disable_transparent_hugepage now persist

docs: add missing sections/refs in scenarios.rst

Signed-off-by: Alfredo Deza <adeza@redhat.com>

docs: include testing conventions and testinfra in layout.rst

Signed-off-by: Alfredo Deza <adeza@redhat.com>

docs: fix typo in testing/index.rst

Signed-off-by: Alfredo Deza <adeza@redhat.com>

docs: include the tests and tox files in the glossary

Signed-off-by: Alfredo Deza <adeza@redhat.com>

docs: create a tests doc file

Signed-off-by: Alfredo Deza <adeza@redhat.com>

docs: create a separate tox doc file

Signed-off-by: Alfredo Deza <adeza@redhat.com>

docs: use glossary for the :doc: directive

Signed-off-by: Alfredo Deza <adeza@redhat.com>

docs: add the testing glossary in the toctree

Signed-off-by: Alfredo Deza <adeza@redhat.com>

docs: normalize the glossary vs. contents files

Signed-off-by: Alfredo Deza <adeza@redhat.com>

docs: create a separate docs tox.ini

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #1412 from guits/fix_handlers

Common: Fix handlers that are not properly triggered.

Merge pull request #1416 from ceph/WingkaiHo-master

enable ceph-mon.target service after monitor start

Merge pull request #1418 from ceph/docs

Docs: an initial take on only test documentation

docs: initial structure for tests docs

Signed-off-by: Alfredo Deza <adeza@redhat.com>

docs create a separate glossary file

Signed-off-by: Alfredo Deza <adeza@redhat.com>

docs: the master doc is the glossary file

Signed-off-by: Alfredo Deza <adeza@redhat.com>

docs: ignore build contents from git

Signed-off-by: Alfredo Deza <adeza@redhat.com>

docs: initial take on doc structure

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #1417 from ceph/docker-env-vars

tests: add docker environment variables to tox.ini

tests: add docker environment variables to tox.ini

This allows us to control the docker registry, image name and tag name
for the containers.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

enable ceph-mon.target service after monitor start

ceph-create-keys unit file was removed here:

* https://github.com/ceph/ceph/commit/8bcb4646b6b9846bb965cdec3ca2a21eb3b26bab
* https://github.com/ceph/ceph/commit/dc5fe8d415858358bd0baf5d8dce0a753f5e0cea

As a consequence the systemctl preset command now fails to run since the
unit does not exist anymore. Due to the redirection in /dev/null we
don't know what's happening.

Ultimately the mon unit doesn't get enabled and the mon service won't
start after reboot.
Removing the old/non-existent unit makes the command succeed now.

ceph fix: https://github.com/ceph/ceph/pull/14226

Signed-off-by: WingkaiHo <sanguosfiang@163.com>
Co-Authored-By: Sébastien Han <seb@redhat.com>

Common: Fix handlers that are not properly triggered.

Until now, only the first task were executed.
The idea here is to use `listen` statement to be able to notify multiple
handler and regroup all of them in `./handlers/main.yml` as notifying an
included handler task is not possible.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1415 from dahorak/osd-autodiscovery-fix-check-holders

osd autodiscovery mode: fix holders detection

osd autodiscovery mode: fix holders detection

Small fix for (probably copy&paste) issue from 42ffe6301.

Signed-off-by: Daniel Horak <dahorak@redhat.com>

Merge pull request #1414 from ceph/scenario-alias

tests: add an alias of cluster for the centos7_cluster scenario

tests: add an alias of cluster for the centos7_cluster scenario

When testing this downstream it makes more sense for this scenario to be
named just 'cluster' because have 'centos7' in the name is misleading.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #1411 from ceph/bump-ansible

tests: bump the version of ansible to 2.2.2

Merge pull request #1409 from ceph/auto-dm

osd: autodiscovery mode, use holders to detect device

Merge pull request #1410 from ceph/kraken-tests

tests: run all tests for jewel and kraken

tests: bump the version of ansible to 2.2.2

Signed-off-by: Alfredo Deza <adeza@redhat.com>

osd: autodiscovery mode, use holders to detect device

As reported in
https://github.com/ceph/ceph-ansible/issues/1403 when devices are held
by lvm and `osd_auto_discovery` is set to true, it's not enough to check
for a partition count = 0 since Ansible does not report.
This patch also looks for 'holders' which in a case of lvm corresponds
to the name of the pv. Now we also look for holders = 0.

Fixes: #1403
Signed-off-by: Sébastien Han <seb@redhat.com>

tests: run all tests for jewel and kraken

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #1404 from ceph/check-osd-id

playbook: homogenize the way list osd ids

playbook: homogenize the way list osd ids

Problem: too many different commands to do the same thing. The 'cut'
command on infrastructure-playbooks/purge-cluster.yml was also wrong.
This sed command from osixia in ceph-docker
https://github.com/ceph/ceph-docker/pull/580/ addresses all the
scenarios.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1399 from guits/fix_ntp_install

Common: Do not install ntp when ntp_service_enabled is false

Common: Do not install ntp when ntp_service_enabled is false

ntp is still installed even if ntp_service_enabled is set to false.
That could be a problem if the time synchronization is managed by
something else than ceph-ansible or if you want to use different NTP
implementation as suggested in #1354.

Fixes: #1354
Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>
Signed-off-by: Guits <gabrioux@redhat.com>

Merge pull request #1397 from ceph/debug

vagrant: add debug option

vagrant: add debug option

If debug is set to true in vagrant_variables.yml then during the vagrant
provision phase Ansible will run with -vvvv option

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1386 from WingkaiHo/master

Create recover-osds-after-ssd-journal-failure.yml

Merge pull request #1391 from k0ste/newfeature

Resolve issues when groups names not in default value.

Merge pull request #1396 from guits/fix_1374

BugFix: Fix #1374

Resolve issues when groups names not in default value.

BugFix: Fix #1374

If a group of hosts is empty, (for instance 'mdss', in case of a
deployment without any mds node), the playbook will fails when trying
to restart service with `"'dict object' has no attribute u'XXX'"` error.

The idea here is to force the `with_items` statements in all included handler tasks
to get at least an empty array.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1394 from concubidated/master

ceph-common: update sysctl file location

remove the change

enable ceph-mon.target service after monitor start, fix the ceph monitor service do not start when the ceph reboot

Merge https://github.com/ceph/ceph-ansible

ceph-common: update sysctl file location

systctl tuning should be in the sysctl.d directory. This creates
a seperation from what values were set specific to ceph, and what
values were set by the operator.

Signed-off-by: Tyler Brekke <tbrekke@redhat.com>

Merge pull request #1389 from ceph/downstream-testing

tests: enable testing of rhcs

tests: change ceph/ubuntu-xenial boxes to rhel7

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: when testing rhcs default CEPH_STABLE=false

This will keep ceph-ansible from installing the upstream repo file on
the testing nodes.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

command module instead shell

remove service enable

break it into lines since you already use the string block synta and fix disable it here and enable again in later task

remove this detection and simply rely on {{ cluster }}

tests: change hosts in first play in rhcs_setup to localhost

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: set MTU to 1400 on test node interfaces

In the environment we were testing on, MTU was set to 1500 which causes
download failures of our yum repos. There might be a better way to set
this instead of doing it here in ansible.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: adds a task to download a repo file for nightly rhel7 packages

This is a url to an actual repo file, not a baseurl to use in a repo.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: fix ceph tools baseurl

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: enable the downstream rhcs repos

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: fix task in rhcs_setup that changes vagrant box to rhel7

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: use the rhcs_setup.yml playbook in tox.ini

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: adds a rhcs_setup.yml playbook

This is used to configure the test nodes for testing Ret Had Ceph
Storage.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

test: docker dmcrypt tests should use the site.docker.yml playbook

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: adds a 'rhcs-' prefix to the testing scenarios matrix

This allows for us to have a copy of the existing testing scenarios with
a 'rhcs-' prefix. We can use that in the tox.ini to take actions we need
to properly test Red Hat Ceph Storage.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #1345 from guits/fix_1338

ceph-docker: fix bootstrap directories permissions

ceph-docker: fix bootstrap directories permissions

Make bootstrap directories permissions work for both RedHat and Debian
os families.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>
Fix: #1338

fix some pelling mistakes and wirting format, use full device path for device name

This assumes ceph as a cluster name. We need detect the name of the cluster

This assumes ceph as a cluster name. We need detect the name of the cluster

Add auto detect the ceph cluster name

Merge pull request #1385 from ceph/fetch-dir

tests: allow setting fetch_directory with an environment variable

Merge pull request #1382 from anthonyeleven/master

Enhance clean PG check to catch active+clean+scrubbing and active+cle…

Merge pull request #1381 from joke-lee/master

the $? of pgrep ceph-rest-api command return is 1 when ceph-rest-api is already run

Merge pull request #1379 from D3N14L/fix_1299

Use ansible uri module instead of shell module with curl

Merge pull request #1376 from czunker/fix_osd_crush_location

Fix osd_crush_location to prevent systemd error message

Merge pull request #1365 from czunker/fix_osd_fragments

Make ceph-common aware of osd config fragments

Ansible will include host_vars/ansible_hostname.yml itself, no need this task IMO.

fix some syntax error

Create recover-osds-after-ssd-journal-failure.yml

This playbook use to recover Ceph OSDs after ssd journal failure.

tests: allow setting fetch_directory with an environment variable

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #1378 from ceph/ceph-create-keys

ceph-mon: always call ceph-create-keys

Enhance clean PG check to catch active+clean+scrubbing and active+clean+scrubbing+deep

Signed-off-by: Anthony D'Atri <anthony.datri@gmail.com>

the $? of pgrep ceph-rest-api command return is 1 when ceph-rest-api already run.  use ps instead

Merge pull request #1368 from ceph/test-install-methods

tests: provide ways to change the install method