tests: mgr nodes should have the ceph-mon repo install

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #1456 from netservers/master

Apparmor on Ubuntu Xenial will not permit containers to mount devices.

Apparmor on Ubuntu Xenial will not permit containers to mount devices, even with CAP SYS_ADMIN.

Merge pull request #1453 from ceph/docs-fixtures

[docs] fixtures and Python tests

Merge pull request #1454 from ceph/tox-docs

docs: write docs for tox.ini file

docs: review feedback on testing/tox.rst

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

docs: fix rst error in scenarios.rst

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

docs: write docs for tox.ini file

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

docs: describe Python tests and fixtures

Signed-off-by: Alfredo Deza <adeza@redhat.com>

docs: conventions for test layouts

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #1452 from ceph/rhcs-mgr

ceph-common: install ceph-mgr for rhcs

ceph-common: install ceph-mgr for rhcs on debian

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-common: install ceph-mgr for rhcs on rhel

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #1430 from ceph/mgr-fix

test: add mgr section to the host inventory file

test: add mgr section to the host inventory file

Without this, we don't test the mgr role so we need to add it.

Co-Authored-by: Guillaume Abrioux <gabrioux@redhat.com>
Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1448 from ceph/docs-scenario-files

docs: describe all required scenario files

docs: describe all required scenario files

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #1443 from WingkaiHo/osds-journal-migrate

Migrate osd(s) journal to ssd

Merge pull request #1441 from ceph/docs-scenario

docs: scenario files and section descriptions

docs: scenario files and section descriptions

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #1442 from ceph/fix-hung-command

ceph-mon: change command to see if rbd exists

Merge pull request #1439 from ceph/rhcs-tests

tests: fix ceph_rhcs setup

Migrate osd(s) journal to ssd

ceph-mon: change command to see if rbd exists

The previous command was hanging, see this issue:

https://github.com/ceph/ceph-ansible/issues/1440

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: print contents of group_vars/all after modification

This is just nice to see in the test output so we know exactly what
configuration is going to be used.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-common: is ceph_rchs is True do not include install_on_redhat.yml

That task includes logic for upstream installs that we do not want to
run when deploying RHCS.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: set needed config in group_vars/all for rhcs testing

Instead of relying on environment variables and --extra-vars simply
modify the group_vars/all that ships with the specific testing scenario
to enable ceph_rchs testing.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: remove CEPH_STABLE environment variable

I'm removing this because when we use an 'rhcs' scenario then we attempt
to set CEPH_STABLE=false as an environment variable. The issue with that
is because the value is coming from an environment variable it is always
treated as a string and ansible treats that as a boolean True. I plan to
set the ceph_stable value with our rhcs_setup.yml playbook instead of
relying on ---extra-vars and environment variables.

Related ansible issue: https://github.com/ansible/ansible/issues/17193

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #1435 from dlupescu/purge_cluster_nvme_fix

purge-cluster: fix grep match for NVMe and HP Smart Array devices

Merge pull request #1431 from mcv21/restricted_assemble

Only assemble {{ cluster }}.conf and osd.conf

Merge pull request #1434 from ceph/docs-missing-static-master

Docs missing static master

Only include cluster.conf and osd.conf when building ceph.conf

This is the same fix as bc846b7da6d9af16d9611fef7f00df6557f19def
applied to the other part of the code-base that builds ceph.conf (I'd
missed that 349b9ab3e72f188c50b5f84f3ce5ee2fddcfbf80 had duplicated
this code).

Signed-off-by: Matthew Vernon <mv3@sanger.ac.uk>

purge-cluster: fix grep match for NVMe and HP Smart Array devices

raw_device would return invalid block device names for NVMe and HPSA
devices which would cause sgdisk partition deletion to fail

$ echo /dev/nvme1n1p3 | egrep -o '/dev/([hsv]d[a-z]{1,2}|cciss/c[0-9]d[0-9]p|nvme[0-9]n[0-9]p){1,2}'
/dev/nvme1n1p

$ echo /dev/cciss/c0d0p2 |  egrep -o '/dev/([hsv]d[a-z]{1,2}|cciss/c[0-9]d[0-9]p|nvme[0-9]n[0-9]p){1,2}'
/dev/cciss/c0d0p

docs: force an empty _static dir so sphinx is happy

Signed-off-by: Alfredo Deza <adeza@redhat.com>
(cherry picked from commit aacbbf0efe802e9282793dfc8bf7b175596c5aad)

docs: force an empty _templates dir so sphinx is happy

Signed-off-by: Alfredo Deza <adeza@redhat.com>
(cherry picked from commit 66a9817e56d69b046425dc04a03869fb9a9d8369)

Only assemble {{ cluster }}.conf and osd.conf

Ansible's assemble module by default will put all files in the src
directory together into dest. We only want to put {{ cluster }}.conf
and osd.conf together, not anything that might have found its way into
/etc/ceph/ceph.d (e.g. files left by the sysadmin taking backups
before an ansible run). So specify a regexp that matches only those
two files.

Signed-off-by: Matthew Vernon <mv3@sanger.ac.uk>

Merge pull request #1428 from ceph/fix-mgr

mon: fix with_items being evaluated before when

mon: fix with_items being evaluated before when

Ansible evaluates the 'with_items' before the 'when' so if the inventory
does not have the group declared it'll fail. To fix this, we set an
empty array to make the with_items happy and then evaluate with the
'when'.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1427 from ceph/downstream-testing

tests: updates for rhcs testing

tests: enable the rhcs-7-extras-nightly repo on test nodes

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: change centos/atomic-host box name to rhel7

We'd like to test everything rhcs on the same rhel7 box.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #1425 from ceph/bump-kraken

common: bump ceph version to kraken

common: bump ceph version to kraken

Kraken has been out for a couple of weeks now and the CI can test both
Kraken and Jewel.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1377 from ceph/ceph-mgr

mgr: add new role for ceph-mgr

test: add mgr bootstrap support

Signed-off-by: Sébastien Han <seb@redhat.com>

docker: fix monitors name

Prior to this change we were deploying a monitor using tis fqdn name but
we were checking its state and performing actions on it using its
shortname.

Signed-off-by: Sébastien Han <seb@redhat.com>

mgr: add new role for ceph-mgr

The Ceph Manager daemon (ceph-mgr) runs alongside monitor daemons, to
provide additional monitoring and interfaces to external monitoring and
management systems.

Only works as of the Kraken release.

Co-Authored-By: Guillaume Abrioux <gabrioux@redhat.com>
Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1421 from ceph/tox-docs

tox-driven docs

Merge pull request #1422 from k0ste/newfeature

ceph-common: persist "disable_transparent_hugepage"

ceph-common: disable_transparent_hugepage now persist

docs: add missing sections/refs in scenarios.rst

Signed-off-by: Alfredo Deza <adeza@redhat.com>

docs: include testing conventions and testinfra in layout.rst

Signed-off-by: Alfredo Deza <adeza@redhat.com>

docs: fix typo in testing/index.rst

Signed-off-by: Alfredo Deza <adeza@redhat.com>

docs: include the tests and tox files in the glossary

Signed-off-by: Alfredo Deza <adeza@redhat.com>

docs: create a tests doc file

Signed-off-by: Alfredo Deza <adeza@redhat.com>

docs: create a separate tox doc file

Signed-off-by: Alfredo Deza <adeza@redhat.com>

docs: use glossary for the :doc: directive

Signed-off-by: Alfredo Deza <adeza@redhat.com>

docs: add the testing glossary in the toctree

Signed-off-by: Alfredo Deza <adeza@redhat.com>

docs: normalize the glossary vs. contents files

Signed-off-by: Alfredo Deza <adeza@redhat.com>

docs: create a separate docs tox.ini

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #1412 from guits/fix_handlers

Common: Fix handlers that are not properly triggered.

Merge pull request #1416 from ceph/WingkaiHo-master

enable ceph-mon.target service after monitor start

Merge pull request #1418 from ceph/docs

Docs: an initial take on only test documentation

docs: initial structure for tests docs

Signed-off-by: Alfredo Deza <adeza@redhat.com>

docs create a separate glossary file

Signed-off-by: Alfredo Deza <adeza@redhat.com>

docs: the master doc is the glossary file

Signed-off-by: Alfredo Deza <adeza@redhat.com>

docs: ignore build contents from git

Signed-off-by: Alfredo Deza <adeza@redhat.com>

docs: initial take on doc structure

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #1417 from ceph/docker-env-vars

tests: add docker environment variables to tox.ini

tests: add docker environment variables to tox.ini

This allows us to control the docker registry, image name and tag name
for the containers.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

enable ceph-mon.target service after monitor start

ceph-create-keys unit file was removed here:

* https://github.com/ceph/ceph/commit/8bcb4646b6b9846bb965cdec3ca2a21eb3b26bab
* https://github.com/ceph/ceph/commit/dc5fe8d415858358bd0baf5d8dce0a753f5e0cea

As a consequence the systemctl preset command now fails to run since the
unit does not exist anymore. Due to the redirection in /dev/null we
don't know what's happening.

Ultimately the mon unit doesn't get enabled and the mon service won't
start after reboot.
Removing the old/non-existent unit makes the command succeed now.

ceph fix: https://github.com/ceph/ceph/pull/14226

Signed-off-by: WingkaiHo <sanguosfiang@163.com>
Co-Authored-By: Sébastien Han <seb@redhat.com>

Common: Fix handlers that are not properly triggered.

Until now, only the first task were executed.
The idea here is to use `listen` statement to be able to notify multiple
handler and regroup all of them in `./handlers/main.yml` as notifying an
included handler task is not possible.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1415 from dahorak/osd-autodiscovery-fix-check-holders

osd autodiscovery mode: fix holders detection

osd autodiscovery mode: fix holders detection

Small fix for (probably copy&paste) issue from 42ffe6301.

Signed-off-by: Daniel Horak <dahorak@redhat.com>

Merge pull request #1414 from ceph/scenario-alias

tests: add an alias of cluster for the centos7_cluster scenario

tests: add an alias of cluster for the centos7_cluster scenario

When testing this downstream it makes more sense for this scenario to be
named just 'cluster' because have 'centos7' in the name is misleading.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #1411 from ceph/bump-ansible

tests: bump the version of ansible to 2.2.2

Merge pull request #1409 from ceph/auto-dm

osd: autodiscovery mode, use holders to detect device

Merge pull request #1410 from ceph/kraken-tests

tests: run all tests for jewel and kraken

tests: bump the version of ansible to 2.2.2

Signed-off-by: Alfredo Deza <adeza@redhat.com>

osd: autodiscovery mode, use holders to detect device

As reported in
https://github.com/ceph/ceph-ansible/issues/1403 when devices are held
by lvm and `osd_auto_discovery` is set to true, it's not enough to check
for a partition count = 0 since Ansible does not report.
This patch also looks for 'holders' which in a case of lvm corresponds
to the name of the pv. Now we also look for holders = 0.

Fixes: #1403
Signed-off-by: Sébastien Han <seb@redhat.com>

tests: run all tests for jewel and kraken

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #1404 from ceph/check-osd-id

playbook: homogenize the way list osd ids

playbook: homogenize the way list osd ids

Problem: too many different commands to do the same thing. The 'cut'
command on infrastructure-playbooks/purge-cluster.yml was also wrong.
This sed command from osixia in ceph-docker
https://github.com/ceph/ceph-docker/pull/580/ addresses all the
scenarios.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1399 from guits/fix_ntp_install

Common: Do not install ntp when ntp_service_enabled is false

Common: Do not install ntp when ntp_service_enabled is false

ntp is still installed even if ntp_service_enabled is set to false.
That could be a problem if the time synchronization is managed by
something else than ceph-ansible or if you want to use different NTP
implementation as suggested in #1354.

Fixes: #1354
Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>
Signed-off-by: Guits <gabrioux@redhat.com>

Merge pull request #1397 from ceph/debug

vagrant: add debug option

vagrant: add debug option

If debug is set to true in vagrant_variables.yml then during the vagrant
provision phase Ansible will run with -vvvv option

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1386 from WingkaiHo/master

Create recover-osds-after-ssd-journal-failure.yml

Merge pull request #1391 from k0ste/newfeature

Resolve issues when groups names not in default value.

Merge pull request #1396 from guits/fix_1374

BugFix: Fix #1374

Resolve issues when groups names not in default value.

BugFix: Fix #1374

If a group of hosts is empty, (for instance 'mdss', in case of a
deployment without any mds node), the playbook will fails when trying
to restart service with `"'dict object' has no attribute u'XXX'"` error.

The idea here is to force the `with_items` statements in all included handler tasks
to get at least an empty array.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1394 from concubidated/master

ceph-common: update sysctl file location

remove the change

enable ceph-mon.target service after monitor start, fix the ceph monitor service do not start when the ceph reboot

Merge https://github.com/ceph/ceph-ansible

ceph-common: update sysctl file location

systctl tuning should be in the sysctl.d directory. This creates
a seperation from what values were set specific to ceph, and what
values were set by the operator.

Signed-off-by: Tyler Brekke <tbrekke@redhat.com>

Merge pull request #1389 from ceph/downstream-testing

tests: enable testing of rhcs

tests: change ceph/ubuntu-xenial boxes to rhel7

Signed-off-by: Andrew Schoen <aschoen@redhat.com>