rbd-mirror: fix systemd unit in purge-docker

rbd-mirror containers are not stopped in purge-docker-cluster playbook
because of the wrong name used.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

purge: implement mgr purge

unti now, mgr nodes are not managed by purge-cluster.yml, therefore it
breaks scenario like purge_cluster.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1948 from ceph/fix_rgw_update

update: update rgw systemd unit name

update: update rgw systemd unit name

The old name is used in `rolling_update.yml` and
`purge-docker-cluster.yml`, it breaks the
`test_rgw_service_is_running()` test.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1946 from ceph/fix_bug_collocation

config: fix path to set `interface` in ceph.conf

config: fix path to set `interface` in ceph.conf

need to use `hostvars[host]['XXX']` to retrieve the monitor
interface and/or radosgw interface.

Fixes: https://bugzilla.redhat.com/show_bug.cgi?id=1493920
Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1940 from ceph/rgw-interface

config: fix rgw interface when using different interfaces

Merge pull request #1945 from ceph/mgr-siteuh

[skip ci] Mgr siteuh

handler: display ceph status properly

Fix bash error, doing ceph "$CEPH_CLI" -s gives us

ceph '--name client.bootstrap-osd --keyring
/var/lib/ceph/bootstrap-osd/test.keyring --cluster test' -s

which results in a wrongly formatted command. Removing the double quotes
expands the array properly.

Signed-off-by: Sébastien Han <seb@redhat.com>

mgr: always bootstrap mgr right after the mon

If we don't bootstrap the mgr after the mon and the osds handler are
called, we will never be able to reach a clean state since the pgs
stats are handled by the mgr. This also happens when doing daemon
collocation.

Closes: https://bugzilla.redhat.com/show_bug.cgi?id=1493920
Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1942 from ceph/nfs-again

[skip ci] nfs: fix docker_exec_cmd_nfs default value

nfs: fix docker_exec_cmd_nfs default value

the default is not an array, default is empty.

Signed-off-by: Sébastien Han <seb@redhat.com>

config: fix rgw interface when using different interfaces

Conf file generation failing on rgw nodes when nodes have different
interface names.

Closes: https://bugzilla.redhat.com/show_bug.cgi?id=1493552
Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1941 from ceph/nfs-fix

[skip ci] nfs: fix undefined variable

nfs: fix undefined variable

This is what happens when you don't run all the jobs from the CI...

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1923 from ceph/nfs-container

[skip ci] tests: add nfs container test

nfs: several fixes

- move the file fetch/push to the existing task
- rename the include
- generate the ganesha template from ansible
- re-arrange role structure
- re-use tasks for non-container and container
- configure keys for non-container and container
- fix rgw container key collection;

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1934 from ceph/fix_debian_install

[skip ci] common: fix debian install

common: fix debian install

in addition to #1926 this commit fixes the error when trying to include
`install_debian_rhcs_packages.yml`

Closes: https://bugzilla.redhat.com/show_bug.cgi?id=1493231
Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

 tests: add nfs container test

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1872 from ceph/ci-rbd-mirror

Ci rbd mirror

tests: temporary disable `test_nfs_rgw_fsal_export`

This test doesn't work at the moment and need to be fixed.
Disabling it temporary to avoid errors in the CI.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

nfs: change ownership on /var/log/ganesha

to fix selinux capability issue that prevent nfs to start.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

docker-common: refact `stat_ceph_files.yml`

there is no need to build the `ceph_config_keys` fact in several steps
for rbd-mirror keyring.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

rbd: fix missing keyring on nodes

the rbd key was not pushed on rbd nodes because its keyring path was not
added in `ceph_config_keys`.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

docker-common: fix ceph_health check

`docker ps` will always return `0`
(see: https://github.com/docker/cli/issues/538).

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

rgw: refact start_docker_rgw.yml

remove usage of `shell` module in favor of `systemd` module.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

ci: add precise tests to valide daemons are up

Add daemon health check for rgw, mds, mgr, rbd mirror.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>
Co-Authored-by: Guillaume Abrioux <gabrioux@redhat.com>

mgr: add missing admin key for mgr container

Followup on #1761.
Add missing admin key for mgr node in containerized deployment.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1917 from ceph/shrking-container

shrink: support for container

Merge pull request #1930 from ceph/filestore-osd-section

config: no not generate osd section if bluestore

config: remove max open file

This is only used by the old sysvinit scripts

Signed-off-by: Sébastien Han <seb@redhat.com>

config: no not generate osd section if bluestore

This section is not needed when running a bluestore osd.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1929 from ceph/ceph-conf

docker: we don't need to copy the ceph.conf on all the nodes

docker: we don't need to copy the ceph.conf on all the nodes

We generate the ceph.conf on all the nodes through the
ceph-docker-common so there is no need to push it to the Ansible file.

Also this is breaking the ceph.conf template generation since we only
generate sections based on the host the ansible task is running on.

For example, what's typically happening, we bootstrap the monitor, we
get a ceph.conf generated for a mon only, we go on an osd, we generate
the ceph.conf with osd section (done by ceph-docker-common) but this
gets overwritten by the copy_config task of the ceph-osd role.

Signed-off-by: Sébastien Han <seb@redhat.com>

shrink: support for container

We can now shrink mon and osds on containerized deployment.

Closes: https://bugzilla.redhat.com/show_bug.cgi?id=1492115
Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1920 from jprovaznik/ganesha

Make ceph-nfs service enablement/start optional

Merge pull request #1926 from ceph/rhcs-debina

common: fix rhcs debian install

common: fix rhcs debian install

Closes: https://bugzilla.redhat.com/show_bug.cgi?id=1493231
Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1925 from ceph/wip-nfs-config-changes

nfs: ganesha.conf template fixes

nfs: ganesha.conf template fixes

- Change capitalization of config options to be
in line with what config.txt in the nfs-ganesha
tree says

Signed-off-by: Ali Maredia <amaredia@redhat.com>

Merge pull request #1918 from ceph/fix-rhcinstall

common: fix rhcs installation and rgw package for nfs

common: fix rhcs installation and rgw package for nfs

RHCS install wasn't working at all prior to this commit as the name of
the include was pointing to a non-existing file.

Closes: https://bugzilla.redhat.com/show_bug.cgi?id=1492056
Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1919 from ceph/iscsi-check

common: fix rhel check

Merge pull request #1904 from ceph/name-include-fact

name includes and set_fact for clarity

Make ceph-nfs service enablement/start optional

When ceph-nfs service is managed by pacemaker, it's useful to
not enable and start ceph-nfs service through systemd but let
pacemaker to start the service in a next step.

common: fix rhel check

Looks like Ansible is now using "RedHat" instead of "Red Hat Enterprise
Linux"

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1911 from fghaas/1910

Introduce ceph_nfs_ceph_user

Introduce ceph_nfs_ceph_user

In analogy to ceph_nfs_rgw_user, we should be able to define a user
with which the nfs-ganesha Ceph FSAL connects to the cluster.

Introduce a ceph_nfs_ceph_user variable, setting its default to
"admin" (which preserves the prior behavior of always connecting as
client.admin).

Fixes #1910.

name includes and set_fact for clarity

When Ansible is not run with verbose options it's difficult to see which
include and/or set_fact does what. So adding a name for each clarifies.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1889 from ceph/client-containers

client: ability to create keys and pool with no ceph binaries

Merge pull request #1915 from ceph/state-leftover

docker-common: re-introduce state for leftover files

docker-common: re-introduce state for leftover files

The variable "statleftover" was removed by commit
a60c74f61eb4b7523ef6d4065624312bfd0aa03a
and never added back to the new playbook,
yet it is still being referenced.

Adding it back

Closes: https://bugzilla.redhat.com/show_bug.cgi?id=1492224
Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1900 from ceph/rpm-all-yaml

rpm: ship rhcs.yaml.sample as all.yml.sample on RHEL

client: ability to create keys and pool with no cpeh binaries

On a container env, machines don't have any ceph binaries so we need to
use a container to run the commands.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1891 from ceph/clarify-update

rolling_update: clarify update doc

Merge pull request #1898 from ceph/restart-mon

defaults: restart docker daemon higher delay

Merge pull request #1901 from ceph/rpm-ansible-2.3

rpm: require Ansible 2.3.1.0

rpm: require Ansible 2.3.1.0

We require a newer verison of Ansible now.

rpm: ship rhcs.yaml.sample as all.yml.sample on RHEL

When building the RPM on RHEL, we will ship the conents of the
`rhcs.yml.sample` file into `all.yml.sample`.

The purpose of this change is to expose "all.yml.sample" to both
upstream and downstream users, so they use the same file name (but with
different contents.)

Merge pull request #1899 from ceph/rpm-obsoletes-iscsi

rpm: Obsoletes ceph-iscsi-ansible

rpm: Obsoletes ceph-iscsi-ansible

The ceph-iscsi-ansible project has moved into ceph-ansible now. Make the
ceph-ansible package obsolete the ceph-iscsi-ansible package. With this
change, Yum updates will seamlessly uninstall the ceph-iscsi-ansible
package.

Merge pull request #1895 from ceph/rhcs-on-rhel

rpm: ship different yml samples on RHEL vs CentOS

defaults: restart docker daemon higher delay

Use default delay since the mon (in particular) can take more time to
restart.
Solves error with:

STDERR:

Error response from daemon: No such container: ceph-mon-mon0

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1894 from ceph/mgr-version

mon: create the mgr key for release >= luminous

rpm: ship different yml samples on RHEL vs CentOS

When building the RPM on CentOS, we will ship the all.yml.sample file
and delete rhcs.yml.sample.

When building the RPM on RHEL, we will ship the rhcs.yml.sample file and
delete all.yml.sample.

mon: create the mgr key for release >= luminous

This fixes RHCS builds. We know which Ceph version we are running on.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1893 from ceph/rgw-socker

rgw: remove old variables

Merge pull request #1890 from ceph/lvm-setup

tests: fix lvm_setup.yml for purge_cluster.yml

rgw: remove old variables

Since the only support civetweb these variables are obsolete.

Signed-off-by: Sébastien Han <seb@redhat.com>

osd: add meaningful message for journal_size

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1892 from ceph/purge-dmcrypt-col

purge: only purge specific directories for mon

Merge pull request #1800 from ceph/wip-osd-start-fix

ceph-osd: Fix osd start sequence

purge: only purge specific directories for mon

Handles the case when a mon is collocated with an OSD.

Closes: https://github.com/ceph/ceph-ansible/issues/1877
Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1885 from ceph/shrink-osd

shrink-osd: fix when multiple osds

rolling_update: clarify update doc

Closes: https://bugzilla.redhat.com/show_bug.cgi?id=1490188
Signed-off-by: Sébastien Han <seb@redhat.com>

shrink-osd: fix when multiple osds

The loop was being built properly so we were always getting the last
item as osd host.

Closes: https://bugzilla.redhat.com/show_bug.cgi?id=1490355
Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1880 from ceph/wip-rgw-nfs

nfs: configure RGW FSAL to start up correctly

tests: delete journal partitions in lvm_setup.yml

Delete these before creating them incase they are left around in a purge
cluster testing scenario. The purge-cluster.yml playbook does not
currently remove partitions used for journals.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #1882 from ceph/multi-journal

osd: drop support for device partition

Merge pull request #1888 from ceph/make-srpm-rpmbuild

Makefile: remove fedpkg dependency for "srpm"

Makefile: remove fedpkg dependency for "srpm"

It's not currently possible to install EPEL 7's fedpkg alongside the
centos-packager package in CentOS 7 Extras (for /usr/bin/cbs), because
they each depend on slightly different Koji package versions.

This means that we cannot run "make srpm" on a system where
centos-packager is installed, because that depends on fedpkg.

Remove the dependency on fedpkg for the "srpm" target, and run
rpmbuild -bs directly.

The purpose of this change is to make it easier to automatically
build ceph-ansible SRPMs in Jenkins/cbs.centos.org.

Merge pull request #1883 from ceph/quick_refact

osd: refact include of `activate_osds.yml`

Merge pull request #1747 from ceph/add-iscsi

resync ceph-iscsi-gw with old upstream

resync ceph-iscsi-gw with old upstream

Taken from https://github.com/pcuzner/ceph-iscsi-ansible/tree/tcmu-fixes

Closes: https://bugzilla.redhat.com/show_bug.cgi?id=1454945 and
https://bugzilla.redhat.com/show_bug.cgi?id=1484083
Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1884 from ceph/mon-container-ip

mon: add support for monitor_address block for containers

osd: drop support for device partition

We have been struggling with this, it's still broken and breaking other
things too now.

Closes: https://bugzilla.redhat.com/show_bug.cgi?id=1490283
Signed-off-by: Sébastien Han <seb@redhat.com>

osd: refact include of `activate_osds.yml`

remove duplicate code.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

mon: add support for monitor_address block for containers

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1761 from ceph/split_copy_keys

docker: split the task 'copy ceph configs&keys'

nfs: configure RGW FSAL to start up correctly

- Add RGW keyring to nfs node
- Add RGW section to ganesha.conf
- Add RGW section to ceph.conf onf nfs node

Signed-off-by: Ali Maredia <amaredia@redhat.com>

tests: no need to create a filesystem on /dev/sdc1 for lvm tests

The partition only needs created and given a gpt label so that a
PARTUUID will exist on the partition.

This task also makes the purge_lvm_osds scenario fail on the second
deployment after purging.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #1881 from ceph/followup_1724

ceph-osd: remove deprecated comment in sample file

ceph-osd: remove deprecated comment in sample file

Since #1724 has been merged, this comment is deprecated

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Docker: split the task 'copy ceph configs&keys'

All keys are copied to all nodes.
This commit split that task in each roles so keys are copied to their
respective nodes.

Closes: https://bugzilla.redhat.com/show_bug.cgi?id=1488999
Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1863 from ceph/rpm-comments

rpm: better comments for file removals

Merge pull request #1840 from ceph/simply-containers

docker: simplify variable declaration

docker: simplify variable declaration

Less configuration for the user, the container inherit from the global
variables. No more container specific variables.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1878 from ceph/add-rbd-mirror

Add rbd mirror

ci: deploy rbd mirror

Deploy rbd mirorr in cluster scenario

Signed-off-by: Sébastien Han <seb@redhat.com>