Allow to override systemd service instance id

It's useful to have constant service instance id when ceph-nfs
is managed by pacemaker.

Merge pull request #1977 from ktdreyer/doc-master-ansible-version

docs: master requires ansible 2.3.1

Merge pull request #1978 from ktdreyer/doc-installing-ansible

[skip ci] docs: add instructions for installing Ansible

Merge pull request #1974 from ceph/mgr-upgrade-luminous

upgrade: a support for mgrs

docs: add instructions for installing Ansible

Add RPM and DEB instructions for installing Ansible.

docs: master requires ansible 2.3.1

We require Ansible 2.3.1 or greater to run ceph-ansible's master branch.

Merge pull request #1956 from ceph/osd-container-id

Osd container

Merge pull request #1975 from ceph/nfs-site

site: always play ceph-defaults and ceph-docker-common

upgrade: a support for mgrs

Also we now play ceph-config to have everything being generated for new
daemons bootstrap during upgrade.

Closes: https://bugzilla.redhat.com/show_bug.cgi?id=1497959
Signed-off-by: Sébastien Han <seb@redhat.com>

iscsi: fix when condition

generate_crt|bool|default(false) won't apply the default value, this
generate_crt|default(false)|bool will

Signed-off-by: Sébastien Han <seb@redhat.com>

site: always play ceph-defaults and ceph-docker-common

So we can later evaluate the conditions.
Also fix the variable, we are comparing ceph_release not
ceph_stable_release

Closes: https://bugzilla.redhat.com/show_bug.cgi?id=1486062
Signed-off-by: Sébastien Han <seb@redhat.com>

osd: container use id instead of dev name

Closes: https://bugzilla.redhat.com/show_bug.cgi?id=1494127
Signed-off-by: Sébastien Han <seb@redhat.com>

test: add handler support

Add idempotency and handler test.

Signed-off-by: Sébastien Han <seb@redhat.com>

osd: do not copy admin key on collocated scenario

ceph-disk used to have a bug requiring the admin key to store the
encrypted key in the mon kv store. This was reported in:
http://tracker.ceph.com/issues/17849

Fixed and backported here: https://github.com/ceph/ceph/pull/11996

Signed-off-by: Sébastien Han <seb@redhat.com>

test: add test for device with 'by-path'

We now test devices to be passed like:
/dev/disk/by-path/pci-0000:00:01.1-ata-1.0

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1973 from ceph/refact_ceph-defaults

defaults: change running order in main.yml

defaults: change running order in main.yml

The task which sets `ceph_current_fsid` in `facts.yml` in case of containerized
deployment, will definitely fail because `docker_exec_cmd` is not set
yet.
This commits simply makes `facts.yml` played after `check_socket.yml` so
`docker_exec_cmd` is set properly.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1968 from ceph/bz-1488999

refact MDS role

Merge pull request #1964 from vatelzh/master

purge-cluster: delete block partitions if using bluestore

refact MDS role

This commits refacts the role ceph-mds

The goal here is to create cephfs in `ceph-mon` for both containerized
and non-containerized cases so we don't need the admin keyring on mds
nodes anymore.

Closes: https://bugzilla.redhat.com/show_bug.cgi?id=1488999
Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1971 from ceph/expose-part

osd: add cluster name support

osd: add cluster name support

I forgot to add cluster name support so some partition were never
mounted correctly.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1967 from ceph/use_systemd_module

Use systemd module instead of service.

Merge pull request #1939 from ceph/ci-reboot

tests: implement reboot after a deployment

Use systemd module instead of service.

Using systemd module allows us to do in one task what we did in three
tasks:

- enable unit file,
- issue a `daemon-reload`,
- start the service

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

update: fix var register

Even if the task is skipped, ansible registers the var as 'skipped' so
this task the task using this variable for its next usage.

Signed-off-by: Sébastien Han <seb@redhat.com>

purge-cluster: delete block partitions if using bluestore

site: only support nfs on luminous and above

Signed-off-by: Sébastien Han <seb@redhat.com>

ci: run purge cluster on centos not ubuntu

Signed-off-by: Sébastien Han <seb@redhat.com>

defaults: add missing handlers for rbd mirorr and mgr

Signed-off-by: Sébastien Han <seb@redhat.com>

defaults: only run socket checks on their specific roles

Running the socket check on all the hosts will override the default
value of docker_exec_cmd, leaving it with the last value (currently
rbd-mirror), as a result the subsequent docker_exec_cmd usage for the
:x

Signed-off-by: Sébastien Han <seb@redhat.com>

nfs: fix container setup and re-arrange files

Signed-off-by: Sébastien Han <seb@redhat.com>

tests: add tests for rgw-nfs

rgw-nfs is part of servicemap so we should use it to make sure the
process is up and running.

Signed-off-by: Sébastien Han <seb@redhat.com>

rbd-mirror: force sercice enable ceph-rbd-mirror.target

There is a bug in the rbd mirror unit file, the upstream fix is here:
https://github.com/ceph/ceph/pull/17969.
This should be reverted once the patch is merged and backport is done.

Signed-off-by: Sébastien Han <seb@redhat.com>

tests: implement reboot after a deployment

We don't test server reboot, a lot of things can happen after that.
So now, we deploy, reboot then we run testinfra.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1962 from ceph/fix_mgr_sestatus

[skip ci] mgr: add condition to run selinux tasks only on rhel os family

docker: add condition to run selinux tasks only on rhel os family

This fixes the error :

```
The conditional check 'sestatus.stdout != 'Disabled'' failed.
```

that occurs when running on non rhel based system since the
`sestatus` fact is registered only on rhel based distribution.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1959 from ceph/update-check

rolling_update: clarify mon quorum command

Merge pull request #1961 from ceph/site-condition-2

[skip ci]  site: s/ceph_stable_release/ceph_release

site: s/ceph_stable_release/ceph_release

Fix typo, ceph_release is used, not ceph_stable_release

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1960 from ceph/site-condition

site: fix condition

site: fix condition

we don't know ceph_stable_release before executing the role so at least
we need to run ceph-defaults and ceph-docker-common or
ceph-common.

Closes: https://bugzilla.redhat.com/show_bug.cgi?id=1486062
Signed-off-by: Sébastien Han <seb@redhat.com>

rolling_update: clarify mon quorum command

Cleaner.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1958 from ceph/update-luminous

Update luminous

update: complete luminous upgrade

Once we complete the upgrade to Luminous, we must issue a specific
command. For more info read:
http://ceph.com/community/new-luminous-upgrade-complete/

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1931 from ceph/re-enable-iscsi

iscsi: re-enable the scenario

iscsi: re-enable the scenario

CentOS 7.4 vagrant box is now available so re-enabling this scenario.
For more info:
https://seven.centos.org/2017/09/updated-centos-vagrant-images-available-v1708-01/

Signed-off-by: Sébastien Han <seb@redhat.com>

update: nicer way to wait for clean pgs

More comprhensive and friendly to read.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1641 from fullerdj/wip-djf-key-timeout

mon/ceph_keys: Add timeout flag to ceph-create-keys

Merge pull request #1955 from ceph/fix_syntax

docker-common: fix wrong syntax

docker-common: fix wrong syntax

there is no need to backslash the quotes here.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

mon/ceph_keys: Add timeout flag to ceph-create-keys

Specify the timeout flag to ceph-create-keys, which causes it to time out
if a monitor quorum isn't achieved. This overrides the default timeout
of 10 minutes, causing ceph-ansible to fail faster in the event of cluster
network issues.

Signed-off-by: Douglas Fuller <dfuller@redhat.com>

Merge pull request #1916 from ceph/purge-cluster-fix

purge-cluster: default lvm_volumes if not defined

purge-cluster: default lvm_volumes if not defined

Most osd scenarios do not use lvm_volumes, so default it in
purge-cluster.yml if it's not defined.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #1545 from ceph/wip-rgw-test

test: add basic testing coverage for the rgw

Merge pull request #1949 from ceph/wip-rhcs-cdn-validation

ceph-common: Fix logic for ceph_repository_type

ceph-common: Fix logic for ceph_repository_type

It's failing if a *valid* choice is specified.

Signed-off-by: Zack Cerza <zack@redhat.com>

test: add test making sure rgw http endpoints are enabled

Signed-off-by: Ali Maredia <amaredia@redhat.com>

Merge pull request #1943 from ceph/mgr-site

handler: enhance socket detection

Merge pull request #1933 from ceph/osd-container-reboot

[skip ci] osd: fix container reboot

handler: enhance socket detection

We have seen issues with leftover socker. So now, if a socket is found
we also check if it's accessed by a process. If so, we can run the
handler, if not we remove it and continue the playbook.

Signed-off-by: Sébastien Han <seb@redhat.com>
Co-Authored-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1947 from ceph/purge_mgr

purge: implement mgr purge

osd: fix container reboot

It's sad but we can not rely on the prepare container anymore since the
log are flushed after reboot. So inpecting the container does not return
anything.
Now, instead we use a ephemeral container to look up for the
journal/block.db/block.wal (depending if filestore or bluestore) and
build the activate command accordingly.

Signed-off-by: Sébastien Han <seb@redhat.com>

rbd-mirror: fix systemd unit in purge-docker

rbd-mirror containers are not stopped in purge-docker-cluster playbook
because of the wrong name used.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

purge: implement mgr purge

unti now, mgr nodes are not managed by purge-cluster.yml, therefore it
breaks scenario like purge_cluster.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1948 from ceph/fix_rgw_update

update: update rgw systemd unit name

update: update rgw systemd unit name

The old name is used in `rolling_update.yml` and
`purge-docker-cluster.yml`, it breaks the
`test_rgw_service_is_running()` test.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1946 from ceph/fix_bug_collocation

config: fix path to set `interface` in ceph.conf

config: fix path to set `interface` in ceph.conf

need to use `hostvars[host]['XXX']` to retrieve the monitor
interface and/or radosgw interface.

Fixes: https://bugzilla.redhat.com/show_bug.cgi?id=1493920
Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1940 from ceph/rgw-interface

config: fix rgw interface when using different interfaces

Merge pull request #1945 from ceph/mgr-siteuh

[skip ci] Mgr siteuh

handler: display ceph status properly

Fix bash error, doing ceph "$CEPH_CLI" -s gives us

ceph '--name client.bootstrap-osd --keyring
/var/lib/ceph/bootstrap-osd/test.keyring --cluster test' -s

which results in a wrongly formatted command. Removing the double quotes
expands the array properly.

Signed-off-by: Sébastien Han <seb@redhat.com>

mgr: always bootstrap mgr right after the mon

If we don't bootstrap the mgr after the mon and the osds handler are
called, we will never be able to reach a clean state since the pgs
stats are handled by the mgr. This also happens when doing daemon
collocation.

Closes: https://bugzilla.redhat.com/show_bug.cgi?id=1493920
Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1942 from ceph/nfs-again

[skip ci] nfs: fix docker_exec_cmd_nfs default value

nfs: fix docker_exec_cmd_nfs default value

the default is not an array, default is empty.

Signed-off-by: Sébastien Han <seb@redhat.com>

config: fix rgw interface when using different interfaces

Conf file generation failing on rgw nodes when nodes have different
interface names.

Closes: https://bugzilla.redhat.com/show_bug.cgi?id=1493552
Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1941 from ceph/nfs-fix

[skip ci] nfs: fix undefined variable

nfs: fix undefined variable

This is what happens when you don't run all the jobs from the CI...

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1923 from ceph/nfs-container

[skip ci] tests: add nfs container test

nfs: several fixes

- move the file fetch/push to the existing task
- rename the include
- generate the ganesha template from ansible
- re-arrange role structure
- re-use tasks for non-container and container
- configure keys for non-container and container
- fix rgw container key collection;

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1934 from ceph/fix_debian_install

[skip ci] common: fix debian install

common: fix debian install

in addition to #1926 this commit fixes the error when trying to include
`install_debian_rhcs_packages.yml`

Closes: https://bugzilla.redhat.com/show_bug.cgi?id=1493231
Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

 tests: add nfs container test

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1872 from ceph/ci-rbd-mirror

Ci rbd mirror

tests: temporary disable `test_nfs_rgw_fsal_export`

This test doesn't work at the moment and need to be fixed.
Disabling it temporary to avoid errors in the CI.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

nfs: change ownership on /var/log/ganesha

to fix selinux capability issue that prevent nfs to start.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

docker-common: refact `stat_ceph_files.yml`

there is no need to build the `ceph_config_keys` fact in several steps
for rbd-mirror keyring.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

rbd: fix missing keyring on nodes

the rbd key was not pushed on rbd nodes because its keyring path was not
added in `ceph_config_keys`.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

docker-common: fix ceph_health check

`docker ps` will always return `0`
(see: https://github.com/docker/cli/issues/538).

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

rgw: refact start_docker_rgw.yml

remove usage of `shell` module in favor of `systemd` module.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

ci: add precise tests to valide daemons are up

Add daemon health check for rgw, mds, mgr, rbd mirror.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>
Co-Authored-by: Guillaume Abrioux <gabrioux@redhat.com>

mgr: add missing admin key for mgr container

Followup on #1761.
Add missing admin key for mgr node in containerized deployment.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1917 from ceph/shrking-container

shrink: support for container

Merge pull request #1930 from ceph/filestore-osd-section

config: no not generate osd section if bluestore

config: remove max open file

This is only used by the old sysvinit scripts

Signed-off-by: Sébastien Han <seb@redhat.com>

config: no not generate osd section if bluestore

This section is not needed when running a bluestore osd.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1929 from ceph/ceph-conf

docker: we don't need to copy the ceph.conf on all the nodes

docker: we don't need to copy the ceph.conf on all the nodes

We generate the ceph.conf on all the nodes through the
ceph-docker-common so there is no need to push it to the Ansible file.

Also this is breaking the ceph.conf template generation since we only
generate sections based on the host the ansible task is running on.

For example, what's typically happening, we bootstrap the monitor, we
get a ceph.conf generated for a mon only, we go on an osd, we generate
the ceph.conf with osd section (done by ceph-docker-common) but this
gets overwritten by the copy_config task of the ceph-osd role.

Signed-off-by: Sébastien Han <seb@redhat.com>

shrink: support for container

We can now shrink mon and osds on containerized deployment.

Closes: https://bugzilla.redhat.com/show_bug.cgi?id=1492115
Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1920 from jprovaznik/ganesha

Make ceph-nfs service enablement/start optional