iscsi: fix wrong group name for iscsi

Closes: https://bugzilla.redhat.com/show_bug.cgi?id=1498490
Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1957 from ceph/multi_env_test

tests: make all subnet uniq per scenario

Merge pull request #1997 from rrmichel/osd_fragment

Fixing path to osd_fragment.yml

Merge pull request #1995 from ceph/remove-rbd-check

jewel: remove rbd check

tests: set `volume_cache` 'unsafe'

Set volume_cache to unsafe for CI VMs.
We might be using tmpfs for volume disks soon, therefore 'unsafe' is a
prerequisite for volume_cache

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

tests: disable shared folder

Shared folder is not required for tests.
We should avoid hitting the error :
```
uninitialized constant VagrantPlugins::ProviderLibvirt::Action::ShareFolders
```
Also, disabling it might reduce the needed time in certains cases for the VMs
to be started.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

tests: make all subnet uniq per scenario

If two environments are using the same subnet, we will get trouble
because of ips addresses conflicts.
This commit ensures each scenario has a uniq subnet for both public and cluster
network so we can setup several test environment at a time on a same hypervisor.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1999 from ceph/bz-1486062

common: remove unusuable conditions

common: remove unusuable conditions

`ceph_release` isn't available at this step of the playbook because it
is set later based on the installed binaries.

Closes: https://bugzilla.redhat.com/show_bug.cgi?id=1486062
Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1993 from jprovaznik/log

Fix bind mount for /var/lib/nfs/ganesha directory

Fixing path to osd_fragment.yml

Merge pull request #1988 from ceph/fix_keyrings

docker: fix keyrings copied on all nodes

jewel: remove rbd check

The value of doing this is fairly low compare to the added value.
So we remove these tasks, if rbd pool on Jewel doesn't have the right PG
value you can always increase it.

Signed-off-by: Sébastien Han <seb@redhat.com>

Fix bind mount for /var/lib/nfs/ganesha directory

tests: add ceph-override.json for ubuntu/cluster

in addition to 18e2ab4d this commit adds the same file for ubuntu
testing scenario.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1992 from jprovaznik/pool

Evaluate cephfs pool variables

tests: fix broken osd test for xenial_cluster

the path `/dev/disk/by-path/pci-0000:00:01.1-ata-1.0` doesn't exist.
it has to be changed to `/dev/disk/by-path/pci-0000:00:01.1-ata-1`

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Evaluate cephfs pool variables

Otherwise pools with names 'cephfs_data' and 'cephfs_metadata'
are created.

docker: fix keyrings copied on all nodes

All keyring are getting copied to all nodes.
This commit fixes a leftover from a previous code refactor.

Closes: https://bugzilla.redhat.com/show_bug.cgi?id=1498583
Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1976 from ceph/rbd_pool

Only perform actions on the rbd pool after it has been created

tests: increase number of threads for testinfra

from 4 to 8 to make testing faster.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

tests: fix brokens tests for mds

5968cf0 broke the test on mds because of leftover.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

iscsi-gw: Create a rbd pool if it doesn't exist

iscsi-gw needs a 'rbd' pool to configure iscsi target.
Note: I could have used the facts already set in `ceph-mon` but I voluntarily
didn't do it to not create a dependancy between these two roles.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Refact code for set_osd_pool_default_*

This commit refacts the code regarding all `set_osd_pool_default_*`
related tasks by avoiding usage of useless `set_fact` to determine
whether a key is present in `ceph_conf_overrides`.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Only perform actions on the rbd pool after it has been created

The rbd pool is the default pool that gets created during ceph cluster
initializaiton.  If we act on the rbd related operations too early, the
rbd pool does not exist yet.  Move the call to perform rbd operations
to a later stage after other pools have been created.

The rbd_pool.yml playbook has all the operations related to the rbd pool.

Replace the always_run (deprecated) directive with check_mode.

Most of the ceph related tasks only need to run once.  The run_once directive
executes the task on the first host.

The ceph sub-command to delete a pool is delete (not rm).

The changes submitted here were tested with this ceph version.
ceph version 0.94.9-9.el7cp (b83334e01379f267fb2f9ce729d74a0a8fa1e92c)

This upload includes these changes:
  - Use the fail module (instead of assert).
  - From luminous release, the rbd pool is no longer created by default.
    Delete the code to create the rbd pool for luminous release
  - Conform the .yml files to use the suggested syntax.

The commands are executed on the mcp nodes and I think shell ansible module
is the right one to use.  The command module is used to execute commands on
remote nodes.  I can make the change to use command module if that is
prefrerred.

Merge pull request #1986 from ceph/fixes

[skip ci] defaults: fix check socket non-container handler

defaults: fix check socket non-container handler

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1953 from ceph/colocation

[skip ci] Colocation

nfs: add run once to user creation

The create user call is idempotent but it's also blocking for some
reasons.

Signed-off-by: Sébastien Han <seb@redhat.com>

set docker_exec_cmd fact early in each role

This is to ensure `docker_exec_cmd` fact is set with the correct value
in case of daemons collocation

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

ci: add collocation scenario

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1977 from ktdreyer/doc-master-ansible-version

docs: master requires ansible 2.3.1

Merge pull request #1978 from ktdreyer/doc-installing-ansible

[skip ci] docs: add instructions for installing Ansible

Merge pull request #1974 from ceph/mgr-upgrade-luminous

upgrade: a support for mgrs

docs: add instructions for installing Ansible

Add RPM and DEB instructions for installing Ansible.

docs: master requires ansible 2.3.1

We require Ansible 2.3.1 or greater to run ceph-ansible's master branch.

Merge pull request #1956 from ceph/osd-container-id

Osd container

Merge pull request #1975 from ceph/nfs-site

site: always play ceph-defaults and ceph-docker-common

upgrade: a support for mgrs

Also we now play ceph-config to have everything being generated for new
daemons bootstrap during upgrade.

Closes: https://bugzilla.redhat.com/show_bug.cgi?id=1497959
Signed-off-by: Sébastien Han <seb@redhat.com>

iscsi: fix when condition

generate_crt|bool|default(false) won't apply the default value, this
generate_crt|default(false)|bool will

Signed-off-by: Sébastien Han <seb@redhat.com>

site: always play ceph-defaults and ceph-docker-common

So we can later evaluate the conditions.
Also fix the variable, we are comparing ceph_release not
ceph_stable_release

Closes: https://bugzilla.redhat.com/show_bug.cgi?id=1486062
Signed-off-by: Sébastien Han <seb@redhat.com>

osd: container use id instead of dev name

Closes: https://bugzilla.redhat.com/show_bug.cgi?id=1494127
Signed-off-by: Sébastien Han <seb@redhat.com>

test: add handler support

Add idempotency and handler test.

Signed-off-by: Sébastien Han <seb@redhat.com>

osd: do not copy admin key on collocated scenario

ceph-disk used to have a bug requiring the admin key to store the
encrypted key in the mon kv store. This was reported in:
http://tracker.ceph.com/issues/17849

Fixed and backported here: https://github.com/ceph/ceph/pull/11996

Signed-off-by: Sébastien Han <seb@redhat.com>

test: add test for device with 'by-path'

We now test devices to be passed like:
/dev/disk/by-path/pci-0000:00:01.1-ata-1.0

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1973 from ceph/refact_ceph-defaults

defaults: change running order in main.yml

defaults: change running order in main.yml

The task which sets `ceph_current_fsid` in `facts.yml` in case of containerized
deployment, will definitely fail because `docker_exec_cmd` is not set
yet.
This commits simply makes `facts.yml` played after `check_socket.yml` so
`docker_exec_cmd` is set properly.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1968 from ceph/bz-1488999

refact MDS role

Merge pull request #1964 from vatelzh/master

purge-cluster: delete block partitions if using bluestore

refact MDS role

This commits refacts the role ceph-mds

The goal here is to create cephfs in `ceph-mon` for both containerized
and non-containerized cases so we don't need the admin keyring on mds
nodes anymore.

Closes: https://bugzilla.redhat.com/show_bug.cgi?id=1488999
Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1971 from ceph/expose-part

osd: add cluster name support

osd: add cluster name support

I forgot to add cluster name support so some partition were never
mounted correctly.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1967 from ceph/use_systemd_module

Use systemd module instead of service.

Merge pull request #1939 from ceph/ci-reboot

tests: implement reboot after a deployment

Use systemd module instead of service.

Using systemd module allows us to do in one task what we did in three
tasks:

- enable unit file,
- issue a `daemon-reload`,
- start the service

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

update: fix var register

Even if the task is skipped, ansible registers the var as 'skipped' so
this task the task using this variable for its next usage.

Signed-off-by: Sébastien Han <seb@redhat.com>

purge-cluster: delete block partitions if using bluestore

site: only support nfs on luminous and above

Signed-off-by: Sébastien Han <seb@redhat.com>

ci: run purge cluster on centos not ubuntu

Signed-off-by: Sébastien Han <seb@redhat.com>

defaults: add missing handlers for rbd mirorr and mgr

Signed-off-by: Sébastien Han <seb@redhat.com>

defaults: only run socket checks on their specific roles

Running the socket check on all the hosts will override the default
value of docker_exec_cmd, leaving it with the last value (currently
rbd-mirror), as a result the subsequent docker_exec_cmd usage for the
:x

Signed-off-by: Sébastien Han <seb@redhat.com>

nfs: fix container setup and re-arrange files

Signed-off-by: Sébastien Han <seb@redhat.com>

tests: add tests for rgw-nfs

rgw-nfs is part of servicemap so we should use it to make sure the
process is up and running.

Signed-off-by: Sébastien Han <seb@redhat.com>

rbd-mirror: force sercice enable ceph-rbd-mirror.target

There is a bug in the rbd mirror unit file, the upstream fix is here:
https://github.com/ceph/ceph/pull/17969.
This should be reverted once the patch is merged and backport is done.

Signed-off-by: Sébastien Han <seb@redhat.com>

tests: implement reboot after a deployment

We don't test server reboot, a lot of things can happen after that.
So now, we deploy, reboot then we run testinfra.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1962 from ceph/fix_mgr_sestatus

[skip ci] mgr: add condition to run selinux tasks only on rhel os family

docker: add condition to run selinux tasks only on rhel os family

This fixes the error :

```
The conditional check 'sestatus.stdout != 'Disabled'' failed.
```

that occurs when running on non rhel based system since the
`sestatus` fact is registered only on rhel based distribution.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1959 from ceph/update-check

rolling_update: clarify mon quorum command

Merge pull request #1961 from ceph/site-condition-2

[skip ci]  site: s/ceph_stable_release/ceph_release

site: s/ceph_stable_release/ceph_release

Fix typo, ceph_release is used, not ceph_stable_release

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1960 from ceph/site-condition

site: fix condition

site: fix condition

we don't know ceph_stable_release before executing the role so at least
we need to run ceph-defaults and ceph-docker-common or
ceph-common.

Closes: https://bugzilla.redhat.com/show_bug.cgi?id=1486062
Signed-off-by: Sébastien Han <seb@redhat.com>

rolling_update: clarify mon quorum command

Cleaner.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1958 from ceph/update-luminous

Update luminous

update: complete luminous upgrade

Once we complete the upgrade to Luminous, we must issue a specific
command. For more info read:
http://ceph.com/community/new-luminous-upgrade-complete/

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1931 from ceph/re-enable-iscsi

iscsi: re-enable the scenario

iscsi: re-enable the scenario

CentOS 7.4 vagrant box is now available so re-enabling this scenario.
For more info:
https://seven.centos.org/2017/09/updated-centos-vagrant-images-available-v1708-01/

Signed-off-by: Sébastien Han <seb@redhat.com>

update: nicer way to wait for clean pgs

More comprhensive and friendly to read.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1641 from fullerdj/wip-djf-key-timeout

mon/ceph_keys: Add timeout flag to ceph-create-keys

Merge pull request #1955 from ceph/fix_syntax

docker-common: fix wrong syntax

docker-common: fix wrong syntax

there is no need to backslash the quotes here.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

mon/ceph_keys: Add timeout flag to ceph-create-keys

Specify the timeout flag to ceph-create-keys, which causes it to time out
if a monitor quorum isn't achieved. This overrides the default timeout
of 10 minutes, causing ceph-ansible to fail faster in the event of cluster
network issues.

Signed-off-by: Douglas Fuller <dfuller@redhat.com>

Merge pull request #1916 from ceph/purge-cluster-fix

purge-cluster: default lvm_volumes if not defined

purge-cluster: default lvm_volumes if not defined

Most osd scenarios do not use lvm_volumes, so default it in
purge-cluster.yml if it's not defined.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #1545 from ceph/wip-rgw-test

test: add basic testing coverage for the rgw

Merge pull request #1949 from ceph/wip-rhcs-cdn-validation

ceph-common: Fix logic for ceph_repository_type

ceph-common: Fix logic for ceph_repository_type

It's failing if a *valid* choice is specified.

Signed-off-by: Zack Cerza <zack@redhat.com>

test: add test making sure rgw http endpoints are enabled

Signed-off-by: Ali Maredia <amaredia@redhat.com>

Merge pull request #1943 from ceph/mgr-site

handler: enhance socket detection

Merge pull request #1933 from ceph/osd-container-reboot

[skip ci] osd: fix container reboot

handler: enhance socket detection

We have seen issues with leftover socker. So now, if a socket is found
we also check if it's accessed by a process. If so, we can run the
handler, if not we remove it and continue the playbook.

Signed-off-by: Sébastien Han <seb@redhat.com>
Co-Authored-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1947 from ceph/purge_mgr

purge: implement mgr purge

osd: fix container reboot

It's sad but we can not rely on the prepare container anymore since the
log are flushed after reboot. So inpecting the container does not return
anything.
Now, instead we use a ephemeral container to look up for the
journal/block.db/block.wal (depending if filestore or bluestore) and
build the activate command accordingly.

Signed-off-by: Sébastien Han <seb@redhat.com>

rbd-mirror: fix systemd unit in purge-docker

rbd-mirror containers are not stopped in purge-docker-cluster playbook
because of the wrong name used.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

purge: implement mgr purge

unti now, mgr nodes are not managed by purge-cluster.yml, therefore it
breaks scenario like purge_cluster.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1948 from ceph/fix_rgw_update

update: update rgw systemd unit name

update: update rgw systemd unit name

The old name is used in `rolling_update.yml` and
`purge-docker-cluster.yml`, it breaks the
`test_rgw_service_is_running()` test.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1946 from ceph/fix_bug_collocation

config: fix path to set `interface` in ceph.conf

config: fix path to set `interface` in ceph.conf

need to use `hostvars[host]['XXX']` to retrieve the monitor
interface and/or radosgw interface.

Fixes: https://bugzilla.redhat.com/show_bug.cgi?id=1493920
Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1940 from ceph/rgw-interface

config: fix rgw interface when using different interfaces