Merge pull request #2037 from major/remove-always-run

Avoid deprecated always_run

Merge pull request #2028 from ceph/fix_testinfra

tests: rbd/rgw adapt testinfra for jewel

Avoid deprecated always_run

The `always_run` key is deprecated and being removed in Ansible 2.4.
Using it causes a warning to be displayed:

    [DEPRECATION WARNING]: always_run is deprecated.

This patch changes all instances of `always_run` to use the `always`
tag, which causes the task to run each time the playbook runs.

tests: add missing override for collocation scenario

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #2035 from ceph/replace-disk

[skip ci] infra: replace osd playbook

infra: replace osd playbook

This playbook can replace failed OSD in containerized and
non-containerized env.
The current limitation is that it won't allow you to choose between
filestore/bluestore and will do collocation as well.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #2030 from major/ceph-common-pass-pkgs-as-list

Pass list of packages instead of with_items

tests: rbd/rgw adapt testinfra for jewel

- the rbd-mirror unit systemd name is not the same when running jewel vs
luminous.
- servicemap is not available on jewel.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #2029 from ceph/rgw-jinja

config: fix rgw section rendering for collocation

Pass list of packages instead of with_items

Modern versions of Ansible can handle a list of packages passed
directly to the package modules. This patch optimizes the package
install process by passing the list of packages directly to the
module.

config: proper render ceph.conf when doing collocation

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #2027 from ceph/hub-backport

[skip ci]

contrib: backport auto create PR

Fix branch and repo

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #2026 from ceph/hub-backport

[skip ci]

contrib: backport auto create PR

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #2022 from ceph/fix-purge-iscis

[skip ci] purge-iscsi: fix group name

Merge pull request #2021 from major/remove-duplicate-package-key

Remove duplicate 'package' key

osd: rollback bindmount of /run/udev

This is causing unknown issues when trying to start a dmcrypt container.
Basically the container is stuck at mount opening the LUKS device. This
is still unknown why this is causing trouble but we need to move
forward. Also, this doesn't seem to help in any ways to fix the race
condition we've seen.

Here is the log for dmcrypt:

cryptsetup 1.7.4 processing "cryptsetup --debug --verbose --key-file
key luksClose fbf8887d-8694-46ca-b9ff-be79a668e2a9"
Running command close.
Locking memory.
Installing SIGINT/SIGTERM handler.
Unblocking interruption on signal.
Allocating crypt device context by device
fbf8887d-8694-46ca-b9ff-be79a668e2a9.
Initialising device-mapper backend library.
dm version   [ opencount flush ]   [16384] (*1)
dm versions   [ opencount flush ]   [16384] (*1)
Detected dm-crypt version 1.14.1, dm-ioctl version 4.35.0.
Device-mapper backend running with UDEV support enabled.
dm status fbf8887d-8694-46ca-b9ff-be79a668e2a9  [ opencount flush ]
[16384] (*1)
Releasing device-mapper backend.
Trying to open and read device /dev/sdc1 with direct-io.
Allocating crypt device /dev/sdc1 context.
Trying to open and read device /dev/sdc1 with direct-io.
Initialising device-mapper backend library.
dm table fbf8887d-8694-46ca-b9ff-be79a668e2a9  [ opencount flush
securedata ]   [16384] (*1)
Trying to open and read device /dev/sdc1 with direct-io.
Crypto backend (gcrypt 1.5.3) initialized in cryptsetup library
version 1.7.4.
Detected kernel Linux 3.10.0-693.el7.x86_64 x86_64.
Reading LUKS header of size 1024 from device /dev/sdc1
Key length 32, device size 1943016847 sectors, header size 2050
sectors.
Deactivating volume fbf8887d-8694-46ca-b9ff-be79a668e2a9.
dm status fbf8887d-8694-46ca-b9ff-be79a668e2a9  [ opencount flush ]
[16384] (*1)
Udev cookie 0xd4d14e4 (semid 32769) created
Udev cookie 0xd4d14e4 (semid 32769) incremented to 1
Udev cookie 0xd4d14e4 (semid 32769) incremented to 2
Udev cookie 0xd4d14e4 (semid 32769) assigned to REMOVE task(2) with
flags         (0x0)
dm remove fbf8887d-8694-46ca-b9ff-be79a668e2a9  [ opencount flush
retryremove ]   [16384] (*1)
fbf8887d-8694-46ca-b9ff-be79a668e2a9: Stacking NODE_DEL [verify_udev]
Udev cookie 0xd4d14e4 (semid 32769) decremented to 1
Udev cookie 0xd4d14e4 (semid 32769) waiting for zero

Signed-off-by: Sébastien Han <seb@redhat.com>

purge-iscsi: fix group name

Closes: https://bugzilla.redhat.com/show_bug.cgi?id=1500281
Signed-off-by: Sébastien Han <seb@redhat.com>

Remove duplicate 'package' key

This patch fixes a typo where "package:" was used twice in the same
task.

Merge pull request #2015 from ceph/fix_nfs-ganesha-repos

nfs: move repository configuration in ceph-nfs role

nfs: add missing condition for debian_rhcs

in addition to c4dcdaa20 this commit adds the missing condition on
install tasks for debian_rhcs deployment. Without them, these tasks are
played on any kind of deployment.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #2020 from jprovaznik/dexports

Ceph-nfs dynamic exports fixes

Ceph-nfs dynamic exports fixes

* DBus on host should include ganesha service file
* to allow ganesha container to respond on DBus it needs to run
  in --privileged mode (ganesha folks contacted to look at this)
* ceph_nfs_include_exports_dir variable replaced with more general
  ceph_nfs_dynamic_exports

iscsi-gw: move repository configuration to ceph-iscsi-gw

This is something that has nothing to do in `ceph-common`, this
is too specific to `ceph-iscsi-gw` role.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Docs: fix error `Unknown target name`

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

nfs: move repository configuration in ceph-nfs role

This is something that has nothing to do in `ceph-common`, this
is too specific to `ceph-nfs` role.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #2018 from ceph/purge-journal

[skip ci] purge: fix journal purge

purge: fix journal purge

Using a condition when osd_scenario == 'non-collocated' was wrong since
these partitions can be collocated on a single device also. Removing the
check makes the purge of these partitions.

Closes: https://bugzilla.redhat.com/show_bug.cgi?id=1499871
Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #2014 from ceph/fixes-2

infra: use the pg check in the right place

nfs: move packages installation to own role

Make role `ceph-nfs` handling itself the installation of nfs
packages.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

mds: move installation packages in role itself

Make role `ceph-mds` handling itself the installation of `ceph-mds`
package.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

iscsi: move package install to ceph-iscsi-role

Signed-off-by: Sébastien Han <seb@redhat.com>

mgr: move installation packages in role itself

Make role `ceph-mgr` handling itself the installation of `ceph-mgr`
package because it's complicated to manage it regarding we are going to
install `jewel vs. luminous`

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

tests: adapt current testing for collocation scenario

Since we introduced collocation testing scenario, we need to adapt
current tests to this new scenario.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

ci: disable vnc console

Signed-off-by: Sébastien Han <seb@redhat.com>

osd: bindmount /run/udev

Ensures that "udevadm" is able to check the status of udev's event queue.

Signed-off-by: Sébastien Han <seb@redhat.com>

ci: re-add osd_pool_default_size to 1 with the override

If we don't do this the client will create pools with a replica 3 since
osd_pool_default_size was gone in ceph-override.json. This was making
switch_to_containers failing.

Signed-off-by: Sébastien Han <seb@redhat.com>

tox: decrease sleep to 2min instead of 5.

Signed-off-by: Sébastien Han <seb@redhat.com>

infra: add independant purge-iscsi-gateways.yml

The current inclusion of purge-iscsi-gateways.yml in purge-cluster.yml
is not working well and blocking the CI too. So removing it from
purge-cluster.yml and re-add the original purge-iscsi-gateways.yml.

Signed-off-by: Sébastien Han <seb@redhat.com>

config: do not duplicate sections when doing collocation

Prior to this commit, when collocating a RGW and NFS on the same box the
ceph.conf layout was the following:

[client.rgw.rgw0]
host = mds0
host = rgw0
rgw frontends = civetweb port=192.168.15.50:8080
num_threads=100[client.rgw.mds0]
rgw frontends = civetweb port=192.168.15.70:8080 num_threads=100
rgw frontends = civetweb port=192.168.15.50:8080 num_threads=100
keyring = /var/lib/ceph/radosgw/test-rgw.mds0/keyring
keyring = /var/lib/ceph/radosgw/test-rgw.rgw0/keyring
rgw data = /var/lib/ceph/radosgw/test-rgw.rgw0
log file = /var/log/ceph/test-rgw-mds0.log
log file = /var/log/ceph/test-rgw-rgw0.log

[mds.mds0]
host = mds0

[global]
rgw override bucket index max shards = 16
fsid = 70e1d368-57b3-4978-b746-cbffce6e56b5
rgw bucket default quota max objects = 1638400
osd_pool_default_size = 1
public network = 192.168.15.0/24
mon host = 192.168.15.10,192.168.15.11,192.168.15.12
osd_pool_default_pg_num = 8
cluster network = 192.168.16.0/24

[mds.rgw0]
host = rgw0

[client.rgw.mds0]
host = mds0
rgw data = /var/lib/ceph/radosgw/test-rgw.mds0
keyring = /var/lib/ceph/radosgw/test-rgw.mds0/keyring
rgw frontends = civetweb port=192.168.15.70:8080 num_threads=100
log file = /var/log/ceph/test-rgw-mds0.log

Basically appending all the sections. This commits solves that.
Now the sections appear like this:

-bash-4.2# cat /etc/ceph/test.conf
[client.rgw.rgw0]
log file = /var/log/ceph/test-rgw-rgw0.log
host = rgw0
keyring = /var/lib/ceph/radosgw/test-rgw.rgw0/keyring
rgw frontends = civetweb port=192.168.15.50:8080 num_threads=100

[client.rgw.mds0]
log file = /var/log/ceph/test-rgw-mds0.log
host = mds0
keyring = /var/lib/ceph/radosgw/test-rgw.mds0/keyring
rgw frontends = civetweb port=192.168.15.70:8080 num_threads=100

[global]
cluster network = 192.168.16.0/24
mon host = 192.168.15.10,192.168.15.11,192.168.15.12
osd_pool_default_size = 1
public network = 192.168.15.0/24
rgw bucket default quota max objects = 1638400
osd_pool_default_pg_num = 8
rgw override bucket index max shards = 16
fsid = 77a21980-3033-4174-9264-1abc7185bcb3

[mds.rgw0]
host = rgw0

[mds.mds0]
host = mds0

Signed-off-by: Sébastien Han <seb@redhat.com>

infra: use the pg check in the right place

Use the pg check before doing the pg check, not on the quorum check.
Also never quote int when doing comparaison.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #2013 from ceph/wip-purge-cluster

A couple of purge cluster fixes

Merge pull request #2011 from ceph/switch-pg

[skip ci] switch: check pgs only when num_pgs > 0

switch: check pgs only when num_pgs > 0

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #2009 from ceph/fix-clean-pg

[skip ci] handler: do not test if pgs_num = 0

handler: add serial restart back

We now restart daemons on each machine in a serialized fashion.

Closes: https://github.com/ceph/ceph-ansible/issues/1989
Signed-off-by: Sébastien Han <seb@redhat.com>

ci: use by-id instead of by-path

by-id relies on the disk WWID which is more reliable then by-path
(pointing to the PCI info)

Signed-off-by: Sébastien Han <seb@redhat.com>

rolling_update: perform pg check when pgs_num > 0

If num_pgs = 0 the check will never return 0.

Signed-off-by: Sébastien Han <seb@redhat.com>

common: fix debian rhcs installation

Signed-off-by: Sébastien Han <seb@redhat.com>

switch: rework and fix clean pg wait

Signed-off-by: Sébastien Han <seb@redhat.com>

purge-docker: rework device detection

we don't need "devices" and other device variable anymore, the playbook
detects that for us.

Signed-off-by: Sébastien Han <seb@redhat.com>

shrink-osd: admin key not needed for container shrink

Also do some clean

Signed-off-by: Sébastien Han <seb@redhat.com>

purge-cluster: Do not use shell for rm

The shell wildcard expansion of non-existing paths fails on zsh making
the whole script fail. We can use file module with with_fileglob to
alleviate the problem instead.

Signed-off-by: Boris Ranto <branto@redhat.com>

purge-cluster: Do not fail on systemd commands

The systemd can't stop services if the unit files were removed before
the cluster was purged. We should just ignore these.

Signed-off-by: Boris Ranto <branto@redhat.com>

Merge pull request #1983 from jprovaznik/suffix

Allow to override systemd service instance id

Merge pull request #1984 from jprovaznik/exportdir

Include exports dir in ceph-nfs config file

Merge pull request #2010 from ceph/wip-nfs-set-rgw-key-permissions

nfs: missing conditional for setting rgw key permissions

nfs: missing conditional for setting rgw key permissions

Signed-off-by: Ali Maredia <amaredia@redhat.com>

Merge pull request #2005 from ceph/wip-nfs-export-id

nfs: config var changes

use get to check stdout_lines

During the initial play, the docker command doesn't not exist and then
there is no stdout_lines to the command. So get allows us to fix this by
declaring an array if the command fails.

Signed-off-by: Sébastien Han <seb@redhat.com>

handler: do not test if pgs_num = 0

We don't need to wait if they are no PGS.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #2006 from ceph/fix_jewel_nightly

Fix jewel nightly

osd: fix `set_fact build dedicated_devices`

Use an intermediate variable to build the final `dedicated_devices` list
to avoid duplicate entry in that array. (We need a 1:1 relation between
`dedicated_devices` and `devices` since we are using a `with_together`
later.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

tests: skip tests for nfs nodes when release is jewel

nfs nodes are not deployed on jewel so we should skip the tests on them.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

rbd: fix bug when trying to fetch key

With jewel, `bootstrap_rbd_keyring` is not set because of this condition:

```
when:
  - ceph_release_num.{{ ceph_release }} >= ceph_release_num.luminous
```

Therefore, the task `try to fetch ceph config and keys` will fail.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Allow to override systemd service instance id

It's useful to have constant service instance id when ceph-nfs
is managed by pacemaker.

nfs: config var changes

- remove unused ganesha config vars,

- set different default Export_ids for each FSAL

Signed-off-by: Ali Maredia <amaredia@redhat.com>

Merge pull request #2003 from ceph/debian-iso

[skip ci] common: iso install on Debian is supported by rhcs

common: iso install on Debian is supported by rhcs

Also adds support for RCSH installation on Debian.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #2004 from ceph/debian-url

common: fix ga verison for debian rhcs

common: fix ga verison for debian rhcs

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1985 from ceph/debian-rhcs

[skip ci] common: fix rhcs installation on debian

Merge pull request #2001 from ceph/iscsi

iscsi: fix wrong group name for iscsi

Merge pull request #2002 from ceph/non-col

[skip ci] osd: do not do unique on dedicated_devices

osd: do not do unique on dedicated_devices

This is needed later, if we do unique, only the first OSD will get a
journal.

Signed-off-by: Sébastien Han <seb@redhat.com>

common: fix rhcs installation on debian

* Change version from 2 to 3.
* use ceph_rhcs_cdn_debian_repo_version to use other repositories along
* with ceph_rhcs_cdn_debian_repo

Signed-off-by: Sébastien Han <seb@redhat.com>

iscsi: fix wrong group name for iscsi

Closes: https://bugzilla.redhat.com/show_bug.cgi?id=1498490
Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1957 from ceph/multi_env_test

tests: make all subnet uniq per scenario

Merge pull request #1997 from rrmichel/osd_fragment

Fixing path to osd_fragment.yml

Merge pull request #1995 from ceph/remove-rbd-check

jewel: remove rbd check

tests: set `volume_cache` 'unsafe'

Set volume_cache to unsafe for CI VMs.
We might be using tmpfs for volume disks soon, therefore 'unsafe' is a
prerequisite for volume_cache

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

tests: disable shared folder

Shared folder is not required for tests.
We should avoid hitting the error :
```
uninitialized constant VagrantPlugins::ProviderLibvirt::Action::ShareFolders
```
Also, disabling it might reduce the needed time in certains cases for the VMs
to be started.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

tests: make all subnet uniq per scenario

If two environments are using the same subnet, we will get trouble
because of ips addresses conflicts.
This commit ensures each scenario has a uniq subnet for both public and cluster
network so we can setup several test environment at a time on a same hypervisor.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1999 from ceph/bz-1486062

common: remove unusuable conditions

common: remove unusuable conditions

`ceph_release` isn't available at this step of the playbook because it
is set later based on the installed binaries.

Closes: https://bugzilla.redhat.com/show_bug.cgi?id=1486062
Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1993 from jprovaznik/log

Fix bind mount for /var/lib/nfs/ganesha directory

Fixing path to osd_fragment.yml

Include exports dir in ceph-nfs config file

Exports dir is used when dynamic exports creation is enabled.

Merge pull request #1988 from ceph/fix_keyrings

docker: fix keyrings copied on all nodes

jewel: remove rbd check

The value of doing this is fairly low compare to the added value.
So we remove these tasks, if rbd pool on Jewel doesn't have the right PG
value you can always increase it.

Signed-off-by: Sébastien Han <seb@redhat.com>

Fix bind mount for /var/lib/nfs/ganesha directory

tests: add ceph-override.json for ubuntu/cluster

in addition to 18e2ab4d this commit adds the same file for ubuntu
testing scenario.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1992 from jprovaznik/pool

Evaluate cephfs pool variables

tests: fix broken osd test for xenial_cluster

the path `/dev/disk/by-path/pci-0000:00:01.1-ata-1.0` doesn't exist.
it has to be changed to `/dev/disk/by-path/pci-0000:00:01.1-ata-1`

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Evaluate cephfs pool variables

Otherwise pools with names 'cephfs_data' and 'cephfs_metadata'
are created.

docker: fix keyrings copied on all nodes

All keyring are getting copied to all nodes.
This commit fixes a leftover from a previous code refactor.

Closes: https://bugzilla.redhat.com/show_bug.cgi?id=1498583
Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1976 from ceph/rbd_pool

Only perform actions on the rbd pool after it has been created

tests: increase number of threads for testinfra

from 4 to 8 to make testing faster.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

tests: fix brokens tests for mds

5968cf0 broke the test on mds because of leftover.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>