common: ensure rsync is installed for local install

rsync is required by the ansible synchronize package. Ensure
it is installed when local installation is selected.

Signed-off-by: Douglas Fuller <dfuller@redhat.com>

Merge pull request #1636 from fghaas/fix-mon-directory-perms

Ensure that ceph-mon applies mon directory ownership recursively

Merge pull request #1633 from fullerdj/wip-djf-osd-seatbelt

ansible: fail if user selects OSD auto detection and raw devices are …

Ensure that ceph-mon applies mon directory ownership recursively

Fixes #1635.

Signed-off-by: Florian Haas <florian@hastexo.com>

ansible: fail if user selects OSD auto detection and raw devices are mounted

Signed-off-by: Douglas Fuller <dfuller@redhat.com>

Merge pull request #1629 from ceph/fix-openstack-key

mon: fix openstack key creation

mon: fix openstack key creation

Somehow the shell module will return an error if the command line is not
next to it.
Plus fixed the import with the right path.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1626 from ceph/fix_followup

Fix followup

Fix followup on refact code (1469)

In addition to 7bb04a5, these lines are no longer needed and can even
cause playbook failures.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1621 from ceph/openstack-key

mon: rework openstack keys creation

Merge pull request #1624 from ceph/chose-ceph-config-location

Choose ceph config location

mon: rework openstack keys creation

We now allow a user to pass a key secret.

Fixes: https://github.com/ceph/ceph-ansible/issues/1617
Signed-off-by: Sébastien Han <seb@redhat.com>

docker: ability to change ceph config directory

Signed-off-by: Sébastien Han <seb@redhat.com>

docker: refactor followup

Followup on https://github.com/ceph/ceph-ansible/pull/1469 where we
merged most of the container code from roles/ceph-*/task/docker/*.yml
into roles/ceph-docker-common/tasks/

It seems that we forgot to remove the original files.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1620 from ceph/fix_bashism

Make the new check PGs working with /bin/sh

Merge pull request #1616 from ceph/disable-retry-file

ansible: disable retry files

Make the new check PGs working with /bin/sh

The new test in the checks PGs are no longer working on distributions
where /bin/sh isn't linked to /bin/bash.

Fix: #1619
Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

ansible: disable retry files

Closes: https://github.com/ceph/ceph-ansible/issues/1611
Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1613 from ceph/wip-takeover

Fixes to take-over-existing-cluster playbook

infra: Create a backup of ceph.conf when taking over existing cluster

Signed-off-by: David Galloway <dgallowa@redhat.com>

infra: Fix ceph.conf creation when taking over existing cluster

Fixes bug introduced in https://github.com/ceph/ceph-ansible/pull/1330

The "stat ceph.conf" task was basically using the stat module on a
string instead of the ceph.conf filename.  This caused the "generate
ceph configuration file" task to fail.

Fixes: https://bugzilla.redhat.com/show_bug.cgi?id=1463382
Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #1612 from fultonj/add_openstack_metrics_pool

Add OpenStack metrics pool

Add OpenStack metrics pool

OpenStack's Gnocchi service expects to have a pool called "metrics".
This change addess "metrics" to the list of `openstack_pools` and
creates a corresponding key. It is only run if the user sets
`openstack_config: false`.

Merge pull request #1595 from czunker/restart_all_osds

Restart all OSDs and do not stop after the first one.

Merge pull request #1609 from ceph/quick_clean

Remove duplicate entry in a test Vagrantfile

Remove duplicate entry in test Vagrantfile

remove some leftover since code has been refactored

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Restart all OSDs and do not stop after the first one.

The current handler only restarts one OSD on each OSD server. After
the first one the handler stops, not matter what results the checks had.

Co-Authored-By: Gaudenz Steinlin (@gaudenz)

Merge pull request #1607 from SoneraCloud/bluestore-acivation-fix

Bluestore: Omit "osd mkfs type" etc from ceph.conf

Bluestore: Omit "osd mkfs type" etc from ceph.conf

Remove "osd mkfs type" and the other pre-Bluestore parameters from the
generated ceph.conf so that disk activation on OSDs will work. The
current default xfs config results in a failed deployment and
incorrect partition metadata.

Merge pull request #1599 from ceph/bz-1458024

tests: adds a test for rolling updates of containerized clusters

Merge pull request #1598 from ceph/test-rbd-pool

ceph-mon: fix get rbd size hanging

rolling_update: set health_mon_check_delay to 15

The old value of 10 did not give enough time for a containerized mon to
pass the health check.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: add PG config to the docker_cluster scenario

This is so we'll pass the PG check when performing a rolling update.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: adds *-update_docker_cluster testing scenarios

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #1604 from ceph/rewrite_pgs_clean_tasks

rewrite check pgs clean tasks

rewrite check pgs clean tasks

Avoid screen scrapping by rewriting `waiting for clean pgs` tasks like it is
done in 304de48.

Use the json output returned by `ceph -s` instead

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1573 from duritong/master-control_path-port

keep port as part of the control path

ceph-mon: fix get rbd size hanging

For newly created cluster the command: ceph --cluster {{ cluster }} osd
pool get rbd size does not respond properly.
We only want to check if the rbd pool exists, so we know use an ls |
grep approach.

Closes: https://github.com/ceph/ceph-ansible/issues/1547
Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1584 from ceph/rewrite_check_pgs

Common: Rewrite check_pgs

Common: Rewrite check_pgs

Rewrite the check_pgs by using json parsing instead of complex regexp to
parse the `ceph -s` output.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1590 from ceph/fix_ceph_docker_on_openstack

Common: Add a default for ceph_docker_on_openstack

Merge pull request #1589 from ceph/bz-1454945

remove ceph-iscsi-gw play from site.yml.sample

Common: Add a default for ceph_docker_on_openstack

Add a default value for `ceph_docker_on_openstack` to avoid a
conditional check error for the task `pause after docker install before starting` in
`roles/ceph-docker-common/tasks/pre_requisites/prerequisites.yml`

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

remove ceph-iscsi-gw play from site.yml.sample

We ship ceph-iscsi-gw in a separate repo downstream and do not package
it with ceph-ansible. Including the play for ceph-iscsi-gw in
site.yml.sample makes the playbook fail when using the downstream
packages.

Fixes: https://bugzilla.redhat.com/show_bug.cgi?id=1454945
Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #1586 from ceph/rpm-strip-iscsi

rpm: do not package iscsi files

Merge pull request #1587 from ceph/bz-1451786

ceph-mon: fix support for ipv6 on containerized mons

ceph-mon: fix support for ipv6 on containerized mons

The fact ['ansible_$interface']['ipv4'] is a dictionary where
['ansible_$interface']['ipv6'] is a list. If we use
ansible_default_ipv6|ipv4 is is always a dictionary which allows us to
get the ipv6 and ipv4 address without adding more complexity to the
template.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

rpm: do not package iscsi files

Currently we cannot install the ceph-iscsi-ansible RPM on a node where
the ceph-ansible RPM is already installed.

ceph-iscsi-ansible should install on top of the ceph-ansible environment
without issues.

Merge pull request #1582 from ceph/purge-docker-fix

purge-docker-cluster: include ceph_docker_registry

purge-docker-cluster: include ceph_docker_registry

We need to include ceph_docker_registry when removing containers/images
because if we don't it will assume docker.io which is not always where
the image originated from, causing the playbook to fail.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #1469 from ceph/refact_code

Docker: Refact code

Merge pull request #1580 from ceph/fix_check_pgs

Common: Improve check pgs

Common: Improve check pgs

For some reason we changed the check of pgs but it appears it could be
dangerous because the current check might satisfied as long as 1 PG is
active+clean.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1579 from ceph/fix_ceph-osd-run

Docker: Remove duplicate var passed to docker-run

Docker: Remove duplicate var passed to docker-run

since `-e CEPH_DAEMON=OSD_CEPH_DISK_ACTIVATE` is already hardcoded in
`eph-osd-run.sh.j2` there is no need to add `-e
CEPH_DAEMON=OSD_CEPH_DISK_ACTIVATE` as a default value in defaults vars.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1577 from ceph/purge-tests

tests: use docker playbook when redeploying a purged cluster

tests: use docker playbook when redeploying a purged cluster

When we purge a containerized cluster we need to use the correct
playbook when redploying the cluster.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #1568 from ceph/bz-1455187

purge-docker-cluster fix and test

purge-docker-cluster: pip is only used on Debian

We only need to purge packages installed by pip on Debian systems.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

keep port as part of the control path

On a Vagrant setup, every host is 127.0.0.1 and every user is vagrant.
To not have ansible do the same stuff on the same machine (the one
we connected first), we should keep the port as part of the
control path.

Also this helps in setups where different hosts might be hidden
behind the same IP, but on different ports (e.g. using DNAT).

tests: adds a scenario for purging containerized clusters

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

purge-docker-cluster: default raw_journal_devices to []

If we're purging a containerized cluster that did not use the
raw_multi_journal OSD scenario then raw_journal_devices will not be
defined which causes the playbook to fail.

Resolves: https://bugzilla.redhat.com/show_bug.cgi?id=1455187

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Refact code

`ceph-docker-common`:
  At the moment there is a lot of duplicated tasks in each
  `./roles/ceph-<role>/tasks/docker/main.yml` that could be refactored in
  `./roles/ceph-docker-common/tasks/main.yml`.

`*_containerized_deployment` variables:
  All `*_containerized_deployment` have been refactored to a single
  variable `containerized_deployment`

duplicate `cephx` variables in `group_vars/* have been removed.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Clean osds.yml.sample

Remove duplicate lines in osds.yml default vars file.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1555 from ceph/rol-docker

rolling-update: set/unset flags on the right container

Merge pull request #1557 from ceph/install-condition

common: fix installation condition

Merge pull request #1563 from ceph/wip-libvirt

Use host-passthrough for libvirt vCPUs

Merge pull request #1564 from arodd/master

Fixing partition detection regex for FusionIO devices.

common: remove useless check

We only check for everything expect 'distro' because that
is a valid way of deploying RHCS, with preprepared repos
present on the nodes.

Signed-off-by: Sébastien Han <seb@redhat.com>

Fixing partition detection regex for FusionIO devices.

Use host-passthrough for libvirt vCPUs

Signed-off-by: Zack Cerza <zack@redhat.com>

common: fix installation condition

Problem: we could end up in situation where we would install a package
on a machine that does not have the right repo enabled. Because the
condition was set to OR we weren't pinning a particular host but just a
condition. Let's say someone sets 'ceph_origin == "distro"', this would
try to install OSD packages on Monitors.

Solution: use a AND condition to first pin to the group_name (which
identifies a set of hosts) AND then after this one of the installation
condition.

Resolves: https://bugzilla.redhat.com/show_bug.cgi?id=1453119
Co-Authored-By: https://github.com/zhsj
Signed-off-by: Sébastien Han <seb@redhat.com>

rolling-update: set/unset flags on the right container

Problem: we are delegating the set/unset flag to a monitor node but we
try to call an osd container

Solution: use the right container name.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1552 from ceph/rhel

common: explicitly set rhel os version support

common: explicitly set rhel os version support

Clarify in the error message that only RHEL version >= 7.3 are
supported.

Resolves: https://bugzilla.redhat.com/show_bug.cgi?id=1452431
Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1529 from ktdreyer/readme-backporting

README: add backporting instructions

README: add backporting instructions

Add instructions for how we maintain and release the stable release
series.

We'd been following this for a while, so let's get it written down.

Merge pull request #1551 from ceph/revert-1531-wip-1495

Revert "docker: Retry OSD disk prepare to workaround race condition"

Revert "docker: Retry OSD disk prepare to workaround race condition"

backport_to_stable_branch: fix redirection

2> to redirect stderr not 2&>

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1548 from ceph/container-ipv6

mon: do not hardcode ipv4

mon: do not hardcode ipv4

Problem: fail to deploy a containerized Ceph cluster with ipv6
Solution: do not hardcode ipv4 when bootstrapping the container.

Now use ip_version: ipv6 to get a containerized cluster deployed with
ipv6.

Resolves: https://bugzilla.redhat.com/show_bug.cgi?id=1451786
Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1532 from ceph/bpk-script

contrib: add backport script

contrib: add backport script

To ease the backport, I wrote a quick script.

Usage: ./backport.sh.sh stable-2.2
6892670d317698771be7e96ce9032bc27d3fd1e5 my-work

We can also pass multiple commits.
Follow up on @ktdreyer write up here:
https://github.com/ceph/ceph-ansible/pull/1529

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1546 from ceph/testinfra-version

tests: pin testinfra to 1.6.0

tests: pin testinfra to 1.6.0

1.6.1 fails with 'testinfra is in an unsupported or invalid wheel'

See: https://github.com/philpep/testinfra/issues/201

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #1531 from ceph/wip-1495

docker: Retry OSD disk prepare to workaround race condition

Merge pull request #1513 from flokli/monitor_interface

monitor_interface: document need to use monitor_address when using IPv6

Merge pull request #1528 from ceph/control-path

Control path

Merge pull request #1527 from ceph/piwi3910-master

added support for Sandisk FusionIO devices

Merge pull request #1500 from yanyixing/master

ignore error when key is not exist

Merge pull request #1526 from ceph/wip-rgw-default-quota-set-testing

test: check if default bucket object quota is applied

Docker: rm container before retry of ceph osd prepare

In addition to `196fa7e` this commit check if a container has been
already launched and delete it before retrying the ceph osd prepare
process.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

test: check if default bucket object quota is applied

Resolves: rhbz#1391500

Signed-off-by: Ali Maredia <amaredia@redhat.com>

ansible: add a note in ansible.cfg

Comments inside this file must be set BEFORE the option. NOT after the
option, otherwise the comment will be interpreted as a value to that
option.

Signed-off-by: Sébastien Han <seb@redhat.com>

ansible: fix control path line

If the comment is put after the line then it is interpreted so we need
to move it before and have a dedicated line.

Signed-off-by: Sébastien Han <seb@redhat.com>

added support for Sandisk FusionIO devices

Signed-off-by: Pascal Watteel <pascal.watteel@emc.com>

Merge pull request #1522 from ceph/rhcs-jewel

tests: rhcs should set ceph_stable_release to jewel

Merge pull request #1516 from ceph/docker-registry

generate_group_vars_sample: merge role variables

tests: rhcs should set ceph_stable_release to jewel

rhcs is based off of jewel, so we need to set this var in the tests so
that the ceph-mgr role is skipped.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>