ceph-config: check for set_radosgw_address before importing task

Signed-off-by: Seena Fallah <seenafallah@gmail.com>
(cherry picked from commit 49ec2479ea347d29616feec52386562dfa406676)

ceph-handler: accept 404 as a success status for rgw restart

404 is the status code returned by rgw when it is serving website api. This needs to be consider as a healthy status for rgw.

Signed-off-by: Seena Fallah <seenafallah@gmail.com>
(cherry picked from commit f96c0441e3cd33c3f5ff66dfac80d69b5d609dd8)

radosgw_zone: add support zone set

Support zone set from a json doc

Signed-off-by: Seena Fallah <seenafallah@gmail.com>
(cherry picked from commit e219892aebf07e3aa941a69461c228e91f7066a2)

ceph-volume: add support check mode

Run read-only actions on check mode

Signed-off-by: Seena Fallah <seenafallah@gmail.com>
(cherry picked from commit b60e0134a5d461fcbcfa5471992487ad88876d2e)

Revert "add a warning regarding current status of stable-8.0"

This reverts commit 4e1e61da15375b2343df6b66e0916f319f1c52dc.

Signed-off-by: Guillaume Abrioux <gabrioux@ibm.com>

tests/upgrade: various changes

- use el8 image,
- disable nfs-ganesha testing

Signed-off-by: Guillaume Abrioux <gabrioux@ibm.com>

tests: run vagrant_up.sh from dirname

Signed-off-by: Guillaume Abrioux <gabrioux@ibm.com>
(cherry picked from commit 3c0e06ea0cdf3098497274dd8ff5a63b117d20c5)

tests: enable nfs-ganesha testing

This makes the container-upgrade scenario fail as this gets deployed
during initial quincy deployment but doesn't get upgraded to reef

Signed-off-by: Guillaume Abrioux <gabrioux@ibm.com>

tests: skip ceph_crash and ceph_exporter tests post upgrade

as stable-8.0 is dropping iscsigws support, after the upgrade to reef
from quincy these tests should be skipped.

Signed-off-by: Guillaume Abrioux <gabrioux@ibm.com>

update: set cluster config prior to upgrading

As 8.0 drops cluster config from ceph.conf by default, we need
to make sure this config is well applied as part of the upgrade to 8
(reef) from 7 (quincy)

Signed-off-by: Guillaume Abrioux <gabrioux@ibm.com>

tests: update --ssh-config parameter (tox-update.ini)

Signed-off-by: Guillaume Abrioux <gabrioux@ibm.com>

update: ignore linter errors on ceph-exporter systemd tasks

Signed-off-by: Guillaume Abrioux <gabrioux@ibm.com>

replace main references with reef

Signed-off-by: Guillaume Abrioux <gabrioux@ibm.com>

validate: check for reef repository

stable-8.0 is reef so this must check the right value for ceph_stable_release

Signed-off-by: Guillaume Abrioux <gabrioux@ibm.com>

osd: drop openstack related tasks

All of this should be addressed in custom separate playbooks if needed.

Signed-off-by: Guillaume Abrioux <gabrioux@ibm.com>
(cherry picked from commit 9c467e41b39af63dec9a0b237b550edb9c57da85)

tests: drop ooo-collocation legacy files

this job was removed, these files are no longer needed, let's remove
them.

Signed-off-by: Guillaume Abrioux <gabrioux@ibm.com>
(cherry picked from commit 05a1465416593d922e600192e4be80823ff0f0d7)

ceph-mon: add missing no_log for admin keyring tasks

Signed-off-by: Seena Fallah <seenafallah@gmail.com>

group_vars: resync samples with default values

2b72ea991d40fc12f277edd58825ce98f068e8c4 and
c8eeae243efac9ad894f3240a8a256b05336f75b have missed the resync.

This addresses that.

Signed-off-by: Guillaume Abrioux <gabrioux@ibm.com>

simplify monitor address setting

this drops the following parameters:

- monitor_address_block
- monitor_interface
- monitor_address

The monitor address will be automatically set from `public_network` parameter.

Signed-off-by: Guillaume Abrioux <gabrioux@ibm.com>

fix upgrade

Signed-off-by: Guillaume Abrioux <gabrioux@ibm.com>

rolling_update: address linter errors

this addresses 3 linter errors in rolling update playbook

Signed-off-by: Guillaume Abrioux <gabrioux@ibm.com>

add a warning regarding current status of stable-8.0

stable-8.0 is not ready and shouldn't be used for now.

Signed-off-by: Guillaume Abrioux <gabrioux@ibm.com>

tests: add ceph exporter to collect logs

Signed-off-by: Seena Fallah <seenafallah@gmail.com>

ceph-exporter: add installation role

Signed-off-by: Seena Fallah <seenafallah@gmail.com>

mons: use hostname for initial members

Signed-off-by: Seena Fallah <seenafallah@gmail.com>

systemd: export params as a varaible

This can help to have extra params or modify the existing ones via group vars.

Signed-off-by: Seena Fallah <seenafallah@gmail.com>

site: install mgrs with mons if sharing the same host

If mgr is meant to be installed on the mon host it needs to be installed in the same playbook as restart handlers might failed because of non-existance mgr

Signed-off-by: Seena Fallah <seenafallah@gmail.com>

ceph-volume: disable dmcrypt by default

regression by dcdb1710cbaf7946cf8161b4395697d4898680d3

Signed-off-by: Seena Fallah <seenafallah@gmail.com>

ceph-facts: make set_radosgw_address optional

This can help to define custom rgw_instances with custom names and ports and addresses.

Signed-off-by: Seena Fallah <seenafallah@gmail.com>

Welcome Back :tada:

Signed-off-by: Seena Fallah <seenafallah@gmail.com>

tox: enable diff for ansible runs

Diff option can help in CI when a task fail because of a corrupted render in previous tasks.

Signed-off-by: Seena Fallah <seenafallah@gmail.com>

container: cleanup container systemd units

* Make common params of container args in a var to avoid duplication
* The /var/lib/ceph/crash mount was missing after 637ca81c9cf801e4d1d125dc8a2492b90fd78eea
* Add CEPH_USE_RANDOM_NONCE as it's needed when running inside container (can be removed for squid later)
* Add NODE_NAME as some part of ceph code relies on this var
* add default logging opts for

Signed-off-by: Seena Fallah <seenafallah@gmail.com>

refactor: remove multisite leftovers

Signed-off-by: Seena Fallah <seenafallah@gmail.com>

ceph-handler: restart existed rgw daemons

This is needed for new instances are the restart might trigger before the deployment

Signed-off-by: Seena Fallah <seenafallah@gmail.com>

ceph-handler: remove tempdir when all handlers are done

Signed-off-by: Seena Fallah <seenafallah@gmail.com>

ceph-config: make rgw config to be in file

Signed-off-by: Seena Fallah <seenafallah@gmail.com>

ceph-config: introduce dedicated cluster config flow

Signed-off-by: Seena Fallah <seenafallah@gmail.com>

drop rhcs references

RHCS moved away from ceph-ansible. All RHCS references should be
removed.

Signed-off-by: Guillaume Abrioux <gabrioux@ibm.com>

drop iscsigw support

This service is no longer maintained.
Let's drop its support within ceph-ansible.

Signed-off-by: Guillaume Abrioux <gabrioux@ibm.com>

address Ansible linter errors

This addresses all errors reported by the Ansible linter.

Signed-off-by: Guillaume Abrioux <gabrioux@ibm.com>

drop rgw multisite deployment support

The current approach is extremely complex and introduced a lot
of spaghetti code. This doesn't offer a good user experience at all.

It's time to think to another approach (dedicated playbook) and drop
the current implementation in order to clean up the code.

Signed-off-by: Guillaume Abrioux <gabrioux@ibm.com>

tests: set ANSIBLE_COLLECTIONS_PATH for rbdmirror scenario

This is missing so the job fails.
Typical error:
```
ERROR! couldn't resolve module/action 'community.general.dnf_config_manager'.
```

Signed-off-by: Guillaume Abrioux <gabrioux@ibm.com>

facts: remove legacy tasks

these tasks were there only for backward compatibility concerns.
It's time to drop them.

Signed-off-by: Guillaume Abrioux <gabrioux@ibm.com>

bump ansible-core to 2.16

- Remove python3 shebangs
- command module warn parameter is deprecated since 2.11 and removed
  from 2.14

Signed-off-by: Teoman ONAY <tonay@ibm.com>

tests: bump to py3.10

let's bump the python version to 3.10 in python-based
github actions.

Signed-off-by: Guillaume Abrioux <gabrioux@ibm.com>

pytest-infra: fix failures

pytest-infra 10.0.0 release changed the get_variables() behavior which led to CI failures
(https://github.com/pytest-dev/pytest-testinfra/pull/724)
Starting of now all groups the host is part of and not only the direct parent groups are
returned by get_variables()

Signed-off-by: Teoman ONAY <tonay@ibm.com>

common: enable crb repository on mgr hosts

This is needed in order to install `ceph-mgr-dashboard`
as it has a dependency on `python3-grpcio-tools` which comes from
crb repo.

Signed-off-by: Guillaume Abrioux <gabrioux@ibm.com>

drop variables from 'hosts' key

The linter complains about that.
It doesn't work anyway so it doesn't make sense to leave these variables
here.

Signed-off-by: Guillaume Abrioux <gabrioux@ibm.com>

tests: add flake8 to tox.ini

this:
- adds flake8 to tox.ini
- addresses all flake8 errors

Signed-off-by: Guillaume Abrioux <gabrioux@ibm.com>

container-common: drop image fetching logic

wip

Signed-off-by: Guillaume Abrioux <gabrioux@ibm.com>

library: add ceph_config module

This adds the module `ceph_config`

Signed-off-by: Guillaume Abrioux <gabrioux@ibm.com>

library: add ceph_authtool module

This adds the module `ceph_authtool`.

Signed-off-by: Guillaume Abrioux <gabrioux@ibm.com>

main playbook: final play refactor

we can simply run this play on the first monitor rather than delegating
to it.

Signed-off-by: Guillaume Abrioux <gabrioux@ibm.com>

cephadm-adopt: fix an issue in mgr adoption play

this drops variables in 'hosts' field of mgr adoption play.

Signed-off-by: Guillaume Abrioux <gabrioux@ibm.com>

monitor bootstrap refactor

major mon bootstrap refactor so we don't need to rely on
the ceph.conf for this operation.

Signed-off-by: Guillaume Abrioux <gabrioux@ibm.com>

migrate from ceph.conf to ceph config

keep the ceph.conf very simple.
manage the common options such as `public_network` with `ceph_config`
module.

Signed-off-by: Guillaume Abrioux <gabrioux@ibm.com>

tests: use python 3.9

Signed-off-by: Guillaume Abrioux <gabrioux@ibm.com>

library/ceph_crush_rule: module refactor

This refactor makes the 'name' argument not mandatory because when
'state' is 'info' we shouldn't need to pass it.

The second change is just a duplicate code removal.

Signed-off-by: Guillaume Abrioux <gabrioux@ibm.com>

add CentOS stream 9 support

This adds the resquired changes in order to support
CentOS stream 9.

Also, this bumps the Ansible version support to 2.15

Signed-off-by: Guillaume Abrioux <gabrioux@ibm.com>

doc: project deprecation

Mark the project as deprecated.

See https://docs.ceph.com/en/latest/cephadm/ for ``cephadm``
documentation.

Signed-off-by: Guillaume Abrioux <gabrioux@ibm.com>

Do not pass NoneType as argument to ceph_crush_rule

With ansible-core 2.15 it is not possible to pass argument of unexpected
type, as otherwise module will fail with:
`'None' is not a string and conversion is not allowed`

With that we want to only get all existing crush rules, so we can simply
supply an empty string as a name argument, which would satisfy
requirements and have same behaviour for previous ansible versions.

Alternative approach would be to stop making `name` as a required
argument to the module and use empty string as default value
when info state is used.

Signed-off-by: Dmitriy Rabotyagov <noonedeadpunk@gmail.com>

dashboad: rgw frontends entries in ceph.conf are incorrect

There was multiple rgw frontends entries while there was just one
rgw instance on each host. The other entries were the details from
the other rgw hosts in the cluster

Fixes: https://bugzilla.redhat.com/show_bug.cgi?id=2232282
Signed-off-by: Teoman ONAY <tonay@ibm.com>

Speed up the some facts settings by running them once

Signed-off-by: Teoman ONAY <tonay@ibm.com>

do not use update debian cache or try to install packages when package-install is disabled

When deploying with --skip-tags=package-install (when there is no access to a repository), the playbook is still trying to update the package cache, or to install ceph-mgr packages, which makes the playbook fail.
This change prevents the playbook to try to update the cache or install ceph-mgr packages when the package-install tag is skipped.

Signed-off-by: Florent CARLI <florent.carli@rte-france.com>

cephadm-adopt: Fixes hosts addition to be managed by cephadm

The tasks "manage nodes with cephadm - ipv4/6" are skipped when
cephadm_mgmt_network contains more than one ip network which prevent
cephadm from managing the host.

Signed-off-by: Teoman ONAY <tonay@ibm.com>

Update zonegroup test.

Signed-off-by: Nathan Hoad <nhoad@bloomberg.net>

Specify the zone when requesting zonegroup information.

Signed-off-by: Nathan Hoad <nhoad@bloomberg.net>

library: ceph_crush: set containerized param to false to respect docstrings

Signed-off-by: Konstantin Shalygin <k0ste@k0ste.ru>

cephadm-adopt: Fixes rbd-mirror regression

779523f86f4659283441ece8af2d4a4dbe8140b4 introduced a regression
related to rbdmirrors tasks. They were executed while
ceph_rbd_mirror_remot_* variables were not set.

Signed-off-by: Teoman ONAY <tonay@ibm.com>

cephadm-adopt: Add --networks parameter support to ceph orch apply rgw

When radosgw_address_block was defined, it was not taken into account
during rgw adoption process

depends on: https://tracker.ceph.com/issues/62185
fixes: https://bugzilla.redhat.com/show_bug.cgi?id=2224351

Signed-off-by: Teoman ONAY <tonay@ibm.com>

Add ipv6 libvirt support scenario in vagrant

Addition of ipv6 support in vagrant/libvirt and an all_daemons_ipv6 scenario.
Some typo fixes

Signed-off-by: Teoman ONAY <tonay@ibm.com>

tests: updates functional tests with new image

let's use quay.io/ceph/daemon-base in every tests instead of
`ceph/daemon` since it's not supposed to be built anymore soon.

Signed-off-by: Guillaume Abrioux <gabrioux@ibm.com>

ceph-config: drop osd_memory_target from ceph_conf_overrides

As it's always being set in ceph.conf template, it leads to having duplicated osd_memory_target keys in rendered ceph conf while defining one in ceph_conf_overrides.

Signed-off-by: Seena Fallah <seenafallah@gmail.com>

purge: remove /var/lib/ceph

This directory should be removed when the cluster is purged.
most of the services are started with the `--security-opt label=disable`
option. If the directory is not removed, it can cause SElinux issues
when the cluster is redeployed.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

update: fix mgr upgrade issue

for some reason, this task has to be done in 2 steps otherwise it fails.
1/ stop and disable the service
2/ mask it

when done with with a single task, the module says the service has been
stopped while this isn't the case (Ansible systemd module bug?).

it possibly relates to https://github.com/ansible/ansible/issues/68680

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

tests: test nfs-ganesha with stable repos

dev repos are broken, let's test with stable builds for now.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

osd: drop filestore support

filestore objectstore will be gone in the next Ceph release.the
This drops the filestore support in ceph-ansible.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

tests: introduce `ceph_status` fixture

This avoids some duplicated code in various test_*_is_up() tests

Signed-off-by: Guillaume Abrioux <gabrioux@ibm.com>

iscsi: do not use ceph/daemon entrypoint

This changes the entrypoint used for the iscsigw containerized daemons
in the systemd template.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

rbdmirror: do not use ceph/daemon entrypoint

This changes the entrypoint used for rbdmirror containerized daemons
in the systemd template.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

nfs: do not use ceph/daemon entrypoint

This changes the entrypoint used for nfs-ganesha containerized daemons
in the systemd template.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

rgw: do not use daemon

This changes the entrypoint used for radosgw containerized daemons
in the systemd template.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

mds: do not use ceph/daemon entrypoint

This changes the entrypoint used for ceph-mds containerized daemons
in the systemd template.not

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

osd: do not use ceph/daemon entrypoint

This changes the entrypoint used for ceph-osd containerized daemons
in the systemd template.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

mgr: do not use ceph/daemon entrypoint

This changes the entrypoint used for ceph-mgr containerized daemons
in the systemd template.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

mon: do not use ceph/daemon entrypoint

This changes the entrypoint used for ceph-mon containerized daemons
in the systemd template.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

library: fix a bug in ceph_key module

`name` is a mandatory parameter when `state` is either
`present` or `absent` or `update` or `info`.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Vagrantfile: address deprecation warning

```
==> mgr0: Libvirt Provider: volume_cache is deprecated. Use disk_driver
:cache => 'unsafe' instead.
```

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

ceph_key: drop unused result parameter

This parameter is not used anywhere in this function, so we can drop it.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Replace ip_version check with ansible test

Instead of checking ip_version variable we should check the input
address for ip version and select code path based on that.

This solves ceph adoption with mixed ipv6 and ipv4 networks.

Resolves: rhbz#2186226
Signed-off-by: Lukas Bezdicka <lbezdick@redhat.com>

tests: disable internal repos

they are broken at the moment.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

ceph-config: exclude already counted osds by lvm_volumes

Exclude lvm_volumes defined disks from existing osds while it has been counted by the "count number of osds for lvm scenario" task.

Signed-off-by: Seena Fallah <seenafallah@gmail.com>

devices: allow using lvm_volumes with devices

* Exclude device from lvm_volumes while osd_auto_discovery is true
* Sum num_osds on both lvm_volumes and devices list

Signed-off-by: Seena Fallah <seenafallah@gmail.com>

Remove all vagrant boxes

Remove all existing vagrant boxes to prevent vagrant from using
older ones

Signed-off-by: Teoman ONAY <tonay@ibm.com>

ceph-mgr: Fix reference to copy_admin_key variable

Enabling installation of the admin key to mgr nodes by setting
"copy_admin_key: true" is broken. This is because the variable is not
referenced correctly (using inline Jinja2 templating).

Signed-off-by: René Højbjerg Larsen <rhl@jfm.dk>

mgr: fix a typo

This commit fixes a typo in `roles/ceph-mgr/defaults/main.yml`
(s/mpdules/modules)

Signed-off-by: Lorenz Bausch <info@lorenzbausch.de>

shrink-osd fails when the OSD container is stopped

ceph-volume simple scan cannot be executed as it is meant to be
run inside the OSD container.

Closes: https://bugzilla.redhat.com/show_bug.cgi?id=2164414
Signed-off-by: Teoman ONAY <tonay@ibm.com>

Fix selinux label issues

Add --security-opt label=disable to all containers
accessing /var/lib/ceph. podman selinux relabeling behavious changed
since version podman-3:4.2.0-1 which prevent some containers to access
files in these subdirectories.

Signed-off-by: Teoman ONAY <tonay@ibm.com>

Fixes selinux relabeling issue for nfs container

Signed-off-by: Teoman ONAY <tonay@ibm.com>

Uses a more recent version of the CentOS stream 8 box

Uses the latest centos/streamX image available.

Signed-off-by: Teoman ONAY <tonay@ibm.com>