ceph-key: check for key existance on absent state

check if the key is exists before removal.

Signed-off-by: Seena Fallah <seenafallah@gmail.com>

ceph-container: use ceph user and group

Use --setuser and --setgroup to ceph to run daemons with ceph user.

Signed-off-by: Seena Fallah <seenafallah@gmail.com>

tests: collect mons and mgrs logs

Signed-off-by: Seena Fallah <seenafallah@gmail.com>

ceph-container: keep run dir permission consistent

Make it the same as "Create ceph initial directories" task
and make owner and group 167 for containers so they can write
with ceph user.

Signed-off-by: Seena Fallah <seenafallah@gmail.com>

Fix cephadm-adopt test scenario

Fixes cephadm-adopt test scenario by configuring rbd application
on test and test2 pools. Otherwise cephadm-adopt failed at task
"Check pools have an application enabled"

Signed-off-by: Teoman ONAY <tonay@ibm.com>

ceph-rgw: introduce rgw zone to the name schema

This is needed by ceph-exporter as it is parsing the socket by the number of dots.
Although the rgw_zone variable is only using for constructing the client name
and has nothing to do with multisiting.

Signed-off-by: Seena Fallah <seenafallah@gmail.com>

radosgw_user: handle non-existence user on check mode

Set return code to 0 on check mode when the user doesn't exists and it will fail the module.

Signed-off-by: Seena Fallah <seenafallah@gmail.com>

ceph-mon: move the ceph_config call to ceph-mon role

ba7eb62a1bcbd925b053cbd737012f034568a6f7 broke deployments where
mgrs are not collocated with mons.

Signed-off-by: Guillaume Abrioux <gabrioux@ibm.com>

ceph-config: move `ceph_config` module call to ceph-config role

so you don't have to implement a similar play on your own
if not using main (sample) playbooks.

Signed-off-by: Guillaume Abrioux <gabrioux@ibm.com>

ceph_volume: set changed to false to readonly actions

Signed-off-by: Seena Fallah <seenafallah@gmail.com>

ceph_crush: add support check mode

Signed-off-by: Seena Fallah <seenafallah@gmail.com>

ceph-mon: fix admin keyring creation task

Although custom cluster name support was dropped, it breaks ceph-volume
functional testing as it uses "test" as cluster name.
The plan is to make ceph-volume use "ceph" but for now it's easier to
address the issue in this task.

Signed-off-by: Guillaume Abrioux <gabrioux@ibm.com>

common: install python3-packaging on centos el8

ceph-volume has a dependency on `python3-packaging` which is available
in PowerTools repo.

Signed-off-by: Guillaume Abrioux <gabrioux@ibm.com>

ceph_pool: add support check mode

Signed-off-by: Seena Fallah <seenafallah@gmail.com>

ceph-handler: allow 405 as a success restart for rgw

If rgw is configured to only operate admin api - this is the status code it will return for GET on no path.

Signed-off-by: Seena Fallah <seenafallah@gmail.com>

github: update stale github workflow

`ubuntu-18.04` environment is deprecated, let's switch to ubuntu-22.04.

Signed-off-by: Guillaume Abrioux <gabrioux@ibm.com>

handlers: move tmpdir removal

This moves the tmpdir removal tasks to main playbook.
The handlers in Ansible are too restrictive and doesn't work
quite well for our use case.

Signed-off-by: Guillaume Abrioux <gabrioux@ibm.com>

nfs-ganesha support removal

nfs-ganesha support will be implemented in a separate playbook.

Signed-off-by: Guillaume Abrioux <gabrioux@ibm.com>

vagrantfile: drop grafana group

this has never been used for real, let's drop this

Signed-off-by: Guillaume Abrioux <gabrioux@ibm.com>

remove legacy task

this was for backward compatibility concerns, it's time to drop this
task.

Signed-off-by: Guillaume Abrioux <gabrioux@ibm.com>

tests: update vagrant_variables.yml

This updates all vagrant_variables.yml to bump the default
image from centos/stream8 to centos/stream9

Signed-off-by: Guillaume Abrioux <gabrioux@ibm.com>

tests: set ceph_repository: community

dev_setup.yml playbook takes care of changing prior to running
tests.

Signed-off-by: Guillaume Abrioux <gabrioux@ibm.com>

rgw_profiles: update rgw-keystone profiles

See issue #7458

Fixes: #7458
Signed-off-by: Guillaume Abrioux <gabrioux@ibm.com>

container-engine: enforce docker for Ubuntu os family

This enforces docker.io and docker respectively for
`container_package_name` and `container_service_name` by default
for Ubuntu distribution.

Fixes: #7496
Signed-off-by: Guillaume Abrioux <gabrioux@ibm.com>

common: configure epel repository (rockylinux)

this is needed in order to make some libraries available when
running on RockyLinux

Signed-off-by: Guillaume Abrioux <gabrioux@ibm.com>

tests: various changes

some minor changes

Signed-off-by: Guillaume Abrioux <gabrioux@ibm.com>

ceph_config: compare current vals in low

Check the current value and asked both in low case as the asked one might be in capital as it should be.

Signed-off-by: Seena Fallah <seenafallah@gmail.com>

ceph_config: add support config remove

Add support rm action.

Signed-off-by: Seena Fallah <seenafallah@gmail.com>

radosgw_user: add support check mode

Signed-off-by: Seena Fallah <seenafallah@gmail.com>

radosgw_user: parse system and admin as boolean

The returned payload from rgw has them as a boolean. By having them as a string it would always report a change and try to modify the user.

Signed-off-by: Seena Fallah <seenafallah@gmail.com>

radosgw_zonegroup: add support check mode

Signed-off-by: Seena Fallah <seenafallah@gmail.com>

radosgw_zonegroup: parse master as boolean

The returned payload from rgw has is_master as a boolean. By having master as a string it would always report a change and try to modify the zonegroup.

Signed-off-by: Seena Fallah <seenafallah@gmail.com>

ceph_ec_profile: make int params str

Ceph return them as string so in comparision it would always fail

Signed-off-by: Seena Fallah <seenafallah@gmail.com>

ceph-osd: introduce ec profile creation

RGW Pools can now use the existing ec profiles and rules created by ceph-osd role.

Signed-off-by: Seena Fallah <seenafallah@gmail.com>

ceph_ec_profile: add support more plugins

Add support more plugins with their respective args.

Signed-off-by: Seena Fallah <seenafallah@gmail.com>

mergify: add stable-8.0

This adds the mergify support for stable-8.0

Signed-off-by: Guillaume Abrioux <gabrioux@ibm.com>

tests: run vagrant_up.sh from dirname

Signed-off-by: Guillaume Abrioux <gabrioux@ibm.com>

ceph-volume: add support check mode

Run read-only actions on check mode

Signed-off-by: Seena Fallah <seenafallah@gmail.com>

ceph-config: check for set_radosgw_address before importing task

Signed-off-by: Seena Fallah <seenafallah@gmail.com>

ceph-handler: accept 404 as a success status for rgw restart

404 is the status code returned by rgw when it is serving website api. This needs to be consider as a healthy status for rgw.

Signed-off-by: Seena Fallah <seenafallah@gmail.com>

radosgw_zone: add support zone set

Support zone set from a json doc

Signed-off-by: Seena Fallah <seenafallah@gmail.com>

Update docs to for supported Ansible versions

Signed-off-by: Jonathan Rosser <jonathan.rosser@rd.bbc.co.uk>

osd: drop openstack related tasks

All of this should be addressed in custom separate playbooks if needed.

Signed-off-by: Guillaume Abrioux <gabrioux@ibm.com>

tests: drop ooo-collocation legacy files

this job was removed, these files are no longer needed, let's remove
them.

Signed-off-by: Guillaume Abrioux <gabrioux@ibm.com>

ceph-mon: add missing no_log for admin keyring tasks

Signed-off-by: Seena Fallah <seenafallah@gmail.com>

group_vars: resync samples with default values

2b72ea991d40fc12f277edd58825ce98f068e8c4 and
c8eeae243efac9ad894f3240a8a256b05336f75b have missed the resync.

This addresses that.

Signed-off-by: Guillaume Abrioux <gabrioux@ibm.com>

simplify monitor address setting

this drops the following parameters:

- monitor_address_block
- monitor_interface
- monitor_address

The monitor address will be automatically set from `public_network` parameter.

Signed-off-by: Guillaume Abrioux <gabrioux@ibm.com>

tests: add ceph exporter to collect logs

Signed-off-by: Seena Fallah <seenafallah@gmail.com>

ceph-exporter: add installation role

Signed-off-by: Seena Fallah <seenafallah@gmail.com>

mons: use hostname for initial members

Signed-off-by: Seena Fallah <seenafallah@gmail.com>

systemd: export params as a varaible

This can help to have extra params or modify the existing ones via group vars.

Signed-off-by: Seena Fallah <seenafallah@gmail.com>

site: install mgrs with mons if sharing the same host

If mgr is meant to be installed on the mon host it needs to be installed in the same playbook as restart handlers might failed because of non-existance mgr

Signed-off-by: Seena Fallah <seenafallah@gmail.com>

ceph-volume: disable dmcrypt by default

regression by dcdb1710cbaf7946cf8161b4395697d4898680d3

Signed-off-by: Seena Fallah <seenafallah@gmail.com>

ceph-facts: make set_radosgw_address optional

This can help to define custom rgw_instances with custom names and ports and addresses.

Signed-off-by: Seena Fallah <seenafallah@gmail.com>

Welcome Back :tada:

Signed-off-by: Seena Fallah <seenafallah@gmail.com>

tox: enable diff for ansible runs

Diff option can help in CI when a task fail because of a corrupted render in previous tasks.

Signed-off-by: Seena Fallah <seenafallah@gmail.com>

container: cleanup container systemd units

* Make common params of container args in a var to avoid duplication
* The /var/lib/ceph/crash mount was missing after 637ca81c9cf801e4d1d125dc8a2492b90fd78eea
* Add CEPH_USE_RANDOM_NONCE as it's needed when running inside container (can be removed for squid later)
* Add NODE_NAME as some part of ceph code relies on this var
* add default logging opts for

Signed-off-by: Seena Fallah <seenafallah@gmail.com>

refactor: remove multisite leftovers

Signed-off-by: Seena Fallah <seenafallah@gmail.com>

ceph-handler: restart existed rgw daemons

This is needed for new instances are the restart might trigger before the deployment

Signed-off-by: Seena Fallah <seenafallah@gmail.com>

ceph-handler: remove tempdir when all handlers are done

Signed-off-by: Seena Fallah <seenafallah@gmail.com>

ceph-config: make rgw config to be in file

Signed-off-by: Seena Fallah <seenafallah@gmail.com>

ceph-config: introduce dedicated cluster config flow

Signed-off-by: Seena Fallah <seenafallah@gmail.com>

kickoff squid

This adds the few required changes in order to fully support
Ceph Squid.

Signed-off-by: Guillaume Abrioux <gabrioux@ibm.com>

drop rhcs references

RHCS moved away from ceph-ansible. All RHCS references should be
removed.

Signed-off-by: Guillaume Abrioux <gabrioux@ibm.com>

drop iscsigw support

This service is no longer maintained.
Let's drop its support within ceph-ansible.

Signed-off-by: Guillaume Abrioux <gabrioux@ibm.com>

address Ansible linter errors

This addresses all errors reported by the Ansible linter.

Signed-off-by: Guillaume Abrioux <gabrioux@ibm.com>

drop rgw multisite deployment support

The current approach is extremely complex and introduced a lot
of spaghetti code. This doesn't offer a good user experience at all.

It's time to think to another approach (dedicated playbook) and drop
the current implementation in order to clean up the code.

Signed-off-by: Guillaume Abrioux <gabrioux@ibm.com>

update: update ceph release pre-check

update this check in order to check for Ceph Squid

Signed-off-by: Guillaume Abrioux <gabrioux@ibm.com>

update: update the osd require-osd-release to squid

This updates the `osd require-osd-release` call with `squid`
instead of `reef`.

Signed-off-by: Guillaume Abrioux <gabrioux@ibm.com>

tests: set ANSIBLE_COLLECTIONS_PATH for rbdmirror scenario

This is missing so the job fails.
Typical error:
```
ERROR! couldn't resolve module/action 'community.general.dnf_config_manager'.
```

Signed-off-by: Guillaume Abrioux <gabrioux@ibm.com>

facts: remove legacy tasks

these tasks were there only for backward compatibility concerns.
It's time to drop them.

Signed-off-by: Guillaume Abrioux <gabrioux@ibm.com>

bump ansible-core to 2.16

- Remove python3 shebangs
- command module warn parameter is deprecated since 2.11 and removed
  from 2.14

Signed-off-by: Teoman ONAY <tonay@ibm.com>

tests: bump to py3.10

let's bump the python version to 3.10 in python-based
github actions.

Signed-off-by: Guillaume Abrioux <gabrioux@ibm.com>

pytest-infra: fix failures

pytest-infra 10.0.0 release changed the get_variables() behavior which led to CI failures
(https://github.com/pytest-dev/pytest-testinfra/pull/724)
Starting of now all groups the host is part of and not only the direct parent groups are
returned by get_variables()

Signed-off-by: Teoman ONAY <tonay@ibm.com>

common: enable crb repository on mgr hosts

This is needed in order to install `ceph-mgr-dashboard`
as it has a dependency on `python3-grpcio-tools` which comes from
crb repo.

Signed-off-by: Guillaume Abrioux <gabrioux@ibm.com>

drop variables from 'hosts' key

The linter complains about that.
It doesn't work anyway so it doesn't make sense to leave these variables
here.

Signed-off-by: Guillaume Abrioux <gabrioux@ibm.com>

tests: add flake8 to tox.ini

this:
- adds flake8 to tox.ini
- addresses all flake8 errors

Signed-off-by: Guillaume Abrioux <gabrioux@ibm.com>

container-common: drop image fetching logic

wip

Signed-off-by: Guillaume Abrioux <gabrioux@ibm.com>

library: add ceph_config module

This adds the module `ceph_config`

Signed-off-by: Guillaume Abrioux <gabrioux@ibm.com>

library: add ceph_authtool module

This adds the module `ceph_authtool`.

Signed-off-by: Guillaume Abrioux <gabrioux@ibm.com>

main playbook: final play refactor

we can simply run this play on the first monitor rather than delegating
to it.

Signed-off-by: Guillaume Abrioux <gabrioux@ibm.com>

cephadm-adopt: fix an issue in mgr adoption play

this drops variables in 'hosts' field of mgr adoption play.

Signed-off-by: Guillaume Abrioux <gabrioux@ibm.com>

monitor bootstrap refactor

major mon bootstrap refactor so we don't need to rely on
the ceph.conf for this operation.

Signed-off-by: Guillaume Abrioux <gabrioux@ibm.com>

migrate from ceph.conf to ceph config

keep the ceph.conf very simple.
manage the common options such as `public_network` with `ceph_config`
module.

Signed-off-by: Guillaume Abrioux <gabrioux@ibm.com>

tests: use python 3.9

Signed-off-by: Guillaume Abrioux <gabrioux@ibm.com>

library/ceph_crush_rule: module refactor

This refactor makes the 'name' argument not mandatory because when
'state' is 'info' we shouldn't need to pass it.

The second change is just a duplicate code removal.

Signed-off-by: Guillaume Abrioux <gabrioux@ibm.com>

add CentOS stream 9 support

This adds the resquired changes in order to support
CentOS stream 9.

Also, this bumps the Ansible version support to 2.15

Signed-off-by: Guillaume Abrioux <gabrioux@ibm.com>

doc: project deprecation

Mark the project as deprecated.

See https://docs.ceph.com/en/latest/cephadm/ for ``cephadm``
documentation.

Signed-off-by: Guillaume Abrioux <gabrioux@ibm.com>

Do not pass NoneType as argument to ceph_crush_rule

With ansible-core 2.15 it is not possible to pass argument of unexpected
type, as otherwise module will fail with:
`'None' is not a string and conversion is not allowed`

With that we want to only get all existing crush rules, so we can simply
supply an empty string as a name argument, which would satisfy
requirements and have same behaviour for previous ansible versions.

Alternative approach would be to stop making `name` as a required
argument to the module and use empty string as default value
when info state is used.

Signed-off-by: Dmitriy Rabotyagov <noonedeadpunk@gmail.com>

dashboad: rgw frontends entries in ceph.conf are incorrect

There was multiple rgw frontends entries while there was just one
rgw instance on each host. The other entries were the details from
the other rgw hosts in the cluster

Fixes: https://bugzilla.redhat.com/show_bug.cgi?id=2232282
Signed-off-by: Teoman ONAY <tonay@ibm.com>

Speed up the some facts settings by running them once

Signed-off-by: Teoman ONAY <tonay@ibm.com>

do not use update debian cache or try to install packages when package-install is disabled

When deploying with --skip-tags=package-install (when there is no access to a repository), the playbook is still trying to update the package cache, or to install ceph-mgr packages, which makes the playbook fail.
This change prevents the playbook to try to update the cache or install ceph-mgr packages when the package-install tag is skipped.

Signed-off-by: Florent CARLI <florent.carli@rte-france.com>

cephadm-adopt: Fixes hosts addition to be managed by cephadm

The tasks "manage nodes with cephadm - ipv4/6" are skipped when
cephadm_mgmt_network contains more than one ip network which prevent
cephadm from managing the host.

Signed-off-by: Teoman ONAY <tonay@ibm.com>

Update zonegroup test.

Signed-off-by: Nathan Hoad <nhoad@bloomberg.net>

Specify the zone when requesting zonegroup information.

Signed-off-by: Nathan Hoad <nhoad@bloomberg.net>

library: ceph_crush: set containerized param to false to respect docstrings

Signed-off-by: Konstantin Shalygin <k0ste@k0ste.ru>

cephadm-adopt: Fixes rbd-mirror regression

779523f86f4659283441ece8af2d4a4dbe8140b4 introduced a regression
related to rbdmirrors tasks. They were executed while
ceph_rbd_mirror_remot_* variables were not set.

Signed-off-by: Teoman ONAY <tonay@ibm.com>

cephadm-adopt: Add --networks parameter support to ceph orch apply rgw

When radosgw_address_block was defined, it was not taken into account
during rgw adoption process

depends on: https://tracker.ceph.com/issues/62185
fixes: https://bugzilla.redhat.com/show_bug.cgi?id=2224351

Signed-off-by: Teoman ONAY <tonay@ibm.com>

Add ipv6 libvirt support scenario in vagrant

Addition of ipv6 support in vagrant/libvirt and an all_daemons_ipv6 scenario.
Some typo fixes

Signed-off-by: Teoman ONAY <tonay@ibm.com>

tests: updates functional tests with new image

let's use quay.io/ceph/daemon-base in every tests instead of
`ceph/daemon` since it's not supposed to be built anymore soon.

Signed-off-by: Guillaume Abrioux <gabrioux@ibm.com>