Remove six from requirements.txt

ceph-infra: add copytruncate option in logrotate

rolling-update: utilize noautoscale during update

Instead of per-pool modification, utilize the already available
flag to disable autoscale during the update temporarily.

Signed-off-by: Seena Fallah <seenafallah@gmail.com>

chore: add .ansible to gitignore

Signed-off-by: Seena Fallah <seenafallah@gmail.com>

radosgw-realm: support default flag for pull

radosgw-admin supports the default flag to set the pulled realm as
default if requested.

Signed-off-by: Seena Fallah <seenafallah@gmail.com>

ceph-config: allow to control setting osd memory target

Allow to stop setting auto memory target in case like one wants to
set it globally for all osds via ceph_cluster_conf.

Signed-off-by: Seena Fallah <seenafallah@gmail.com>

docs(upgrade): note that --limit is now supported in rolling-update

Signed-off-by: Aliakbar Naji <dr.nadji@gmail.com>

common/container: drop CEPH_USE_RANDOM_NONCE env var

It is not necessary anymore as this behavior became
the default one.

Ceph Ref. https://github.com/ceph/ceph/pull/50344

Signed-off-by: Seena Fallah <seenafallah@gmail.com>

ceph-infra: allow configuring logrotate

Signed-off-by: Seena Fallah <seenafallah@gmail.com>

Adopt with grafana_network not grafana_server_addr

The networks list in a spec is usually a list of ranges,
not a single IP. The grafana_server_addr is a fact created
from the grafana_network range so it is a more appropriate
parameter to pass to the spec.

Follow up to 770a527a9ee6b34091798c6120235026ad1ecfa9

Signed-off-by: John Fulton <fulton@redhat.com>

Use grafana_server_addr to set prometheus networks list

When dashboard is enabled and module ceph_orch_apply is
called, if the grafana_server_addr is defined, then it
is used to populate the networks list in the spec of type
alertmanager. This is the case without this patch. With
this patch the same logic is applied to the spec of type
prometheus. Also, if the grafana_server_addr is a comma
delimited list, then a jinja2 expression handles passing
the IPs as a list.

Without this patch prometheus binds to all networks even
if grafana_server_addr is set which can create conflicts
with other services.

Fixes: https://bugzilla.redhat.com/2269009
Signed-off-by: John Fulton <fulton@redhat.com>

Handle radosgw hosts placement with non-default cluster name

In cephadm-adopt.yml TASK "Update the placement of radosgw hosts"
does not handle when Ansible var cluster is something other than
"ceph", unless this patch is used.

Update module ceph_orch_apply to support optional cluster
parameter using the same style as in module ceph_config.
The command is only extended to inclue the new keyring
and config options if cluster name is not ceph.

This patch is necessary to migrate older clusters which were
deployed when custom names were supported.

Closes: https://issues.redhat.com/browse/RHCEPH-10442
Signed-off-by: John Fulton <fulton@redhat.com>

Handle adoption when radosgw_address_block is comma delimited list

In cephadm-adopt.yml TASK "Update the placement of radosgw hosts"
passes module ceph_orch_apply embedded YAML via a block scalar.
This YAML creates a Ceph spec of service_type RGW. The networks
key of this spec supports either a list or a string. Without this
patch, the networks key of the spec will only contain a string.
With this patch a string is still set for the networks key, but
if Ansible var radosgw_address_block contains commas, then var
radosgw_address_block is split by those commas into a list and
the networks key of the spec will be set to a list.

Closes: https://issues.redhat.com/browse/RHCEPH-10418
Signed-off-by: John Fulton <fulton@redhat.com>

cephadm-adopt: fix ssl condition in rgw placement task

rgw daemons fail to start as they were looking for
ssl certificates while none were available.

Signed-off-by: Teoman ONAY <tonay@ibm.com>

doc: CI readthedocs job fails

Deprecation of projects using Sphinx without an explicit configuration file

[1] https://about.readthedocs.com/blog/2024/12/deprecate-config-files-without-sphinx-or-mkdocs-config/

Signed-off-by: Teoman ONAY <tonay@ibm.com>

mergify: add stable-9.0

This adds the mergify support for stable-9.0

Signed-off-by: Seena Fallah <seenafallah@gmail.com>

modules: Add _info modules

Validate modules test fails with:

Argument state includes get, list or info as a choice.
Functionality should be in an _info or (if further conditions apply) _facts module.

on modules ceph_crush_rule and ceph_key

With Ansible 2.8 and onwards best practice requires that modules
gathering info to be put in a separate module named _info[1]

[1]https://docs.ansible.com/ansible/latest/dev_guide/developing_modules_general.html#creating-an-info-or-a-facts-module

Signed-off-by: Teoman ONAY <tonay@ibm.com>

CI Unittests errors fix

Fix failing unittests

Signed-off-by: Teoman ONAY <tonay@ibm.com>

Don't try to set devices fact when osd_auto_discovery was skipped

Right now, under certain OS and Ansible versions, ie Rocky Linux and
ansible-core 2.17, `devices_check` variable is getting defined even if
task was skipped.

That results in set_fact to fail, as resulting variable has no `results`
key in it.

Structure of such variable looks like that:
```
"devices_check": {
    "changed": false,
    "false_condition": "osd_auto_discovery | default(False) | bool",
    "skip_reason": "Conditional result was False",
    "skipped": true
}
```

Checking for task not being skipped solves such issues.

Signed-off-by: Dmitriy Rabotyagov <noonedeadpunk@gmail.com>

pytest: python-version typo

Fixes python-version

Signed-off-by: Teoman ONAY <tonay@ibm.com>

cephadm-adopt: Alertmanager placement count missing

Regression from #7576. Alertmanager placement count was missing
after migration to ceph_orch_apply module

Signed-off-by: Teoman ONAY <tonay@ibm.com>

cephadm-adopt: custom prometheus port lost after adoption

If a custom Prometheus port was used before adoption, it was not
taken into account and default 9095 was set instead. Now custom
port is re-applied.

Fixes: https://bugzilla.redhat.com/show_bug.cgi?id=2242346
Signed-off-by: Teoman ONAY <tonay@ibm.com>

cephadm-adopt: add cephadm ssh config option

Add task to set customized ssh config for cephadm

Signed-off-by: Amir Nikpour <amnik.free@gmail.com>

ceph_orch_apply: fix yaml error when multiple rgw deployed

ceph orch ls rgw --format=yaml returns multiple documents
when multiple rgw are installed, this was not handled
correctly.

Signed-off-by: Teoman ONAY <tonay@ibm.com>

radosgw_user: support caps on user

Supporting adding/removing caps on the user.

Signed-off-by: Seena Fallah <seenafallah@gmail.com>

ceph-pool: add support updating crush rule of the pool

Support updating crush rule of the pool via crush rule name.

Signed-off-by: Seena Fallah <seenafallah@gmail.com>

devices: test devices before collecting on auto discovery

In some scenarios with NVMe, a device might be identified by
Ansible but could actually be a multipath device rather than an
actual device. We need to exclude these as Ceph cannot create
OSDs on them.

Signed-off-by: Seena Fallah <seenafallah@gmail.com>

cephadm-adopt: fix "Update the placement of radosgw hosts" task

networks was at the wrong level in the spec file. Failed with
"got an unexpected keyword argument 'networks'"

Signed-off-by: Teoman ONAY <tonay@ibm.com>

cephadm-adopt: Fixes binding network for alertmanager

Alertmanager was bind to default * network instead of grafana_server_addr
as it was before. Now on if grafana_server_addr is defined, it will be
bind to that network.

Signed-off-by: Teoman ONAY <tonay@ibm.com>

cephadm-adopt: fix "Update the placement of radosgw hosts" task

spec file template conditions were incorrect

Signed-off-by: Teoman ONAY <tonay@ibm.com>

ceph-handler: use haproxy maintenance for rgw restarts

RGW currently restarts without waiting for existing connections to
close. By adjusting the HAProxy weight before the restart, we can
ensure that no active connections are disrupted during the restart
process.

Signed-off-by: Seena Fallah <seenafallah@gmail.com>

Revert "nfs-ganesha support removal"

This reverts commit 675667e1d60b7080dad7293f2954de23718c5042.

Signed-off-by: Guillaume Abrioux <gabrioux@ibm.com>

ceph_orch_apply: fix idempotency

As is idempotency does not work as the ceph orch
output does contain more attributes than the expected
spec.

Signed-off-by: Teoman ONAY <tonay@ibm.com>

ceph_orch_spec: Add ceph orch apply spec feature

Add new module ceph_orch_spec which applies ceph spec files.
This feature was needed to bind extra mount points to the RGW
container (/etc/pki/ca-trust/).

Fixes: https://bugzilla.redhat.com/show_bug.cgi?id=2262133
Signed-off-by: Teoman ONAY <tonay@ibm.com>

ceph-key: check for key existance on absent state

check if the key is exists before removal.

Signed-off-by: Seena Fallah <seenafallah@gmail.com>

ceph-container: use ceph user and group

Use --setuser and --setgroup to ceph to run daemons with ceph user.

Signed-off-by: Seena Fallah <seenafallah@gmail.com>

tests: collect mons and mgrs logs

Signed-off-by: Seena Fallah <seenafallah@gmail.com>

ceph-container: keep run dir permission consistent

Make it the same as "Create ceph initial directories" task
and make owner and group 167 for containers so they can write
with ceph user.

Signed-off-by: Seena Fallah <seenafallah@gmail.com>

Fix cephadm-adopt test scenario

Fixes cephadm-adopt test scenario by configuring rbd application
on test and test2 pools. Otherwise cephadm-adopt failed at task
"Check pools have an application enabled"

Signed-off-by: Teoman ONAY <tonay@ibm.com>

ceph-rgw: introduce rgw zone to the name schema

This is needed by ceph-exporter as it is parsing the socket by the number of dots.
Although the rgw_zone variable is only using for constructing the client name
and has nothing to do with multisiting.

Signed-off-by: Seena Fallah <seenafallah@gmail.com>

radosgw_user: handle non-existence user on check mode

Set return code to 0 on check mode when the user doesn't exists and it will fail the module.

Signed-off-by: Seena Fallah <seenafallah@gmail.com>

ceph-mon: move the ceph_config call to ceph-mon role

ba7eb62a1bcbd925b053cbd737012f034568a6f7 broke deployments where
mgrs are not collocated with mons.

Signed-off-by: Guillaume Abrioux <gabrioux@ibm.com>

ceph-config: move `ceph_config` module call to ceph-config role

so you don't have to implement a similar play on your own
if not using main (sample) playbooks.

Signed-off-by: Guillaume Abrioux <gabrioux@ibm.com>

ceph_volume: set changed to false to readonly actions

Signed-off-by: Seena Fallah <seenafallah@gmail.com>

ceph_crush: add support check mode

Signed-off-by: Seena Fallah <seenafallah@gmail.com>

ceph-mon: fix admin keyring creation task

Although custom cluster name support was dropped, it breaks ceph-volume
functional testing as it uses "test" as cluster name.
The plan is to make ceph-volume use "ceph" but for now it's easier to
address the issue in this task.

Signed-off-by: Guillaume Abrioux <gabrioux@ibm.com>

common: install python3-packaging on centos el8

ceph-volume has a dependency on `python3-packaging` which is available
in PowerTools repo.

Signed-off-by: Guillaume Abrioux <gabrioux@ibm.com>

ceph_pool: add support check mode

Signed-off-by: Seena Fallah <seenafallah@gmail.com>

ceph-handler: allow 405 as a success restart for rgw

If rgw is configured to only operate admin api - this is the status code it will return for GET on no path.

Signed-off-by: Seena Fallah <seenafallah@gmail.com>

github: update stale github workflow

`ubuntu-18.04` environment is deprecated, let's switch to ubuntu-22.04.

Signed-off-by: Guillaume Abrioux <gabrioux@ibm.com>

handlers: move tmpdir removal

This moves the tmpdir removal tasks to main playbook.
The handlers in Ansible are too restrictive and doesn't work
quite well for our use case.

Signed-off-by: Guillaume Abrioux <gabrioux@ibm.com>

nfs-ganesha support removal

nfs-ganesha support will be implemented in a separate playbook.

Signed-off-by: Guillaume Abrioux <gabrioux@ibm.com>

vagrantfile: drop grafana group

this has never been used for real, let's drop this

Signed-off-by: Guillaume Abrioux <gabrioux@ibm.com>

remove legacy task

this was for backward compatibility concerns, it's time to drop this
task.

Signed-off-by: Guillaume Abrioux <gabrioux@ibm.com>

tests: update vagrant_variables.yml

This updates all vagrant_variables.yml to bump the default
image from centos/stream8 to centos/stream9

Signed-off-by: Guillaume Abrioux <gabrioux@ibm.com>

tests: set ceph_repository: community

dev_setup.yml playbook takes care of changing prior to running
tests.

Signed-off-by: Guillaume Abrioux <gabrioux@ibm.com>

rgw_profiles: update rgw-keystone profiles

See issue #7458

Fixes: #7458
Signed-off-by: Guillaume Abrioux <gabrioux@ibm.com>

container-engine: enforce docker for Ubuntu os family

This enforces docker.io and docker respectively for
`container_package_name` and `container_service_name` by default
for Ubuntu distribution.

Fixes: #7496
Signed-off-by: Guillaume Abrioux <gabrioux@ibm.com>

common: configure epel repository (rockylinux)

this is needed in order to make some libraries available when
running on RockyLinux

Signed-off-by: Guillaume Abrioux <gabrioux@ibm.com>

tests: various changes

some minor changes

Signed-off-by: Guillaume Abrioux <gabrioux@ibm.com>

ceph_config: compare current vals in low

Check the current value and asked both in low case as the asked one might be in capital as it should be.

Signed-off-by: Seena Fallah <seenafallah@gmail.com>

ceph_config: add support config remove

Add support rm action.

Signed-off-by: Seena Fallah <seenafallah@gmail.com>

radosgw_user: add support check mode

Signed-off-by: Seena Fallah <seenafallah@gmail.com>

radosgw_user: parse system and admin as boolean

The returned payload from rgw has them as a boolean. By having them as a string it would always report a change and try to modify the user.

Signed-off-by: Seena Fallah <seenafallah@gmail.com>

radosgw_zonegroup: add support check mode

Signed-off-by: Seena Fallah <seenafallah@gmail.com>

radosgw_zonegroup: parse master as boolean

The returned payload from rgw has is_master as a boolean. By having master as a string it would always report a change and try to modify the zonegroup.

Signed-off-by: Seena Fallah <seenafallah@gmail.com>

ceph_ec_profile: make int params str

Ceph return them as string so in comparision it would always fail

Signed-off-by: Seena Fallah <seenafallah@gmail.com>

ceph-osd: introduce ec profile creation

RGW Pools can now use the existing ec profiles and rules created by ceph-osd role.

Signed-off-by: Seena Fallah <seenafallah@gmail.com>

ceph_ec_profile: add support more plugins

Add support more plugins with their respective args.

Signed-off-by: Seena Fallah <seenafallah@gmail.com>

mergify: add stable-8.0

This adds the mergify support for stable-8.0

Signed-off-by: Guillaume Abrioux <gabrioux@ibm.com>

tests: run vagrant_up.sh from dirname

Signed-off-by: Guillaume Abrioux <gabrioux@ibm.com>

ceph-volume: add support check mode

Run read-only actions on check mode

Signed-off-by: Seena Fallah <seenafallah@gmail.com>

ceph-config: check for set_radosgw_address before importing task

Signed-off-by: Seena Fallah <seenafallah@gmail.com>

ceph-handler: accept 404 as a success status for rgw restart

404 is the status code returned by rgw when it is serving website api. This needs to be consider as a healthy status for rgw.

Signed-off-by: Seena Fallah <seenafallah@gmail.com>

radosgw_zone: add support zone set

Support zone set from a json doc

Signed-off-by: Seena Fallah <seenafallah@gmail.com>

Update docs to for supported Ansible versions

Signed-off-by: Jonathan Rosser <jonathan.rosser@rd.bbc.co.uk>

osd: drop openstack related tasks

All of this should be addressed in custom separate playbooks if needed.

Signed-off-by: Guillaume Abrioux <gabrioux@ibm.com>

tests: drop ooo-collocation legacy files

this job was removed, these files are no longer needed, let's remove
them.

Signed-off-by: Guillaume Abrioux <gabrioux@ibm.com>

ceph-mon: add missing no_log for admin keyring tasks

Signed-off-by: Seena Fallah <seenafallah@gmail.com>

group_vars: resync samples with default values

2b72ea991d40fc12f277edd58825ce98f068e8c4 and
c8eeae243efac9ad894f3240a8a256b05336f75b have missed the resync.

This addresses that.

Signed-off-by: Guillaume Abrioux <gabrioux@ibm.com>

simplify monitor address setting

this drops the following parameters:

- monitor_address_block
- monitor_interface
- monitor_address

The monitor address will be automatically set from `public_network` parameter.

Signed-off-by: Guillaume Abrioux <gabrioux@ibm.com>

tests: add ceph exporter to collect logs

Signed-off-by: Seena Fallah <seenafallah@gmail.com>

ceph-exporter: add installation role

Signed-off-by: Seena Fallah <seenafallah@gmail.com>

mons: use hostname for initial members

Signed-off-by: Seena Fallah <seenafallah@gmail.com>

systemd: export params as a varaible

This can help to have extra params or modify the existing ones via group vars.

Signed-off-by: Seena Fallah <seenafallah@gmail.com>

site: install mgrs with mons if sharing the same host

If mgr is meant to be installed on the mon host it needs to be installed in the same playbook as restart handlers might failed because of non-existance mgr

Signed-off-by: Seena Fallah <seenafallah@gmail.com>

ceph-volume: disable dmcrypt by default

regression by dcdb1710cbaf7946cf8161b4395697d4898680d3

Signed-off-by: Seena Fallah <seenafallah@gmail.com>

ceph-facts: make set_radosgw_address optional

This can help to define custom rgw_instances with custom names and ports and addresses.

Signed-off-by: Seena Fallah <seenafallah@gmail.com>

Welcome Back :tada:

Signed-off-by: Seena Fallah <seenafallah@gmail.com>

tox: enable diff for ansible runs

Diff option can help in CI when a task fail because of a corrupted render in previous tasks.

Signed-off-by: Seena Fallah <seenafallah@gmail.com>

container: cleanup container systemd units

* Make common params of container args in a var to avoid duplication
* The /var/lib/ceph/crash mount was missing after 637ca81c9cf801e4d1d125dc8a2492b90fd78eea
* Add CEPH_USE_RANDOM_NONCE as it's needed when running inside container (can be removed for squid later)
* Add NODE_NAME as some part of ceph code relies on this var
* add default logging opts for

Signed-off-by: Seena Fallah <seenafallah@gmail.com>

refactor: remove multisite leftovers

Signed-off-by: Seena Fallah <seenafallah@gmail.com>

ceph-handler: restart existed rgw daemons

This is needed for new instances are the restart might trigger before the deployment

Signed-off-by: Seena Fallah <seenafallah@gmail.com>

ceph-handler: remove tempdir when all handlers are done

Signed-off-by: Seena Fallah <seenafallah@gmail.com>

ceph-config: make rgw config to be in file

Signed-off-by: Seena Fallah <seenafallah@gmail.com>

ceph-config: introduce dedicated cluster config flow

Signed-off-by: Seena Fallah <seenafallah@gmail.com>

kickoff squid

This adds the few required changes in order to fully support
Ceph Squid.

Signed-off-by: Guillaume Abrioux <gabrioux@ibm.com>

drop rhcs references

RHCS moved away from ceph-ansible. All RHCS references should be
removed.

Signed-off-by: Guillaume Abrioux <gabrioux@ibm.com>

drop iscsigw support

This service is no longer maintained.
Let's drop its support within ceph-ansible.

Signed-off-by: Guillaume Abrioux <gabrioux@ibm.com>

address Ansible linter errors

This addresses all errors reported by the Ansible linter.

Signed-off-by: Guillaume Abrioux <gabrioux@ibm.com>