tests: no need to create a filesystem on /dev/sdc1 for lvm tests

The partition only needs created and given a gpt label so that a
PARTUUID will exist on the partition.

This task also makes the purge_lvm_osds scenario fail on the second
deployment after purging.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #1881 from ceph/followup_1724

ceph-osd: remove deprecated comment in sample file

ceph-osd: remove deprecated comment in sample file

Since #1724 has been merged, this comment is deprecated

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1863 from ceph/rpm-comments

rpm: better comments for file removals

Merge pull request #1840 from ceph/simply-containers

docker: simplify variable declaration

docker: simplify variable declaration

Less configuration for the user, the container inherit from the global
variables. No more container specific variables.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1878 from ceph/add-rbd-mirror

Add rbd mirror

ci: deploy rbd mirror

Deploy rbd mirorr in cluster scenario

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1875 from ceph/switch-nfs

switch to container: fix ceph nfs

switch to container: fix ceph nfs

The service is nfs-ganesha where ceph-nfs@{{ ansible_hostname }} will be
the name of the container.

Signed-off-by: Sébastien Han <seb@redhat.com>

ci: remove scenario bluestore_docker_cluster

We don't need to bootstrap a full cluster to bootstrap bluestore. We
have individual scenarios for that.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1780 from ceph/wip-rgw-nfs

Wip RGW NFS

Merge pull request #1871 from ceph/handler-collocate

defaults: do not restart unconfigured (yet) daemons

Merge pull request #1874 from ceph/rbd-mirror-mem

ceph-rbd-mirror; docker fix typo

ceph-rbd-mirror; docker fix typo

Signed-off-by: Sébastien Han <seb@redhat.com>

nfs: rename host to have ceph- prefix

Signed-off-by: Ali Maredia <amaredia@redhat.com>

nfs-ganesha: add config overrides section

Signed-off-by: Ali Maredia <amaredia@redhat.com>

Merge pull request #1870 from Logan2211/omit-default-release

Omit the apt default_release if it is not needed

mds: rename mds_socket fact

Rename this fact to keep consistency with handlers in `ceph-defaults`.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

nfs: add automated testing for nfs-ganesha roles

Signed-off-by: Ali Maredia <amaredia@redhat.com>

nfs-ganesha: add dev, stable, and rhcs nfs-ganesha's for ceph-nfs role

Signed-off-by: Ali Maredia <amaredia@redhat.com>

Merge pull request #1873 from ceph/switch-unit

switch: make osd collection idempotent

defaults: do not restart unconfigured (yet) daemons

In a collocated scenario, where you might put a rgw, a mds and a mon on
the same node you don't want the handler blindly restart all the daemons
on the node. Indeed some of them might not be configured yet.
Implementing a more precise socket detection, for each daemon type.

Closes: https://bugzilla.redhat.com/show_bug.cgi?id=1488813
Signed-off-by: Sébastien Han <seb@redhat.com>

switch: make osd collection idempotent

This commits allows us to run
switch-from-non-containerized-to-containerized-ceph-daemons.yml multiple
times.

Closes: https://bugzilla.redhat.com/show_bug.cgi?id=1489353
Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1864 from ceph/switch

switch-from-non-containerized-to-containerized: fix devices

switch-from-non-containerized-to-containerized: fix devices

If devices is passed through an extra var this register won't work so
let's only register the var is devices is not defined.

Closes: https://bugzilla.redhat.com/show_bug.cgi?id=1489099
Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1803 from ceph/disk-auto

ceph-osd: fix autodetection activation

Omit the apt default_release if it is not needed

The apt module will fail to downgrade packages properly when defualt
release is unnecessarily defined.

Closes #1869

Merge pull request #1867 from ceph/rhcs-version

tests: set ceph_stable_release to luminous for rhcs

ceph-osd: fix autodetection activation

Prior to this patch this activation sequence for autodetection was
always skipped because we were asking to activate on device without
partitions, which doesn't make sense.

We also fix the way we lookup for a device, since the data partition is
always numbered 1, we take the min element of the dict.

Closes: https://github.com/ceph/ceph-ansible/issues/1782
Signed-off-by: Sébastien Han <seb@redhat.com>
Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1842 from ceph/purge

purge: get lockbox mountpoint and unmount it

tests: set ceph_stable_release to luminous for rhcs

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

purge: get lockbox mountpoint and unmount it

Prior command was avoiding the lockbox mountpoint and the playbook was
failing with:

rmtree failed: [Errno 30] Read-only file system:
'/var/lib/ceph/osd-lockbox/4e9d8052-87c2-4fde-a56c-b8c108a3eefc/key-management-mode'

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1850 from fultonj/issue/1848

Add option to create client keyring file but not import it

Merge pull request #1859 from ceph/container-limit

container: introduce resource limitation for containers

Merge pull request #1862 from ceph/fail-ansible

fail if ansible version < 2.3

fail if ansible version < 2.3

We only test and support 2.3.x at the moment.

Closes: https://github.com/ceph/ceph-ansible/issues/1858
Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1812 from ceph/switch-migration-conta

switch-from-non-containerized-to-containerized: mask unit files

rpm: better comments for file removals

As of 54d7a81241eac26d87e2bee513df5efd8866a586, we're doing more than
stripping CoreOS files in the RPM now. Move the comments around to
better match the code that does what the comments describe.

The purpose of this change is to make it easier to read this part of the
RPM spec file.

tests: force docker variable for switch-to-containers scenario

we need to force the value of `docker` variable which is initially set
to `false` since it's a migration from non-containerized to
containerized cluster.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Add option to create client keyring file but not import it

Add new boolean parameter for client config create_key_file_only
with a default of false. When create_key_file_only is true, the
client tasks to connect to the external ceph cluster to verify
the key `ceph auth import` the key are skipped.

Fixes: #1848

container: introduce resource limitation for containers

This can be controlled via 2 options:

* ceph_$DAEMON_docker_memory_limit
* ceph_$DAEMON_docker_cpu_limit

All daemons default to 1GB for memory and 1 CPU by default.
Recommendations from:
https://access.redhat.com/documentation/en-us/red_hat_ceph_storage/2/html/red_hat_ceph_storage_hardware_guide/minimum_recommendations

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1860 from ceph/ssh-timeout

ansible.cfg: increase ssh timeout

ansible.cfg: increase ssh timeout

CI slaves are slow so by setting a higher value we can avoid the following error:
Timeout (12s) waiting for privilege escalation prompt:

Now we wait for 32 sec...

More info here: https://github.com/ansible/ansible/issues/14426

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1854 from ceph/add_mgr_node

tests: Add mgr node for all scenarios

switch-from-non-containerized-to-containerized: mask unit files

We must mask the image so we are sure that even if the system reboots
then the OSDs won't start.

Also remove Ceph udev rules if found on the system prior to deploy
containers. If we don't do this we are exposed to conflicts between udev
rules and sytemd unit files.

Also add the CI will now test the migration from a non-containerized cluster to a
containerized cluster.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1853 from ceph/fix-prepare

ceph-osd: do not re-prepare if already prepared

Merge pull request #1819 from ceph/no-container-log

ceph-docker-common: do not log inside the container

tests: Add mgr node for all scenarios

With Luminous we need to have mgr daemon.
This commit adds an mgr daemon for all scenarios.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

ceph-osd: do not re-prepare if alreadyy prepared

I forgot to re-add the partition check while refactoring the osd

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1851 from ceph/shrkin-time

shrink-mon: wait a little bit for the mon to be out

shrink-mon: wait a little bit for the mon to be out

Monitor removal from the monmap is not immediate, so let's wait a little
bit and then fail if the monitor is still in the monmap.
We try twice in total with 10 sec intervals.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1852 from ceph/fix-client

client: copy admin key so we can create pools and keys

client: copy admin key so we can create pools and keys

Needed when user_config is set to true

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1849 from ceph/client-external

client: do not copy admin key by default

client: do not copy admin key by default

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1847 from ceph/luminous

ci: test luminous

Merge pull request #1845 from ceph/rgw

ceph-rgw: fix systemd unit layout

Merge pull request #1835 from ceph/remove-untest

infra playbook: move untested scenario to a new dir

infra playbook: move untested scenario to a new dir

Move untested/with few confidence playbooks in a untested-by-ci
directory.
Also removing this directory from the package build.

Closes: https://bugzilla.redhat.com/show_bug.cgi?id=1461551
Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1836 from ceph/shrink-osd-mon

shrink mon and osd

ci: test luminous

Luminous is out so let's test it instead of Kraken.

Signed-off-by: Sébastien Han <seb@redhat.com>

shrink mon and osd

Rework shrinking a monitor and an OSD playbook. Also adding test
scenario.

Closes: https://bugzilla.redhat.com/show_bug.cgi?id=1366807
Signed-off-by: Sébastien Han <seb@redhat.com>

ceph-rgw: fix systemd unit layout

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1827 from andymcc/rgw_systemd_fix

Fix RGW systemd directory

Merge pull request #1844 from ceph/rhcs-dev-ceph-release-fix

common do not filter by distro when dev is set for figuring out ceph_release

common do not filter by distro when dev is set for figuring out ceph_release

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #1839 from ceph/colonwq-update-docker-rgw-exec

Update ceph_rgw_docker_extra_env to add bind ip

Merge pull request #1838 from ceph/rgw-units

Rgw units

Merge pull request #1841 from ceph/lvm-partitions

lvm-osds: test with a partition and an lv as journals

ceph-defaults: fix handlers for mds and rgw

The way we handle the restart for both mds and rgw is not ideal, it will
try to restart the daemon on the host that don't run the daemon,
resulting in a service file being created (see bug description).

Now we restart each daemon precisely and in a serialized fashion.

Note: the current implementation does NOT support multiple mds or rgw on
the same node.

Closes: https://bugzilla.redhat.com/show_bug.cgi?id=1469781
Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1843 from ceph/useless-changed-task

ceph-common: remove useless changed task

ceph-common: remove useless changed task

There is no need to show a "changed" at the end of the play for a
"command" module task.

Signed-off-by: Sébastien Han <seb@redhat.com>

tests parted should create gpt labels on new disk

But only for the first partition, so that a new label doesn't
blow away the previous partition created

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Update ceph_rgw_docker_extra_env to add bind ip

This patch adds passing the RGW_CIVETWEB_IP to the docker
container. This IP defaults to the value of radosgw_civetweb_bind_ip.
radosgw_civetweb_bind_ip default to ipv4.default

Without this value, the RGW containter will bind to 0.0.0.0

ceph-rgw: do not run a privileged rgw container

There is no need for a privileged rgw container

Signed-off-by: Sébastien Han <seb@redhat.com>

tests conftest conditions the no_lvm_scenario marker

Signed-off-by: Alfredo Deza <adeza@redhat.com>

tests osds units are not enabled in lvm scenarios

Signed-off-by: Alfredo Deza <adeza@redhat.com>

rgw: cleanup old code and remove systemd condition

Remove the old check prior systemd.
We only support systemd so there is no need to run a condition on
systemd. The playbook will fail if systemd is not present.

Signed-off-by: Sébastien Han <seb@redhat.com>

tests: add a filesystem on /dev/sdc1 for lvm osd testing

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-osd: add support for --journal vg/lv for lvm osds

This also updates the tests

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: create 2 partitions on /dev/sdc for lvm scenario testing

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #1833 from ceph/dev-repository

Dev repository fixes

common dev repos should not need to specify a 'release'

Signed-off-by: Alfredo Deza <adeza@redhat.com>

common: ceph_repository should not be rhcs or dev

Signed-off-by: Alfredo Deza <adeza@redhat.com>

common: use the value of ceph_repository in the error message

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #1741 from ceph/refactor-installation

common: refactor installation method

Merge pull request #1724 from ceph/container-multi-journal

osd: allow multi dedicated journals for containers

Merge pull request #1831 from ceph/rbd-key

ceph-docker-common: re-organize stat ceph file

ceph-docker-common: re-organize stat ceph file

Use a single file to run the checks instead of duplicating code.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1830 from ceph/ceph-client-ceph-conf

site-docker.yml.sample: delegate facts

osd: allow multi dedicated journals for containers

Fix: https://bugzilla.redhat.com/show_bug.cgi?id=1475820
Signed-off-by: Sébastien Han <seb@redhat.com>

site-docker.yml.sample: delegate facts

Now we can use --limit on the container deployment too. This is useful
while deploying client nodes.
e.g: ansible-playbook -i inventory -l clients site-docker.yml.sample

Signed-off-by: Sébastien Han <seb@redhat.com>

common: refactor installation method

The installation process is now described as follow:

* you still have to choose a 'ceph_origin' installation method. The
origin can be a 'repository' (add a new repository), distro (it will use
the packages provided by the native repo source of your distribution),
local (only available on redhat system, it installs locally built
packages). This option is not well tested, so use it carefully

* if ceph_origin == 'repository' you will have to decide what kind of
repository you want to enable:
  - community: corresponds to the stable upstream/community version
  - enterprise: corresponds to the stable enterprise/downstream version
    (basically you are a red hat customer)
  - dev: it will install ceph from packages built out of the github
    development branches

Signed-off-by: Sébastien Han <seb@redhat.com>
Co-Authored-by: Guillaume Abrioux <gabrioux@redhat.com>
Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1829 from ceph/wip-osd-test-fix

tests: fix duplicate osd service test

tests: fix duplicate osd service test

Signed-off-by: Ali Maredia <amaredia@redhat.com>

Merge pull request #1824 from bengland2/fix-issue-1818-try2

dont use devices var anymore, works for osd_auto_discover

Fix RGW systemd directory

The ceph RGW systemd services are actually named "ceph-radosgw" and not
"ceph-rgw", this patch fixes that for the systemd overrides file.

Merge pull request #1826 from ceph/add-mimic

common: add mimic release facts

common: add mimic release facts

Signed-off-by: Sébastien Han <seb@redhat.com>