update group_vars/osds.yml.sample for the new lvm_volumes examples

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

lvm: support --data as a raw device or partition in ceph-volume

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

lvm: ensure the data_vg exists before using it

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #2170 from ceph/remove_osd_zap

tests: remove OSD_FORCE_ZAP variable from tests

tests: remove OSD_FORCE_ZAP variable from tests

according to ceph/ceph-container#840, this variable is no longer needed.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #2165 from ceph/sync_ceph-build

tests: set CEPH_STABLE_RELEASE in ceph-build

tests: set CEPH_STABLE_RELEASE in ceph-build

`CEPH_STABLE_RELEASE` needs to bet set in ceph-build according
to ceph/ceph-ansible#2165

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #2167 from ceph/bz-1510906

defaults: fix rgw restart script in handlers

defaults: fix rgw restart script in handlers

Like 80d32dec, the path to the fact is not correct.
In any case, we will retrieve the IP address in hostvars, the variable
is the way we get the interface name according where it has been set
(eg.: inventory host file vs. group_vars/)

Closes: https://bugzilla.redhat.com/show_bug.cgi?id=1510906
Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #2146 from mslovy/wip-fix-crush-location

osd: fix crush location for non-containerized deployment

Merge pull request #2140 from yanyixing/doc_fix

Fix: the ansible version for the stable-3.0 branch

Merge pull request #2142 from squidboylan/master

infra: fix take-over-existing-cluster.yml playbook

Merge pull request #2144 from ceph/quick_fix_lvm

osd: skip some set_fact when osd_scenario=lvm

Merge pull request #2141 from Arano-kai/run_restart_scripts_in_noexec_tmp

FIX: run restart scripts in `noexec` /tmp

Merge pull request #2163 from ktdreyer/rpm-ansible-2.4.1.0

rpm: require ansible 2.4.1.0

rpm: require ansible 2.4.1.0

2.4.0.0 has some bugs, and we're going to ship with v2.4.1.0.

Merge pull request #2152 from ceph/bz-1510470

purge-docker-cluster: ensure old logs are removed

Merge pull request #2154 from ceph/fix_auto_discover

osd: avoid using non desired loop device in autodiscovery

Merge pull request #2153 from ceph/fix_disk_list_test

osd: always run disk_list test

purge-docker-cluster: ensure old logs are removed

purge-docker-cluster must remove all osd_disk_prepare logs in
`{{ ceph_osd_docker_run_script_path }}`, otherwise if you purge your
cluster and try to redeploy it, osds will fail to start since because it
will try to retrieve find a partition uuid which doesn't exist.

Closes: https://bugzilla.redhat.com/show_bug.cgi?id=1510470
Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

osd: always run disk_list test

there is no need to have a condition on this task, this test should be
always run since the result will be interpreted later.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #2150 from ceph/fix_typo

config: fix config generation

osd: avoid using non desired loop device in autodiscovery

This will prevent ceph-ansible from using a loop device while it
shouldn't in auto_discovery mode.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

config: fix config generation

The path to the fact is not correct.
In any case, we will retrieve the IP address in hostvars, the variable
is the way we get the interface name according where it has been set
(eg.: inventory host file vs. group_vars/)

Closes: https://bugzilla.redhat.com/show_bug.cgi?id=1510906
Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #2145 from ceph/fix-autodiscover

osd: do not use dm when osd_auto_discovery

osd: fix automatic prepare when auto_discover

Use `devices` variable instead of `ansible_devices`, otherwise it means
we are not using the devices which have been 'auto discovered'

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

fix crush location for non-containerized deployment

crush location only set for containerized deployment

Signed-off-by: yaoning <yaoning@unitedstack.com>

osd: do not use dm when osd_auto_discovery

The current code will also return lvm devices such as /dev/dm-2, this
kind of device type is not supported by ceph-disk at the moment. Now we
just ignore them.

Signed-off-by: Sébastien Han <seb@redhat.com>

osd: skip some set_fact when osd_scenario=lvm

these tasks are not needed when using `osd_scenario: lvm`

Fixes: https://bugzilla.redhat.com/show_bug.cgi?id=1509230
Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #2143 from ceph/fix_typo

osd: fix a typo in roles/ceph-osd/defaults/main.yml

osd: fix a typo in roles/ceph-osd/defaults/main.yml

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

infra: fix take-over-existing-cluster.yml playbook

The ansible inventory could have more than just ceph-ansible hosts, so
we shouldnt use "hosts: all", also only grab one file when getting
the ceph cluster name instead of failing when there is more than one
file in /etc/ceph. Also fix location of the ceph.conf template

FIX: run restart scripts in `noexec` /tmp

- One can not run scripts directly in place, that mounted with `noexec`
option. But one can run scripts as arguments for `bash/sh`.

Signed-off-by: Arano-kai <captcha.is.evil@gmail.com>

fix the ansible version for the stable-3.0 branch

Merge pull request #2128 from ceph/mon_interface

config: fix monitor_interface when not passed in the inventory file | osd:  fix old jewel container activation

Merge pull request #2129 from ceph/update_nightly_ci

[skip ci] tests: sync with ceph/ceph-build for ceph-ansible-nightlies

osd: enhance backward compatibility

During the initial implementation of this 'old' thing we were falling
into this issue without noticing
https://github.com/moby/moby/issues/30341 and where blindly using --rm,
now this is fixed the prepare container disappears and thus activation
fail.
I'm fixing this for old jewel images.

Also this fixes the machine reboot case where the docker logs are
purgend. In the old scenario, we now store the log locally in the same
directory as the ceph-osd-run.sh script.

Signed-off-by: Sébastien Han <seb@redhat.com>

tests: sync with ceph/ceph-build for ceph-ansible-nightlies

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

config: fix monitor_interface when not passed in the inventory file

Setting monitor_interface in group_vars/all.yml makes the
hostvars[host]['monitor_interface'] non-existing.

Closes: https://bugzilla.redhat.com/show_bug.cgi?id=1507922
Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #2124 from ceph/lvm-setup-fix

test: when creating the /dev/sdc2 partition specify label as gpt

Merge pull request #2123 from ceph/update_tests

tests: followup on testing against ansible2.4

common: make the delegate_facts feature optional

Since we encountered issue with this on ansible2.2, this commit provide
the ability to enable or disable it regarding which ansible we are
running.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

test: when creating the /dev/sdc2 partition specify label as gpt

ansible==2.4 requires that label be set to gpt, or it will be defaulted
to msdos.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #2122 from jprovaznik/template

Include ganesha dbus config file

contrib: skip ci and hightlight origin PR

Signed-off-by: Sébastien Han <seb@redhat.com>

Include ganesha dbus config file

This file was (accidentally) not included in a previous
commit 87b1da09e7131ec2741f332fd72aaec8de65e526.

tests: add missing test for rbd

Add a missing test `test_rbd_mirror_service_is_running_from_luminous()`.
Also using bash -c "<cmd>" to make testinfra aware that later in
the upgrade process we are now running `luminous` ceph release so we
must skip the rbd tests related to `jewel` ceph release.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

docs: update patterns containing version number

Update doc regarding last changes (new branch, ansible version, ...)

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

tests: followup on testing against ansible2.4

ceph-ansible is now being testing against ansible2.2 and ansible2.4. We
need to update tox.ini so we use the right version of testinfra
regarding which ansible version we are using.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #2090 from ceph/ansible-2.4

[skip ci] Test ansible 2.4.1

Merge pull request #2100 from ceph/lvm-bluestore

ceph-volume lvm bluestore support

docs add lvm bluestore examples

Signed-off-by: Alfredo Deza <adeza@redhat.com>

ceph-osd skip lvm creation if they are already in use

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Test ansible 2.4.1

We now test with Ansible 2.4. We had to change testinfra's version since
only recent versions work with 2.4. See:
https://github.com/philpep/testinfra/issues/249

Closes: https://github.com/ceph/ceph-ansible/issues/2087
Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #2117 from ceph/rm-dup

default: remove dup variable

Merge pull request #2118 from ceph/typo-purge

[skip ci]

shrink-mon: fix typo in the code doc

Signed-off-by: Sébastien Han <seb@redhat.com>

default: remove dup variable

ceph_repository_type was declared multiple times. This commit fixes
this.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #2071 from jtaleric/master

Docker image pull retry

Merge pull request #2105 from major/really-fix-always-run

Really fix always run

Merge pull request #2110 from fultonj/issue/2092

Make acls and mode parameters of opentack_keys optional

Make acls and mode parameters of opentack_keys optional

Only chmod or setfacl the requested keyring(s) in the
opentack_keys data structure when the mode or acls keys
of that data structure exist.

User may specify four permission combinations for the
keyring file(s): 1. only set ACL, 2. only set mode,
3. set neither mode nor ACL, 4. set mode and then ACL.

Fixes: #2092

Merge pull request #2112 from ceph/remove-optional

[skip ci]

purge: do not reboot by default

Rebooting servers is really intrusive and perhaps this is not what the
operator wants. So we disable the reboot by default now. Note that the
reboot might not happen all the time.
It can be enabled by default by running the purge playbook with -e
reboot_osd_node=True

Closes: https://bugzilla.redhat.com/show_bug.cgi?id=1505011
Signed-off-by: Sébastien Han <seb@redhat.com>

Docker image pull retry

This change sets a default timeout of 300s for the image pull. If the
image pull times out (300s), we will retry 3 times by default.

fixes 1954

Merge pull request #2103 from andymcc/tcmalloc_settings

Option to set TCMALLOC_MAX_TOTAL_THREAD_CACHE_BYTES

Merge pull request #2104 from ceph/rgw-section

rgw/nfs: fix section duplication

Merge pull request #2084 from ceph/backward-osd-2.4

osd: bring backward compatibility with old Jewel images

Use check_mode instead of always_run

This patch changes the `always_run: yes` task option to
`check_mode: no` to avoid Ansible warnings.

Revert "Avoid deprecated always_run"

This reverts commit 620fb37dd481dc570fac6291dcfd82c855f2dcb7.

rgw/nfs: fix section duplication

Once and for all, hopefully...

Signed-off-by: Sébastien Han <seb@redhat.com>

Option to set TCMALLOC_MAX_TOTAL_THREAD_CACHE_BYTES

Use "ceph_tcmalloc_max_total_thread_cache" to set the
TCMALLOC_MAX_TOTAL_THREAD_CACHE_BYTES value inside /etc/default/ceph for
Debian installs, or /etc/sysconfig/ceph for Red Hat/CentOS installs.

By default this is set to 0, so the default package value will be used,
if specified this value will be changed to match the variable, and ceph
osd services will be restarted.

ceph-osd lvm scnearios are no longer limited to filestore

Signed-off-by: Alfredo Deza <adeza@redhat.com>

ceph-osd use --cluster in ceph-volume calls

Signed-off-by: Alfredo Deza <adeza@redhat.com>

ceph-osd add the CEPH_VOLUME_DEBUG env var to all ceph-volume commands

Signed-off-by: Alfredo Deza <adeza@redhat.com>

tests add the bluestore scenario in tox.ini

Signed-off-by: Alfredo Deza <adeza@redhat.com>

tests create a bluestore osd scenario

Signed-off-by: Alfredo Deza <adeza@redhat.com>

group_vars: update the examples in lvm for bluestore support

Signed-off-by: Alfredo Deza <adeza@redhat.com>

ceph-osd update the examples in defaults for lvm bluestore

Signed-off-by: Alfredo Deza <adeza@redhat.com>

ceph-osd: lvm support for bluestore

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #2086 from ceph/followup

tests: split purge_cluster, followup on a53aa9e

Merge pull request #2102 from yanyixing/fix_miss_word

add the miss word

update sample file

purge: containers are not stopped

During purge osd, the containers are not stopped because of a typo, as a
result, all the devices can't be unmounted later.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #2097 from fultonj/issue/2095

Require osd_scenario parameter to be provided in containerized deploy

Merge pull request #2096 from andymcc/regex_defaults

Add regexp check for setting CLUSTER_NAME

Require osd_scenario parameter to be provided in containerized deploy

Fixes: #2095

tests: split purge_cluster, followup on a53aa9e

- split purge_cluster because we need to test filestore and bluestore
scenarios.
- clean some leftover.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #2093 from andymcc/typo_fix

Typo fix for radosgw@ systemd file

Add regexp check for setting CLUSTER_NAME

Minor fix to ensure that existing CLUSTER_NAME is changed, and avoid duplicates.

Typo fix for radosgw@ systemd file

systemd script for radosgw is radosgw@ not rgw@, the directory needs to
match the path.

Merge pull request #2054 from jprovaznik/bindaddr

ceph-nfs - add bind address variable

ceph-nfs - add bind address variable

osd: bring backward compatibility with old Jewel images

There was a huge resync from luminous to jewel in ceph-docker:
https://github.com/ceph/ceph-docker/pull/797

This change brought a new handy function to discover partitions tight to
an OSD. This function doesn't exist in the old image so the
ceph-osd-run.sh script breaks when trying to deploy Jewel OSD with that
old Jewel image version.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #2082 from ceph/restapi-cephconf

common: move restapi template to config

Merge pull request #2076 from ceph/2.4-3.0-backward

[skip ci] all: backward compatibility between stable-2.2 and 3.0

all: backward compatibility between stable-2.2 and 3.0

stable-3.0 brought numerous changes in ceph-ansible variables, this PR
aims to maintain backward compatibility for someone running stable-2.2
upgrading to stable-3.0 but keeps its groups_vars untouched.
We will then determine the right options to make sure the upgrade works
but we are expecting that new variables should be used.

We will drop this in a near future, maybe 3.1 or 3.2.

Signed-off-by: Sébastien Han <seb@redhat.com>

mgr: force module addition

Some module require --force to be enabled.

Signed-off-by: Sébastien Han <seb@redhat.com>

common: move restapi template to config

Closes: github.com/ceph/ceph-ansible/issues/1981
Signed-off-by: Sébastien Han <seb@redhat.com>

mgr: play 'enable modules' sequence only on luminous

This feature isn't available before luminous, therefore, we need to play
them only on luminous and after otherwise the playbook will fail.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>
(cherry picked from commit 3f3d4b9c727d06154c422d445fc2a245aceaed89)