Merge pull request #1691 from ceph/update_sample

Sync group_vars/*.sample files

Merge pull request #1687 from ceph/dev-tests

tests: run all existing tests with shaman repos

Sync group_vars/*.sample files

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1677 from ceph/fix_fetch-copy_files

Add the possibility to deploy a client-node in a containerized deployment

tests: add config in ceph_conf_overrides to journal collocation tests

Add config in ceph_conf_overrides options to journal collocation tests.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Mon: Create rbd pool on luminous

There is no more an rbd pool that comes with luminous.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

tests: Add a client node to docker scenario

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

tests: run all existing tests with shaman repos

If you use the 'dev' factor, the testing scenario will
use repos from shaman.ceph.com. You can define CEPH_DEV_BRANCH
and CEPH_DEV_SHA1 to specify which repo you'd like to test.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Docker-common: Make `fsid` available for all roles.

Move condition at task level and not at include level to make `fsid`
variable available for all roles.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Common: change path for fetch_directory

Some tasks fetch file to `{{ fetch_directory }}/docker_mon_files` and
then try to copy from `{{ fetch_directory }}/{{ fsid }}`. That causes
the playbook to fail.

Fixes: #1683
Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Client: keep consistency between `openstack_key` and `keys`

To keep consistency between `{{ openstack_keys }}` and `{{ keys }}`
respectively in `ceph-mon` and `ceph-client` roles.
This commit also add the possibility to set mds caps.

Fixes: #1680
Co-Authored-by: John Fulton <johfulto@redhat.com>
Co-Authored-by: Giulio Fidente <gfidente@redhat.com>
Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1675 from ceph/fix_tests_osd_listening

tests: fix test_osds_listen_on_* tests

Merge pull request #1676 from yanyixing/master

fix: osd use filestore
fixes: #1678

ceph-osd:  when ceph relase >= luminous add --filestore config

tests: fix test_osds_listen_on_* tests

the `test_osds_listen_on_*` consider OSDs will always listen on tcp port
with consecutive tcp port number starting from `6800`.

Eg.
If you have 2 OSDs, tests will assume it should listen on 2 ports for each
network (`public_network` and `cluster_network`), therefore:
`6800, 6801, 6802, 6803`

but sometime it doesn't happen this way and you can get OSDs listening
on tcp port like this :

`6800, 6801, 6802, 6805`

Then the test are failing while it shouldn't.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1673 from ceph/add_to_e5d06a4

vagrantfile: Ensure `devices` variable is a list

vagrantfile: Ensure `devices` variable is a list

in addition to e5d06a4 make sure devices variable will be a list even
with vagrant.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1666 from ceph/ceph-conf-interfaces

use host specific value for monitor_interface in ceph.conf creation

ceph-common: make sure monitor_interface or monitor_address is defined

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: remove monitor_interface from centos/7/cluster/group_vars/all

This is to ensure that the template must use the values set in the
inventory.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-common: fixes bug related to monitor_interface set in inventory

The ceph.conf template needs to look for the value of monitor_interface
in hostvars[host] because there might be different values set per host.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #1656 from ceph/luminous-testing-6

Luminous testing

Tests: Add an mgr node do dmcrypt-dedicated-journal

Add an mgr node to `dmcrypt-dedicated-journal` scenario testing.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Update: Avoid screen scraping in rolling update

since luminous has revamped the `ceph -s` output, we need to avoid screen
scraping.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Docker: Fix bug "waiting for /dev/XXX to show up"

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Tests: rename tests directories

Since we are hitting this bug :

https://bugzilla.redhat.com/show_bug.cgi?id=1324587
eg:

`failed: internal error: Monitor path /var/lib/libvirt/qemu/domain-bs-docker-cl
uster-dmcrypt-journal-collocation_mon0_1499294943_ba9faf7bf296533177f6/monitor.
sock too big for destination`

and we can't upgrade libvirt in our CI for some reason

we need to get the directories name shorter in order to workaround this
issue

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Osd: Fix bug 'uniq' command not found

Due to a breaking space introduced by d2320e412e the command here is
broken.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Tests: Add bluestore scenarios

Since we started testing against Luminous, we need to add more scenarios
testing.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Osd: Force filestore and bluestore usage

In Luminous, ceph-disk defaults to bluestore so all our scenarios are
using bluestore, we need to force testing both.

Signed-off-by: Sébastien Han <seb@redhat.com>
Co-Authored-by: Guillaume Abrioux <gabrioux@redhat.com>

tests: allow bluestore devices

Signed-off-by: Sébastien Han <seb@redhat.com>

tests: fix block.db partition size

Our devices in the CI are 12GB, there are not big enough for the default
size. Reducing its size.

Signed-off-by: Sébastien Han <seb@redhat.com>

testing: add luminous factor for testing

Signed-off-by: Alfredo Deza <adeza@redhat.com>
Co-Authored-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1664 from ceph/client-role

site: docker add client role

site: docker add client role

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1663 from ceph/add_docker_custom_admin_secret

Doc: containerized deploy with custom admin secret

Doc: containerized deploy with custom admin secret

In addition to ceph/ceph-docker@69d9aa6, this explains how to deploy a
containerized cluster with a custom admin secret.
Basically, just need to pass the `admin_secret` defined in your
`group_vars/all.yml` to the `ceph_mon_docker_extra_env` variable.

Eg:

`ceph_mon_docker_extra_env: -e CLUSTER={{ cluster }} -e FSID={{ fsid }}
-e MON_NAME={{ monitor_name }} -e ADMIN_SECRET={{ admin_secret }}`

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1644 from fullerdj/wip-djf-check-devices

osd: validate devices variable input

Merge pull request #1662 from fullerdj/wip-djf-install-rsync

common: ensure rsync is installed for local install

osd: validate devices variable input

Fail with a sane message if the devices or raw_journal_devices variables
are strings instead of lists during manual device assignment.

Signed-off-by: Douglas Fuller <dfuller@redhat.com>

common: ensure rsync is installed for local install

rsync is required by the ansible synchronize package. Ensure
it is installed when local installation is selected.

Signed-off-by: Douglas Fuller <dfuller@redhat.com>

Merge pull request #1627 from ceph/ceph-osd-prepare-script

osd: docker, refactor ceph-osd-run.sh.j2

osd: docker, refactor ceph-osd-run.sh.j2

Easier to read and enhance.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1657 from ceph/fix_tests_docker-dmcrypt-journal-colloc

Tests: fix scenario for docker-cluster-dmcrypt-journal-collocation

Tests: fix scenario for docker-cluster-dmcrypt-journal-collocation

The scenario set in `group_vars/all` for
docker-cluster-dmcrypt-journal-collocation is not the correct one.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1649 from ceph/fix_1630

Mon: Allow to deploy with custom admin secret

Mon: Allow to deploy with custom admin secret

Add a new parameter `admin_secret` that allow to deploy a ceph cluster
with a custom admin secret.

Fix: #1630

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

test: fix docker dmcrypt collocated scenario

We were setting journal_collocation and used raw_journal_devices which
is definitely wrong. We should just stick with devices.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1632 from ceph/bluestore-redundant-options

osd: remove redundant options to enable bluestore

Tests: Add bluestore tests

Add two scenarios bluestore_journal_collocation and bluestore_cluster.

Signed-off-by: Sébastien Han <seb@redhat.com>

osd: ability to set db and wal to bluestore

This commits refactors how we deploy bluestore. We have existing
scenarios that we don't want to change too much. This commits eases the
user experience by now changing the way you use scenarios. Bluestore is
just a different interface to store objects but the scenarios more or
less remain the same.

If you set osd_objectstore == 'bluestore' along with
journal_collocation: true, you will get an OSD running bluestore with DB
and WAL partitions on the same device.

If you set osd_objectstore == 'bluestore' along with
raw_multi_journal: true, you will get an OSD running bluestore with a
dedicated drive for the rocksdb DB, then the remaining
drives (used with 'devices') will have WAL and DATA collocated.

If you set osd_objectstore == 'bluestore' along with
raw_multi_journal: true and declare bluestore_wal_devices you will get
an OSD running bluestore with a dedicated drive for rocksdb db, a
dedicated drive partition for rocksdb WAL and a dedicated drive for
DATA.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1597 from czunker/openstack_pools_with_rule

Create OpenStack pools with crush rule

osd: remove redundant options to enable bluestore

There is no need for 2 variables to enable bluestore, prior to this
patch one had to do the following to activate bluestore:

osd_objectstore: bluestore
bluestore: true

Now you just need to set `osd_objectstore: bluestore`.

Fixes: https://github.com/ceph/ceph-ansible/issues/1475
Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1646 from ceph/fix_check_mandatory_vars

Docker-common: Add missing variables declaration

Refact: remove ceph_mon_docker_interface variable

remove `ceph_mon_docker_interface` and use `monitor_interface` instead
for both containerized and non-containerized deployment.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Common: monitor_address_block is always defined

monitor_address_block is always defined.
We need to check for true or false instead.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Docker-common: Add missing variables declaration

Some variables are missing from ceph-docker-common role since the
include of check_mandatory_vars.yml has been re-added in the ceph-mon
role.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1594 from ceph/ipv6_support

Common: Add ipv6 support

Add python-netaddr dependency

the monitor_address_block feature requires `python-netaddr` package.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Mon: Readd the include of check_mandatory_vars.yml

The check regarding the networking scenario configuration has been
moved from ceph-common to ceph-mon in 1de8176 but the include was not re-added
in 189f4fe

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Doc: Add a note to clarify how to setup network

Explain how to setup networking in ceph-ansible by adding a note in
README.md.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Tests: update tests according to ipv6 support

Since ceph.conf.j2 has been updated to add ipv6 support, the different
variables in many scenarios need to be updated.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Common: Add ipv6 support

e8187f6 does not fix the ipv6 as expected since `ansible_default_*` are
filled with the IP address carried by the network interface used by the
default gateway route. By the way, it assumes that the MON_IP address will
be this IP address which is not always the case.

We need to keep using the previous fact but add some intelligence in the
template to determine how to retrieve the ipv4|ipv6 address since the path
to the fact in `hostvars` is not the same according to ipv4 vs ipv6 case.

Fix: 1569

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Create OpenStack pools with crush rule

Add an extra variable to the openstack pools, which creates them with
defined rules. This will allow to place different pools on e.g.
different type of disks.

This commit will also set a new default rule when defined and move
the rbd pool to the new rule.

Merge pull request #1636 from fghaas/fix-mon-directory-perms

Ensure that ceph-mon applies mon directory ownership recursively

Merge pull request #1633 from fullerdj/wip-djf-osd-seatbelt

ansible: fail if user selects OSD auto detection and raw devices are …

Ensure that ceph-mon applies mon directory ownership recursively

Fixes #1635.

Signed-off-by: Florian Haas <florian@hastexo.com>

ansible: fail if user selects OSD auto detection and raw devices are mounted

Signed-off-by: Douglas Fuller <dfuller@redhat.com>

Merge pull request #1629 from ceph/fix-openstack-key

mon: fix openstack key creation

mon: fix openstack key creation

Somehow the shell module will return an error if the command line is not
next to it.
Plus fixed the import with the right path.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1626 from ceph/fix_followup

Fix followup

Fix followup on refact code (1469)

In addition to 7bb04a5, these lines are no longer needed and can even
cause playbook failures.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1621 from ceph/openstack-key

mon: rework openstack keys creation

Merge pull request #1624 from ceph/chose-ceph-config-location

Choose ceph config location

mon: rework openstack keys creation

We now allow a user to pass a key secret.

Fixes: https://github.com/ceph/ceph-ansible/issues/1617
Signed-off-by: Sébastien Han <seb@redhat.com>

docker: ability to change ceph config directory

Signed-off-by: Sébastien Han <seb@redhat.com>

docker: refactor followup

Followup on https://github.com/ceph/ceph-ansible/pull/1469 where we
merged most of the container code from roles/ceph-*/task/docker/*.yml
into roles/ceph-docker-common/tasks/

It seems that we forgot to remove the original files.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1620 from ceph/fix_bashism

Make the new check PGs working with /bin/sh

Merge pull request #1616 from ceph/disable-retry-file

ansible: disable retry files

Make the new check PGs working with /bin/sh

The new test in the checks PGs are no longer working on distributions
where /bin/sh isn't linked to /bin/bash.

Fix: #1619
Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

ansible: disable retry files

Closes: https://github.com/ceph/ceph-ansible/issues/1611
Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1613 from ceph/wip-takeover

Fixes to take-over-existing-cluster playbook

infra: Create a backup of ceph.conf when taking over existing cluster

Signed-off-by: David Galloway <dgallowa@redhat.com>

infra: Fix ceph.conf creation when taking over existing cluster

Fixes bug introduced in https://github.com/ceph/ceph-ansible/pull/1330

The "stat ceph.conf" task was basically using the stat module on a
string instead of the ceph.conf filename.  This caused the "generate
ceph configuration file" task to fail.

Fixes: https://bugzilla.redhat.com/show_bug.cgi?id=1463382
Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #1612 from fultonj/add_openstack_metrics_pool

Add OpenStack metrics pool

Add OpenStack metrics pool

OpenStack's Gnocchi service expects to have a pool called "metrics".
This change addess "metrics" to the list of `openstack_pools` and
creates a corresponding key. It is only run if the user sets
`openstack_config: false`.

Merge pull request #1595 from czunker/restart_all_osds

Restart all OSDs and do not stop after the first one.

Merge pull request #1609 from ceph/quick_clean

Remove duplicate entry in a test Vagrantfile

Remove duplicate entry in test Vagrantfile

remove some leftover since code has been refactored

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Restart all OSDs and do not stop after the first one.

The current handler only restarts one OSD on each OSD server. After
the first one the handler stops, not matter what results the checks had.

Co-Authored-By: Gaudenz Steinlin (@gaudenz)

Merge pull request #1607 from SoneraCloud/bluestore-acivation-fix

Bluestore: Omit "osd mkfs type" etc from ceph.conf

Bluestore: Omit "osd mkfs type" etc from ceph.conf

Remove "osd mkfs type" and the other pre-Bluestore parameters from the
generated ceph.conf so that disk activation on OSDs will work. The
current default xfs config results in a failed deployment and
incorrect partition metadata.

Merge pull request #1599 from ceph/bz-1458024

tests: adds a test for rolling updates of containerized clusters

Merge pull request #1598 from ceph/test-rbd-pool

ceph-mon: fix get rbd size hanging

rolling_update: set health_mon_check_delay to 15

The old value of 10 did not give enough time for a containerized mon to
pass the health check.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: add PG config to the docker_cluster scenario

This is so we'll pass the PG check when performing a rolling update.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: adds *-update_docker_cluster testing scenarios

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #1604 from ceph/rewrite_pgs_clean_tasks

rewrite check pgs clean tasks

rewrite check pgs clean tasks

Avoid screen scrapping by rewriting `waiting for clean pgs` tasks like it is
done in 304de48.

Use the json output returned by `ceph -s` instead

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1573 from duritong/master-control_path-port

keep port as part of the control path

ceph-mon: fix get rbd size hanging

For newly created cluster the command: ceph --cluster {{ cluster }} osd
pool get rbd size does not respond properly.
We only want to check if the rbd pool exists, so we know use an ls |
grep approach.

Closes: https://github.com/ceph/ceph-ansible/issues/1547
Signed-off-by: Sébastien Han <seb@redhat.com>