osd: simplify scenarios

There is only two main scenarios now:

* collocated: everything remains on the same device:
  - data, db, wal for bluestore
  - data and journal for filestore
* non-collocated: dedicated device for some of the component

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1727 from ceph/refact

Refact playbook

generate_group_vars_sample: update for ceph-defaults

Signed-off-by: Sébastien Han <seb@redhat.com>

infrastructure-playbooks: update with ceph-defaults roles

Signed-off-by: Sébastien Han <seb@redhat.com>

docker-common: Fix bug when updating config

in containerized deployment, if you try to update your `ceph.conf` file
it won't be actually updated on your nodes because it is overwritten by
the copy of the file which is present in your fetch directory.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Add handlers for containerized deployment

Until now, there is no handlers for containerized deployments.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Move basics facts to `ceph-defaults`

Move `fsid`,`monitor_name`,`docker_exec_cmd` and `ceph_release` set_fact
to `ceph-defaults` role.
It will allow to reuse these facts without having to play `ceph-common`
or `ceph-docker-common`.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Move role dependencies in site.yml/site-docker.yml

This will give us more flexibility and avoid a lot of useless when
skipping all tasks from a non-desired role.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Add new role `ceph-defaults`

Add a new role `ceph-defaults`.
This role aims to handle all defaults vars for `ceph-docker-common` and
`ceph-common` and set basic facts (eg. `fsid`)

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

merge docker-common and common defaults vars

Merge `ceph-docker-common` and `ceph-common` defaults vars in
`ceph-defaults` role.
Remove redundant variables declaration in `ceph-mon` and `ceph-osd` roles.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

rolling_update: refact code

Refact rolling_update playbook.
Add ceph-client upgrade.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1718 from yanyixing/changeowner

change the partition's ownership

Merge pull request #1018 from ceph/profile-examples

profiles: introducing cluster profiles

Merge pull request #1723 from ceph/mount-skip

osd: fail check mount partition if not skipped

Merge pull request #1713 from ceph/ceph-stable

common: make ceph_stable_release mandatory

common: only add a daemon section if we run on the host

We don't want to have heterogeous ceph.conf anymore and believe that we
should have the right section for the running daemon.
If we don't do this and use profiles, e.g: rgw, we will get a new rgw
section on some of the nodes.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1596 from czunker/restart_with_crush_location

Restart OSDs during initial setup when crush location is used

osd: fail check mount partition if not skipped

We forgot to handle the case where "check if any of the raw partitions
are mounted" task gets skipped.

Signed-off-by: Sébastien Han <seb@redhat.com>

common: make ceph_stable_release mandatory

It is mandatory now to set the Ceph version you want to install, e.g:
ceph_stable_release: luminous

To find the release names, you can look at the release not doc:
http://docs.ceph.com/docs/master/release-notes/

Signed-off-by: Sébastien Han <seb@redhat.com>

change the partition's ownership

Merge pull request #1715 from ceph/do-no-enable

osd: do not enable osd@id unit file

osd: do not enable osd@id unit file

ceph-disk is responsable for enabling the unit file if needed. Actually
since https://github.com/ceph/ceph/pull/12241 it seems that it's not
even needed. On an event of a restart, udev rules will be trigger and
they will ceph-disk activate the device too so the 'enabled' is not
needed.

Closes: https://github.com/ceph/ceph-ansible/issues/1142
Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1690 from yanyixing/master

fix: when osd device is a disk partition

Merge pull request #1709 from ceph/purge-systemd

purge: remove leftover unit files

fix: when osd device is a disk partition

purge: remove leftover unit files

Closes https://github.com/ceph/ceph-ansible/issues/1672

Signed-off-by: Sébastien Han <seb@redhat.com>

Restart OSDs during initial setup when crush location is used

OSDs get started by ceph-disk before the ceph.conf file is written
with a crush location. That results in a crush map without configured
crush location.

To prevent this, we have to restart the OSDs during the initial setup
after the crush location was added to the ceph.conf file.

Merge pull request #1707 from ceph/admin-ker-perms

mon: add mgr cap to admin key

mon: add mgr cap to admin key

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1705 from ceph/kv-port

ceph-docker-common: update etcd kv port

ceph-docker-common: update etcd kv port

New registered port is 2379

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1704 from ceph/filestore

osd: refactor osd scenarios

osd: refactor osd scenarios

We have multiple issues with ceph-disk's cli with bluestore and Ceph
releases. This is mainly due to cli changes with Luminous. Luminous
introduced a --bluestore and --filestore options which respectively does
not exist on releases older than Luminous. The default store being
bluestore on Luminous, simply checking for the store is not enough so we
have to build a specific command line for ceph-disk depending on the
Ceph version we are running and the desired osd_store.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1696 from fultonj/issue-1688

Allow user to define ACLs for OpenStack keys

Allow user to define ACLs for OpenStack keys

The keys and openstack_keys structure now supports an optional
key called acls whose value is a list of strings one could pass
to setfacl. The ansible ACL module applies the ACLs to all
openstack keys with this property.

Fixes: #1688

Merge pull request #1694 from ceph/spread_openstack_keys

Mon: Copy openstack keyring files on all mons

Mon: Copy openstack keyring files on all mons

Copies all created openstack keys on all mons.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Common: Add profiles

Remove `rgw enable static website` and `rgw enable usage log` from
ceph.conf and make it usable with ceph_config_overrides as profiles.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Common: Avoid duplicate section in ceph.conf

See:
 - https://github.com/ceph/ceph-ansible/pull/1018#issuecomment-253491094
 - https://github.com/ceph/ceph-ansible/pull/1018#issuecomment-260276588

The workaround here is rendering `ceph_conf_overrides` before passing it
to `config_template` to be sure we won't have a section added twice in
ceph.conf

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

profiles: introducing cluster profiles

This commit introduces a new directory called "profiles" which
contains some set of variables for a particular use case. These profiles
provide guidance for certain scenarios such as:

* configuring rgw with keystone v3

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1693 from batrick/debian-obsolete-key

remove obsolete debian devel repo key

remove obsolete debian devel repo key

According to Alfredo, this was used for gitbuilders. Right now shaman/chacra
dev repos are unsigned.

Signed-off-by: Patrick Donnelly <pdonnell@redhat.com>

Merge pull request #1691 from ceph/update_sample

Sync group_vars/*.sample files

Merge pull request #1687 from ceph/dev-tests

tests: run all existing tests with shaman repos

Sync group_vars/*.sample files

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1677 from ceph/fix_fetch-copy_files

Add the possibility to deploy a client-node in a containerized deployment

tests: add config in ceph_conf_overrides to journal collocation tests

Add config in ceph_conf_overrides options to journal collocation tests.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Mon: Create rbd pool on luminous

There is no more an rbd pool that comes with luminous.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

tests: Add a client node to docker scenario

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

tests: run all existing tests with shaman repos

If you use the 'dev' factor, the testing scenario will
use repos from shaman.ceph.com. You can define CEPH_DEV_BRANCH
and CEPH_DEV_SHA1 to specify which repo you'd like to test.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Docker-common: Make `fsid` available for all roles.

Move condition at task level and not at include level to make `fsid`
variable available for all roles.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Common: change path for fetch_directory

Some tasks fetch file to `{{ fetch_directory }}/docker_mon_files` and
then try to copy from `{{ fetch_directory }}/{{ fsid }}`. That causes
the playbook to fail.

Fixes: #1683
Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Client: keep consistency between `openstack_key` and `keys`

To keep consistency between `{{ openstack_keys }}` and `{{ keys }}`
respectively in `ceph-mon` and `ceph-client` roles.
This commit also add the possibility to set mds caps.

Fixes: #1680
Co-Authored-by: John Fulton <johfulto@redhat.com>
Co-Authored-by: Giulio Fidente <gfidente@redhat.com>
Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1675 from ceph/fix_tests_osd_listening

tests: fix test_osds_listen_on_* tests

Merge pull request #1676 from yanyixing/master

fix: osd use filestore
fixes: #1678

ceph-osd:  when ceph relase >= luminous add --filestore config

tests: fix test_osds_listen_on_* tests

the `test_osds_listen_on_*` consider OSDs will always listen on tcp port
with consecutive tcp port number starting from `6800`.

Eg.
If you have 2 OSDs, tests will assume it should listen on 2 ports for each
network (`public_network` and `cluster_network`), therefore:
`6800, 6801, 6802, 6803`

but sometime it doesn't happen this way and you can get OSDs listening
on tcp port like this :

`6800, 6801, 6802, 6805`

Then the test are failing while it shouldn't.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1673 from ceph/add_to_e5d06a4

vagrantfile: Ensure `devices` variable is a list

vagrantfile: Ensure `devices` variable is a list

in addition to e5d06a4 make sure devices variable will be a list even
with vagrant.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1666 from ceph/ceph-conf-interfaces

use host specific value for monitor_interface in ceph.conf creation

ceph-common: make sure monitor_interface or monitor_address is defined

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: remove monitor_interface from centos/7/cluster/group_vars/all

This is to ensure that the template must use the values set in the
inventory.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-common: fixes bug related to monitor_interface set in inventory

The ceph.conf template needs to look for the value of monitor_interface
in hostvars[host] because there might be different values set per host.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #1656 from ceph/luminous-testing-6

Luminous testing

Tests: Add an mgr node do dmcrypt-dedicated-journal

Add an mgr node to `dmcrypt-dedicated-journal` scenario testing.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Update: Avoid screen scraping in rolling update

since luminous has revamped the `ceph -s` output, we need to avoid screen
scraping.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Docker: Fix bug "waiting for /dev/XXX to show up"

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Tests: rename tests directories

Since we are hitting this bug :

https://bugzilla.redhat.com/show_bug.cgi?id=1324587
eg:

`failed: internal error: Monitor path /var/lib/libvirt/qemu/domain-bs-docker-cl
uster-dmcrypt-journal-collocation_mon0_1499294943_ba9faf7bf296533177f6/monitor.
sock too big for destination`

and we can't upgrade libvirt in our CI for some reason

we need to get the directories name shorter in order to workaround this
issue

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Osd: Fix bug 'uniq' command not found

Due to a breaking space introduced by d2320e412e the command here is
broken.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Tests: Add bluestore scenarios

Since we started testing against Luminous, we need to add more scenarios
testing.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Osd: Force filestore and bluestore usage

In Luminous, ceph-disk defaults to bluestore so all our scenarios are
using bluestore, we need to force testing both.

Signed-off-by: Sébastien Han <seb@redhat.com>
Co-Authored-by: Guillaume Abrioux <gabrioux@redhat.com>

tests: allow bluestore devices

Signed-off-by: Sébastien Han <seb@redhat.com>

tests: fix block.db partition size

Our devices in the CI are 12GB, there are not big enough for the default
size. Reducing its size.

Signed-off-by: Sébastien Han <seb@redhat.com>

testing: add luminous factor for testing

Signed-off-by: Alfredo Deza <adeza@redhat.com>
Co-Authored-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1664 from ceph/client-role

site: docker add client role

site: docker add client role

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1663 from ceph/add_docker_custom_admin_secret

Doc: containerized deploy with custom admin secret

Doc: containerized deploy with custom admin secret

In addition to ceph/ceph-docker@69d9aa6, this explains how to deploy a
containerized cluster with a custom admin secret.
Basically, just need to pass the `admin_secret` defined in your
`group_vars/all.yml` to the `ceph_mon_docker_extra_env` variable.

Eg:

`ceph_mon_docker_extra_env: -e CLUSTER={{ cluster }} -e FSID={{ fsid }}
-e MON_NAME={{ monitor_name }} -e ADMIN_SECRET={{ admin_secret }}`

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1644 from fullerdj/wip-djf-check-devices

osd: validate devices variable input

Merge pull request #1662 from fullerdj/wip-djf-install-rsync

common: ensure rsync is installed for local install

osd: validate devices variable input

Fail with a sane message if the devices or raw_journal_devices variables
are strings instead of lists during manual device assignment.

Signed-off-by: Douglas Fuller <dfuller@redhat.com>

common: ensure rsync is installed for local install

rsync is required by the ansible synchronize package. Ensure
it is installed when local installation is selected.

Signed-off-by: Douglas Fuller <dfuller@redhat.com>

Merge pull request #1627 from ceph/ceph-osd-prepare-script

osd: docker, refactor ceph-osd-run.sh.j2

osd: docker, refactor ceph-osd-run.sh.j2

Easier to read and enhance.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1657 from ceph/fix_tests_docker-dmcrypt-journal-colloc

Tests: fix scenario for docker-cluster-dmcrypt-journal-collocation

Tests: fix scenario for docker-cluster-dmcrypt-journal-collocation

The scenario set in `group_vars/all` for
docker-cluster-dmcrypt-journal-collocation is not the correct one.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1649 from ceph/fix_1630

Mon: Allow to deploy with custom admin secret

Mon: Allow to deploy with custom admin secret

Add a new parameter `admin_secret` that allow to deploy a ceph cluster
with a custom admin secret.

Fix: #1630

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

test: fix docker dmcrypt collocated scenario

We were setting journal_collocation and used raw_journal_devices which
is definitely wrong. We should just stick with devices.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1632 from ceph/bluestore-redundant-options

osd: remove redundant options to enable bluestore

Tests: Add bluestore tests

Add two scenarios bluestore_journal_collocation and bluestore_cluster.

Signed-off-by: Sébastien Han <seb@redhat.com>

osd: ability to set db and wal to bluestore

This commits refactors how we deploy bluestore. We have existing
scenarios that we don't want to change too much. This commits eases the
user experience by now changing the way you use scenarios. Bluestore is
just a different interface to store objects but the scenarios more or
less remain the same.

If you set osd_objectstore == 'bluestore' along with
journal_collocation: true, you will get an OSD running bluestore with DB
and WAL partitions on the same device.

If you set osd_objectstore == 'bluestore' along with
raw_multi_journal: true, you will get an OSD running bluestore with a
dedicated drive for the rocksdb DB, then the remaining
drives (used with 'devices') will have WAL and DATA collocated.

If you set osd_objectstore == 'bluestore' along with
raw_multi_journal: true and declare bluestore_wal_devices you will get
an OSD running bluestore with a dedicated drive for rocksdb db, a
dedicated drive partition for rocksdb WAL and a dedicated drive for
DATA.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1597 from czunker/openstack_pools_with_rule

Create OpenStack pools with crush rule

osd: remove redundant options to enable bluestore

There is no need for 2 variables to enable bluestore, prior to this
patch one had to do the following to activate bluestore:

osd_objectstore: bluestore
bluestore: true

Now you just need to set `osd_objectstore: bluestore`.

Fixes: https://github.com/ceph/ceph-ansible/issues/1475
Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1646 from ceph/fix_check_mandatory_vars

Docker-common: Add missing variables declaration

Refact: remove ceph_mon_docker_interface variable

remove `ceph_mon_docker_interface` and use `monitor_interface` instead
for both containerized and non-containerized deployment.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Common: monitor_address_block is always defined

monitor_address_block is always defined.
We need to check for true or false instead.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Docker-common: Add missing variables declaration

Some variables are missing from ceph-docker-common role since the
include of check_mandatory_vars.yml has been re-added in the ceph-mon
role.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1594 from ceph/ipv6_support

Common: Add ipv6 support

Add python-netaddr dependency

the monitor_address_block feature requires `python-netaddr` package.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>