Merge pull request #1786 from ceph/re-arrange-skipped

mon, osd: fix skipped condition

Merge pull request #1789 from mistur/master

fix radosgw-admin call with another cluster name than "ceph"

mon, osd: fix skipped condition

To be properly evaluated the "skipped" conditions must always have the
first place on the list of condition, otherwise the other conditions are
evaluated before and make the task fail.

Closes: https://github.com/ceph/ceph-ansible/issues/1733
Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1781 from ceph/ceph-volume-tests-cli

ceph-volume executable tests and testinfra API update

fix radosgw-admin call with another cluster name than "ceph"

Merge pull request #1779 from gfidente/tripleo_switch_to_containerized

TripleO switch to containers

Merge pull request #1772 from ceph/docs-update

documentation update for osd scenarios and basic installation/usage

Merge pull request #1654 from andymcc/master

Allow ceph-mon systemd overrides to be specified

Default cluster to ceph in switch to containers

Parse ceph_docker_registry in switch to containers

Defaults it to docker.io as it was for backward compatibility.

Assume mon_docker_privileged false in switch to containers

Merge pull request #1783 from ceph/remove-dup-var

resync group_vars files

resync group_vars files

Signed-off-by: Sébastien Han <seb@redhat.com>

tests/rgw: update tests to use new host fixture

Signed-off-by: Alfredo Deza <adeza@redhat.com>

tests/osd add tests for ceph-volume* executables

Signed-off-by: Alfredo Deza <adeza@redhat.com>

tests/osd: update tests to use new host fixture

Signed-off-by: Alfredo Deza <adeza@redhat.com>

tests/mons: update tests to use new host fixture

Signed-off-by: Alfredo Deza <adeza@redhat.com>

tests/install: update tests to use new host fixture

Signed-off-by: Alfredo Deza <adeza@redhat.com>

tests/conftest: update node fixture for new testinfra API

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Consume public_network vs ceph_mon_docker_subnet

In the switch to containers migration there were broken references
to ceph_mon_docker_subnet variable, replaced with public_network.

Also fixes references to ceph_mon_docker_extra_env setting for it
a default as it could be undefined.

Extend set_uid fact to support RH Ceph images

Merge pull request #1695 from fullerdj/wip-djf-docker-multimds

ceph-mds: Enable multimds under docker

Merge pull request #1762 from ceph/install_pkg_rbdmirror

ceph-common: install base package to provide ceph CLI

docs: add examples for collocated and non-collocated osd scenarios

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

docs: move testing/glossary after index in glossary.rst

We want the usage docs before the testing docs on this page.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

docs: remove the old README and link to the hosted docs

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

docs: add docs for dev contributions

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

docs: add docs for ceph_conf_overrides usage

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

docs: add links to example videos

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

docs: collocated and non-collocated scenario docs

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

docs: docs for installation and basic config

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

common: install ceph-common on all nodes

This commits force ceph-common to be installed early in deployment on
nodes.

For instance, ceph-rbdmirror doesn't have the CLI installed while it is
needed for some tasks which uses it to set some facts.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Allow ceph service systemd overrides to be specified

ceph services can fail to start under certain circumstances (for
example, when running in a container) because the default systemd
service configuration causes namespace issues.

To work around this we can override the system service settings by
placing an overrides file in the ceph-<service>@.service.d directory.
This can be generic so as to allow any potential changes required to
the ceph-<service> service files.

The overrides file is only setup when the
"ceph_<service>_systemd_overrides" config_template override variable is
specified.

The available service systemd override files are as follows:
ceph_mds_systemd_overrides
ceph_mgr_systemd_overrides
ceph_mon_systemd_overrides
ceph_osd_systemd_overrides
ceph_rbd_mirror_systemd_overrides
ceph_rgw_systemd_overrides

Merge pull request #1759 from fultonj/master

Set the permissions mode on all of the OpenStack keys

Set the permissions mode on all of the OpenStack keys

The original fix to issue #1755 only set the permissions on
the monitors to which the key was copied, but not the original
monitor where the key was created. Thus, we use a separate task
to set the permission of the key.

Merge pull request #1756 from fultonj/master

Allow user to specify the mode of the openstack keys

Allow user to specify the mode of the openstack keys

The openstack_keys structure now supports a key called mode
whose value is a string that one could pass to chmod to set
the mode of the key file. The ansible file module applies the
mode to all openstack keys with this property.

Fixes: #1755

Merge pull request #1560 from ceph/wip-rev-ansible-testing

change ansible environment to 2.3 release

change ansible environment to 2.3 release

Signed-off-by: Gregory Meno <gmeno@redhat.com>
Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #1750 from ceph/lvm-test-update

tests: do not use /dev/sda in the lvm scenario

tests: do not use /dev/sda in the lvm scenario

When you udpate to the latest version of the centos/7 box it always puts
the OS on /dev/sda, so do not use it as an OSD.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #1745 from ceph/tmp-path-fix

ceph-common: render ceph_conf_overrides into fetch_directory

ceph-common: render ceph_conf_overrides into fetch_directory

Writing into /tmp is not always allowed, but we can assume the
fetch_directory is writable.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #1716 from ceph/lvm-osds

adds a new OSD scenario to create OSDs with ceph-volume

ceph-mds: Enable multimds under docker

This is under the MDS role instead of the mon role because that role
does not create the filesystem under docker.

Signed-off-by: Douglas Fuller <dfuller@redhat.com>

ceph-defaults: fix containerized osd restarts

This needs to check `containerized_deployment` because
socket_osd_container is undefined otherwise.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-common: move release-rhs.yml after ceph_version is set

These tasks needs to be run after we set ceph_version or
they fail because it's undefined.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-osd: devices is not required when osd_scenario == lvm

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

lvm: update scenario for new osd_scenario variable

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

lvm-osds: reorder mandatory vars checks

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

lvm-osds: check for osd_objectstore == 'filestore'

ceph-volume currently only has support for filestore, not bluestore

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

lvm-osds: make task name and files consistent

Removes capitilization and newlines to keep these files consistent in
style with the existing tasks.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

lvm-osds: update group_vars/osds.yml.sample

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: do not use sudo with dev_setup.yml

This causes problems when the tests are run locally and not in the CI

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

lvm_osds: ensure osd daemons are started

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: lvm_osds does not have devices defined

This means that our tests needs to use the lvm_volumes dictionary
instead of devices.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: adds an lvm_osds testing scenario

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

docs: add docs for the lvm_osds OSD scenario

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

adds a new 'lvm_osds' osd scenario

This scenario will create OSDs using ceph-volume and is only available
in ceph releases greater than Luminous.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #1743 from ceph/rhcs-yml

generate_group_vars_sample: rhcs.yml.sample

generate_group_vars_sample: rhcs.yml.sample

Add a pre-configured bare minimum rhcs.yml.sample that can save
configuration steps.

Fixes: https://bugzilla.redhat.com/show_bug.cgi?id=1478071
Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1734 from ceph/debian-repo

common: automate setting up online repositories for ceph deployments …

common: automate setting up online repositories for ceph deployments on debian nodes

This commits automates the process of setting up online repositories for
Red Hat Ceph Storage on Debian nodes. The manual steps are currently
described here:
https://access.redhat.com/documentation/en-us/red_hat_ceph_storage/2/html/installation_guide_for_ubuntu/prerequisites#online_repositories

If you are an RHCS customer and run a Debian based system you can now
access package through the Red Hat CDN.
For this set: ceph_rhcs and ceph_rhcs_cdn_install to true. Then set your
customer credentials in ceph_rhcs_cdn_debian_repo. Replace
customername:customerpasswd with your details.

Fixes: https://bugzilla.redhat.com/show_bug.cgi?id=1434175
Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1725 from ceph/simplify-osd-scenario

osd: simply osd scenario declaration

Merge pull request #1735 from ceph/ceph-version-detection

common: override and autodetect ceph_stable_release

Merge pull request #1740 from Logan2211/ceph-defaults-breakout

Add ceph-defaults to galaxy role breakout script

Add ceph-defaults to galaxy role breakout script

common: override and autodetect ceph_stable_release

For ceph_dev and rhcs installation we need to detect the release since
we do not declare it explicitly. Keeping the default ceph_stable_release
could lead to several things going wrong and some have already been
reported.

Fixes: https://github.com/ceph/ceph-ansible/issues/1712 and
https://bugzilla.redhat.com/show_bug.cgi?id=1476210
Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1738 from yanyixing/nvmepart

fix for nvme part path

fix for nvme part path

osd: simplify scenarios

There is only two main scenarios now:

* collocated: everything remains on the same device:
  - data, db, wal for bluestore
  - data and journal for filestore
* non-collocated: dedicated device for some of the component

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1727 from ceph/refact

Refact playbook

generate_group_vars_sample: update for ceph-defaults

Signed-off-by: Sébastien Han <seb@redhat.com>

infrastructure-playbooks: update with ceph-defaults roles

Signed-off-by: Sébastien Han <seb@redhat.com>

docker-common: Fix bug when updating config

in containerized deployment, if you try to update your `ceph.conf` file
it won't be actually updated on your nodes because it is overwritten by
the copy of the file which is present in your fetch directory.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Add handlers for containerized deployment

Until now, there is no handlers for containerized deployments.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Move basics facts to `ceph-defaults`

Move `fsid`,`monitor_name`,`docker_exec_cmd` and `ceph_release` set_fact
to `ceph-defaults` role.
It will allow to reuse these facts without having to play `ceph-common`
or `ceph-docker-common`.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Move role dependencies in site.yml/site-docker.yml

This will give us more flexibility and avoid a lot of useless when
skipping all tasks from a non-desired role.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Add new role `ceph-defaults`

Add a new role `ceph-defaults`.
This role aims to handle all defaults vars for `ceph-docker-common` and
`ceph-common` and set basic facts (eg. `fsid`)

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

merge docker-common and common defaults vars

Merge `ceph-docker-common` and `ceph-common` defaults vars in
`ceph-defaults` role.
Remove redundant variables declaration in `ceph-mon` and `ceph-osd` roles.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

rolling_update: refact code

Refact rolling_update playbook.
Add ceph-client upgrade.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1718 from yanyixing/changeowner

change the partition's ownership

Merge pull request #1018 from ceph/profile-examples

profiles: introducing cluster profiles

Merge pull request #1723 from ceph/mount-skip

osd: fail check mount partition if not skipped

Merge pull request #1713 from ceph/ceph-stable

common: make ceph_stable_release mandatory

common: only add a daemon section if we run on the host

We don't want to have heterogeous ceph.conf anymore and believe that we
should have the right section for the running daemon.
If we don't do this and use profiles, e.g: rgw, we will get a new rgw
section on some of the nodes.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1596 from czunker/restart_with_crush_location

Restart OSDs during initial setup when crush location is used

osd: fail check mount partition if not skipped

We forgot to handle the case where "check if any of the raw partitions
are mounted" task gets skipped.

Signed-off-by: Sébastien Han <seb@redhat.com>

common: make ceph_stable_release mandatory

It is mandatory now to set the Ceph version you want to install, e.g:
ceph_stable_release: luminous

To find the release names, you can look at the release not doc:
http://docs.ceph.com/docs/master/release-notes/

Signed-off-by: Sébastien Han <seb@redhat.com>

change the partition's ownership

Merge pull request #1715 from ceph/do-no-enable

osd: do not enable osd@id unit file

osd: do not enable osd@id unit file

ceph-disk is responsable for enabling the unit file if needed. Actually
since https://github.com/ceph/ceph/pull/12241 it seems that it's not
even needed. On an event of a restart, udev rules will be trigger and
they will ceph-disk activate the device too so the 'enabled' is not
needed.

Closes: https://github.com/ceph/ceph-ansible/issues/1142
Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1690 from yanyixing/master

fix: when osd device is a disk partition

Merge pull request #1709 from ceph/purge-systemd

purge: remove leftover unit files

fix: when osd device is a disk partition

purge: remove leftover unit files

Closes https://github.com/ceph/ceph-ansible/issues/1672

Signed-off-by: Sébastien Han <seb@redhat.com>

Restart OSDs during initial setup when crush location is used

OSDs get started by ceph-disk before the ceph.conf file is written
with a crush location. That results in a crush map without configured
crush location.

To prevent this, we have to restart the OSDs during the initial setup
after the crush location was added to the ceph.conf file.

Merge pull request #1707 from ceph/admin-ker-perms

mon: add mgr cap to admin key

mon: add mgr cap to admin key

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1705 from ceph/kv-port

ceph-docker-common: update etcd kv port