ceph-common: install ceph-common packages for clients on redhat for rhcs

Signed-off-by: Alfredo Deza <adeza@redhat.com>
Resolves: rhbz#1339096

ceph-common: define client_group_name

Signed-off-by: Alfredo Deza <adeza@redhat.com>
Resolves: rhbz#1339096

group_vars: define client_group_name

Signed-off-by: Alfredo Deza <adeza@redhat.com>
Resolves: rhbz#1339096

ceph-common: create a new install task for rh storage on redhat

Signed-off-by: Alfredo Deza <adeza@redhat.com>
Resolves: rhbz#1339096

ceph-common: include the new install_rh_storage_on_redhat playbook when ceph_stable_rh_storage is on:

Signed-off-by: Alfredo Deza <adeza@redhat.com>
Resolves: rhbz#1339096

ceph-common: specify file path for repo key

Signed-off-by: Alfredo Deza <adeza@redhat.com>
Resolves: rhbz#1339068

ceph-common: there is no Installer repo, it is now the Tools repo

Signed-off-by: Alfredo Deza <adeza@redhat.com>
Resolves: rhbz#1338548

ceph-common: remove RedHat-only constraint for RH ISO install

Signed-off-by: Alfredo Deza <adeza@redhat.com>

ceph-osd: fix typo when calling sgdisk second time around

Signed-off-by: Alfredo Deza <adeza@redhat.com>

install ceph-mds on debian systems when using red hat ceph storage

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

install radosgw on debian systems when using red hat ceph storage

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-common: on rh storage on debian add the repositories and keys

Signed-off-by: Alfredo Deza <adeza@redhat.com>

ceph-common: on rh storage on debian do not add the rh key by default

Signed-off-by: Alfredo Deza <adeza@redhat.com>

ceph-common: redhat repo template: remove the Calamari reference, no longer a distinct repo

Signed-off-by: Alfredo Deza <adeza@redhat.com>

ceph-osd: fail when ceph-disk fails to prepare an OSD

Signed-off-by: Alfredo Deza <adeza@redhat.com>

ceph-common: install ceph-mds package

We kinda ommitted this package, now Jewel is out and the metadata server
is considered as stable.

Signed-off-by: Sébastien Han <seb@redhat.com>
(cherry picked from commit c4f3ab5649c0a79e708ea94a5556fe53acf99f20)

fix the /etc/default/ceph path on debian when setting cluster name

In ceph version 10.2.1 a bug was fixed that corrects the path:

https://github.com/ceph/ceph/commit/791eba81a5467dd5de4f1680ed0deb647eb3fb8b

Signed-off-by: Andrew Schoen <aschoen@redhat.com>
(cherry picked from commit 85fb03fc99e0b7cd14b27e369c8e952b79313d73)

Do not create symlinks for systemd manually

Instead use 'systemctl enable' to create the symlinks.

This fixes: https://github.com/ceph/ceph-ansible/issues/779

Signed-off-by: Andrew Schoen <aschoen@redhat.com>
(cherry picked from commit d2b94c2a4cda645a33f45f3ed042212a0f0a67b6)

ceph-common: purge ceph.conf file

Since ##461 we have been having the ability to override ceph default
options. Previously we had to add a new line in the template and then
another variable as well. Doing a PR for one option was such a pain. As
a result, we now have tons of options that we need to maintain across
all the ceph version, yet another painful thing to do.
This commit removes all the ceph options so they are handled by ceph
directly. If you want to add a new option, feel free to to use the
`ceph_conf_overrides` variable of your `group_vars/all`.

Risks, for those who have been managing their ceph using ceph-ansible
this is not a trivial change as it will trigger a change in your
`ceph.conf` and then restart all your ceph services. Moreover if you did
some specific tweaks as well, prior to run ansible you should update the
`ceph_conf_overrides` variable to reflect your previous changes.

To avoid service restart, you need to know a bit of ansible for this,
but generally the idea would be to run ansible on a dummy host to
generate the ceph.conf, then scp this file to all your ceph hosts and
you should be good.

Closes: #693
Signed-off-by: Sébastien Han <seb@redhat.com>
(cherry picked from commit 47860a887fcc240d463a5b57a021f316c7533343)

ceph-mds: fix the handler

Moving the mds_name fact in the common role so the MDS can properly
be restarted.

Signed-off-by: Sébastien Han <seb@redhat.com>
(cherry picked from commit b3971354bf69e30fa63e400e4161f842e5d82379)

ceph-mds: fix MDS conditions

We don't need to set is_systemd when we are applying a configuration for
a sysvinit init.

Signed-off-by: Sébastien Han <seb@redhat.com>
(cherry picked from commit 7949c2d5129ef13774757b3cc2ae0174d983f0b9)

ceph-mon: fix monitor startup

Somehow on CentOS 7.2 with Jewel, the service enablement by the Ansible service module
does not seem to work properly.

Signed-off-by: Sébastien Han <seb@redhat.com>
(cherry picked from commit c8e5e495524d515afa432b75fa06e7cb4032180e)

strip any newlines from the init_system fact

Signed-off-by: Andrew Schoen <aschoen@redhat.com>
(cherry picked from commit 5139ed05926fa9b7502903e482cd29ac4ff943c9)

add a mdss group to the CLI testing inventory

The ceph-mds role is being tested, but there was not group for it in the
inventory so ceph-mds was not being installed on the testing machine.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>
(cherry picked from commit 8a09b9c6abf23ab5675428d72a958832692423d2)

Use the use_systemd fact when starting rbd

Signed-off-by: Andrew Schoen <aschoen@redhat.com>
(cherry picked from commit 8baf8830d6348c280c3a86a7d2f6d53c5f509c88)

Use the use_systemd fact when starting mdss

Signed-off-by: Andrew Schoen <aschoen@redhat.com>
(cherry picked from commit cb70d4975113e41f63b420665e9873711cf41074)

Use the use_systemd fact when starting rgw

Signed-off-by: Andrew Schoen <aschoen@redhat.com>
(cherry picked from commit 7436479c405f5054ac4a6b5535c299e7fceaad44)

use the use_systemd fact when starting OSDs

Signed-off-by: Andrew Schoen <aschoen@redhat.com>
(cherry picked from commit 5669b6ba7c2e021bd53088ea774508983dab11d3)

use the use_systemd fact when starting monitors

Signed-off-by: Andrew Schoen <aschoen@redhat.com>
(cherry picked from commit 20d2d52ebd7d6cc426afe789a990d61ea61da0d2)

Adds an use_systemd fact

This adds a helper fact that uses the ``init_system`` fact to determine if
we should be using systemd or not when controlling services.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>
(cherry picked from commit 9eed0ea4e7aed94b0c354b62e54e0084ea7f0404)

Set init_system fact and reference in ceph-osd role

The ceph-osd role currently uses ansible_service_mgr, which is a fact
only available on ansible 2.x and greater.  This commit sets a similar
fact called init_system which will store the contents of /proc/1/comm
(systemd, init, etc.) and then references it ceph-osd instead.

Closes #741

(cherry picked from commit ed2b7757d43ba7af96d97a9f345aba38e4410bd2)

try to zap a device again if sgdisk fails on the first try

Signed-off-by: Alfredo Deza <adeza@redhat.com>

ceph-rgw: port start_radosgw task to use new ceph version facts

Signed-off-by: Alfredo Deza <adeza@redhat.com>

ceph-rbd-mirror: port start_rbd_mirror task to use new ceph version facts

Signed-off-by: Alfredo Deza <adeza@redhat.com>

ceph-osd: port activate_osds  task to use new ceph version facts

Signed-off-by: Alfredo Deza <adeza@redhat.com>

ceph-mon: port start_monitor task to use new ceph version facts

Signed-off-by: Alfredo Deza <adeza@redhat.com>

ceph-mds: port pre_requisite task to use new ceph version facts

Signed-off-by: Alfredo Deza <adeza@redhat.com>

ceph-common: port main handler to use new ceph version facts

Signed-off-by: Alfredo Deza <adeza@redhat.com>

ceph-mon: port deploy_monitors task to use new ceph version facts

Signed-off-by: Alfredo Deza <adeza@redhat.com>

ceph-common: port main task to use new ceph version facts

Signed-off-by: Alfredo Deza <adeza@redhat.com>

create is_before_RELEASE vars as well

Signed-off-by: Alfredo Deza <adeza@redhat.com>

ceph-common: include the facts task always

Signed-off-by: Alfredo Deza <adeza@redhat.com>

ceph-common: create a facts task to define ceph versions

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Get the correct OSD ID when the cluster name includes numbers

If the ceph cluster name includes numbers, the grep used to find the OSD
IDs from /var/lib/ceph/osd/ would also return the numbers that were in
the cluster name.

For example, if the cluster was named 'mine123' and there was only one
OSD on the node, then the task that finds the OSD IDs would return
'123' and '0'.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>
(cherry picked from commit 4a181d420d7d0f8361d24f274c0e952b9d956945)

Adds a use_server_package_split var

This will allow a user to conditionally install the ceph package on rpm
based systems. Installing this package is not required or wanted in
versions passed infernalis.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>
(cherry picked from commit f81140d21f5c77965c4438ba752bb174bf6bec70)

default rbd_client_directories to true

Signed-off-by: Andrew Schoen <aschoen@redhat.com>
(cherry picked from commit f297af23c5e0af3b86238b525987bc20cdbd4d38)

default rbd_client_admin_socket_path to /var/run/ceph

Signed-off-by: Andrew Schoen <aschoen@redhat.com>
(cherry picked from commit b649c4229ad9ea64579ae91e73b0ab400f1c5e1d)

default rbd_client_log_path to /var/log/ceph

Signed-off-by: Andrew Schoen <aschoen@redhat.com>
(cherry picked from commit 79a6e0522862fd116d1d0c5c08b339995759a8c9)

correctly set mon addr when monitor_interface is defined in group_vars

This fixes the ceph.conf template so that it will look for an inventory
defined value for monitor_interface or for monitor_interface defined in
a group_vars file.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>
(cherry picked from commit 95d80ad3d30c90b9bb07ef46946779078ebec289)

Merge pull request #715 from rootfs/jewel

some fixes to run containers on Atomic

set path to find mon and osd systemd unit file templates

Signed-off-by: Huamin Chen <hchen@redhat.com>

fix deployment on Atomic

Signed-off-by: Huamin Chen <hchen@redhat.com>

Merge pull request #713 from stpierre/fix-rbd-client-dirs

Fix creation of RBD client directories

Merge pull request #712 from ceph/monitor-interface-not-defined

Check to see if hostvars[host]['monitor_interface'] is defined

Fix creation of RBD client directories

Need to use a template, not a bare variable name.

Check to see if hostvars[host]['monitor_interface'] is defined

This fixes https://github.com/ceph/ceph-ansible/issues/711

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #707 from cloudnull/ct_updates

Update the config_template plugin

Merge pull request #710 from bengland2/limit-autodiscover-check

purge-cluster - fix osd_auto_discovery check

devices var is defined in context of osds role

Merge pull request #705 from ceph/no-agent-role-test

remove agent role, no packages for it upstream yet

remove rbd-mirror as well from testing. No packages are available yet

Signed-off-by: Alfredo Deza <adeza@redhat.com>

remove coreos from default testing as well

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #708 from ceph/docker-img

docker: do not hardcode image and user name

Merge pull request #706 from fultonj/patch-1

Balance tags on <your_host

Merge pull request #703 from ceph/issue-670

if ceph-disk fails to activate an OSD then bubble up the error

Merge pull request #688 from bengland2/safer-disk-zap

low-priority - more robust, simpler, idempotent purge-cluster.yml

Merge pull request #696 from stpierre/dedup-rbd-client-dirs

Deduplicate RBD client directory creation

docker: do not hardcode image and user name

Signed-off-by: Sébastien Han <seb@redhat.com>

Update the config_template plugin

These changes address 2 issues:

* The config template plugin in v1 mode was not respecting a list
  of integers and would cause a stacktrace because the ConfigParese
  module expects everything written to be a string.
* The config template plugin in v2 mode was not properly handingly
  the multi-string-op type due to an oversight in the ``_option_write``
  method.

With these updates the config template is now able to better support
all of the potential options that could be thrown at it when writing
an INI config file.

Signed-off-by: Kevin Carter <kevin.carter@rackspace.com>

Balance tags on <your_host

Third of occurrence of <your_host> didn't have a closing tag. This is a tiny change to add the he missing '>'.

This will let people quickly update this file with sed. For example: `sed s/\<your_host\>/192.168.1.41/g -i cluster-maintenance.yml`.

this is how ceph-disk partition really looks

remove agent role, no packages for it upstream yet

Signed-off-by: Alfredo Deza <adeza@redhat.com>

if ceph-disk fails to activate an OSD then bubble up the error

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #701 from ceph/conf-fixes

look at monitor_interface in hostvars when choosing interface or address

look at monitor_interface in hostvars when choosing interface or address

This fixes a bug where monitor_interface might be set in your inventory
file and not by using group_vars or --extra-vars causing the template to
use the default address of 0.0.0.0 instead of the defined
monitor_interface.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Deduplicate RBD client directory creation

Instead of creating the RBD client socket path three different places
in three different ways, this creates it once. Ceph on OpenStack users
have the option to customize the permissions of the RBD client
directories.

Fixes #687

rebased

Merge pull request #700 from ceph/fix-readme-rbdmirror

rbd-mirror: fix readme title

rbd-mirror: fix readme title

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #699 from ceph/contrib-rbdmirror

contrib: update with ceph-rbd-mirror

contrib: update with ceph-rbd-mirror

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #698 from ceph/rbdmirror-license

ceph-rbd-mirorr: add license file

ceph-rbd-mirorr: add license file

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #678 from ceph/rbd-mirror

ceph-rbd-mirror: add new role

ceph-rbd-mirror: add new role

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #697 from fultonj/rolling_update_sysvinit

sysvinit changes to rolling update playbook

This update has the following changes for the rolling update playbook.

1. Change how sysvinit ceph is determined to be enabled

For mons, the playbook checks if sysvinit is enabled by trying to
stat /var/lib/ceph/mon/ceph-{{ ansible_hostname }}/sysvinit [1].
However, that file is not created when a monitor is configured to
use sysvinit, instead, Ansible's service module is used [2]. Ansible
2.0 can verify if a service is enabled and does this by checking for
a glob, in this context it would be '/etc/rc?.d/S??ceph' [3]. Because
Ansible 1.9 does not support this feature, this change updates
rolling_update.yml by checking if sysvinit is enabled by having stat
glob for the same pattern and following the symlink. This is done only
for the mons.

2. Change how sysvinit ceph is restarted

The playbook passes the argument "mon" to the sysv init script
but, the init script does not necessarily take that argument and
it failed when tested on a RHEL7 system. However, dropping the
argument and just using Ansible's service module for state=restarted
worked so this change does not have this line for when
monsysvinit.stat.exists. A similar change is in this pull request
for the OSD restart (removing args=osd).

A second ceph mon restart command is run regardless of any conditions
being met. I am not sure why the service is restarted in the case of
upstart or sysvinit and then restarted again. I am going to assume
there is a subtle reason for this and not touch this second run but I
added a condition so that when ansible_os_family is Red Hat, then mon
is not passed as an argument, otherwise it is restarted as was already
in place.

[1] https://github.com/ceph/ceph-ansible/blob/v1.0.3/rolling_update.yml#L32-L33
[2] https://github.com/ceph/ceph-ansible/blob/v1.0.3/roles/ceph-mon/tasks/start_monitor.yml#L42-L45
[3] https://github.com/ansible/ansible-modules-core/blob/stable-2.0/system/service.py#L492-L493

more robust, simpler, idempotent

Merge pull request #684 from bengland2/when-hammer-try2

fix when clauses for installation of ceph RPM

Sebastien's suggestion - add infernalis to list of releases with no separate ceph-mon or ceph-osd

Merge pull request #685 from bengland2/create-sysconfig-ceph

create /etc/sysconfig/ceph if it doesn't already exist

Merge pull request #683 from stpierre/fix-config-template-docker

Fix mis-use of config_template in docker tasks

create /etc/sysconfig/ceph if it doesn't already exist

fix when clauses for installation of ceph RPM

Fix mis-use of config_template in docker tasks

As written, generating the config file for ceph-mon in Docker yielded:

ERROR: config_template is not a legal parameter in an Ansible task or
handler

This fixes that error condition.

Merge pull request #682 from ceph/change-pool-min-size

ceph-common: let ceph handle pool_default_min_size

ceph-common: let ceph handle pool_default_min_size

We now set the value to 0, which means no specific default; ceph will
use size-size/2

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #681 from ceph/change-pool-default-size

Change pool default size

vagrant use pool_default_size to 2

For dev envs it is easir to use a replica count of 2 instead of 3.

Signed-off-by: Sébastien Han <seb@redhat.com>

ceph-common: change the pool_default_size to 3

3 has been the default since Firefly I believe so we should stick with
this value.

Signed-off-by: Sébastien Han <seb@redhat.com>