rolling updates: remove mon compact command

Users have reported this task to hang. Since this command is not
required to perform the upgrade, we remove it.

Signed-off-by: Sébastien Han <seb@redhat.com>
Resolves: rhbz#1372481

allow dash in cluster name

(cherry picked from commit d694c592780d40add7f0437108e7a6f013e1715f)

Resolves: rhbz#1332676

group_vars: default to version 2 of RHCS

Signed-off-by: Alfredo Deza <adeza@redhat.com>
Resolves: rhbz#1357631

Fetch keys from the mons when taking over a cluster

This fixes a bug where mons added to a "taken over" cluster
will get a newly generated key and do not join the cluster.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>
Resolves: rhbz#1357292
(cherry picked from commit b01756488b3678ad6c790788aff5ec7553d89ba5)

ceph-common: skip default installs on redhat if ISO needs to be used

Because the ISO installs would happen later in the playbook.

Signed-off-by: Alfredo Deza <adeza@redhat.com>
Resolves: rhbz#1357065

adding missing quotes

fixes: #884
Signed-off-by: Rachana Patel <rachana83.patel@gmail.com>
(cherry picked from commit d495b3f494744d3113a2f638af7c499bdb2335fd)

Resolves rhbz#1356795

Trivial; grammar changes

(cherry picked from commit 6b7fc157b4a40da3ac33f30b859699e9580d69ab)

Resolves rhbz#1356687

take-over: remove the connection local

Signed-off-by: Sébastien Han <seb@redhat.com>
(cherry picked from commit 45fada4958b9870e210d18132f5140c6099d9e63)

Resolves rhbz#1356687

take over an existing cluster with ceph ansible

Introducing a playbook helper to control a ceph cluster that was not
deployed with ceph ansible.
The procedure is rather simple. If the cluster was deployed with the
following project there won’t be any issue:

* Ceph Deploy
* Puppet Ceph
* Chef Ceph
* Any other deployment tool that relies on ceph-disk

The procedure comes as fellow:

1. Install Ansible and add your monitors and osds hosts in it. For more
detailed information you can read the Ceph Ansible Wiki
2. Set  generate_fsid: false in group_vars
3. Get your current cluster fsid with ceph fsid and set cluster_fsid
accordingly in group_vars
4. Run the playbook called: take-over-existing-cluster.yml like this
ansible-playbook take-over-existing-cluster.yml.
5. Eventually run Ceph Ansible to validate everything by doing:
ansible-playbook site.yml.

Signed-off-by: Sébastien Han <seb@redhat.com>
(cherry picked from commit 764eebf9e91e6116a07c6993ee189c088893fa89)

Resolves rhbz#1356687

ceph-common: explicitly create the directory portion of the iso path

This will help if the path to the iso exists in the originating server but not
in the remote paths. This issue is not seen if using /tmp/file.iso but does
show up when using nested paths.

Signed-off-by: Alfredo Deza <adeza@redhat.com>
Resolves: rhbz#1355762

rolling update: add systemd support

Signed-off-by: Sébastien Han <seb@redhat.com>
(cherry picked from commit 217ce3cad0de4a6be2fc15930b41ec41263f9e76)

Resolves: rhbz#1342621

rolling-upgrade: cleanup and cosmetic

refactoring the current code to apply the default syntax style that is
used in the entire playbook.

Signed-off-by: Sébastien Han <seb@redhat.com>
(cherry picked from commit e0d1c66a591c7b7e66205c870ad624354e981dc1)

Resolves: rhbz#1342621

ceph-common: ensure that destination iso paths exist before copying

Signed-off-by: Alfredo Deza <adeza@redhat.com>
Resolves: rhbz#1338551

ceph-agent: install the correct package for the agent in Ubuntu

Signed-off-by: Alfredo Deza <adeza@redhat.com>
Resolves: rhbz#1348130

ceph-common: use rh_storage_version variable to enable the correct repos

Signed-off-by: Alfredo Deza <adeza@redhat.com>
Resolves: rhbz#1346812
(cherry picked from commit 4e5eedd434b0833f40f0a97b345096a545a95ddf)

ceph-common: do not enable optional repos for rhel7

Signed-off-by: Alfredo Deza <adeza@redhat.com>
Resolves: rhbz#1346812
(cherry picked from commit c4c007b9b0c6e00b0b1be1baa218fa8dd4bcae39)

ceph-common: default to 1.3 for rh_storage_version

Signed-off-by: Alfredo Deza <adeza@redhat.com>
Resolves: rhbz#1346812
(cherry picked from commit d23f8fc3db31ee48c74c4bc8c12da12788066a1d)

group_vars: define the rh_storage_version

Signed-off-by: Alfredo Deza <adeza@redhat.com>
Resolves: rhbz#1346812
(cherry picked from commit f05a7c5ff616d226edb909609576e77de79c5c44)

ceph-osd: do not ignore ceph-disk errors in bluestore

Signed-off-by: Alfredo Deza <adeza@redhat.com>
Resolves: rhbz#1342117

ceph-osd: do not ignore ceph-disk errors in journal_collocation

Signed-off-by: Alfredo Deza <adeza@redhat.com>
Resolves: rhbz#1342117

ceph-osd: do not ignore ceph-disk errors in raw multi journal

Signed-off-by: Alfredo Deza <adeza@redhat.com>
Resolves: rhbz#1342117

include the red hat storage apt-key as a file

This will allow nodes to install rhcs that do
not have access to the internet.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>
Resolves: rhbz#1337601

ceph-common: fix use of dnf only when package manager is 'dnf' not 'yum'

Signed-off-by: Alfredo Deza <adeza@redhat.com>
Resolves: rhbz#1342051

remove the gpgkey line from the red hat storage repo template

See: https://bugzilla.redhat.com/show_bug.cgi?id=1339439

Signed-off-by: Andrew Schoen <aschoen@redhat.com>
Resolves: rhbz#1339439

ceph-common: install ceph-common packages for clients on debian for rhcs

Signed-off-by: Alfredo Deza <adeza@redhat.com>
Resolves: rhbz#1339096

ceph-common: install ceph-common packages for clients on redhat for rhcs

Signed-off-by: Alfredo Deza <adeza@redhat.com>
Resolves: rhbz#1339096

ceph-common: define client_group_name

Signed-off-by: Alfredo Deza <adeza@redhat.com>
Resolves: rhbz#1339096

group_vars: define client_group_name

Signed-off-by: Alfredo Deza <adeza@redhat.com>
Resolves: rhbz#1339096

ceph-common: create a new install task for rh storage on redhat

Signed-off-by: Alfredo Deza <adeza@redhat.com>
Resolves: rhbz#1339096

ceph-common: include the new install_rh_storage_on_redhat playbook when ceph_stable_rh_storage is on:

Signed-off-by: Alfredo Deza <adeza@redhat.com>
Resolves: rhbz#1339096

ceph-common: specify file path for repo key

Signed-off-by: Alfredo Deza <adeza@redhat.com>
Resolves: rhbz#1339068

ceph-common: there is no Installer repo, it is now the Tools repo

Signed-off-by: Alfredo Deza <adeza@redhat.com>
Resolves: rhbz#1338548

ceph-common: remove RedHat-only constraint for RH ISO install

Signed-off-by: Alfredo Deza <adeza@redhat.com>

ceph-osd: fix typo when calling sgdisk second time around

Signed-off-by: Alfredo Deza <adeza@redhat.com>

install ceph-mds on debian systems when using red hat ceph storage

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

install radosgw on debian systems when using red hat ceph storage

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-common: on rh storage on debian add the repositories and keys

Signed-off-by: Alfredo Deza <adeza@redhat.com>

ceph-common: on rh storage on debian do not add the rh key by default

Signed-off-by: Alfredo Deza <adeza@redhat.com>

ceph-common: redhat repo template: remove the Calamari reference, no longer a distinct repo

Signed-off-by: Alfredo Deza <adeza@redhat.com>

ceph-osd: fail when ceph-disk fails to prepare an OSD

Signed-off-by: Alfredo Deza <adeza@redhat.com>

ceph-common: install ceph-mds package

We kinda ommitted this package, now Jewel is out and the metadata server
is considered as stable.

Signed-off-by: Sébastien Han <seb@redhat.com>
(cherry picked from commit c4f3ab5649c0a79e708ea94a5556fe53acf99f20)

fix the /etc/default/ceph path on debian when setting cluster name

In ceph version 10.2.1 a bug was fixed that corrects the path:

https://github.com/ceph/ceph/commit/791eba81a5467dd5de4f1680ed0deb647eb3fb8b

Signed-off-by: Andrew Schoen <aschoen@redhat.com>
(cherry picked from commit 85fb03fc99e0b7cd14b27e369c8e952b79313d73)

Do not create symlinks for systemd manually

Instead use 'systemctl enable' to create the symlinks.

This fixes: https://github.com/ceph/ceph-ansible/issues/779

Signed-off-by: Andrew Schoen <aschoen@redhat.com>
(cherry picked from commit d2b94c2a4cda645a33f45f3ed042212a0f0a67b6)

ceph-common: purge ceph.conf file

Since ##461 we have been having the ability to override ceph default
options. Previously we had to add a new line in the template and then
another variable as well. Doing a PR for one option was such a pain. As
a result, we now have tons of options that we need to maintain across
all the ceph version, yet another painful thing to do.
This commit removes all the ceph options so they are handled by ceph
directly. If you want to add a new option, feel free to to use the
`ceph_conf_overrides` variable of your `group_vars/all`.

Risks, for those who have been managing their ceph using ceph-ansible
this is not a trivial change as it will trigger a change in your
`ceph.conf` and then restart all your ceph services. Moreover if you did
some specific tweaks as well, prior to run ansible you should update the
`ceph_conf_overrides` variable to reflect your previous changes.

To avoid service restart, you need to know a bit of ansible for this,
but generally the idea would be to run ansible on a dummy host to
generate the ceph.conf, then scp this file to all your ceph hosts and
you should be good.

Closes: #693
Signed-off-by: Sébastien Han <seb@redhat.com>
(cherry picked from commit 47860a887fcc240d463a5b57a021f316c7533343)

ceph-mds: fix the handler

Moving the mds_name fact in the common role so the MDS can properly
be restarted.

Signed-off-by: Sébastien Han <seb@redhat.com>
(cherry picked from commit b3971354bf69e30fa63e400e4161f842e5d82379)

ceph-mds: fix MDS conditions

We don't need to set is_systemd when we are applying a configuration for
a sysvinit init.

Signed-off-by: Sébastien Han <seb@redhat.com>
(cherry picked from commit 7949c2d5129ef13774757b3cc2ae0174d983f0b9)

ceph-mon: fix monitor startup

Somehow on CentOS 7.2 with Jewel, the service enablement by the Ansible service module
does not seem to work properly.

Signed-off-by: Sébastien Han <seb@redhat.com>
(cherry picked from commit c8e5e495524d515afa432b75fa06e7cb4032180e)

strip any newlines from the init_system fact

Signed-off-by: Andrew Schoen <aschoen@redhat.com>
(cherry picked from commit 5139ed05926fa9b7502903e482cd29ac4ff943c9)

add a mdss group to the CLI testing inventory

The ceph-mds role is being tested, but there was not group for it in the
inventory so ceph-mds was not being installed on the testing machine.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>
(cherry picked from commit 8a09b9c6abf23ab5675428d72a958832692423d2)

Use the use_systemd fact when starting rbd

Signed-off-by: Andrew Schoen <aschoen@redhat.com>
(cherry picked from commit 8baf8830d6348c280c3a86a7d2f6d53c5f509c88)

Use the use_systemd fact when starting mdss

Signed-off-by: Andrew Schoen <aschoen@redhat.com>
(cherry picked from commit cb70d4975113e41f63b420665e9873711cf41074)

Use the use_systemd fact when starting rgw

Signed-off-by: Andrew Schoen <aschoen@redhat.com>
(cherry picked from commit 7436479c405f5054ac4a6b5535c299e7fceaad44)

use the use_systemd fact when starting OSDs

Signed-off-by: Andrew Schoen <aschoen@redhat.com>
(cherry picked from commit 5669b6ba7c2e021bd53088ea774508983dab11d3)

use the use_systemd fact when starting monitors

Signed-off-by: Andrew Schoen <aschoen@redhat.com>
(cherry picked from commit 20d2d52ebd7d6cc426afe789a990d61ea61da0d2)

Adds an use_systemd fact

This adds a helper fact that uses the ``init_system`` fact to determine if
we should be using systemd or not when controlling services.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>
(cherry picked from commit 9eed0ea4e7aed94b0c354b62e54e0084ea7f0404)

Set init_system fact and reference in ceph-osd role

The ceph-osd role currently uses ansible_service_mgr, which is a fact
only available on ansible 2.x and greater.  This commit sets a similar
fact called init_system which will store the contents of /proc/1/comm
(systemd, init, etc.) and then references it ceph-osd instead.

Closes #741

(cherry picked from commit ed2b7757d43ba7af96d97a9f345aba38e4410bd2)

try to zap a device again if sgdisk fails on the first try

Signed-off-by: Alfredo Deza <adeza@redhat.com>

ceph-rgw: port start_radosgw task to use new ceph version facts

Signed-off-by: Alfredo Deza <adeza@redhat.com>

ceph-rbd-mirror: port start_rbd_mirror task to use new ceph version facts

Signed-off-by: Alfredo Deza <adeza@redhat.com>

ceph-osd: port activate_osds  task to use new ceph version facts

Signed-off-by: Alfredo Deza <adeza@redhat.com>

ceph-mon: port start_monitor task to use new ceph version facts

Signed-off-by: Alfredo Deza <adeza@redhat.com>

ceph-mds: port pre_requisite task to use new ceph version facts

Signed-off-by: Alfredo Deza <adeza@redhat.com>

ceph-common: port main handler to use new ceph version facts

Signed-off-by: Alfredo Deza <adeza@redhat.com>

ceph-mon: port deploy_monitors task to use new ceph version facts

Signed-off-by: Alfredo Deza <adeza@redhat.com>

ceph-common: port main task to use new ceph version facts

Signed-off-by: Alfredo Deza <adeza@redhat.com>

create is_before_RELEASE vars as well

Signed-off-by: Alfredo Deza <adeza@redhat.com>

ceph-common: include the facts task always

Signed-off-by: Alfredo Deza <adeza@redhat.com>

ceph-common: create a facts task to define ceph versions

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Get the correct OSD ID when the cluster name includes numbers

If the ceph cluster name includes numbers, the grep used to find the OSD
IDs from /var/lib/ceph/osd/ would also return the numbers that were in
the cluster name.

For example, if the cluster was named 'mine123' and there was only one
OSD on the node, then the task that finds the OSD IDs would return
'123' and '0'.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>
(cherry picked from commit 4a181d420d7d0f8361d24f274c0e952b9d956945)

Adds a use_server_package_split var

This will allow a user to conditionally install the ceph package on rpm
based systems. Installing this package is not required or wanted in
versions passed infernalis.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>
(cherry picked from commit f81140d21f5c77965c4438ba752bb174bf6bec70)

default rbd_client_directories to true

Signed-off-by: Andrew Schoen <aschoen@redhat.com>
(cherry picked from commit f297af23c5e0af3b86238b525987bc20cdbd4d38)

default rbd_client_admin_socket_path to /var/run/ceph

Signed-off-by: Andrew Schoen <aschoen@redhat.com>
(cherry picked from commit b649c4229ad9ea64579ae91e73b0ab400f1c5e1d)

default rbd_client_log_path to /var/log/ceph

Signed-off-by: Andrew Schoen <aschoen@redhat.com>
(cherry picked from commit 79a6e0522862fd116d1d0c5c08b339995759a8c9)

correctly set mon addr when monitor_interface is defined in group_vars

This fixes the ceph.conf template so that it will look for an inventory
defined value for monitor_interface or for monitor_interface defined in
a group_vars file.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>
(cherry picked from commit 95d80ad3d30c90b9bb07ef46946779078ebec289)

Merge pull request #715 from rootfs/jewel

some fixes to run containers on Atomic

set path to find mon and osd systemd unit file templates

Signed-off-by: Huamin Chen <hchen@redhat.com>

fix deployment on Atomic

Signed-off-by: Huamin Chen <hchen@redhat.com>

Merge pull request #713 from stpierre/fix-rbd-client-dirs

Fix creation of RBD client directories

Merge pull request #712 from ceph/monitor-interface-not-defined

Check to see if hostvars[host]['monitor_interface'] is defined

Fix creation of RBD client directories

Need to use a template, not a bare variable name.

Check to see if hostvars[host]['monitor_interface'] is defined

This fixes https://github.com/ceph/ceph-ansible/issues/711

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #707 from cloudnull/ct_updates

Update the config_template plugin

Merge pull request #710 from bengland2/limit-autodiscover-check

purge-cluster - fix osd_auto_discovery check

devices var is defined in context of osds role

Merge pull request #705 from ceph/no-agent-role-test

remove agent role, no packages for it upstream yet

remove rbd-mirror as well from testing. No packages are available yet

Signed-off-by: Alfredo Deza <adeza@redhat.com>

remove coreos from default testing as well

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #708 from ceph/docker-img

docker: do not hardcode image and user name

Merge pull request #706 from fultonj/patch-1

Balance tags on <your_host

Merge pull request #703 from ceph/issue-670

if ceph-disk fails to activate an OSD then bubble up the error

Merge pull request #688 from bengland2/safer-disk-zap

low-priority - more robust, simpler, idempotent purge-cluster.yml

Merge pull request #696 from stpierre/dedup-rbd-client-dirs

Deduplicate RBD client directory creation

docker: do not hardcode image and user name

Signed-off-by: Sébastien Han <seb@redhat.com>

Update the config_template plugin

These changes address 2 issues:

* The config template plugin in v1 mode was not respecting a list
  of integers and would cause a stacktrace because the ConfigParese
  module expects everything written to be a string.
* The config template plugin in v2 mode was not properly handingly
  the multi-string-op type due to an oversight in the ``_option_write``
  method.

With these updates the config template is now able to better support
all of the potential options that could be thrown at it when writing
an INI config file.

Signed-off-by: Kevin Carter <kevin.carter@rackspace.com>

Balance tags on <your_host

Third of occurrence of <your_host> didn't have a closing tag. This is a tiny change to add the he missing '>'.

This will let people quickly update this file with sed. For example: `sed s/\<your_host\>/192.168.1.41/g -i cluster-maintenance.yml`.

this is how ceph-disk partition really looks

remove agent role, no packages for it upstream yet

Signed-off-by: Alfredo Deza <adeza@redhat.com>

if ceph-disk fails to activate an OSD then bubble up the error

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #701 from ceph/conf-fixes

look at monitor_interface in hostvars when choosing interface or address

look at monitor_interface in hostvars when choosing interface or address

This fixes a bug where monitor_interface might be set in your inventory
file and not by using group_vars or --extra-vars causing the template to
use the default address of 0.0.0.0 instead of the defined
monitor_interface.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>