Docker fixes and cleanups

Signed-off-by: Daniel Gryniewicz <dang@redhat.com>

Merge pull request #744 from ceph/take-over

take over an existing cluster with ceph ansible

Merge pull request #745 from ceph/dev-package

ceph-common: install ceph-mon/osd for ceph dev

ceph-common: install ceph-mon/osd for ceph dev

Since developement versions of Ceph are after infernalis a package split
happened. So basically ceph-mon, ceph-osd, ceph-mds need to be
installed.

Signed-off-by: Sébastien Han <seb@redhat.com>

take over an existing cluster with ceph ansible

Introducing a playbook helper to control a ceph cluster that was not
deployed with ceph ansible.
The procedure is rather simple. If the cluster was deployed with the
following project there won’t be any issue:

* Ceph Deploy
* Puppet Ceph
* Chef Ceph
* Any other deployment tool that relies on ceph-disk

The procedure comes as fellow:

1. Install Ansible and add your monitors and osds hosts in it. For more
detailed information you can read the Ceph Ansible Wiki
2. Set  generate_fsid: false in group_vars
3. Get your current cluster fsid with ceph fsid and set cluster_fsid
accordingly in group_vars
4. Run the playbook called: take-over-existing-cluster.yml like this
ansible-playbook take-over-existing-cluster.yml.
5. Eventually run Ceph Ansible to validate everything by doing:
ansible-playbook site.yml.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #743 from ceph/centos-install

ansible-install: allow CentOS

ansible-install: allow CentOS

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #742 from dang/restapi

Allow RESTAPI to be optional

Allow RESTAPI to be optional

When running via Vagrant, rather than always starting RESTAPI on each
monitor, make it optional via a configuration option in
vagrant_variables.yml.

Signed-off-by: Daniel Gryniewicz <dang@redhat.com>

Merge pull request #734 from bengland2/cleanup-tmp-rh-storage

cleanup /tmp/rh-storage-repo so newer repos are actually installed

Merge pull request #733 from jimcurtis/master

docker: fixes for OpenStack VMs

Merge pull request #739 from ceph/use-package-split

Adds a use_server_package_split var

Adds a use_server_package_split var

This will allow a user to conditionally install the ceph package on rpm
based systems. Installing this package is not required or wanted in
versions passed infernalis.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #737 from ceph/issue-736

Define readable vars for Ceph version comparisons

ceph-rgw: port start_radosgw task to use new ceph version facts

Signed-off-by: Alfredo Deza <adeza@redhat.com>

ceph-rbd-mirror: port start_rbd_mirror task to use new ceph version facts

Signed-off-by: Alfredo Deza <adeza@redhat.com>

ceph-osd: port activate_osds  task to use new ceph version facts

Signed-off-by: Alfredo Deza <adeza@redhat.com>

ceph-mon: port start_monitor task to use new ceph version facts

Signed-off-by: Alfredo Deza <adeza@redhat.com>

ceph-mds: port pre_requisite task to use new ceph version facts

Signed-off-by: Alfredo Deza <adeza@redhat.com>

ceph-common: port main handler to use new ceph version facts

Signed-off-by: Alfredo Deza <adeza@redhat.com>

requested format cleanup

docker: typo in comment

ceph-mon: port deploy_monitors task to use new ceph version facts

Signed-off-by: Alfredo Deza <adeza@redhat.com>

ceph-common: port main task to use new ceph version facts

Signed-off-by: Alfredo Deza <adeza@redhat.com>

create is_before_RELEASE vars as well

Signed-off-by: Alfredo Deza <adeza@redhat.com>

ceph-common: include the facts task always

Signed-off-by: Alfredo Deza <adeza@redhat.com>

ceph-common: create a facts task to define ceph versions

Signed-off-by: Alfredo Deza <adeza@redhat.com>

docker: Fix ordering of rgw docker tasks so directory is created befor fetch

cleanup /tmp/rh-storage-repo so newer repos are actually installed

docker: fixes for OpenStack VMs

Merge pull request #731 from ivotron/issue-730

bind-mounts /dev in osd containers

Merge pull request #724 from ivotron/issue-723

Modifies docker image variable being referenced

bind-mounts /dev in osd containers

This is needed in order to make ceph-disk work

Modifies docker image variable being reference

These reference ceph_mon_docker_username instead of the corresponding
one

Merge pull request #721 from ceph/fix-admin-socket-warning

change defaults for rbd_client_directories and rbd_client_admin_socket_path

default rbd_client_log_path to /var/log/ceph

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #722 from ceph/rgw-civet-listen

ceph-rgw: ability to bind civetweb on an IP

default rbd_client_admin_socket_path to /var/run/ceph

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

default rbd_client_directories to true

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-rgw: ability to bind civetweb on an IP

Introducing a new config option: `radosgw_civetweb_bind_ip` which points
to the `ansible_default_ipv4` by default. You can override this
variable. Use ansible facts to put a proper value.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #720 from ceph/mon-addr-fix

correctly set mon addr when monitor_interface is defined in group_vars

correctly set mon addr when monitor_interface is defined in group_vars

This fixes the ceph.conf template so that it will look for an inventory
defined value for monitor_interface or for monitor_interface defined in
a group_vars file.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #664 from jsaintrocc/master

Add infernalis to list of stable releases comment

Updated version compare to 0.84.0 per laseb comment

Merge pull request #715 from rootfs/jewel

some fixes to run containers on Atomic

set path to find mon and osd systemd unit file templates

Signed-off-by: Huamin Chen <hchen@redhat.com>

fix deployment on Atomic

Signed-off-by: Huamin Chen <hchen@redhat.com>

Merge pull request #713 from stpierre/fix-rbd-client-dirs

Fix creation of RBD client directories

Merge pull request #712 from ceph/monitor-interface-not-defined

Check to see if hostvars[host]['monitor_interface'] is defined

Fix creation of RBD client directories

Need to use a template, not a bare variable name.

Check to see if hostvars[host]['monitor_interface'] is defined

This fixes https://github.com/ceph/ceph-ansible/issues/711

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #707 from cloudnull/ct_updates

Update the config_template plugin

fixed handling of new ceph_version

moved string parsing of ceph version into ansbile for better error handling

Merge pull request #710 from bengland2/limit-autodiscover-check

purge-cluster - fix osd_auto_discovery check

devices var is defined in context of osds role

Merge pull request #705 from ceph/no-agent-role-test

remove agent role, no packages for it upstream yet

remove rbd-mirror as well from testing. No packages are available yet

Signed-off-by: Alfredo Deza <adeza@redhat.com>

remove coreos from default testing as well

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #708 from ceph/docker-img

docker: do not hardcode image and user name

Merge pull request #706 from fultonj/patch-1

Balance tags on <your_host

Merge pull request #703 from ceph/issue-670

if ceph-disk fails to activate an OSD then bubble up the error

Merge pull request #688 from bengland2/safer-disk-zap

low-priority - more robust, simpler, idempotent purge-cluster.yml

Merge pull request #696 from stpierre/dedup-rbd-client-dirs

Deduplicate RBD client directory creation

docker: do not hardcode image and user name

Signed-off-by: Sébastien Han <seb@redhat.com>

Update the config_template plugin

These changes address 2 issues:

* The config template plugin in v1 mode was not respecting a list
  of integers and would cause a stacktrace because the ConfigParese
  module expects everything written to be a string.
* The config template plugin in v2 mode was not properly handingly
  the multi-string-op type due to an oversight in the ``_option_write``
  method.

With these updates the config template is now able to better support
all of the potential options that could be thrown at it when writing
an INI config file.

Signed-off-by: Kevin Carter <kevin.carter@rackspace.com>

Balance tags on <your_host

Third of occurrence of <your_host> didn't have a closing tag. This is a tiny change to add the he missing '>'.

This will let people quickly update this file with sed. For example: `sed s/\<your_host\>/192.168.1.41/g -i cluster-maintenance.yml`.

this is how ceph-disk partition really looks

remove agent role, no packages for it upstream yet

Signed-off-by: Alfredo Deza <adeza@redhat.com>

if ceph-disk fails to activate an OSD then bubble up the error

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Removed infernalis workaround because ceph_stable_releases now includes it by default

Rebasing fork to account for upstream commits

Merge pull request #701 from ceph/conf-fixes

look at monitor_interface in hostvars when choosing interface or address

look at monitor_interface in hostvars when choosing interface or address

This fixes a bug where monitor_interface might be set in your inventory
file and not by using group_vars or --extra-vars causing the template to
use the default address of 0.0.0.0 instead of the defined
monitor_interface.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Deduplicate RBD client directory creation

Instead of creating the RBD client socket path three different places
in three different ways, this creates it once. Ceph on OpenStack users
have the option to customize the permissions of the RBD client
directories.

Fixes #687

rebased

Merge pull request #700 from ceph/fix-readme-rbdmirror

rbd-mirror: fix readme title

rbd-mirror: fix readme title

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #699 from ceph/contrib-rbdmirror

contrib: update with ceph-rbd-mirror

contrib: update with ceph-rbd-mirror

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #698 from ceph/rbdmirror-license

ceph-rbd-mirorr: add license file

ceph-rbd-mirorr: add license file

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #678 from ceph/rbd-mirror

ceph-rbd-mirror: add new role

ceph-rbd-mirror: add new role

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #697 from fultonj/rolling_update_sysvinit

sysvinit changes to rolling update playbook

This update has the following changes for the rolling update playbook.

1. Change how sysvinit ceph is determined to be enabled

For mons, the playbook checks if sysvinit is enabled by trying to
stat /var/lib/ceph/mon/ceph-{{ ansible_hostname }}/sysvinit [1].
However, that file is not created when a monitor is configured to
use sysvinit, instead, Ansible's service module is used [2]. Ansible
2.0 can verify if a service is enabled and does this by checking for
a glob, in this context it would be '/etc/rc?.d/S??ceph' [3]. Because
Ansible 1.9 does not support this feature, this change updates
rolling_update.yml by checking if sysvinit is enabled by having stat
glob for the same pattern and following the symlink. This is done only
for the mons.

2. Change how sysvinit ceph is restarted

The playbook passes the argument "mon" to the sysv init script
but, the init script does not necessarily take that argument and
it failed when tested on a RHEL7 system. However, dropping the
argument and just using Ansible's service module for state=restarted
worked so this change does not have this line for when
monsysvinit.stat.exists. A similar change is in this pull request
for the OSD restart (removing args=osd).

A second ceph mon restart command is run regardless of any conditions
being met. I am not sure why the service is restarted in the case of
upstart or sysvinit and then restarted again. I am going to assume
there is a subtle reason for this and not touch this second run but I
added a condition so that when ansible_os_family is Red Hat, then mon
is not passed as an argument, otherwise it is restarted as was already
in place.

[1] https://github.com/ceph/ceph-ansible/blob/v1.0.3/rolling_update.yml#L32-L33
[2] https://github.com/ceph/ceph-ansible/blob/v1.0.3/roles/ceph-mon/tasks/start_monitor.yml#L42-L45
[3] https://github.com/ansible/ansible-modules-core/blob/stable-2.0/system/service.py#L492-L493

more robust, simpler, idempotent

Merge pull request #684 from bengland2/when-hammer-try2

fix when clauses for installation of ceph RPM

Sebastien's suggestion - add infernalis to list of releases with no separate ceph-mon or ceph-osd

Merge pull request #685 from bengland2/create-sysconfig-ceph

create /etc/sysconfig/ceph if it doesn't already exist

Merge pull request #683 from stpierre/fix-config-template-docker

Fix mis-use of config_template in docker tasks

create /etc/sysconfig/ceph if it doesn't already exist

fix when clauses for installation of ceph RPM

Fix mis-use of config_template in docker tasks

As written, generating the config file for ceph-mon in Docker yielded:

ERROR: config_template is not a legal parameter in an Ansible task or
handler

This fixes that error condition.

Merge pull request #682 from ceph/change-pool-min-size

ceph-common: let ceph handle pool_default_min_size

ceph-common: let ceph handle pool_default_min_size

We now set the value to 0, which means no specific default; ceph will
use size-size/2

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #681 from ceph/change-pool-default-size

Change pool default size

vagrant use pool_default_size to 2

For dev envs it is easir to use a replica count of 2 instead of 3.

Signed-off-by: Sébastien Han <seb@redhat.com>

ceph-common: change the pool_default_size to 3

3 has been the default since Firefly I believe so we should stick with
this value.

Signed-off-by: Sébastien Han <seb@redhat.com>

Cleanup is_ceph_infernalis logic