ceph-osd: add support for bluestore

With Jewel comes a new store to store Ceph object: BlueStore. Adding an
extra scenario might seem like a useless duplication however the
ultimate goal is remove the other roles later. Thus this is easier to
add new role instead of modifying existing one. Once we drop the support
for release older than Jewel we will just remove all the previous
  scenario files.

Signed-off-by: Sébastien Han <seb@redhat.com>

ceph-common: pass journal check if using bluestore

bluestore does not need any journal so we skip this test if
osd_objectstore = bluestore

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #647 from dpkshetty/prompt_before_purge

purge-cluster: Add support for user prompt

purge-cluster: Add support for user prompt

Add support for user prompt before purging the cluster. This
ensure that accidental invocation of purge-cluster won't
purge the cluster. Defaults to no purging, unless user either
says 'yes' on the prompt or invokes the playbook with:
`-e ireallymeanit=yes`. This also aligns neatly with ceph cli's
--yes-i-really-mean-it option

Signed-off-by: Deepak C Shetty <deepakcs@redhat.com>

Merge pull request #1 from ceph/master

Pull from ceph/ceph-ansible

Merge pull request #648 from ceph/docker

Docker

Merge pull request #623 from Symantec/feature-br1

Ability to generate repos for localmirror

Ability to generate repos for localmirror

docker: fix tons of issues

Signed-off-by: Sébastien Han <seb@redhat.com>

Ability to generate repos for localmirror

Adding missing space

Adding var to choose between custom and default ceph.conf populated into etcd

Adding comments

Removing fsid with kv backend deployment

Adding missing fsid

Adding dockerized ceph-mon deployment with kv backend

Adding common-coreos.sample

Changed creator name

Removing extra spaces in get_pip

Removing extra spaces

Adding role for deploying python on CoreOS

docker: fix group_vars file

Signed-off-by: Sébastien Han <seb@redhat.com>

review feedback

review feedback

Review feedback fixes from PR #518

Changes to allow ceph-ansible and vagrant to work on Openstack VMs

add missing osd systemd unit template

Signed-off-by: Huamin Chen <hchen@redhat.com>

review feedback

Signed-off-by: Huamin Chen <hchen@redhat.com>

start osd daemon via systemd if supported

Signed-off-by: Huamin Chen <hchen@redhat.com>

split osd disk to prepare and activate

Signed-off-by: Huamin Chen <hchen@redhat.com>

allow multiple mon containers to reach quorum

Signed-off-by: Huamin Chen <hchen@redhat.com>

serialize containerized mon config

Signed-off-by: Huamin Chen <hchen@redhat.com>

remove --rm option from docker run, since the image is already removed during pre start

Signed-off-by: Huamin Chen <hchen@redhat.com>

use systemd to manage ceph daemons

Signed-off-by: Huamin Chen <hchen@redhat.com>

add variable to allow containerized mon to run privileged mode.
this is to allow ceph-authtool to read and write to /var/ and /etc on CentOS Atomic.
Add doc on how to run containerized deployment on RHEL/CentOS Atomic

Signed-off-by: Huamin Chen <hchen@redhat.com>

initial steps to provision CentOS Atomic host

Signed-off-by: Huamin Chen <hchen@redhat.com>

remove unused files

Signed-off-by: Huamin Chen <hchen@redhat.com>

containerize rgw and restapi

Signed-off-by: Huamin Chen <hchen@redhat.com>

containerized mon: create restapi keyring

add sample config for containerized deployment

copy bootstrap keyring and conf from mon to ansible server, so osd can get them to bootstrap

Signed-off-by: Huamin Chen <hchen@redhat.com>

containerized mon

Merge pull request #646 from ceph/fix-purge-ubuntu

Fix purge ubuntu

purge: remove monitor store and bootstrap keys

remove monitor store and bootstrap keys otherwise the play can not
complete

Signed-off-by: Sébastien Han <seb@redhat.com>

purge-cluster: add a check for a device list

People who use `osd_auto_discovery` feature will not have a devices
variable populated, so we first check for the existence of devices.

Signed-off-by: Sébastien Han <seb@redhat.com>

purge-cluster: make stop service work on ubuntu

reworked the stop sequence by using ids instead of calling the 'all'
function which does not seem to be working all the time.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #644 from bengland2/purge-cluster-cleanup

make purge-cluster.yml both more reliable and faster

oops dont need that

Merge pull request #643 from ceph/monitor-ip

Provide the ability to provide monitor_address instead of an interface

docs for usage of monitor_interface and monitor_address

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Provide the ability to provide monitor_address instead of an interface

This would allow users who don't know what interface to provide to
give an IP address to use for the monitor instead.

Note: the includes are needed in ceph.conf.j2 because without them
jinja2 can not properly evaluate the template and will complain about a
missing 'ansible_interface' variable. The includes allow the template to
be evaluated correctly and then the correct include will be used during
render time.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #609 from ceph/fragment

fix fragment for osd directory scenario

many fixes to make purge-cluster.yml reliable

Merge pull request #639 from ceph/enhance-regex

ceph-osd: fix regex to check partitions

Merge pull request #637 from ceph/activate-partition

ceph-osd: fix activate for osd on partitions

ceph-osd: fix regex to check partitions

Thanks @dvusboy

closes: #636

Signed-off-by: Sébastien Han <seb@redhat.com>

ceph-osd: fix activate for osd on partitions

Since we want to activate the OSD when it's a partition we are looking
for a return code that is equal to 0 which means the device is a
  partition.

closes: #636

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #634 from dvusboy/fix_issue_632

Address issue #632 with systemd unit rename

Merge pull request #635 from dvusboy/create_rbd_clients_directory

Create the directory used for rbd-clients sockets

Merge pull request #627 from ceph/fix-ceph-install

ceph-common: fix ceph install for centos distros

Create the directory used for rbd-clients sockets

* `/var/run/ceph/rbd-clients` is not created automatically
* because it is missing, ceph-rgw complains about missing client
  socket on start up; it is because the containing directory is
  not there
* so we just add it to the list of directory pre-requisite

Address issue #632 with systemd unit rename

* the client-name is actually `rgw.{{ ansible_hostname }}` instead
  of just `{{ ansible_hostname }}`
* it matches the directory created under `/var/lib/ceph/radosgw`
* and, it matches the client-name used to create the keyring in
  `pre_requisite.yml`

Merge pull request #633 from ceph/centos-libselinux-python

add libselinux-python as dependency pkg for centos

add libselinux-python as dependency pkg for centos

closes: #631

Signed-off-by: Sébastien Han <seb@redhat.com>

ceph-common: fix ceph install for centos distros

closes: #616

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #610 from fcharlier/install_ceph_mds_only_if_required

Install ceph-mds on Debian platforms only if mds_group_name is set

Merge pull request #619 from dpkshetty/osd_selinux_permissive

ceph-osd: Set selinux to permissive

ceph-osd: Set selinux to permissive

Currently we don't yet support runnings OSDs w/ selinux in
enforcing mode. Thus its better to ensure that ceph-ansible
explicitly makes selinux permissive. This should help in
scenarios such as hyperconverged where OSDs are colocated
with VMs on compute nodes which needs selinux enforcing, but
OSDs don't.

Signed-off-by: Deepak C Shetty <deepakcs@redhat.com>

Merge pull request #626 from ceph/conf-docs

documention on how to configure ceph.conf using ceph_conf_overrides

documention on how to configure ceph.conf using ceph_conf_overrides

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Ability to generate repos for localmirror

Merge pull request #603 from bengland2/fix_purge_nonosd

fix purge-request.yml so non-OSD hosts will not fail

Merge pull request #621 from FooBarQuaxx/patch-1

Suppress Virtualbox disk creation if already present

only do ls on directory that exists

Suppress Virtualbox disk creation if already present

Merge pull request #614 from ceph/calamari-rest-api

Allow to install the calamari-server on monitors

add the commented out options for calamari-server in mons.sample

Signed-off-by: Alfredo Deza <adeza@redhat.com>

set the default to install calamari-server in a monitor

Signed-off-by: Alfredo Deza <adeza@redhat.com>

include calamari when the calamari option is set

Signed-off-by: Alfredo Deza <adeza@redhat.com>

create a calamari task in ceph-mon

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #611 from ceph/rhcs-debian

support for the jewel version of red hat ceph storage on ubuntu

Merge pull request #612 from ceph/rgw-dir

ceph-rgw: remove leftover for service activation

Merge pull request #613 from ceph/centos-box

vagrant: add other boxes for centos and ubuntu

adds the rh storage apt-key for jewel on ubuntu

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

the ceph package does not exist in jewel rh storage

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

adds the ability to install red hat ceph storage packages on Ubuntu

This will only work for jewel or later releases.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

subscription manager tasks should not run on debian systems

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Install ceph-mds on Debian platforms only if mds_group_name is set

Fixes #547

vagrant: add other boxes for centos and ubuntu

Signed-off-by: Sébastien Han <seb@redhat.com>

ceph-rgw: remove leftover for service activation

this is handled by the task after.

Signed-off-by: Sébastien Han <seb@redhat.com>

ceph-osd: fragment directory and files perms

works for all the ceph's distros now

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #607 from ceph/rhcs-fixes

fixes for installing / configuring red hat ceph storage

Merge pull request #608 from deberon/systemd_ceph.target

Use ceph.target if available

fix fragment for osd directory scenario

Signed-off-by: Sébastien Han <seb@redhat.com>

Added an additional task for starting/enabling a service based on a systemd target if systemd is available. Otherwise using the init script.

find the rhcs version right before setting is_ceph_infernalis

Where it was located before meant it might be skipped if you don't run
tasks with the package-install tag. This fixes the situation where you
want to configure an rhcs node, but do not want to do any package
installs.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

make sure ceph_origin != "upstream" when using rhcs

When installing RHCS there is an option to install from distro provided
packages, this commit modifies the check to allow that to happen.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #606 from ceph/jewel-start

ceph-common: fix mon startup for dev installation

vagrant: ability to configure installation source

now with vagrant, you can either enable ceph_stable or ceph_dev
depending on what you're looking to test.

Signed-off-by: Sébastien Han <seb@redhat.com>

ceph-common: fix mon startup for dev installation

closes: #602 and #587

Signed-off-by: Sébastien Han <seb@redhat.com>

so non-OSD hosts will not fail