handler: default to empty array if task skipped

with_items is evaluated before the when condition so if the task that
registers the 'results' is skipped the task will fail with:

{"failed": true, "msg": "'dict object' has no attribute 'results'"}

Defaulting to an empty array fixes the issue.

Reverts: abdd66619e1d5c94f74e994bff667b5ccc6b529f
Closes: https://bugzilla.redhat.com/show_bug.cgi?id=1482061
Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1811 from ceph/push-galaxy

contrib: do not rework if tag exist

contrib: do not rework if tag exist

We now compare local tags versus remote tags and do nothing if they both
exist.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1810 from ceph/config-meta

update meta for ansible galaxy

update meta for ansible galaxy

Closes: https://github.com/ceph/ceph-ansible/issues/1637
Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1808 from ceph/role-path

ceph-mon: detect ANSIBLE_ROLES_PATH if present

Merge pull request #1809 from ceph/no-sudo-fetch-dir

ceph-config: when using local_action set become: false

ceph-config: when using local_action set become: false

There should be no need to use sudo when writing or using these files.
It creates an issue when the user running ansible-playbook does not
have sudo privs.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-mon: detect ANSIBLE_ROLES_PATH if present

Some deployments can't copy infrastructure playbooks outside of the
infrastructure-playbooks directory. Thus they use ANSIBLE_ROLES_PATH to
overcome this. However some roles have 'playbook_dir' hardcoded, which
results in wrong path since the execution comes from
infrastructure-playbooks. Basically the role triggered by a playbook
from infrastructure-playbooks believes that the roles are in
infrastructure-playbooks/roles. This commit fixes that.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1807 from ceph/rpm-build-fix

rpm update the DOC section to point to rst

rpm update the DOC section to point to rst

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #1806 from ceph/resync-group

resync groups_vars

resync groups_vars

Signed-off-by: Sébastien Han <seb@redhat.com>

site: delegate fact to all the hosts

Before this patch we couldn't use --limit properly to only interact with
a particular set of hosts. We basically always required to have ceph-mon
role being played to properly get facts and then build the ceph.conf.

Now, the current running host will get the facts from the machines that
are not part of the current play. This is achieved with the help of the
new option delegate_facts, for more info see:
http://docs.ansible.com/ansible/latest/playbooks_delegation.html#delegated-facts

Closes: https://bugzilla.redhat.com/show_bug.cgi?id=1482067
Signed-off-by: Sébastien Han <seb@redhat.com>

ceph-config: write ceph_conf_overrides_temp to fetch_directory

because /tmp is not always writable, but we can assume that the
fetch_directory will be

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-config: add missing meta and files for the galaxy

Signed-off-by: Sébastien Han <seb@redhat.com>

Introduce new role ceph-config.

This will give us more flexibility and the possibility to deploy a client node
for an external ceph-cluster.

related BZ:
https://bugzilla.redhat.com/show_bug.cgi?id=1469426

Fixes: #1670
Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

tests: Update tests according to `ceph-config` role implementation

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

ceph-mon: remove hardcoded ipv4 in containers

Before this commit we were forcing ipv4 which might not be available.
Now setting ip_version to ipv4 or ipv6 will give you the right support.

Closes: https://bugzilla.redhat.com/show_bug.cgi?id=1484189
Signed-off-by: Sébastien Han <seb@redhat.com>

rolling update: skip pg check if num_pgs = 0

In our test case we don't have any pgs, thus the check fails. The check
always returns an empty array, which makes the comparaison failing.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1799 from ceph/lvm-vg-lv

ceph-osd: ceph-volume requires --data to be in vg/lv format

ceph-osd: ceph-volume requires --data to be in vg/lv format

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #1797 from ceph/purge-lvm

adds purge support for the lvm_osds osd scenario

Merge pull request #1788 from ceph/improve-switch

switch-from-non-containerized-to-containerized: simplify

switch-from-non-containerized-to-containerized: simplify

This commit eases the use of the
infrastructure-playbooks/switch-from-non-containerized-to-containerized-ceph-daemons.yml
playbook. We basically run it with a couple of pre-tasks and then we let
the playbook run the docker roles.

It obviously expect to have proper variables configured in order to
work.

Signed-off-by: Sébastien Han <seb@redhat.com>

purge-cluster: adds support for purging lvm osds

This also adds a new testing scenario for purging lvm osds

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-osd: restructure lvm_volumes variable for more flexiblity

The lvm_volumes variable is now a list of dictionaries that represent
each OSD you'd like to deploy using ceph-volume. Each dictionary must
have the following keys: data, journal and data_vg. Each dictionary also
can optionaly provide a journal_vg key.

The 'data' key represents the lv name used for the OSD and the 'data_vg'
key is the vg name that the given lv resides on. The 'journal' key is
either an lv, device or partition. The 'journal_vg' key is optional and
must be the vg name for the journal lv if given. This key is mainly used
for purging of the journal lv if purge-cluster.yml is run.

For example:

  lvm_volumes:
    - data: data_lv1
      journal: journal_lv1
      data_vg: vg1
      journal_vg: vg2
    - data: data_lv2
      journal: /dev/sdc
      data_vg: vg1

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #1796 from ceph/resync-groupvars

resync group_vars

resync group_vars

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1731 from SirishaGuduru/rgw-civetwebIP-conf

Common: changed civetweb line in rgw section(conf)

Merge pull request #1784 from ceph/fix-restart-osd-container

ceph-defaults: fix handler for osd container

Common: changed civetweb line in rgw section(conf)

Resolves issue: Multiple RGW Ceph.conf Issue #1258

In multi-RGW setup, in ceph.conf the RGW sections
contain identical bind IP in civetweb line. So this
modification fixes that issue and puts the right IP
for each RGW.

Signed-off-by: SirishaGuduru SGuduru@walmartlabs.com
Modified ceph-defaults and ran generate_group_vars_sample.sh

group_vars/osds.yml.sample and group_vars/rhcs.yml.sample are
not part of the changes. But they got modified when
generate_group_vars_sample.sh is ran to generate group_vars/
all.yml.sample.

Uncommented added variables in ceph-defaults

Updated tests by adding value for radosgw_interface

Added radosgw_interface to centos cluster tests

Modified ceph-rgw role,rebased and ran generate_group_vars_sample.sh

In ceph-rgw role removed check_mandatory_vars.yml.
Rebased on master.
Ran generate_group_vars_sample.sh and then the below files got
modified.

Merge pull request #1625 from ceph/wip-rbd-mirror-keys

rbd-mirror should use per-host user id keyring

rbd-mirror should use per-host user id keyring

The rbd-mirror daemon will be HA under luminous and new daemon health
features require a way to uniquely identify rbd-mirror instances.

Signed-off-by: Jason Dillaman <dillaman@redhat.com>

distribute rbd bootstrap key if available

Signed-off-by: Jason Dillaman <dillaman@redhat.com>

Merge pull request #1778 from ceph/fix-1770

purge: add ability to purge bluestore osd

Merge pull request #1786 from ceph/re-arrange-skipped

mon, osd: fix skipped condition

Merge pull request #1789 from mistur/master

fix radosgw-admin call with another cluster name than "ceph"

mon, osd: fix skipped condition

To be properly evaluated the "skipped" conditions must always have the
first place on the list of condition, otherwise the other conditions are
evaluated before and make the task fail.

Closes: https://github.com/ceph/ceph-ansible/issues/1733
Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1781 from ceph/ceph-volume-tests-cli

ceph-volume executable tests and testinfra API update

fix radosgw-admin call with another cluster name than "ceph"

Merge pull request #1779 from gfidente/tripleo_switch_to_containerized

TripleO switch to containers

Merge pull request #1772 from ceph/docs-update

documentation update for osd scenarios and basic installation/usage

Merge pull request #1654 from andymcc/master

Allow ceph-mon systemd overrides to be specified

Default cluster to ceph in switch to containers

Parse ceph_docker_registry in switch to containers

Defaults it to docker.io as it was for backward compatibility.

Assume mon_docker_privileged false in switch to containers

ceph-defaults: fix handler for osd container

Problem: task "check for a ceph socket in containerized deployment" will
be skipped if we are not an OSD.

with_items are still evaluated before when conditions so if the task was
skipped the dict will be empty and then fail.
Adding a "not skipped" condition skips the execution of the task.

Closes: https://bugzilla.redhat.com/show_bug.cgi?id=1482061
Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1783 from ceph/remove-dup-var

resync group_vars files

resync group_vars files

Signed-off-by: Sébastien Han <seb@redhat.com>

tests/rgw: update tests to use new host fixture

Signed-off-by: Alfredo Deza <adeza@redhat.com>

tests/osd add tests for ceph-volume* executables

Signed-off-by: Alfredo Deza <adeza@redhat.com>

tests/osd: update tests to use new host fixture

Signed-off-by: Alfredo Deza <adeza@redhat.com>

tests/mons: update tests to use new host fixture

Signed-off-by: Alfredo Deza <adeza@redhat.com>

tests/install: update tests to use new host fixture

Signed-off-by: Alfredo Deza <adeza@redhat.com>

tests/conftest: update node fixture for new testinfra API

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Consume public_network vs ceph_mon_docker_subnet

In the switch to containers migration there were broken references
to ceph_mon_docker_subnet variable, replaced with public_network.

Also fixes references to ceph_mon_docker_extra_env setting for it
a default as it could be undefined.

Extend set_uid fact to support RH Ceph images

purge: add ability to purge bluestore osd

We now purge block db and/or wal partitions if we find any.

Closes: https://github.com/ceph/ceph-ansible/issues/1770
Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1695 from fullerdj/wip-djf-docker-multimds

ceph-mds: Enable multimds under docker

Merge pull request #1762 from ceph/install_pkg_rbdmirror

ceph-common: install base package to provide ceph CLI

docs: add examples for collocated and non-collocated osd scenarios

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

docs: move testing/glossary after index in glossary.rst

We want the usage docs before the testing docs on this page.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

docs: remove the old README and link to the hosted docs

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

docs: add docs for dev contributions

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

docs: add docs for ceph_conf_overrides usage

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

docs: add links to example videos

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

docs: collocated and non-collocated scenario docs

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

docs: docs for installation and basic config

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

common: install ceph-common on all nodes

This commits force ceph-common to be installed early in deployment on
nodes.

For instance, ceph-rbdmirror doesn't have the CLI installed while it is
needed for some tasks which uses it to set some facts.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Allow ceph service systemd overrides to be specified

ceph services can fail to start under certain circumstances (for
example, when running in a container) because the default systemd
service configuration causes namespace issues.

To work around this we can override the system service settings by
placing an overrides file in the ceph-<service>@.service.d directory.
This can be generic so as to allow any potential changes required to
the ceph-<service> service files.

The overrides file is only setup when the
"ceph_<service>_systemd_overrides" config_template override variable is
specified.

The available service systemd override files are as follows:
ceph_mds_systemd_overrides
ceph_mgr_systemd_overrides
ceph_mon_systemd_overrides
ceph_osd_systemd_overrides
ceph_rbd_mirror_systemd_overrides
ceph_rgw_systemd_overrides

Merge pull request #1759 from fultonj/master

Set the permissions mode on all of the OpenStack keys

Set the permissions mode on all of the OpenStack keys

The original fix to issue #1755 only set the permissions on
the monitors to which the key was copied, but not the original
monitor where the key was created. Thus, we use a separate task
to set the permission of the key.

Merge pull request #1756 from fultonj/master

Allow user to specify the mode of the openstack keys

Allow user to specify the mode of the openstack keys

The openstack_keys structure now supports a key called mode
whose value is a string that one could pass to chmod to set
the mode of the key file. The ansible file module applies the
mode to all openstack keys with this property.

Fixes: #1755

Merge pull request #1560 from ceph/wip-rev-ansible-testing

change ansible environment to 2.3 release

change ansible environment to 2.3 release

Signed-off-by: Gregory Meno <gmeno@redhat.com>
Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #1750 from ceph/lvm-test-update

tests: do not use /dev/sda in the lvm scenario

tests: do not use /dev/sda in the lvm scenario

When you udpate to the latest version of the centos/7 box it always puts
the OS on /dev/sda, so do not use it as an OSD.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #1745 from ceph/tmp-path-fix

ceph-common: render ceph_conf_overrides into fetch_directory

ceph-common: render ceph_conf_overrides into fetch_directory

Writing into /tmp is not always allowed, but we can assume the
fetch_directory is writable.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #1716 from ceph/lvm-osds

adds a new OSD scenario to create OSDs with ceph-volume

ceph-mds: Enable multimds under docker

This is under the MDS role instead of the mon role because that role
does not create the filesystem under docker.

Signed-off-by: Douglas Fuller <dfuller@redhat.com>

ceph-defaults: fix containerized osd restarts

This needs to check `containerized_deployment` because
socket_osd_container is undefined otherwise.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-common: move release-rhs.yml after ceph_version is set

These tasks needs to be run after we set ceph_version or
they fail because it's undefined.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-osd: devices is not required when osd_scenario == lvm

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

lvm: update scenario for new osd_scenario variable

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

lvm-osds: reorder mandatory vars checks

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

lvm-osds: check for osd_objectstore == 'filestore'

ceph-volume currently only has support for filestore, not bluestore

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

lvm-osds: make task name and files consistent

Removes capitilization and newlines to keep these files consistent in
style with the existing tasks.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

lvm-osds: update group_vars/osds.yml.sample

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: do not use sudo with dev_setup.yml

This causes problems when the tests are run locally and not in the CI

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

lvm_osds: ensure osd daemons are started

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: lvm_osds does not have devices defined

This means that our tests needs to use the lvm_volumes dictionary
instead of devices.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: adds an lvm_osds testing scenario

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

docs: add docs for the lvm_osds OSD scenario

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

adds a new 'lvm_osds' osd scenario

This scenario will create OSDs using ceph-volume and is only available
in ceph releases greater than Luminous.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #1743 from ceph/rhcs-yml

generate_group_vars_sample: rhcs.yml.sample

generate_group_vars_sample: rhcs.yml.sample

Add a pre-configured bare minimum rhcs.yml.sample that can save
configuration steps.

Fixes: https://bugzilla.redhat.com/show_bug.cgi?id=1478071
Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1734 from ceph/debian-repo

common: automate setting up online repositories for ceph deployments …