Merge pull request #1587 from ceph/bz-1451786

ceph-mon: fix support for ipv6 on containerized mons

ceph-mon: fix support for ipv6 on containerized mons

The fact ['ansible_$interface']['ipv4'] is a dictionary where
['ansible_$interface']['ipv6'] is a list. If we use
ansible_default_ipv6|ipv4 is is always a dictionary which allows us to
get the ipv6 and ipv4 address without adding more complexity to the
template.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #1582 from ceph/purge-docker-fix

purge-docker-cluster: include ceph_docker_registry

purge-docker-cluster: include ceph_docker_registry

We need to include ceph_docker_registry when removing containers/images
because if we don't it will assume docker.io which is not always where
the image originated from, causing the playbook to fail.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #1469 from ceph/refact_code

Docker: Refact code

Merge pull request #1580 from ceph/fix_check_pgs

Common: Improve check pgs

Common: Improve check pgs

For some reason we changed the check of pgs but it appears it could be
dangerous because the current check might satisfied as long as 1 PG is
active+clean.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1579 from ceph/fix_ceph-osd-run

Docker: Remove duplicate var passed to docker-run

Docker: Remove duplicate var passed to docker-run

since `-e CEPH_DAEMON=OSD_CEPH_DISK_ACTIVATE` is already hardcoded in
`eph-osd-run.sh.j2` there is no need to add `-e
CEPH_DAEMON=OSD_CEPH_DISK_ACTIVATE` as a default value in defaults vars.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1577 from ceph/purge-tests

tests: use docker playbook when redeploying a purged cluster

tests: use docker playbook when redeploying a purged cluster

When we purge a containerized cluster we need to use the correct
playbook when redploying the cluster.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #1568 from ceph/bz-1455187

purge-docker-cluster fix and test

purge-docker-cluster: pip is only used on Debian

We only need to purge packages installed by pip on Debian systems.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: adds a scenario for purging containerized clusters

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

purge-docker-cluster: default raw_journal_devices to []

If we're purging a containerized cluster that did not use the
raw_multi_journal OSD scenario then raw_journal_devices will not be
defined which causes the playbook to fail.

Resolves: https://bugzilla.redhat.com/show_bug.cgi?id=1455187

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Refact code

`ceph-docker-common`:
  At the moment there is a lot of duplicated tasks in each
  `./roles/ceph-<role>/tasks/docker/main.yml` that could be refactored in
  `./roles/ceph-docker-common/tasks/main.yml`.

`*_containerized_deployment` variables:
  All `*_containerized_deployment` have been refactored to a single
  variable `containerized_deployment`

duplicate `cephx` variables in `group_vars/* have been removed.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Clean osds.yml.sample

Remove duplicate lines in osds.yml default vars file.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1555 from ceph/rol-docker

rolling-update: set/unset flags on the right container

Merge pull request #1557 from ceph/install-condition

common: fix installation condition

Merge pull request #1563 from ceph/wip-libvirt

Use host-passthrough for libvirt vCPUs

Merge pull request #1564 from arodd/master

Fixing partition detection regex for FusionIO devices.

common: remove useless check

We only check for everything expect 'distro' because that
is a valid way of deploying RHCS, with preprepared repos
present on the nodes.

Signed-off-by: Sébastien Han <seb@redhat.com>

Fixing partition detection regex for FusionIO devices.

Use host-passthrough for libvirt vCPUs

Signed-off-by: Zack Cerza <zack@redhat.com>

common: fix installation condition

Problem: we could end up in situation where we would install a package
on a machine that does not have the right repo enabled. Because the
condition was set to OR we weren't pinning a particular host but just a
condition. Let's say someone sets 'ceph_origin == "distro"', this would
try to install OSD packages on Monitors.

Solution: use a AND condition to first pin to the group_name (which
identifies a set of hosts) AND then after this one of the installation
condition.

Resolves: https://bugzilla.redhat.com/show_bug.cgi?id=1453119
Co-Authored-By: https://github.com/zhsj
Signed-off-by: Sébastien Han <seb@redhat.com>

rolling-update: set/unset flags on the right container

Problem: we are delegating the set/unset flag to a monitor node but we
try to call an osd container

Solution: use the right container name.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1552 from ceph/rhel

common: explicitly set rhel os version support

common: explicitly set rhel os version support

Clarify in the error message that only RHEL version >= 7.3 are
supported.

Resolves: https://bugzilla.redhat.com/show_bug.cgi?id=1452431
Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1529 from ktdreyer/readme-backporting

README: add backporting instructions

README: add backporting instructions

Add instructions for how we maintain and release the stable release
series.

We'd been following this for a while, so let's get it written down.

Merge pull request #1551 from ceph/revert-1531-wip-1495

Revert "docker: Retry OSD disk prepare to workaround race condition"

Revert "docker: Retry OSD disk prepare to workaround race condition"

backport_to_stable_branch: fix redirection

2> to redirect stderr not 2&>

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1548 from ceph/container-ipv6

mon: do not hardcode ipv4

mon: do not hardcode ipv4

Problem: fail to deploy a containerized Ceph cluster with ipv6
Solution: do not hardcode ipv4 when bootstrapping the container.

Now use ip_version: ipv6 to get a containerized cluster deployed with
ipv6.

Resolves: https://bugzilla.redhat.com/show_bug.cgi?id=1451786
Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1532 from ceph/bpk-script

contrib: add backport script

contrib: add backport script

To ease the backport, I wrote a quick script.

Usage: ./backport.sh.sh stable-2.2
6892670d317698771be7e96ce9032bc27d3fd1e5 my-work

We can also pass multiple commits.
Follow up on @ktdreyer write up here:
https://github.com/ceph/ceph-ansible/pull/1529

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1546 from ceph/testinfra-version

tests: pin testinfra to 1.6.0

tests: pin testinfra to 1.6.0

1.6.1 fails with 'testinfra is in an unsupported or invalid wheel'

See: https://github.com/philpep/testinfra/issues/201

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #1531 from ceph/wip-1495

docker: Retry OSD disk prepare to workaround race condition

Merge pull request #1513 from flokli/monitor_interface

monitor_interface: document need to use monitor_address when using IPv6

Merge pull request #1528 from ceph/control-path

Control path

Merge pull request #1527 from ceph/piwi3910-master

added support for Sandisk FusionIO devices

Merge pull request #1500 from yanyixing/master

ignore error when key is not exist

Merge pull request #1526 from ceph/wip-rgw-default-quota-set-testing

test: check if default bucket object quota is applied

Docker: rm container before retry of ceph osd prepare

In addition to `196fa7e` this commit check if a container has been
already launched and delete it before retrying the ceph osd prepare
process.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

test: check if default bucket object quota is applied

Resolves: rhbz#1391500

Signed-off-by: Ali Maredia <amaredia@redhat.com>

ansible: add a note in ansible.cfg

Comments inside this file must be set BEFORE the option. NOT after the
option, otherwise the comment will be interpreted as a value to that
option.

Signed-off-by: Sébastien Han <seb@redhat.com>

ansible: fix control path line

If the comment is put after the line then it is interpreted so we need
to move it before and have a dedicated line.

Signed-off-by: Sébastien Han <seb@redhat.com>

added support for Sandisk FusionIO devices

Signed-off-by: Pascal Watteel <pascal.watteel@emc.com>

Merge pull request #1522 from ceph/rhcs-jewel

tests: rhcs should set ceph_stable_release to jewel

Merge pull request #1516 from ceph/docker-registry

generate_group_vars_sample: merge role variables

tests: rhcs should set ceph_stable_release to jewel

rhcs is based off of jewel, so we need to set this var in the tests so
that the ceph-mgr role is skipped.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #1512 from ceph/ansible-ssh-control-path

ansible: shorten default control_path

group_vars: resync all.yml.sample with ceph-docker-common

Signed-off-by: Sébastien Han <seb@redhat.com>

generate_group_vars_sample: ability to merge roles

Problem: the meta declaration just includes the role, it does nothing
with the group_vars. For ansible to use files defined in group_vars/ the
name of the file must match a host group. Like mons, osds, etc. There is
no group docker-common so the variables defined there are never used, as
proved by https://bugzilla.redhat.com/show_bug.cgi?id=1447179 and the
ansible documentation.

Solution: bring the ability to merge roles files. So now by default,
ceph-docker-common and ceph-common will go into all.yml.sample

Fixes: https://bugzilla.redhat.com/show_bug.cgi?id=1447179
Signed-off-by: Sébastien Han <seb@redhat.com>

generate_group_vars_sample: do not use expr

As mentionned in https://github.com/koalaman/shellcheck/wiki/SC2003
expr is antiquated.

Signed-off-by: Sébastien Han <seb@redhat.com>

generate_group_vars_sample.sh: fix script indent

Using indent of 2 on the entire script.

Signed-off-by: Sébastien Han <seb@redhat.com>

rgw: resync group_vars

At some point, during a commit changing `roles/ceph-rgw/defaults/main.yml`
we forgot to run `generate_group_vars_sample.sh`.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1518 from ceph/pgs-error-message

ceph-common: improve error message on restart osd daemon script

Merge pull request #1515 from ceph/mgr-key

mon: do not create mgr key on jewel

ceph-common: improve error message on restart osd daemon script

Signed-off-by: Alfredo Deza <adeza@redhat.com>

mon: do not create mgr key on jewel

The CI on Docker is reporting the following error:

STDERR:
Error EINVAL: bad entity name

This is due to the fact that this auth entity name does not exist on
Jewel so we should not create that key when running Jewel containers.

Fixes: https://github.com/ceph/ceph-ansible/issues/1514
Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1507 from ceph/rpm-strip-coreos

rpm: do not package coreos-related files

Merge pull request #1511 from ceph/rm-ansible-install

ceph-aio-no-vagrant.sh: check if ansible is installed

docker: Retry osd disk prep to workaround race condition

Fixes: https://github.com/ceph/ceph-ansible/issues/1495
Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #1510 from ktdreyer/ansible-2.2.3

tox: bump ansible version to 2.2.3

monitor_interface: document need to use monitor_address when using IPv6

Already documented in the Red Hat Ceph Storage 2 Installation Guide
for Red Hat Enterprise Linux, but not here

Signed-off-by: Florian Klink <flokli@flokli.de>

ansible: shorten default control_path

Default ansible control_path option is too long, so we shorten it by
changing the ansible.cfg file.

For more info see: https://github.com/ansible/ansible/issues/11536
Fixes: https://bugzilla.redhat.com/show_bug.cgi?id=1447569
Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1508 from ceph/wip-rgw-conf-var-move

rgw: move default bucket quota conf vars to global

ceph-aio-no-vagrant.sh: check if ansible is installed

Since we don't provide install-ansible.sh anymore we just check if it
exists. If not we fail and ask for installation.

Signed-off-by: Sébastien Han <seb@redhat.com>

tox: bump ansible version to 2.2.3

The Ansible team has released v2.2.3, which fixes two CVEs:

CVE-2017-7481
CVE-2017-7466

https://www.ansible.com/security

rpm: do not package coreos-related files

These are unnecessary on RPM-based platforms, and it makes it harder to
audit the RPM-packaged files for security when we ship things that are
unneeded.

rgw: move default bucket quota conf vars to global

"rgw override bucket index max shards" and
"rgw bucket default quota max objects" were in the
client section of the ceph.conf and not being
applied, this commit moves them to global

Resolves: bz#1391500

Signed-off-by: Ali Maredia <amaredia@redhat.com>

Merge pull request #1505 from ceph/remove-install-ansible-script

remove the install-ansible.sh script

remove the install-ansible.sh script

I'm unsure why this is needed, users should be able to install ansible
on their own in the method they prefer.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #1460 from albertomurillo/clearlinux

Add clearlinux to supported platforms

Merge pull request #1504 from ceph/docker-osd-typo

ceph-osd: fix typo in containerized OSD systemd unit

ceph-osd: fix typo in containerized OSD systemd unit

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #1502 from ceph/update-test-stable-release

tests: update default of CEPH_STABLE_RELEASE to kraken

tests: update default of CEPH_STABLE_RELEASE to kraken

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #1484 from ceph/wip-rgw-testing

rgw: test functionality of conf vars and pool creation for tuning

Merge pull request #1501 from ceph/try-jewel-xenial-container

tests: use the xenial container for jewel instead of centos7

tests: use the xenial container for jewel instead of centos7

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

rgw: test functionality of conf vars and pool creation for tuning

Signed-off-by: Ali Maredia <amaredia@redhat.com>

ignore error when key is not exist

Merge pull request #1499 from ceph/fix_1494

Common: Do not install ceph-mgr packages on jewel

tests: all tests must use the node fixture

Otherwise the logic we have for skipping tests does not work.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: do not test mgr nodes on jewel

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Common: Do not install ceph-mgr packages on jewel

ceph-mgr tasks has to be skipped on jewel.

Fix: #1494

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1492 from ceph/add-luminous

ceph-common: add luminous to ceph_release_num

Merge pull request #1468 from ceph/logging

ansible: add logging path

ceph-common: add luminous to ceph_release_num

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #1482 from ceph/remove-debian-ceph-packages

ceph-common: remove debian_ceph_packages

Merge pull request #1490 from ceph/insecure-registry

tests: allow for insecure docker registries when testing rhcs

tests: allow for insecure docker registries when testing rhcs

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #1487 from ceph/docker-jewel-tests

tests: actually test jewel when we say we are

docs: update tox docs to reflect the removed environment variables

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: switch to using key/value extra-vars instead of json

I continue to have issues with extra-vars as json. The latest issue
being that the ceph_docker_image_tag config option included in the json
was being ignored. I can't find the root cause, by using the key/value
format seems to work.

I've also removed several options here to simply the interface. We can
add those back if they become necessary.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: actually test a jewel container for the jewel-* docker tests

Signed-off-by: Andrew Schoen <aschoen@redhat.com>