rgw: move default bucket quota conf vars to global

"rgw override bucket index max shards" and
"rgw bucket default quota max objects" were in the
client section of the ceph.conf and not being
applied, this commit moves them to global

Resolves: bz#1391500

Signed-off-by: Ali Maredia <amaredia@redhat.com>

Merge pull request #1460 from albertomurillo/clearlinux

Add clearlinux to supported platforms

Merge pull request #1504 from ceph/docker-osd-typo

ceph-osd: fix typo in containerized OSD systemd unit

ceph-osd: fix typo in containerized OSD systemd unit

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #1502 from ceph/update-test-stable-release

tests: update default of CEPH_STABLE_RELEASE to kraken

tests: update default of CEPH_STABLE_RELEASE to kraken

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #1484 from ceph/wip-rgw-testing

rgw: test functionality of conf vars and pool creation for tuning

Merge pull request #1501 from ceph/try-jewel-xenial-container

tests: use the xenial container for jewel instead of centos7

tests: use the xenial container for jewel instead of centos7

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

rgw: test functionality of conf vars and pool creation for tuning

Signed-off-by: Ali Maredia <amaredia@redhat.com>

Merge pull request #1499 from ceph/fix_1494

Common: Do not install ceph-mgr packages on jewel

tests: all tests must use the node fixture

Otherwise the logic we have for skipping tests does not work.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: do not test mgr nodes on jewel

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Common: Do not install ceph-mgr packages on jewel

ceph-mgr tasks has to be skipped on jewel.

Fix: #1494

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1492 from ceph/add-luminous

ceph-common: add luminous to ceph_release_num

Merge pull request #1468 from ceph/logging

ansible: add logging path

ceph-common: add luminous to ceph_release_num

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #1482 from ceph/remove-debian-ceph-packages

ceph-common: remove debian_ceph_packages

Merge pull request #1490 from ceph/insecure-registry

tests: allow for insecure docker registries when testing rhcs

tests: allow for insecure docker registries when testing rhcs

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #1487 from ceph/docker-jewel-tests

tests: actually test jewel when we say we are

docs: update tox docs to reflect the removed environment variables

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: switch to using key/value extra-vars instead of json

I continue to have issues with extra-vars as json. The latest issue
being that the ceph_docker_image_tag config option included in the json
was being ignored. I can't find the root cause, by using the key/value
format seems to work.

I've also removed several options here to simply the interface. We can
add those back if they become necessary.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: actually test a jewel container for the jewel-* docker tests

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #1485 from ceph/docker-osd-tests

tests: test all docker osds are up and in

tests: test that all docker OSDs are up and in

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: adds a way to mark docker only tests

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-common: remove debian_ceph_packages

We shouldn't need this anymore as the upgrade bug that
debian_ceph_packages was used to workaround should have
been fixed as of jewel.

See https://github.com/ceph/ceph-ansible/issues/1481 for more
detailed information.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #1477 from ceph/quick_fix

Common: Fix condition on osd restart handler

Common: Fix condition on osd restart handler

Fix the condition on the osd restart handler.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1476 from WingkaiHo/improve-shrink-osd.yml

improve shrink-osd.yml can shrink osd when disk damage

improve shrink-osd.yml can shrink osd when disk damage

Merge pull request #1458 from ceph/wip-rgw-tuning

rgw: set tuning parameters

rgw: set tuning parameters

Change civetweb_num_thread default to 100

Add capability to override number of pgs for
rgw pools.

Add ceph.conf vars to enable default bucket
object quota at users choosing into the ceph.conf.j2
template

Resolves: rhbz#1437173
Resolves: rhbz#1391500

Signed-off-by: Ali Maredia <amaredia@redhat.com>

Merge pull request #1464 from ceph/purge-ceph-target

purge-cluster: remove unneeded tasks

purge-cluster: check for any running ceph process after purge

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ansible: add logging path

Ability to log ansible plays in a log file. Default location is
/var/log/ansible.log
Be sure the user running Ansible has permissions on the logfile.

Fixes: https://bugzilla.redhat.com/show_bug.cgi?id=1445065
Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1466 from ceph/upgrade-calamari

mon: upgrade calamari when running rolling_update playbook

Add clearlinux to supported platforms

Signed-off-by: Alberto Murillo Silva <alberto.murillo.silva@intel.com>

Merge pull request #1455 from ceph/restart_daemons

Common: Restore check_socket

Common: Restore check_socket

Restore the check_socket that was removed by `5bec62b`.
This commit also improves the logging in `restart_*_daemon.sh` scripts

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

mon: upgrade calamari when running rolling_update playbook

Prior to this change, ansible was only checking for the existence of the
package, now if upgrade_ceph_packages is true this means we are
performing an upgrade.

Fixes: https://bugzilla.redhat.com/show_bug.cgi?id=1442016
Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1461 from ceph/wip-remove-osd-directory-scenario

remove osd directory scenario

remove osd directory scenario

Proof-of-concept clusters or actual production clusters will never want to use this. We also do not test it anywhere for this same reason.

Signed-off-by: Gregory Meno <gmeno@redhat.com>

purge-cluster: we don't support sysv or upstart anymore

Now that ceph-ansible only supports > jewel we don't need
to bother with sysv or upstart

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

purge-cluster: do not need to check for running ceph processes

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

purge-cluster: no need to remove ceph.target

The package uninstalls will stop ceph.target

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #1463 from ceph/mgr-rhcs

tests: mgr nodes should have the ceph-mon repo install

Merge pull request #1459 from jcsp/wip-19713

mon: update mgr key capabilities

tests: mgr nodes should have the ceph-mon repo install

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

mon: update mgr key capabilities

This is to allow ceph-mgr daemons to remote control
osd and mds daemons with MCommand messages.

Fixes: http://tracker.ceph.com/issues/19713
Signed-off-by: John Spray <john.spray@redhat.com>

Merge pull request #1456 from netservers/master

Apparmor on Ubuntu Xenial will not permit containers to mount devices.

Apparmor on Ubuntu Xenial will not permit containers to mount devices, even with CAP SYS_ADMIN.

Merge pull request #1453 from ceph/docs-fixtures

[docs] fixtures and Python tests

Merge pull request #1454 from ceph/tox-docs

docs: write docs for tox.ini file

docs: review feedback on testing/tox.rst

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

docs: fix rst error in scenarios.rst

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

docs: write docs for tox.ini file

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

docs: describe Python tests and fixtures

Signed-off-by: Alfredo Deza <adeza@redhat.com>

docs: conventions for test layouts

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #1452 from ceph/rhcs-mgr

ceph-common: install ceph-mgr for rhcs

ceph-common: install ceph-mgr for rhcs on debian

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-common: install ceph-mgr for rhcs on rhel

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #1430 from ceph/mgr-fix

test: add mgr section to the host inventory file

test: add mgr section to the host inventory file

Without this, we don't test the mgr role so we need to add it.

Co-Authored-by: Guillaume Abrioux <gabrioux@redhat.com>
Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1448 from ceph/docs-scenario-files

docs: describe all required scenario files

docs: describe all required scenario files

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #1443 from WingkaiHo/osds-journal-migrate

Migrate osd(s) journal to ssd

Merge pull request #1441 from ceph/docs-scenario

docs: scenario files and section descriptions

docs: scenario files and section descriptions

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #1442 from ceph/fix-hung-command

ceph-mon: change command to see if rbd exists

Merge pull request #1439 from ceph/rhcs-tests

tests: fix ceph_rhcs setup

Migrate osd(s) journal to ssd

ceph-mon: change command to see if rbd exists

The previous command was hanging, see this issue:

https://github.com/ceph/ceph-ansible/issues/1440

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: print contents of group_vars/all after modification

This is just nice to see in the test output so we know exactly what
configuration is going to be used.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-common: is ceph_rchs is True do not include install_on_redhat.yml

That task includes logic for upstream installs that we do not want to
run when deploying RHCS.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: set needed config in group_vars/all for rhcs testing

Instead of relying on environment variables and --extra-vars simply
modify the group_vars/all that ships with the specific testing scenario
to enable ceph_rchs testing.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: remove CEPH_STABLE environment variable

I'm removing this because when we use an 'rhcs' scenario then we attempt
to set CEPH_STABLE=false as an environment variable. The issue with that
is because the value is coming from an environment variable it is always
treated as a string and ansible treats that as a boolean True. I plan to
set the ceph_stable value with our rhcs_setup.yml playbook instead of
relying on ---extra-vars and environment variables.

Related ansible issue: https://github.com/ansible/ansible/issues/17193

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #1435 from dlupescu/purge_cluster_nvme_fix

purge-cluster: fix grep match for NVMe and HP Smart Array devices

Merge pull request #1431 from mcv21/restricted_assemble

Only assemble {{ cluster }}.conf and osd.conf

Merge pull request #1434 from ceph/docs-missing-static-master

Docs missing static master

Only include cluster.conf and osd.conf when building ceph.conf

This is the same fix as bc846b7da6d9af16d9611fef7f00df6557f19def
applied to the other part of the code-base that builds ceph.conf (I'd
missed that 349b9ab3e72f188c50b5f84f3ce5ee2fddcfbf80 had duplicated
this code).

Signed-off-by: Matthew Vernon <mv3@sanger.ac.uk>

purge-cluster: fix grep match for NVMe and HP Smart Array devices

raw_device would return invalid block device names for NVMe and HPSA
devices which would cause sgdisk partition deletion to fail

$ echo /dev/nvme1n1p3 | egrep -o '/dev/([hsv]d[a-z]{1,2}|cciss/c[0-9]d[0-9]p|nvme[0-9]n[0-9]p){1,2}'
/dev/nvme1n1p

$ echo /dev/cciss/c0d0p2 |  egrep -o '/dev/([hsv]d[a-z]{1,2}|cciss/c[0-9]d[0-9]p|nvme[0-9]n[0-9]p){1,2}'
/dev/cciss/c0d0p

docs: force an empty _static dir so sphinx is happy

Signed-off-by: Alfredo Deza <adeza@redhat.com>
(cherry picked from commit aacbbf0efe802e9282793dfc8bf7b175596c5aad)

docs: force an empty _templates dir so sphinx is happy

Signed-off-by: Alfredo Deza <adeza@redhat.com>
(cherry picked from commit 66a9817e56d69b046425dc04a03869fb9a9d8369)

Only assemble {{ cluster }}.conf and osd.conf

Ansible's assemble module by default will put all files in the src
directory together into dest. We only want to put {{ cluster }}.conf
and osd.conf together, not anything that might have found its way into
/etc/ceph/ceph.d (e.g. files left by the sysadmin taking backups
before an ansible run). So specify a regexp that matches only those
two files.

Signed-off-by: Matthew Vernon <mv3@sanger.ac.uk>

Merge pull request #1428 from ceph/fix-mgr

mon: fix with_items being evaluated before when

mon: fix with_items being evaluated before when

Ansible evaluates the 'with_items' before the 'when' so if the inventory
does not have the group declared it'll fail. To fix this, we set an
empty array to make the with_items happy and then evaluate with the
'when'.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1427 from ceph/downstream-testing

tests: updates for rhcs testing

tests: enable the rhcs-7-extras-nightly repo on test nodes

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: change centos/atomic-host box name to rhel7

We'd like to test everything rhcs on the same rhel7 box.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #1425 from ceph/bump-kraken

common: bump ceph version to kraken

common: bump ceph version to kraken

Kraken has been out for a couple of weeks now and the CI can test both
Kraken and Jewel.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1377 from ceph/ceph-mgr

mgr: add new role for ceph-mgr

test: add mgr bootstrap support

Signed-off-by: Sébastien Han <seb@redhat.com>

docker: fix monitors name

Prior to this change we were deploying a monitor using tis fqdn name but
we were checking its state and performing actions on it using its
shortname.

Signed-off-by: Sébastien Han <seb@redhat.com>

mgr: add new role for ceph-mgr

The Ceph Manager daemon (ceph-mgr) runs alongside monitor daemons, to
provide additional monitoring and interfaces to external monitoring and
management systems.

Only works as of the Kraken release.

Co-Authored-By: Guillaume Abrioux <gabrioux@redhat.com>
Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1421 from ceph/tox-docs

tox-driven docs

Merge pull request #1422 from k0ste/newfeature

ceph-common: persist "disable_transparent_hugepage"

ceph-common: disable_transparent_hugepage now persist