ceph-mon: Create openstack pools and keys even for containerized deployments

Add the possibility to create openstack pools and keys even for containerized deployments

Fix: #1321
Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1370 from ceph/template-rbd-mirror

rbd-mirror: fix spelling

rbd-mirror: fix spelling

It is RBD and NOT RDB.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1367 from D3N14L/fix_whitespaces_from_1336

Fixing tabs that are breaking the syntax check

Fixing tabs that are breaking the syntax check

With the merge of PR #1336 the syntax check fails. This commit replaces
the tabs with proper indentation.

Merge pull request #1336 from WingkaiHo/master

Load a variable file for devices partition

Merge pull request #1363 from ceph/rgw-mds-container

kv scenario: add KV_PORT option

kv scenario: add KV_PORT option

This option was missing for rrgw, mds, rbd mirror and nfs making these
daemon impossible to run on a kv deployment with containers.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1317 from ibotty/harmonize-docker-names

harmonize docker names

Merge pull request #1358 from ceph/nfs-ganesha-fsal-deb

ceph-common: install nfs-ganesha FSALs on Debian

ceph-common: install nfs-ganesha FSALs on Debian

Prior to this change, ceph-ansible would install the main NFS Ganesha
server daemon on Ubuntu, but it would skip the Ceph FSALs.

Running "apt-get install nfs-ganesha" will only install the main NFS Ganesha
server. It does *not* pull in the RGW FSAL
(/usr/lib/x86_64-linux-gnu/ganesha/libfsalrgw.so)

Running "apt-get install nfs-ganesha-fsal" will install the RGW FSAL as
well as the main NFS Ganesha server package.

Signed-off-by: Ken Dreyer <kdreyer@redhat.com>

Merge pull request #1356 from ceph/wip-calamari-debug

calamari: Add debugging option

calamari: Add debugging option

This patch introduces calamari_debug option which will turn on debugging
for calamari before initializing and running it.

Signed-off-by: Boris Ranto <branto@redhat.com>

Merge pull request #1355 from ceph/rolling-update-tests

tests: adds an update_cluster testing scenario

tests: adds an update_cluster testing scenario

This updates the centos 7 cluster scenario from jewel to kraken using
the rolling_update playbook.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #1349 from ceph/rhbz-1354700

purge-cluster: do not set group name vars at playbook level

Merge pull request #1347 from ceph/no-vfs-cache-pressure

avoid setting vfs_cache_pressure

switch-to-containers: do not include group vars or role defaults

Doing so will override any values set for these in the group_vars
directory relative to the users inventory.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

purge-docker-cluster: do not include role defaults or group vars

Doing so at playbook level overrides whatever values might be set for
these in the user's group_vars directory that's relative to their
inventory.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

switch-to-containers: do not set group name vars at playbook level

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

purge-docker-cluster: do not set group names vars at playbook level

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

rolling-update: do not set group name vars at playbook level

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

purge-cluster: do not set group name vars at playbook level

This has the behavior of overriding custom values set in group_vars.
I've added defaults to the rest of the group names so that if they are
not overridden in group_vars then defaults will be used.

See: https://bugzilla.redhat.com/show_bug.cgi?id=1354700

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Update make-osd-partitions.yml

change

Merge pull request #1350 from ceph/make-handle-rc

Makefile: handle "rc" version tags

Makefile: handle "rc" version tags

When "git describe" returns an "rc" tag (eg "2.2.0rc1"), insert the RC
number into the RPM's "Release" field.

Add comments with some git-describe values and NVRs.

Makefile: generate tagged RPMs with "-1" release value

Prior to this change, if we built an RPM from a tagged commit, the RPM
would have a release value of "0".

This causes some problems with RPM version comparisons when comparing
version numbers with "rc" tags/packages, which should also have a
less-than-one Release value.

Merge pull request #1335 from batrick/mon-fs-cmd-1mon

send fs commands to one mon

Merge pull request #1339 from ceph/rgw-remove-sudo

rgw: remove sudoers file

Merge pull request #1346 from ceph/fix-rhcs-rhel-supported-message

check_system: improve RHCS support message and version comparison

Update make-osd-partitions.yml

When ansible do not load the file host_vars/{{ ansible_hostname }}.yml and host_vars/default.yml it will show syntactic, so keyword "skip" to fix it.
Exit the playbook if the user not define devices  in both  host_vars/{{ ansible_hostname }}.yml and host_vars/default.yml

Update make-osd-partitions.yml

When ansible do not load the file host_vars/{{ ansible_hostname }}.yml and host_vars/default.yml it will show syntactic err, so add keyword "skip" to fix it.

Exit the playbook if the user not define devices  in both  host_vars/{{ ansible_hostname }}.yml and host_vars/default.yml
host_vars/default.yml

avoid setting vfs_cache_pressure

From Josh Durgin, "I'd recommend not setting vfs_cache_pressure in
ceph-ansible. The syncfs issue is still there, and has caused real
problems in the past, whereas there hasn't been good data showing lower
vfs_cache_pressure is very helpful - the only cases I'm aware of have
shown it makes little difference to performance."

https://bugzilla.redhat.com/show_bug.cgi?id=1395451

check_system: improve RHCS support message and version comparison

"red hat storage" -> "red hat ceph storage"

"RHEL 7.1" -> "RHEL 7"

and make the version number check verify the very latest version

https://bugzilla.redhat.com/show_bug.cgi?id=1354059

Merge pull request #1328 from guits/fix_1303

docker: Fix #1303

docker: Fix #1303

Install package from official repos rather than pip when using RHEL.

This commit fix https://bugzilla.redhat.com/show_bug.cgi?id=1420855

Also this commit Refact all `roles/ceph-*/tasks/docker/pre_requisite.yml`
to avoid a lot of duplicated code.

Fix: #1303
Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Update make-osd-partitions.yml

fix syntactic error

rgw: remove sudoers file

This was needed for Hammer and older version, not needed anymore since
we have a 'ceph' user to run ceph processes.

Signed-off-by: Sébastien Han <seb@redhat.com>

Update ceph_keys.yml

Update ceph_keys.yml

Update make-osd-partitions.yml

Remove capital `L`

Update make-osd-partitions.yml

there is an extra space between 'custom' and 'layout'

send fs commands to one mon

Add-on to #1329.

Signed-off-by: Patrick Donnelly <pdonnell@redhat.com>

Update ceph_keys.yml

Load a variable file for devices parrition

load device partition file in directory host_vars

1) if the user define host_vars/hostname.yml load the devices  partition on this file.
2) otherwise load host_vars/default.yml for default

Merge pull request #1334 from yangyimincn/yangyimincn-patch-1

rolling_update check monitor quorum error

Update rolling_update.yml

The task waiting for the monitor to join the quorum... , the result for ceph -s | grep monmap only contain monmap, not included quorum:

# ceph -s --cluster ceph | grep monmap
     monmap e1: 3 mons at {sh-office-ceph-1=10.12.10.34:6789/0,sh-office-ceph-2=10.12.10.35:6789/0,sh-office-ceph-3=10.12.10.36:6789/0}

If want to get monitor, should use this:

# ceph -s --cluster ceph | grep election
            election epoch 80, quorum 0,1 sh-office-ceph-1,sh-office-ceph-2

ceph verison: 10.2.5

Merge pull request #1329 from guits/fix_1314

ceph-mon: Check if ceph filesystem exists

ceph-mon: Check if ceph filesystem exists

Check if ceph filesystem already exists before creating it.
If the ceph filesystem doesn't exist, execute the task only on one node.

Fix: #1314
Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1330 from ceph/fix-cluster-name-take-over

infra: fix cluster name detection

infra: fix cluster name detection

The previous command was returning /etc/ceph/ceph.conf, we only need
'ceph' to be returned.

Signed-off-by: Sébastien Han <seb@redhat.com>

harmonize docker names

Created containers now are named more or less in the form of

    <ansible role>-<ansible_hostname>

Merge pull request #1287 from ceph/no-priviledge-mode

No priviledge mode

tests: when using pytest mark decorators ensure all fixtures are defined

Decorating a test method directly with a pytest mark seems to break if
the test function does not explicitly define all pytest fixtures it
expects to recieve.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ci: decorate the tests to not run on docker scenario

Certain scenario won't work on containerized deployment. So we decorate
them so they can be skipped.

Signed-off-by: Sébastien Han <seb@redhat.com>

ci: fix issue on ansible2.2-docker_dedicated_journal

journal_collocation was enabled so the test suite was testing this
scenario and obviously failed since there is no second partition to
verify.

Signed-off-by: Sébastien Han <seb@redhat.com>

ci: do not use atomic host for ansible2.2-docker_dedicated_journal

Switch to CentOS since Atomic host does not have the right Docker
version.

Signed-off-by: Sébastien Han <seb@redhat.com>

ci: set a different directory for ceph osd docker run script

/usr/share is not writable on Atomic Host so we use /var/tmp instead.

Signed-off-by: Sébastien Han <seb@redhat.com>

ci: do not generate random hostname for ansible2.2-docker_dedicated_journal

This fixes the error: Call to virDomainCreateWithFlags failed: internal
error: Monitor path
/var/lib/libvirt/qemu/domain-docker-cluster-dedicated-journal_osd0_1487692576_dbfc21d851071d3e2cd2/monitor.sock
too big for destination

Signed-off-by: Sébastien Han <seb@redhat.com>

mon: docker, ability to enable centos extra repo

Signed-off-by: Sébastien Han <seb@redhat.com>

docker: osd, clarify variable usage for scenarii

Signed-off-by: Sébastien Han <seb@redhat.com>

purge-docker: re-implement zap devices

We now run the container and waits until it dies. Prior to this we were
stopping it before completion so not all the devices where zapped.

Signed-off-by: Sébastien Han <seb@redhat.com>

docker: make ceph docker osd script path

Since distro will not allow /usr/share to be writable (e.g: atomic) so
we let the operator decide where to put that script.

Signed-off-by: Sébastien Han <seb@redhat.com>

ci: add docker-cluster-dmcrypt-journal-collocation scenario

Signed-off-by: Sébastien Han <seb@redhat.com>

tests: enable the docker_dedicated_journal scenario

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: add scenario for dedicated-journal on docker

Signed-off-by: Sébastien Han <seb@redhat.com>

docker: osd, do not use priviledged container anymore

Oh yeah! This patch adds more fine grained control on how we run the
activation osd container. We now use --device to give a read, write and
mknodaccess to a specific device to be consumed by Ceph. We also use
SYS_ADMIN cap to allow mount operations, ceph-disk needs to temporary
mount the osd data directory during the activation sequence.

This patch also enables the support of dedicated journal devices when
deploying ceph-docker with ceph-ansible.

Depends on https://github.com/ceph/ceph-docker/pull/478

Signed-off-by: Sébastien Han <seb@redhat.com>

purge-docker: also purge journal devices

Signed-off-by: Sébastien Han <seb@redhat.com>

docker: osd, do not skip on failure

If the systemd unit file can not be generated we should fail, same for
systemd enable and reload.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1315 from ceph/rolling-update-tests

adds a testing scenario for rolling updates

update group_vars sample for rolling_update variable

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-common: remove infernalis comment on radosgw_civetweb_port

As of Infernalis, the Ceph daemons run as an unprivileged "ceph" UID,
and this is by design.

Commit f19b765 altered the default
civetweb port from 80 to 8080 with a comment in the commit log about
"until this gets solved"

Remove the comment about permissions on Infernalis, because this is
always going to be the case on the Ceph versions we support, and it
is just confusing.

If users want to expose civetweb to s3 clients using privileged TCP
ports, they can redirect traffic with iptables, or use a reverse proxy
application like HAproxy.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: adds a new ansible2.2-update_dmcrypt scenario

This performs a rolling update on a cluster using dmcrypt dedicated
journals.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

rolling-update: do not use upstart to stop mons when using systemd

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-common: do not get current fsid when performing a rolling_update

This avoids a situation where during a rolling_update we try to talk to
a mon to get the fsid and if that mon is down the playbook hangs
indefinitely.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-common: use yum_repository when adding the ceph_stable repo

This gives us more flexibility than installing the ceph-release package
as we can easily use different mirrors. Also, I noticed an issue when
upgrading from jewel -> kraken as the ceph-release package for those
releases both have the same version number and yum doesn't know to
update anything.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #1324 from ktdreyer/rm-civetweb-port-comment

group_vars: rm Infernalis comment

group_vars: rm Infernalis comment

As of Infernalis, the Ceph daemons run as an unprivileged "ceph" UID,
and this is by design.

Commit f19b765f7995dab4aca46e1885320dc440485ead altered the default
civetweb port from 80 to 8080 with a comment in the commit log about
"until this gets solved"

Remove the comment about permissions on Infernalis, because this is
always going to be the case on the Ceph versions we support, and it
is just confusing.

If users want to expose civetweb to s3 clients using privileged TCP
ports, they can redirect traffic with iptables, or use a reverse proxy
application like HAproxy.

Merge pull request #1325 from ceph/ipv6-rgw-doc

Ipv6 rgw doc

docker-common: sync group_vars file

Signed-off-by: Sébastien Han <seb@redhat.com>

common: add doc for rgw on ipv6

See: https://bugzilla.redhat.com/show_bug.cgi?id=1424799

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1322 from ceph/fix-transparent-page

common: fix "disable transparent hugepage"

Update ceph_keys.yml

jewel version need to build the {{ cluster }}.client.admin.keyring exists key

common: fix "disable transparent hugepage"

To configure kernel the task is using "command" module which is not
respect operator ">". So this task just print to "stdout": "never >
/sys/kernel/mm/transparent_hugepage/enabled"

fix: #1319

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1316 from zhsj/fix-osd-id

fix grep match pattern for osd ids

fix grep match pattern for osd ids

Some playbooks use [0-9]*, others use \d+$
The latter is more correct since cluster name may contain numbers.

Signed-off-by: Shengjing Zhu <zsj950618@gmail.com>

Merge pull request #1313 from ceph/docker-systemd-units

docker: homogenise systemd file location

docker: homogenise systemd file location

So unit files were stored in /var/lib/ceph some where in
/etc/systemd/system. Now they are all under /etc/systemd/system.

closes: #1296

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1311 from ceph/BZ-1414647

purge-cluster: also purge dmcrypt dedicated journals

purge-cluster: also purge dmcrypt dedicated journals

See: https://bugzilla.redhat.com/show_bug.cgi?id=1414647

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #1307 from ceph/rgw-configure

rgw-standalone.yml will also now collect keys

rgw-standalone: also fetch keys from mons

This is to allow for ceph-installer usage of this playbook and
to ensure that you have the correct keys locally when bootstrapping.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #1306 from ceph/BZ-1422134

purge-cluster: remove calamari-server package

purge-cluster: remove calamari-server package

See: https://bugzilla.redhat.com/show_bug.cgi?id=1422134

Signed-off-by: Andrew Schoen <aschoen@redhat.com>
Resolves rhbz#1422134

Merge pull request #1304 from guits/fix_1300

Skip facts_mon_fsid.yml if cephx is disabled

Merge pull request #1301 from guits/fix_1294

Check if ceph_conf_overrides.global is defined before calling it

Merge pull request #1302 from ceph/docker-pull

docker: use a better method to pull images

Skip facts_mon_fsid.yml if cephx is disabled

If cephx is disabled it is not necessary to include `facts_mon_fsid.yml`
in `roles/ceph-common/tasks/facts.yml`.

Fix: #1300
Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1305 from guits/quick_fix

bugfix: Add missing conditions for kraken release

bugfix: Add missing conditions for kraken release

76ddcbc introduced an issue by removing some needed conditions on tasks
that need to be run only on release >= kraken.