Merge pull request #1339 from ceph/rgw-remove-sudo

rgw: remove sudoers file

Merge pull request #1346 from ceph/fix-rhcs-rhel-supported-message

check_system: improve RHCS support message and version comparison

check_system: improve RHCS support message and version comparison

"red hat storage" -> "red hat ceph storage"

"RHEL 7.1" -> "RHEL 7"

and make the version number check verify the very latest version

https://bugzilla.redhat.com/show_bug.cgi?id=1354059

Merge pull request #1328 from guits/fix_1303

docker: Fix #1303

docker: Fix #1303

Install package from official repos rather than pip when using RHEL.

This commit fix https://bugzilla.redhat.com/show_bug.cgi?id=1420855

Also this commit Refact all `roles/ceph-*/tasks/docker/pre_requisite.yml`
to avoid a lot of duplicated code.

Fix: #1303
Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

rgw: remove sudoers file

This was needed for Hammer and older version, not needed anymore since
we have a 'ceph' user to run ceph processes.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1334 from yangyimincn/yangyimincn-patch-1

rolling_update check monitor quorum error

Update rolling_update.yml

The task waiting for the monitor to join the quorum... , the result for ceph -s | grep monmap only contain monmap, not included quorum:

# ceph -s --cluster ceph | grep monmap
     monmap e1: 3 mons at {sh-office-ceph-1=10.12.10.34:6789/0,sh-office-ceph-2=10.12.10.35:6789/0,sh-office-ceph-3=10.12.10.36:6789/0}

If want to get monitor, should use this:

# ceph -s --cluster ceph | grep election
            election epoch 80, quorum 0,1 sh-office-ceph-1,sh-office-ceph-2

ceph verison: 10.2.5

Merge pull request #1329 from guits/fix_1314

ceph-mon: Check if ceph filesystem exists

ceph-mon: Check if ceph filesystem exists

Check if ceph filesystem already exists before creating it.
If the ceph filesystem doesn't exist, execute the task only on one node.

Fix: #1314
Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1330 from ceph/fix-cluster-name-take-over

infra: fix cluster name detection

infra: fix cluster name detection

The previous command was returning /etc/ceph/ceph.conf, we only need
'ceph' to be returned.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1287 from ceph/no-priviledge-mode

No priviledge mode

tests: when using pytest mark decorators ensure all fixtures are defined

Decorating a test method directly with a pytest mark seems to break if
the test function does not explicitly define all pytest fixtures it
expects to recieve.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ci: decorate the tests to not run on docker scenario

Certain scenario won't work on containerized deployment. So we decorate
them so they can be skipped.

Signed-off-by: Sébastien Han <seb@redhat.com>

ci: fix issue on ansible2.2-docker_dedicated_journal

journal_collocation was enabled so the test suite was testing this
scenario and obviously failed since there is no second partition to
verify.

Signed-off-by: Sébastien Han <seb@redhat.com>

ci: do not use atomic host for ansible2.2-docker_dedicated_journal

Switch to CentOS since Atomic host does not have the right Docker
version.

Signed-off-by: Sébastien Han <seb@redhat.com>

ci: set a different directory for ceph osd docker run script

/usr/share is not writable on Atomic Host so we use /var/tmp instead.

Signed-off-by: Sébastien Han <seb@redhat.com>

ci: do not generate random hostname for ansible2.2-docker_dedicated_journal

This fixes the error: Call to virDomainCreateWithFlags failed: internal
error: Monitor path
/var/lib/libvirt/qemu/domain-docker-cluster-dedicated-journal_osd0_1487692576_dbfc21d851071d3e2cd2/monitor.sock
too big for destination

Signed-off-by: Sébastien Han <seb@redhat.com>

mon: docker, ability to enable centos extra repo

Signed-off-by: Sébastien Han <seb@redhat.com>

docker: osd, clarify variable usage for scenarii

Signed-off-by: Sébastien Han <seb@redhat.com>

purge-docker: re-implement zap devices

We now run the container and waits until it dies. Prior to this we were
stopping it before completion so not all the devices where zapped.

Signed-off-by: Sébastien Han <seb@redhat.com>

docker: make ceph docker osd script path

Since distro will not allow /usr/share to be writable (e.g: atomic) so
we let the operator decide where to put that script.

Signed-off-by: Sébastien Han <seb@redhat.com>

ci: add docker-cluster-dmcrypt-journal-collocation scenario

Signed-off-by: Sébastien Han <seb@redhat.com>

tests: enable the docker_dedicated_journal scenario

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: add scenario for dedicated-journal on docker

Signed-off-by: Sébastien Han <seb@redhat.com>

docker: osd, do not use priviledged container anymore

Oh yeah! This patch adds more fine grained control on how we run the
activation osd container. We now use --device to give a read, write and
mknodaccess to a specific device to be consumed by Ceph. We also use
SYS_ADMIN cap to allow mount operations, ceph-disk needs to temporary
mount the osd data directory during the activation sequence.

This patch also enables the support of dedicated journal devices when
deploying ceph-docker with ceph-ansible.

Depends on https://github.com/ceph/ceph-docker/pull/478

Signed-off-by: Sébastien Han <seb@redhat.com>

purge-docker: also purge journal devices

Signed-off-by: Sébastien Han <seb@redhat.com>

docker: osd, do not skip on failure

If the systemd unit file can not be generated we should fail, same for
systemd enable and reload.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1315 from ceph/rolling-update-tests

adds a testing scenario for rolling updates

update group_vars sample for rolling_update variable

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-common: remove infernalis comment on radosgw_civetweb_port

As of Infernalis, the Ceph daemons run as an unprivileged "ceph" UID,
and this is by design.

Commit f19b765 altered the default
civetweb port from 80 to 8080 with a comment in the commit log about
"until this gets solved"

Remove the comment about permissions on Infernalis, because this is
always going to be the case on the Ceph versions we support, and it
is just confusing.

If users want to expose civetweb to s3 clients using privileged TCP
ports, they can redirect traffic with iptables, or use a reverse proxy
application like HAproxy.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: adds a new ansible2.2-update_dmcrypt scenario

This performs a rolling update on a cluster using dmcrypt dedicated
journals.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

rolling-update: do not use upstart to stop mons when using systemd

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-common: do not get current fsid when performing a rolling_update

This avoids a situation where during a rolling_update we try to talk to
a mon to get the fsid and if that mon is down the playbook hangs
indefinitely.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-common: use yum_repository when adding the ceph_stable repo

This gives us more flexibility than installing the ceph-release package
as we can easily use different mirrors. Also, I noticed an issue when
upgrading from jewel -> kraken as the ceph-release package for those
releases both have the same version number and yum doesn't know to
update anything.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #1324 from ktdreyer/rm-civetweb-port-comment

group_vars: rm Infernalis comment

group_vars: rm Infernalis comment

As of Infernalis, the Ceph daemons run as an unprivileged "ceph" UID,
and this is by design.

Commit f19b765f7995dab4aca46e1885320dc440485ead altered the default
civetweb port from 80 to 8080 with a comment in the commit log about
"until this gets solved"

Remove the comment about permissions on Infernalis, because this is
always going to be the case on the Ceph versions we support, and it
is just confusing.

If users want to expose civetweb to s3 clients using privileged TCP
ports, they can redirect traffic with iptables, or use a reverse proxy
application like HAproxy.

Merge pull request #1325 from ceph/ipv6-rgw-doc

Ipv6 rgw doc

docker-common: sync group_vars file

Signed-off-by: Sébastien Han <seb@redhat.com>

common: add doc for rgw on ipv6

See: https://bugzilla.redhat.com/show_bug.cgi?id=1424799

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1322 from ceph/fix-transparent-page

common: fix "disable transparent hugepage"

common: fix "disable transparent hugepage"

To configure kernel the task is using "command" module which is not
respect operator ">". So this task just print to "stdout": "never >
/sys/kernel/mm/transparent_hugepage/enabled"

fix: #1319

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1316 from zhsj/fix-osd-id

fix grep match pattern for osd ids

fix grep match pattern for osd ids

Some playbooks use [0-9]*, others use \d+$
The latter is more correct since cluster name may contain numbers.

Signed-off-by: Shengjing Zhu <zsj950618@gmail.com>

Merge pull request #1313 from ceph/docker-systemd-units

docker: homogenise systemd file location

docker: homogenise systemd file location

So unit files were stored in /var/lib/ceph some where in
/etc/systemd/system. Now they are all under /etc/systemd/system.

closes: #1296

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1311 from ceph/BZ-1414647

purge-cluster: also purge dmcrypt dedicated journals

purge-cluster: also purge dmcrypt dedicated journals

See: https://bugzilla.redhat.com/show_bug.cgi?id=1414647

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #1307 from ceph/rgw-configure

rgw-standalone.yml will also now collect keys

rgw-standalone: also fetch keys from mons

This is to allow for ceph-installer usage of this playbook and
to ensure that you have the correct keys locally when bootstrapping.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #1306 from ceph/BZ-1422134

purge-cluster: remove calamari-server package

purge-cluster: remove calamari-server package

See: https://bugzilla.redhat.com/show_bug.cgi?id=1422134

Signed-off-by: Andrew Schoen <aschoen@redhat.com>
Resolves rhbz#1422134

Merge pull request #1304 from guits/fix_1300

Skip facts_mon_fsid.yml if cephx is disabled

Merge pull request #1301 from guits/fix_1294

Check if ceph_conf_overrides.global is defined before calling it

Merge pull request #1302 from ceph/docker-pull

docker: use a better method to pull images

Skip facts_mon_fsid.yml if cephx is disabled

If cephx is disabled it is not necessary to include `facts_mon_fsid.yml`
in `roles/ceph-common/tasks/facts.yml`.

Fix: #1300
Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1305 from guits/quick_fix

bugfix: Add missing conditions for kraken release

bugfix: Add missing conditions for kraken release

76ddcbc introduced an issue by removing some needed conditions on tasks
that need to be run only on release >= kraken.

Check if ceph_conf_overrides.global is defined before calling it

Expand the fix in #1291 to all the playbook in order to get a full coverage.

Fix: #1294
Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

docker: use a better method to pull images

We changed the way we declare image.
Prior to this patch we must have a "user/image:tag"
format, which is incompatible with non docker-hub registry where you
usually don't have a "user". On the docker hub a "user" is also
identified as a namespace, so for Ceph the user was "ceph".

Variables have been simplified with only:

* ceph_docker_image
* ceph_docker_image_tag

1. For docker hub images: ceph_docker_name: "ceph/daemon" will give
you the 'daemon' image of the 'ceph' user.

2. For non docker hub images: ceph_docker_name: "daemon" will simply
give you the "daemon" image.

Infrastructure playbooks have been modified as well.
The file group_vars/all.docker.yml.sample has been removed as well.
It is hard to maintain since we have to generate it manually. If
you want to configure specific variables for a specific daemon simply
edit group_vars/$DAEMON.yml

Fixes: https://bugzilla.redhat.com/show_bug.cgi?id=1420207
Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1284 from ceph/BZ-1418980

purge-cluster: do not use ceph-detect-init

Merge pull request #1289 from ceph/fix-1286

rolling-update: detect init system properly

purge-cluster: set a default value for fetch_directory if not defined

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

purge-cluster: remove all include tasks

Including variables from role defaults or files in a group_vars
directory relative to the playbook is a bad practice. We don't want to
do this because including these defaults at the task level overrides
values that would be set in a group_vars directory relative to the
inventory file, which is the correct usage if you wish to override
those default values.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

purge-cluster: do not use ceph-detect-init

We can not always ensure that ceph-detect-init will be
present on the system.

See: https://bugzilla.redhat.com/show_bug.cgi?id=1418980

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #1291 from guits/quick_fix

ceph-mon: Fix bug #1242

ceph-mon: Fix bug #1242

We shouldn't test directly the value of
`ceph_conf_overrides.global.osd_pool_default_pg_num` because this can
cause the playbook to fail if the key `global` is not present in
`ceph_conf_overrides`. Therefore we have to use the facts that have been
defined earlier.

Fix: #1242

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1281 from ceph/purge-ceph-detect-init

purge: ability to purge client role

Merge pull request #1290 from zhsj/ceph-mirror

add ceph_mirror variable

rolling-update: detect init system properly

Simply use the ansible_service_mgr fact.

Closes: #1286
Signed-off-by: Sébastien Han <seb@redhat.com>

add ceph_mirror variable

Closes: #1282
Signed-off-by: Shengjing Zhu <zsj950618@gmail.com>

purge-docker: force image deletion

even if non-runnin containers are using this image as a reference.

Signed-off-by: Sébastien Han <seb@redhat.com>

purge: ability to purge client role

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1285 from ceph/BZ-1419814

ceph-common: set ms bind ipv6 = true in ceph.conf when using ipv6

ceph-common: set ms bind ipv6 = true in ceph.conf when using ipv6

This fixes an issue with parsing the ceph.conf file when ip_version is set to
ipv6.

See: https://bugzilla.redhat.com/show_bug.cgi?id=1419814

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #1276 from ceph/tests-osd-failures

tests: if no osds are created do not error in conftest.py

Merge pull request #1267 from ceph/container-systemd

Container systemd

docker: fix monitor addition on kraken

Probably not the best fix but useful for testing. We will remove this
once we find a better workaround.

Signed-off-by: Sébastien Han <seb@redhat.com>

tests: if no osds are created do not error in conftest.py

If no OSDs were created the command would fail and because we were using
check_output it would throw an exception and mark all OSD tests as ERROR.
This keeps tests from running that might tell us why the OSDS were not created.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #1264 from ceph/clarify-osd-logs

osd: clarify osd scenario prepare sequence

Merge pull request #1274 from ceph/skip-check

common: ability to disable handler osd health check

common: ability to disable handler osd health check

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1269 from squizzi/fix-readme-conf-override-underscores

README: Do not recommend using underscores for opts in ceph_conf_overrides

docker: fix restapi key creation with cluster name

Add support for key creation when the cluster name is different than
'ceph'.

Signed-off-by: Sébastien Han <seb@redhat.com>

README: Don't use underscores for opts in ceph_conf_overrides

Adding underscores in the ceph_conf_overrides variable can result in incorrect
config options appearing.  A note has been added to clarify that using
underscores here can cause this behavior and recommending not to do it.

See: https://github.com/ceph/ceph-ansible/issues/1262

Signed-off-by: Kyle Squizzato <ksquizz@gmail.com>

Merge pull request #1266 from ceph/issue-1265

ceph-common: remove absolute path to handler include files

docker: fix mkdir path for all the distros

On ubntu systems mkdir is in /bin where on atomic it is /usr/bin/.
We use the shell built-in function "command" to find its right location.

Signed-off-by: Sébastien Han <seb@redhat.com>

docker: fail if systemd is not present

Since we treat containers as services using systemd, systemd is an
absolute requirement.

Signed-off-by: Sébastien Han <seb@redhat.com>

docker: use systemd to manage container

Since we now only support systemd has an init system we can finally
treat containers as processes using systemd and this for all the
distros.

Signed-off-by: Sébastien Han <seb@redhat.com>

ceph-common: remove absolute path to handler include files

This breaks if the roles don't live in the same place as the playbook.

See: https://github.com/ceph/ceph-ansible/issues/1265

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

osd: clarify osd scenario prepare sequence

we now use the name of the scenario in the prepare task.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #995 from ceph/serial-task

common: serialise host restart

ci: set replica count to 1 since we have a single osd

Signed-off-by: Sébastien Han <seb@redhat.com>

common: serialise host restart

This commits allows us to restart Ceph daemon machine by machine instead
of restarting all the daemons in a single shot.

Rework the structure of the handler for clarity as well.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1243 from guits/refact_code

Remove support of releases prior to Jewel.

Remove support of releases prior to Jewel.

According to #1216, we need to simply the code by removing the
support of anything before Jewel.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Revert "ci: dummy commit to debug"

This reverts commit ff135a50243f35e2345a73de5fb25338dea3d74b.

Merge pull request #1254 from ceph/osd-dir-exist

Osd dir exist and purge fixes

ceph-common: update apt cache in it's own task

Signed-off-by: Andrew Schoen <aschoen@redhat.com>