Fix the mons running check to use group name var

mon_group_name variable can be used to override mons group, but
this task assumes the group is always 'mons'. So we need to use
the var to find the group name instead.

Merge pull request #1157 from ceph/ceph-fsid

common: do not regenerate a cluster fsid if cluster exits

Merge pull request #1162 from ceph/timeout-collect-keys

mon: remove collect keys

Merge pull request #1150 from ceph/testinfra

tests: use testinfra to verify cluster setup in our CI tests

Merge pull request #1164 from guits/master

git: update gitignore

git: update gitignore

* ignore `*.retry` files in general

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

tests: adds an osds parameter to the node fixture

The osds are named differently for systemd in containerized deployments
so this new parameter is used to make that change transparent in the
tests.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: mark tests with no_docker that fail on containerized deployments

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: adds a docker property to the node fixture

This is used to skip tests that will not work with containerized
deployment or atomic hosts.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: adds a docker: true var to the docker_cluster scenario

This lets the CI tests know that this scenario is using docker and
should skip certain tests.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

docker: fix ceph.conf generation for multiple mons

Before this patch only the address for the first mon would show
in the ceph.conf even if there were multiple mons in the inventory.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: account for multiple osd hosts when testing if all are up and in

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: ensure all osds are listening on the cluster network

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: test that all osds are listening on the public network

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: add num_devices to node fixture

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

mon: remove collect keys

Once the monitor process starts it will also trigger `ceph-create-keys`
which will collect the admin key and bootstrap keys. We used to force
this command because we were having issues on some distros like centos
7.0 and 7.1 not triggering this. This is fixed on centos 7.2 and not an
issue on ubuntu 14.04 or 16.04 so we can remove this task. If the
monitor hangs or fails to start the playbook will fail right after at
the "wait for client.admin key exists" task after 300sec.

Closes: #1161
Signed-off-by: Sébastien Han <seb@redhat.com>

common: do not regenerate a cluster fsid if cluster exists

This commit solves the situation where you lost your fetch directory and
you are running ansible against an existing cluster. Since no fetch
directory is present the file containing the fsid doesn't exist so we
are creating a new one. Later the ceph.conf gets updated with a wrong
fsid which causes problems for clients and ceph processes.

Closes: #1148
Signed-off-by: Sébastien Han <seb@redhat.com>

tests: adds a comment to the setup.yml playbook for clarification

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: skip installing net-tools on atomic hosts

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: dmcrypt_journal_collocation should run journal collocation tests

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: use cluster_name in tests when needed

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: use node["conf_path"] instead of hardcoding the path in tests

This also accounts for the cluster having a custom cluster name

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: add cluster_name and conf_path to the node fixture

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: include the number of mons as a attribute on node

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: update skip messages in conftest.py

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: rename vars to ansible_vars in conftest.node

This is to avoid redefining the builtin vars()

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: rename CephNode to node and add a bit of documentation

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: with testinfra we don't need scenario.py files anymore

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: tests for collocated journals

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: add a journal_collocation tag to collocated journal tests

The test will be skipped if journal_collocation is not True in the
group_vars for the scenario.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: ensure ceph-mon is installed on mons

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: make sure all osds are mounted

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: adds some basic tests for OSD nodes

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

testing: CephNode should return osd_ids

This is an empty list on anything but an OSD node. These ids will be
used for further OSD testing.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: remove test files that are not used anymore

These tests have been replaced by the ones in test_install.py

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: test ceph.conf using testinfra modules

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: ensure tests marked with 'all' run on every node

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: the CephNode fixture should provide the cluster subnet

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: tests mon services to ensure they are running correctly

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: run testinfra with --sudo

It needs this so that the modules can use sudo

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: run the setup.yml playbook with tox

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: include a playbook to install net-tools for socket checks

This playbook could be used in the future to install anything else we
need on these nodes for testing purposes.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: return address and ansible vars from CephNode

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: port tests/functional/test_install.py to use testinfra fixtures

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: change conftest.py to support dynamic markers and test selection

This applies correct markers to tests depending on their file path.
Tests that live at the root of tests/functional/tests will be given a
marker of 'all' and apply to any type of ceph node.

Tests that live in tests/functional/tests/mon will get the
'mons' marker and will only run for nodes in the 'mons' group.

Tests that live in tests/functional/tests/osd will get the 'osds'
marker and will only run for nodes in the 'osds' group.

All tests must use the CephNode fixture for this to work and be
parameterized by testinfra.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: use testinfra in tox.ini instead of pytest directly

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #1155 from ceph/take-over-fix

take-over: use more precise ceph.conf detection

take-over: use more precise ceph.conf detection

Prior to this patch we were just looking for any *.conf file which
sometimes could results in multiple matches. The new command looks for a
.conf file that must contain [global] and 'fsid' patterns. This will
definitely get us the ceph.conf file. We can not directly use ceph.conf
because of a different cluster name.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1152 from ceph/gitignore-travis

Gitignore travis

git: update gitignore

* ignore yml files in general
* refactor based on commit f8e043b6ea5ac4e886532d4f2f675c507b44b955 that
changed directory layouts

Signed-off-by: Sébastien Han <seb@redhat.com>
(cherry picked from commit ec5c6f5da566611c4e0b88f925cbd26dc90368d6)

ci: remove travis

since now we have the ceph CI taking care of the syntax check we don't
need travis anymore. Thanks Travis you served us well!

Signed-off-by: Sébastien Han <seb@redhat.com>
(cherry picked from commit 9fbe65cb72e01c586af3a27788c8e3e9549e0abf)

Merge pull request #1144 from yanshanchen/fix-shrink-osd-regex

the pattern in regex_replace is not right when the pid of osd is bigger  than 9999

this patch fix the regex pattern in infrastructure-playbooks/shrink-osd.yml  when the  osd's pid num is bigger than 9999

Signed-off-by: chenyanshan <yanshanchen@139.com>

Merge pull request #1141 from ceph/more-mons

centos7_cluster and xenial_cluster scenarios should use 3 mons

tests: make centos7_cluster use three mons

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: rename the directory for centos7_cluster

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: removes unused xenial_conf_tests and xenial_mon_osd scenarios

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: rename the directory for xenial_cluster

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: add 2 more mons to xenial_cluster

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #1138 from ceph/docker-scenario

tests: adds a docker_cluster scenario

tests: remove unused group_vars/osds from docker_cluster

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: docker_cluster does not need os_tuning_params

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: docker_cluster should run conf_tests

This also makes the conf_tests take the subnet as input
so multiple scenarios on differing subnets can use these tests.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: use journal_size in ceph_osd_docker_extra_env for docker_cluster

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: remove unsued options from docker_cluster vagrant variables

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: docker_cluster should use 3 mons

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: docker_cluster should use the site-docker.yml playbook

This commits allows for scenarios to pick their own playbook while
defaulting to use site.yml.sample.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-rgw: default rgw_config_keys in defaults/main.yml

This avoid an issue with it being undefined if nfs_obj_gw is
set to False.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: update the group_vars for docker_cluster

Fixes the monitor_interface and sets osd scenario config
options so the mandatory checks pass.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-rgw: no need to use playbook_dir when fetching configs for docker

This avoids a bug when fetch_directory is not a relative to the playbook
directory.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-osd: no need to use playbook_dir when fetching configs for docker

This causes a bug when fetch_directory is not relative to the playbook
directory.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-mon: no need to include playbook_dir when fetching configs

This causes a bug when fetch_directory is not a relative path to the
playbook location.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-mon: adds static: no to an include to avoid an ansible bug

Adding that avoids this bug:

https://github.com/ansible/ansible/issues/18206

Without that you'll get failures like:

TASK [ceph-mon : set keys permissions]
*****************************************
task path:
/home/andrewschoen/ceph-ansible/roles/ceph-mon/tasks/ceph_keys.yml:31
fatal: [mon0]: FAILED! => {"failed": true, "msg": "'dict object' has no attribute 'stdout_lines'"}

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: adds a docker_cluster scenario

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: change the subnet on dmcrypt-journal-collocation

It was currently set conflicting with dmcrypt-journal

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #1139 from ceph/last-cleanup-apache

common: remove apache file

common: remove apache file

we recently dropped the support for apache with rgw, so this commit
removes the last remaining file.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1135 from guits/master

Add gluster nfs ganesha repo only for Ubuntu

Add gluster nfs ganesha repo only for Ubuntu

According to the official documentation, adding PPA is not available for Debian.

Merge pull request #1125 from guits/master

Use 'package' module instead of yum, apt and dnf

Merge pull request #1131 from guits/refact_code

Refact temporary vars in ceph-common defaults.

Refact temporary vars in ceph-common defaults.

These variables were defined here to be sure that
`roles/ceph-common/tasks/checks/check_mandatory_vars.yml` has all variables defined.

Merge pull request #1132 from ktdreyer/no-ceph-extra

rm ceph-extra.repo and redhat_distro_ceph_extra variable

rm ceph-extra.repo and redhat_distro_ceph_extra variable

We removed the "apache" setting for "radosgw_frontend" in
adfdf6871e1172b542342064c13147789f39571a.

As part of that change, we removed the final references to
ceph-extra.repo, but I failed to clean up this file itself.

Now that nothing uses this file, delete it.

This file contained the sole reference to redhat_distro_ceph_extra, so
we can drop that variable as well.

Merge pull request #1130 from ceph/colocated-tests

initial pass on tests for collocated journals

tests: use underscores to prevent tox combinatorial issues

Signed-off-by: Alfredo Deza <adeza@redhat.com>
Resolves: colocated#tests

Use 'package' module instead of yum, apt and dnf

Refactor the code using 'package' module

Fix Issue #520

(However it doesn't cover all cases because some cases are not refactorable.
Ex: because of diverging packages name between distribution)

tests: specify the devices for OSDs in the scenario for collocation

Signed-off-by: Alfredo Deza <adeza@redhat.com>
Resolves: colocated#tests

tests: create tests for collocated journals

Signed-off-by: Alfredo Deza <adeza@redhat.com>
Resolves: colocated#tests

contrib: untrap before calling popd

we need to untrap before calling popd if the script is being run from a
directory different than the git repo. popd will go back to the previous
directory and trap will execute reset_hard_origin function on EXIT.
If we are not in the righ directory, this will fail.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1127 from ceph/osd-scenarios

testing dmcrypt OSD scenarios

tests: change centos7-cluster to use raw_multi_journal

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: change xenial-cluster to use raw_multi_journal

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

testing: change raw-multi-journal to journal-collocation

We want to test journal collocation here because we're gonna switch
xenial-cluster and centos7-cluster to use a dedicated journal.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

testing: rename the dmcrypt-dedicated-journal to dmcrypt-journal

We're going to assume all scenarios use a dedicated journal unless
otherwise specified.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

contrib: don't fetch tags since we push force

reverting 4be9c52bafdf4b55edde2aebce9607268a7871e3

Signed-off-by: Sébastien Han <seb@redhat.com>

tests: make Vagrantfile a symlink for dmcrypt scenarios

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: adds a scenario using OSD dmcrypt_journal_collocation

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: adds a dmcrypt-dedicated-journal testing scenario

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

contrib: use push force because of the CI

If we don't force push we won't be able to push new content from
jenkins.

Signed-off-by: Sébastien Han <seb@redhat.com>