tests: with testinfra we don't need scenario.py files anymore

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: tests for collocated journals

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: add a journal_collocation tag to collocated journal tests

The test will be skipped if journal_collocation is not True in the
group_vars for the scenario.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: ensure ceph-mon is installed on mons

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: make sure all osds are mounted

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: adds some basic tests for OSD nodes

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

testing: CephNode should return osd_ids

This is an empty list on anything but an OSD node. These ids will be
used for further OSD testing.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: remove test files that are not used anymore

These tests have been replaced by the ones in test_install.py

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: test ceph.conf using testinfra modules

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: ensure tests marked with 'all' run on every node

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: the CephNode fixture should provide the cluster subnet

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: tests mon services to ensure they are running correctly

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: run testinfra with --sudo

It needs this so that the modules can use sudo

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: run the setup.yml playbook with tox

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: include a playbook to install net-tools for socket checks

This playbook could be used in the future to install anything else we
need on these nodes for testing purposes.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: return address and ansible vars from CephNode

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: port tests/functional/test_install.py to use testinfra fixtures

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: change conftest.py to support dynamic markers and test selection

This applies correct markers to tests depending on their file path.
Tests that live at the root of tests/functional/tests will be given a
marker of 'all' and apply to any type of ceph node.

Tests that live in tests/functional/tests/mon will get the
'mons' marker and will only run for nodes in the 'mons' group.

Tests that live in tests/functional/tests/osd will get the 'osds'
marker and will only run for nodes in the 'osds' group.

All tests must use the CephNode fixture for this to work and be
parameterized by testinfra.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: use testinfra in tox.ini instead of pytest directly

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #1155 from ceph/take-over-fix

take-over: use more precise ceph.conf detection

take-over: use more precise ceph.conf detection

Prior to this patch we were just looking for any *.conf file which
sometimes could results in multiple matches. The new command looks for a
.conf file that must contain [global] and 'fsid' patterns. This will
definitely get us the ceph.conf file. We can not directly use ceph.conf
because of a different cluster name.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1152 from ceph/gitignore-travis

Gitignore travis

git: update gitignore

* ignore yml files in general
* refactor based on commit f8e043b6ea5ac4e886532d4f2f675c507b44b955 that
changed directory layouts

Signed-off-by: Sébastien Han <seb@redhat.com>
(cherry picked from commit ec5c6f5da566611c4e0b88f925cbd26dc90368d6)

ci: remove travis

since now we have the ceph CI taking care of the syntax check we don't
need travis anymore. Thanks Travis you served us well!

Signed-off-by: Sébastien Han <seb@redhat.com>
(cherry picked from commit 9fbe65cb72e01c586af3a27788c8e3e9549e0abf)

Merge pull request #1144 from yanshanchen/fix-shrink-osd-regex

the pattern in regex_replace is not right when the pid of osd is bigger  than 9999

this patch fix the regex pattern in infrastructure-playbooks/shrink-osd.yml  when the  osd's pid num is bigger than 9999

Signed-off-by: chenyanshan <yanshanchen@139.com>

Merge pull request #1141 from ceph/more-mons

centos7_cluster and xenial_cluster scenarios should use 3 mons

tests: make centos7_cluster use three mons

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: rename the directory for centos7_cluster

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: removes unused xenial_conf_tests and xenial_mon_osd scenarios

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: rename the directory for xenial_cluster

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: add 2 more mons to xenial_cluster

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #1138 from ceph/docker-scenario

tests: adds a docker_cluster scenario

tests: remove unused group_vars/osds from docker_cluster

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: docker_cluster does not need os_tuning_params

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: docker_cluster should run conf_tests

This also makes the conf_tests take the subnet as input
so multiple scenarios on differing subnets can use these tests.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: use journal_size in ceph_osd_docker_extra_env for docker_cluster

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: remove unsued options from docker_cluster vagrant variables

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: docker_cluster should use 3 mons

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: docker_cluster should use the site-docker.yml playbook

This commits allows for scenarios to pick their own playbook while
defaulting to use site.yml.sample.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-rgw: default rgw_config_keys in defaults/main.yml

This avoid an issue with it being undefined if nfs_obj_gw is
set to False.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: update the group_vars for docker_cluster

Fixes the monitor_interface and sets osd scenario config
options so the mandatory checks pass.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-rgw: no need to use playbook_dir when fetching configs for docker

This avoids a bug when fetch_directory is not a relative to the playbook
directory.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-osd: no need to use playbook_dir when fetching configs for docker

This causes a bug when fetch_directory is not relative to the playbook
directory.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-mon: no need to include playbook_dir when fetching configs

This causes a bug when fetch_directory is not a relative path to the
playbook location.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-mon: adds static: no to an include to avoid an ansible bug

Adding that avoids this bug:

https://github.com/ansible/ansible/issues/18206

Without that you'll get failures like:

TASK [ceph-mon : set keys permissions]
*****************************************
task path:
/home/andrewschoen/ceph-ansible/roles/ceph-mon/tasks/ceph_keys.yml:31
fatal: [mon0]: FAILED! => {"failed": true, "msg": "'dict object' has no attribute 'stdout_lines'"}

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: adds a docker_cluster scenario

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: change the subnet on dmcrypt-journal-collocation

It was currently set conflicting with dmcrypt-journal

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #1139 from ceph/last-cleanup-apache

common: remove apache file

common: remove apache file

we recently dropped the support for apache with rgw, so this commit
removes the last remaining file.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1135 from guits/master

Add gluster nfs ganesha repo only for Ubuntu

Add gluster nfs ganesha repo only for Ubuntu

According to the official documentation, adding PPA is not available for Debian.

Merge pull request #1125 from guits/master

Use 'package' module instead of yum, apt and dnf

Merge pull request #1131 from guits/refact_code

Refact temporary vars in ceph-common defaults.

Refact temporary vars in ceph-common defaults.

These variables were defined here to be sure that
`roles/ceph-common/tasks/checks/check_mandatory_vars.yml` has all variables defined.

Merge pull request #1132 from ktdreyer/no-ceph-extra

rm ceph-extra.repo and redhat_distro_ceph_extra variable

rm ceph-extra.repo and redhat_distro_ceph_extra variable

We removed the "apache" setting for "radosgw_frontend" in
adfdf6871e1172b542342064c13147789f39571a.

As part of that change, we removed the final references to
ceph-extra.repo, but I failed to clean up this file itself.

Now that nothing uses this file, delete it.

This file contained the sole reference to redhat_distro_ceph_extra, so
we can drop that variable as well.

Merge pull request #1130 from ceph/colocated-tests

initial pass on tests for collocated journals

tests: use underscores to prevent tox combinatorial issues

Signed-off-by: Alfredo Deza <adeza@redhat.com>
Resolves: colocated#tests

Use 'package' module instead of yum, apt and dnf

Refactor the code using 'package' module

Fix Issue #520

(However it doesn't cover all cases because some cases are not refactorable.
Ex: because of diverging packages name between distribution)

tests: specify the devices for OSDs in the scenario for collocation

Signed-off-by: Alfredo Deza <adeza@redhat.com>
Resolves: colocated#tests

tests: create tests for collocated journals

Signed-off-by: Alfredo Deza <adeza@redhat.com>
Resolves: colocated#tests

contrib: untrap before calling popd

we need to untrap before calling popd if the script is being run from a
directory different than the git repo. popd will go back to the previous
directory and trap will execute reset_hard_origin function on EXIT.
If we are not in the righ directory, this will fail.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1127 from ceph/osd-scenarios

testing dmcrypt OSD scenarios

tests: change centos7-cluster to use raw_multi_journal

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: change xenial-cluster to use raw_multi_journal

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

testing: change raw-multi-journal to journal-collocation

We want to test journal collocation here because we're gonna switch
xenial-cluster and centos7-cluster to use a dedicated journal.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

testing: rename the dmcrypt-dedicated-journal to dmcrypt-journal

We're going to assume all scenarios use a dedicated journal unless
otherwise specified.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

contrib: don't fetch tags since we push force

reverting 4be9c52bafdf4b55edde2aebce9607268a7871e3

Signed-off-by: Sébastien Han <seb@redhat.com>

tests: make Vagrantfile a symlink for dmcrypt scenarios

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: adds a scenario using OSD dmcrypt_journal_collocation

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: adds a dmcrypt-dedicated-journal testing scenario

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

contrib: use push force because of the CI

If we don't force push we won't be able to push new content from
jenkins.

Signed-off-by: Sébastien Han <seb@redhat.com>

tests: rename the centos7-mon-osd scenario to raw-multi-journal

We really only need to test the raw-multi-journal OSD scenario on one
OS and it needed a better name to use with the CI.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

contrib: do a fetch all so we don't push force

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1124 from ceph/galaxy

contrib: It doesn't make sense to pull all tags

contrib: It doesn't make sense to pull all tags

On certain git versions running: git pull origin --tags ends up with the
following error: It doesn't make sense to pull all tags; you probably
meant: git fetch --tags

So removing the --tags since later in the execution we do a git fetch
--tags

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1123 from ceph/galaxy

contrib: add a goto basedir function

contrib: add a goto basedir function

This way if the script is not executed from the git directory we jump
into it, do our stuff and then go back to the dir where the user was.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1121 from D3N14L/master

Reviewed all roles and site.yml.sample and added "always_run: true" where appropriate

Better --check compatibility for ceph-rgw role

Carefully chosen "always_run: true" parameters for read-only tasks that
register variables. This enables --check runs (at least on deployed
clusters).

Better --check compatibility for ceph-restapi role

Carefully chosen "always_run: true" parameters for read-only tasks that
register variables. This enables --check runs (at least on deployed
clusters).

Better --check compatibility for ceph-rbd-mirror role

Carefully chosen "always_run: true" parameters for read-only tasks that
register variables. This enables --check runs (at least on deployed
clusters).

Better --check compatibility for ceph-osd role

Carefully chosen "always_run: true" parameters for read-only tasks that
register variables. This enables --check runs (at least on deployed
clusters).

Better --check compatibility for ceph-nfs role

Carefully chosen "always_run: true" parameters for read-only tasks that
register variables. This enables --check runs (at least on deployed
clusters).

Better --check compatibility for ceph-mon role

Carefully chosen "always_run: true" parameters for read-only tasks that
register variables. This enables --check runs (at least on deployed
clusters).

Better --check compatibility for ceph-mds role

Carefully chosen "always_run: true" parameters for read-only tasks that
register variables. This enables --check runs (at least on deployed
clusters).

Better --check compatibility for ceph-fetch-keys role

Carefully chosen "always_run: true" parameters for read-only tasks that
register variables. This enables --check runs (at least on deployed
clusters).

Better --check compatibility for ceph-common role

Carefully chosen "always_run: true" parameters for read-only tasks that
register variables. This enables --check runs (at least on deployed
clusters).

Better --check compatibility for ceph-common-coreos role

Carefully chosen "always_run: true" parameters for read-only tasks that
register variables. This enables --check runs (at least on deployed
clusters).

Better --check compatibility for ceph-agent role

Carefully chosen "always_run: true" parameters for read-only tasks that
register variables. This enables --check runs (at least on deployed
clusters).

Merge pull request #1102 from Logan2211/fix-default-syntax

Fix jinja defaulting syntax

Merge pull request #1118 from guits/master

[shrink-mon]: force playbook to fail if there is only one mon

[shrink-mon]: force playbook to fail if there is only one mon

The playbook will fail if only 1 mon is in the cluster
and advise to use the `purge-cluster` playbook instead.

Fix #1083

Fix jinja defaulting syntax

a397922 introduced a syntax error by attempting to default an unquoted
string, which causes execution failures on some ansible versions with:

Failed to template {{ ceph_rhcs_mount_path }}: Failed to template {{ ceph_stable_rh_storage_mount_path | default(/tmp/rh-storage-mount) }}: template error while templating string: unexpected '/'

Merge pull request #1117 from D3N14L/master

Improve --check compatibility for ceph-common, ceph-mon and ceph-rgw roles

Merge pull request #1113 from guits/master

All `include_vars` need to have `*.yml`, `*.yaml` or `*.json` extension.

All `include_vars` need to have `*.yml`, `*.yaml` or `*.json` extension.

As introduced in the following PR:
- https://github.com/ansible/ansible/pull/17207
we need to refactor our code.

Better --check compatibility for ceph-rgw role

Carefully chosen "always_run: true" parameters for read-only tasks that
register variables. This enables --check runs (at least on deployed
clusters).

Better --check compatibility for ceph-mon role

Carefully chosen "always_run: true" parameters for read-only tasks that
register variables. This enables --check runs (at least on deployed
clusters).