common: do not regenerate initial mon keyring if cluster exists

This commit solves the situation where you lost your fetch directory and
you are running ansible against an existing cluster. Since no fetch
directory is present the file containing the initial mon keyring
doesn't exist so we are generating a new one.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1190 from zhsj/fix-rest-api

fix ceph-rest-api not using correct configure file

fix ceph-rest-api not using correct configure file

Signed-off-by: Shengjing Zhu <zsj950618@gmail.com>

Merge pull request #1186 from ceph/apt-pining

common: set apt pinning with Red Hat Ceph Storage

Merge pull request #1187 from ceph/wait-for

common: show which file we are waiting for

common: show which file we are waiting for

We can now see the name of the file we are waiting for, depending on the
cluster name this will change.

Signed-off-by: Sébastien Han <seb@redhat.com>

common: remove uncessary conditions and spell red hat entirely

We do not need to run another condition for 'ceph_rhcs' since the
include we came from already has it, so we are already inside this
condition.
We also spell red hat entirely instead of rh and we remove capital
letters.

Signed-off-by: Sébastien Han <seb@redhat.com>

common: set apt pinning with Red Hat Ceph Storage

When `ceph_stable_rh_storage` is True, every cluster node should have a
`/etc/apt/preferences.d/rhcs.pref` file with the following contents:

```
Explanation: Prefer Red Hat packages
Package: *
Pin: release o=/Red Hat/
Pin-Priority: 999
```

ceph-deploy already did this when used with ice-setup, and we need to do
the same thing with the ceph-ansible stack.

Closes: #1182 and https://bugzilla.redhat.com/show_bug.cgi?id=1404515
Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1180 from ceph/ceph-installer-sync

changes needed for ceph-installer support

ensure site.yml.sample always gathers facts and installs python2

Then avoids an issue where if you're using tags to run the playbook then
no facts are gathered, resulting in subsequent tasks failing that depend
on them.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

adds the infrastructure-playbooks dir to the rpm packaging

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #1184 from ceph/rhbz-1403576

ceph-agent: do not check for subscription manager for agent install

ceph-agent: do not check for subscription manager for agent install

Signed-off-by: Alfredo Deza <adeza@redhat.com>
Resolves: rhbz#1403576

Merge pull request #1183 from zhsj/fix-custom-repo

fix ceph_custom not usable

Merge pull request #1181 from tynorth-cisco/key-issue

Change attribute call to .get call in ceph keys

Merge pull request #1176 from jstuever/action_plugins

Adding symlink to action_plugins so this works in ansible tower

fix ceph_custom not usable

Only when ceph_origin == "upstream", install_on_redhat.yml will include
redhat_ceph_repository.yml, same as debian.

In redhat_ceph_repository.yml, ceph_custom_repo will be added.

But in check_mandatory_vars.yml, ceph_origin=="upstream" can't be combined
with ceph_custom

Change attribute call to .get call in ceph keys

If previous check was not run, .stdout_lines is not a valid key on the dictionary.
To get around this, use .get("stdout_lines") instead.

Also add in a default empty list

Merge pull request #1158 from ceph/ceph-ansible-docker-vars

docker: consolidate ceph-ansible and ceph-docker varible

Merge pull request #1170 from font/docker_devices

Add devices variable for Vagrantfile docker case

Merge pull request #1174 from ceph/evelu-doc

README: Adding mailing list / irc / github entry points

Merge pull request #1177 from ceph/makefile-version-detection

Makefile: strip "v" from RPM versions, and improve version detection

Makefile: improve version detection

Prior to this change, if there was a stray tag in the repository that
did not start with a "v", the Makefile would still try to use that tag
as a version tag when constructing the RPMs.

Only use the tags that start with "v", in this case.

Makefile: strip "v" from RPM versions

Prior to this change, all RPMs would have a Version field that started
with "v", for example "ceph-ansible-v2.0.0-163.g2c98b1d.el7"

Strip the "v" out in these cases, so that the version is simply a
number.

Adding symlink to action_plugins so this works in ansible tower

README: Adding mailing list / irc / github entry points

For new comers, it's easier to find irc & the mailing list if we
mention them here.

common: do not run tasks in main.yml, use include

For readibility and clarity we do not run any tasks directly in the
main.yml file. This file should only contain include, which helps us
later to apply conditionnals if we want to.

Signed-off-by: Sébastien Han <seb@redhat.com>

common: move mandatory variables to their respective roles

Signed-off-by: Sébastien Han <seb@redhat.com>

docker: consolidate ceph-ansible and ceph-docker varible

This commit re-uses some of the existing ceph-ansible variables for a
containirzed deployment. There is no reasons why we should add new
variables for the containerized deployment.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1169 from ceph/shaman-support

Shaman support for `ceph_dev`

Merge pull request #1165 from opsta/master

Improve script to install Ceph AIO without Vagrant

Remove osd pool default min size variable

Add devices variable for Vagrantfile docker case

ceph-common: fetch ceph_dev repo contents for CentOS from shaman

Signed-off-by: Alfredo Deza <adeza@redhat.com>

ceph-common: remove ceph_dev* vars that are no longer needed

Signed-off-by: Alfredo Deza <adeza@redhat.com>

group_vars: remove ceph_dev* vars that are no longer needed

Signed-off-by: Alfredo Deza <adeza@redhat.com>

ceph-common: fetch ceph_dev repo contents for debian from shaman

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #1168 from Logan2211/fix-mons-check

Fix the mons running check to use group name var

Fix the mons running check to use group name var

mon_group_name variable can be used to override mons group, but
this task assumes the group is always 'mons'. So we need to use
the var to find the group name instead.

Merge pull request #1157 from ceph/ceph-fsid

common: do not regenerate a cluster fsid if cluster exits

Merge pull request #1162 from ceph/timeout-collect-keys

mon: remove collect keys

Use ceph_conf_overrides to config default pool size

Merge pull request #1150 from ceph/testinfra

tests: use testinfra to verify cluster setup in our CI tests

Remove variables that can be override with ceph_conf_overrides

- Remove check host key
- Remove sudo when install Ansible

- Add option to configure default pool size
- Add option not to install MDS and RGW
- Improve ssh_setup to check if file and key already exist
- Improve populate_vars for safety rerun for idempotent
- Change path of inventory file to where ansible run. So this won't pollute the system

Add mon_pg_warn_max_per_osd, osd_pool_default_size and osd_pool_default_min_size variables

Merge pull request #1164 from guits/master

git: update gitignore

git: update gitignore

* ignore `*.retry` files in general

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

tests: adds an osds parameter to the node fixture

The osds are named differently for systemd in containerized deployments
so this new parameter is used to make that change transparent in the
tests.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: mark tests with no_docker that fail on containerized deployments

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: adds a docker property to the node fixture

This is used to skip tests that will not work with containerized
deployment or atomic hosts.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: adds a docker: true var to the docker_cluster scenario

This lets the CI tests know that this scenario is using docker and
should skip certain tests.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

docker: fix ceph.conf generation for multiple mons

Before this patch only the address for the first mon would show
in the ceph.conf even if there were multiple mons in the inventory.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: account for multiple osd hosts when testing if all are up and in

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: ensure all osds are listening on the cluster network

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: test that all osds are listening on the public network

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: add num_devices to node fixture

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

mon: remove collect keys

Once the monitor process starts it will also trigger `ceph-create-keys`
which will collect the admin key and bootstrap keys. We used to force
this command because we were having issues on some distros like centos
7.0 and 7.1 not triggering this. This is fixed on centos 7.2 and not an
issue on ubuntu 14.04 or 16.04 so we can remove this task. If the
monitor hangs or fails to start the playbook will fail right after at
the "wait for client.admin key exists" task after 300sec.

Closes: #1161
Signed-off-by: Sébastien Han <seb@redhat.com>

common: do not regenerate a cluster fsid if cluster exists

This commit solves the situation where you lost your fetch directory and
you are running ansible against an existing cluster. Since no fetch
directory is present the file containing the fsid doesn't exist so we
are creating a new one. Later the ceph.conf gets updated with a wrong
fsid which causes problems for clients and ceph processes.

Closes: #1148
Signed-off-by: Sébastien Han <seb@redhat.com>

tests: adds a comment to the setup.yml playbook for clarification

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: skip installing net-tools on atomic hosts

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: dmcrypt_journal_collocation should run journal collocation tests

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: use cluster_name in tests when needed

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: use node["conf_path"] instead of hardcoding the path in tests

This also accounts for the cluster having a custom cluster name

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: add cluster_name and conf_path to the node fixture

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: include the number of mons as a attribute on node

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: update skip messages in conftest.py

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: rename vars to ansible_vars in conftest.node

This is to avoid redefining the builtin vars()

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: rename CephNode to node and add a bit of documentation

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: with testinfra we don't need scenario.py files anymore

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: tests for collocated journals

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: add a journal_collocation tag to collocated journal tests

The test will be skipped if journal_collocation is not True in the
group_vars for the scenario.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: ensure ceph-mon is installed on mons

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: make sure all osds are mounted

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: adds some basic tests for OSD nodes

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

testing: CephNode should return osd_ids

This is an empty list on anything but an OSD node. These ids will be
used for further OSD testing.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: remove test files that are not used anymore

These tests have been replaced by the ones in test_install.py

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: test ceph.conf using testinfra modules

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: ensure tests marked with 'all' run on every node

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: the CephNode fixture should provide the cluster subnet

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: tests mon services to ensure they are running correctly

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: run testinfra with --sudo

It needs this so that the modules can use sudo

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: run the setup.yml playbook with tox

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: include a playbook to install net-tools for socket checks

This playbook could be used in the future to install anything else we
need on these nodes for testing purposes.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: return address and ansible vars from CephNode

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: port tests/functional/test_install.py to use testinfra fixtures

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: change conftest.py to support dynamic markers and test selection

This applies correct markers to tests depending on their file path.
Tests that live at the root of tests/functional/tests will be given a
marker of 'all' and apply to any type of ceph node.

Tests that live in tests/functional/tests/mon will get the
'mons' marker and will only run for nodes in the 'mons' group.

Tests that live in tests/functional/tests/osd will get the 'osds'
marker and will only run for nodes in the 'osds' group.

All tests must use the CephNode fixture for this to work and be
parameterized by testinfra.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: use testinfra in tox.ini instead of pytest directly

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #1155 from ceph/take-over-fix

take-over: use more precise ceph.conf detection

take-over: use more precise ceph.conf detection

Prior to this patch we were just looking for any *.conf file which
sometimes could results in multiple matches. The new command looks for a
.conf file that must contain [global] and 'fsid' patterns. This will
definitely get us the ceph.conf file. We can not directly use ceph.conf
because of a different cluster name.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1152 from ceph/gitignore-travis

Gitignore travis

git: update gitignore

* ignore yml files in general
* refactor based on commit f8e043b6ea5ac4e886532d4f2f675c507b44b955 that
changed directory layouts

Signed-off-by: Sébastien Han <seb@redhat.com>
(cherry picked from commit ec5c6f5da566611c4e0b88f925cbd26dc90368d6)

ci: remove travis

since now we have the ceph CI taking care of the syntax check we don't
need travis anymore. Thanks Travis you served us well!

Signed-off-by: Sébastien Han <seb@redhat.com>
(cherry picked from commit 9fbe65cb72e01c586af3a27788c8e3e9549e0abf)

Merge pull request #1144 from yanshanchen/fix-shrink-osd-regex

the pattern in regex_replace is not right when the pid of osd is bigger  than 9999

this patch fix the regex pattern in infrastructure-playbooks/shrink-osd.yml  when the  osd's pid num is bigger than 9999

Signed-off-by: chenyanshan <yanshanchen@139.com>

Merge pull request #1141 from ceph/more-mons

centos7_cluster and xenial_cluster scenarios should use 3 mons

tests: make centos7_cluster use three mons

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: rename the directory for centos7_cluster

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

tests: removes unused xenial_conf_tests and xenial_mon_osd scenarios

Signed-off-by: Andrew Schoen <aschoen@redhat.com>