ceph-ansible: remove useless command for syntax

Because we're now able to execute the infrastructure playbooks from
the main ceph-ansible directory, we don't need to define the ansible
library path (because already define in ansible.cfg).
The roles and group_vars directories are already present in the main
directory so we don't need to copy them anymore.
This commit also exclude both ansible-lint rules: 204 and 205

- [204] Lines should be no longer than 160 chars
- [205] Use ".yml" or ".yaml" playbook extension

Signed-off-by: Dimitri Savineau <dsavinea@redhat.com>

Merge pull request #1299 from ceph/guits-update-pr-syntax

ceph-ansible: give a common inventory for syntax-check

ceph-ansible: give a common inventory for syntax-check

let's provide a typical 'all_daemons' inventory host file for the syntax
check process. Otherwise we can get failure because the site.yml file
contains `hosts:` which try to resolve some `{{ groups }}` variables.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1298 from ceph/guits-add_ca-dashboard

ceph-ansible: add new scenario 'dashboard'

ceph-ansible: add new scenario 'dashboard'

This commit adds a new scenario to test the dashboard deployment.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1297 from ceph/wip-ceph-dev-new-trigger-shaman

ceph-dev-new-trigger: Supply SHAMAN_API_KEY

ceph-dev-new-trigger: Supply SHAMAN_API_KEY

So the job can update build statuses

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #1295 from ceph/wip-jupdates

Fixes/updates for Jenkins rebuild

Change credential ID for ceph-jenkins github account's ssh key

Signed-off-by: David Galloway <dgallowa@redhat.com>

Configure chacra and shaman API keys using credentials binding plugin

Signed-off-by: David Galloway <dgallowa@redhat.com>

ansible: Use LTS repo for Jenkins

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #1294 from ceph/wip-ceph-volume-tox

ceph-volume-pr: run py36 tox tests

ceph-volume-pr: run py36 tox tests

We will now skip any missing interpreters, so we should
run all the tests here always.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #1287 from tspmelo/wip-dashboard-ctest

ceph-dashboard-pull-requests: Disable running tests

Reviewed-by: Laura Paduano <lpaduano@suse.com>
Reviewed-by: Kefu Chai <kchai@redhat.com>

ceph-dashboard-pull-requests: Disable running tests

Since all the tests are already run in make check,
there is no reason to run them again in the dashboard.

Signed-off-by: Tiago Melo <tmelo@suse.com>

Merge pull request #1293 from ceph/dsavineau-ceph-ansible-branch-name

ceph-ansible: use a more meaning syntax on branch

ceph-ansible: use a more meaning syntax on branch

When doing condition on branch it's maybe easier to understand the
condition based on the branch name instead of a regex for excluding
all the other branches.

Signed-off-by: Dimitri Savineau <dsavinea@redhat.com>

Merge pull request #1292 from rishabh-d-dave/add-add_mgrs-to-CI

ceph-ansible: add add_mgrs scenario to CI

ceph-ansible: add add_mgrs scenario to CI

Add add_mgrs scenario to CI so that it can be tested against master and
nautilus.

Signed-off-by: Rishabh Dave <ridave@redhat.com>

Merge pull request #1291 from ceph/rm-trhoden

rm trhoden from admin list

rm trhoden from admin list

Travis has not worked directly on Ceph for a few years.

Merge pull request #1290 from ceph/gregsfortytwo-pr-admin

move gregsfortytwo from whitelist to admin-list

move gregsfortytwo from whitelist to admin-list

Merge pull request #1282 from rishabh-d-dave/add-add_rbdmirrors-to-CI-jobs

ceph-ansible: add add_rbdmirrors scenario to CI

ceph-ansible: add add_rbdmirrors scenario to CI

Add add_rbdmirrors scenario to CI so that it can be tested against
master.

Signed-off-by: Rishabh Dave <ridave@redhat.com>

Merge pull request #1281 from rishabh-d-dave/add-add_rgws-to-CI-jobs

ceph-ansible: add add_rgws scenario to CI

add add_rgws scenario to CI

Add add_rgws scenario to CI so that it can be tested against master.

Signed-off-by: Rishabh Dave <ridave@redhat.com>

Merge pull request #1289 from ceph/guits-quick_fix_ca_syntax

ceph-ansible-syntax: temporary fix CI error

ceph-ansible-syntax: temporary fix CI error

CI is failing at the moment because of a pip error:

```
+ /tmp/venv.x2V7jCYRmJ/bin/pip install pip==10.0.0
Traceback (most recent call last):
  File "/tmp/venv.x2V7jCYRmJ/bin/pip", line 11, in <module>
    load_entry_point('pip==19.1', 'console_scripts', 'pip')()
  File "/tmp/venv.x2V7jCYRmJ/lib/python2.7/site-packages/pkg_resources/__init__.py", line 565, in load_entry_point
    return get_distribution(dist).load_entry_point(group, name)
  File "/tmp/venv.x2V7jCYRmJ/lib/python2.7/site-packages/pkg_resources/__init__.py", line 2631, in load_entry_point
    return ep.load()
  File "/tmp/venv.x2V7jCYRmJ/lib/python2.7/site-packages/pkg_resources/__init__.py", line 2291, in load
    return self.resolve()
  File "/tmp/venv.x2V7jCYRmJ/lib/python2.7/site-packages/pkg_resources/__init__.py", line 2297, in resolve
    module = __import__(self.module_name, fromlist=['__name__'], level=0)
  File "/tmp/venv.x2V7jCYRmJ/lib/python2.7/site-packages/pip/_internal/__init__.py", line 40, in <module>
    from pip._internal.cli.autocompletion import autocomplete
  File "/tmp/venv.x2V7jCYRmJ/lib/python2.7/site-packages/pip/_internal/cli/autocompletion.py", line 8, in <module>
    from pip._internal.cli.main_parser import create_main_parser
  File "/tmp/venv.x2V7jCYRmJ/lib/python2.7/site-packages/pip/_internal/cli/main_parser.py", line 8, in <module>
    from pip._internal.cli import cmdoptions
  File "/tmp/venv.x2V7jCYRmJ/lib/python2.7/site-packages/pip/_internal/cli/cmdoptions.py", line 24, in <module>
    from pip._internal.utils.ui import BAR_TYPES
  File "/tmp/venv.x2V7jCYRmJ/lib/python2.7/site-packages/pip/_internal/utils/ui.py", line 11, in <module>
    from pip._vendor.progress import HIDE_CURSOR, SHOW_CURSOR
ImportError: cannot import name HIDE_CURSOR
```

since I'm unsure we really need to pin pip to 10.0.0 for the syntax
check job let's not use `install_python_packages` function from
`build_utils.sh` to install `ansible-lint`.

I'll revert this patch as soon as I'll have figured out the proper fix
to apply.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1288 from ceph/guits-get_cluster_status

ceph-ansible: try to get cluster status in teardown

ceph-ansible: try to get cluster status in teardown

sometimes it can be useful to get the full ceph cluster status
when troubleshooting CI failures.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1276 from ceph/dsavinea-remove-bluestore-lvm-osds

ceph-ansible: Remove bluestore_lvm_osds scenario

ceph-ansible: Remove bluestore_lvm_osds scenario

Testing bluestore is handled in the lvm_osds scenario. We don't need
a dedicated one for that.

Signed-off-by: Dimitri Savineau <dsavinea@redhat.com>

Merge pull request #1286 from tchaikov/wip-gcc-8-on-bionic

scripts/build_utils.sh: use gcc-8 on bionic

scripts/build_utils.sh: use gcc-8 on bionic

in hope to alleviate the ICE issues when building kvstore_tool.cc

see also https://bugzilla.redhat.com/show_bug.cgi?id=1531154

Signed-off-by: Kefu Chai <kchai@redhat.com>

Merge pull request #1285 from ceph/ceph-medic-py36

ceph-medic-pull-requests python3.6 support

ceph-medic-pull-requests: require a centos7 node

Signed-off-by: Alfredo Deza <adeza@redhat.com>

ceph-medic-pull-requests: install epel and py36

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #1283 from ceph/wip-rpm-macros

ceph-build: Install latest rpm macros

ceph-build: Install latest rpm macros

We should make sure that all the rpm and srpm macros are installed and
at the latest version before installing the build dependencies.

Otherwise, the macros can get updated and we might not get all the
dependencies installed with yum-builddep.

Signed-off-by: Boris Ranto <branto@redhat.com>

Merge pull request #1280 from ceph/guits-fix_pipeline_rgw-multisite

ceph-ansible-pipeline: rgw_multisite fixes for stable-4.0

ceph-ansible-pipeline: rgw_multisite fixes for stable-4.0

These conditions were incorrect for stable-4.0

luminous jobs triggered for stable-4.0

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1278 from ceph/wip-tserlin-nfs-ganesha-stable-revert-back-to-original-repo

nfs-ganesha-stable: revert back to original repo

nfs-ganesha-stable: update ntirpc to 1.7.3

Revert "nfs-ganesha-stable: fix URL in job section of config"

This reverts commit b39dfff02bbc9e19402636c6b8ef0fd856c1647e.

Revert "nfs-ganesha: switch to using our own fork for now"

This reverts commit 43ba6a2c2e38a73caa07cadae0217ccfcbe76d5c.

Merge pull request #1277 from ceph/guits-fix_pipeline

ceph-ansible-pipeline: refact pipeline

ceph-ansible-pipeline: refact pipeline

- remove bluestore_lvm_osds which is no longer needed in stable-4.0 and
master.
- fix stable-4.0 testing: do not play luminous jobs.
- update some scenarios so they are triggered on stable-4.0

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1275 from ceph/guits-revert_6072cff0

Revert "ceph-ansible: add more slaves"

Revert "ceph-ansible: add more slaves"

This reverts commit 6072cff00cd0b6951e97dd39fbc3e6a694d7a0e3.

OVH nodes can't access sepia lab, so they can't get the rhel8 image.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1274 from ceph/guits-add_more_slaves

ceph-ansible: add more slaves

ceph-ansible: remove invalid job in nightly

this job doesn't exist in stable-3.2

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

ceph-ansible: add more slaves

let's try to use ovh slaves as well, at least for master and stable-4.0
jobs.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1273 from ceph/guits-fix_ca_ci

ceph-ansible-pipeline: fix nautilus jobs

ceph-ansible-pipeline: add missing shebang

using /bin/sh makes those condition failing since it doesn't understand
the double brackets.

Thanks @djgalloway

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

ceph-ansible-pipeline: fix nautilus jobs

that condition isn't correct.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1272 from ceph/guits-add_build_retry

ceph-ansible-prs: retry on CI errors

ceph-ansible-prs: retry on CI errors

Retry jobs when we hit an unrelated CI failure.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

ceph-ansible-nightly: remove not valid scenarios

these scenarios are not valid for stable-3.1

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1267 from ceph/guits-run_all_jobs

ceph-ansible-prs: run all jobs for all PRs

ceph-ansible: add nautilus testing

since nautilus / stable-4.0 have been released upstream, let's add
nautilus testing in the CI.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

ceph-ansible-prs: run all jobs for all PRs

ceph-ansible is missing a lot of coverage because we don't run all jobs
on every PR.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1271 from ceph/wip-tserlin-nfs-ganesha-stable-update-14.2.0

nfs-ganesha-stable: update ceph defaults to 14.2.0

nfs-ganesha-stable: update ceph defaults to 14.2.0

Merge pull request #1270 from jtlayton/nfs-ganesha-fork

nfs-ganesha-stable: fix URL in job section of config

nfs-ganesha-stable: fix URL in job section of config

Signed-off-by: Jeff Layton <jlayton@redhat.com>

Merge pull request #1269 from jtlayton/nfs-ganesha-fork

nfs-ganesha: switch to using our own fork for now

nfs-ganesha: switch to using our own fork for now

We are currently building a version of nfs-ganesha for nautilus that
lacks many needed patches. Some of those aren't suitable for inclusion
into V2.7-stable, but are already merged for V2.8 (which isn't released
yet).

Switch (at least for now) to building from a custom branch in the
ceph/nfs-ganesha fork.

Signed-off-by: Jeff Layton <jlayton@redhat.com>

Merge pull request #1268 from ceph/guits-fix_start_tox

start_tox: list scenario in the corresponding tox ini file

start_tox: list scenario in the corresponding tox ini file

since a split of the tox ini file has been introduced in ceph-ansible,
we must compare the scenario by listing them in the right tox ini file
according to the scenario being run.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1258 from rishabh-d-dave/add-add_mds-to-CI-jobs

add add_mdss scenario to CI

add add_mdss scenarion to CI

Add add_mdss scenario to CI so that it can be tested against master.

Signed-off-by: Rishabh Dave <ridave@redhat.com>

Merge pull request #1266 from ceph/wip-tserlin-nfs-ganesha-rm-rf-yum

nfs-ganesha: clean out yum cache before build

nfs-ganesha: clean out yum cache before build

We occasionally see "HTTP Error 404 - Not Found" when the jenkins slave
tries to contact the EPEL mirrors. Clean up the entire /var/cache/yum/
directory and see if that helps.

Reference: https://wiki.centos.org/yum-errors

Merge pull request #1265 from ceph/remoto-ansible-fixes

ansible: remove spec file changes for remoto

ansible: remove spec file changes for remoto

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #1264 from ceph/remoto-packaging

ansible: support remoto packaging for Debian

ansible: allow specifying a remoto release to pick a role

Signed-off-by: Alfredo Deza <adeza@redhat.com>

ansible: add playbooks to package remoto

Signed-off-by: Alfredo Deza <alfredo@deza.pe>

Merge pull request #1263 from ceph/guits-ceph-ansible_split_tox

ceph-ansible: split tox ini file

ceph-ansible: split tox ini file

the tox.ini file in ceph-ansible became too big, this commit is a first
step to split this file.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1262 from ceph/guits-refact_nightly

ceph-ansible: remove add_mons scenario for stable-3.2

ceph-ansible: remove add_mons scenario for stable-3.2

this scenario doesn't exist in stable-3.2

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1261 from ceph/guits-refact_nightly

ceph-ansible: refact nightly jobs

ceph-ansible: refact nightly jobs

due to recent changes in ceph-ansible, let's refact all nightly jobs
accordingly in order to fix jobs in jenkins.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1260 from ceph/guits-add-purge-ubuntu

ceph-ansible-pipeline: add ubuntu purge testing for PRs on master

ceph-ansible-pipeline: add ubuntu purge testing for PRs on master

Add testing against ubuntu for purge scenarios

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1259 from ceph/wip-tserlin-nfs-ganesha-stable-update-defaults

nfs-ganesha-stable: update defaults for nautilus

nfs-ganesha-stable: update defaults for nautilus

Update build defaults for the first release of Nautilus (14.1.0).

Also update ntirpc default to 1.7.2.

Signed-off-by: Thomas Serlin <tserlin@redhat.com>

Merge pull request #1255 from ceph/rm-tcmalloc

build tcmalloc flavors only for CentOS7

ceph-dev-trigger: only build tcmalloc for CentOS7

Signed-off-by: Alfredo Deza <adeza@redhat.com>

ceph-dev-new-trigger: only build tcmalloc for CentOS7

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #1257 from ceph/guits-add_ubuntu_testing

ceph-ansible: reintroduce ubuntu testing

ceph-ansible: reintroduce ubuntu testing

add back ubuntu testing on ceph-ansible PRs.

Closes: ceph/ceph-ansible#3590
Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1256 from rishabh-d-dave/add-add_mons-to-CI

add add_mons scenario to CI

add add_mons scenario to CI

Add add_mons scenario to CI so that it can be tested against master.

Signed-off-by: Rishabh Dave <ridave@redhat.com>

Merge pull request #1254 from ceph/guits-remove_lvm_auto_discovery_32

ceph-ansible: remove lvm_auto_discovery from stable-3.2

ceph-ansible: remove lvm_auto_discovery from stable-3.2

This has not been backported into stable-3.2

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1253 from ceph/guits-fix_sw_32

ceph-ansible: update pipeline

ceph-ansible: update pipeline

Update the name for switch_to_containers job for stable-3.2

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>