ceph-ansible: use more slave in CI

we stopped to use OVH nodes because of an old ceph-disk race condition.
Since ceph-disk isn't present anymore as of nautilus, let's use ovh
nodes again.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1306 from ceph/wip-submodules-trigger

ceph-pr-submodules: add trigger phrase

Reviewed-by: Kefu Chai <kchai@redhat.com>

ceph-pr-submodules: add trigger phrase

Signed-off-by: Nathan Cutler <ncutler@suse.com>

Merge pull request #1314 from ceph/wip-sepiafog

sepia-fog-images: Inject IPMI and FOG credentials

sepia-fog-images: Inject IPMI and FOG credentials

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #1312 from ceph/wip-cb-shaman

Give a few more jobs SHAMAN_API_KEY

Add SHAMAN_API_KEY to a few missing jobs

Signed-off-by: David Galloway <dgallowa@redhat.com>

Ugh, this made it in by mistake

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #1311 from ceph/wip-fixjjb

jenkins-job-builder: Inject JOB_BUILDER_PASS

jenkins-job-builder: Inject JOB_BUILDER_PASS

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #1309 from callithea/wip-ceph-dashboard-pull-requests-fix-repo-path

ceph-dashboard-pull-requests: Fix repo path

Reviewed-by: Laura Paduano <lpaduano@suse.com>

ceph-dashboard-pull-requests: Fix repo path

Signed-off-by: Laura Paduano <lpaduano@suse.com>

Merge pull request #1307 from tchaikov/wip-ceph-dashboard-pull-requests-only-on-amd64

ceph-dashboard-pull-requests: only select x86_64 nodes

Reviewed-by: Laura Paduano <lpaduano@suse.com>

ceph-dashboard-pull-requests: only select x86_64 nodes

as google chrome is not available on arm64

Signed-off-by: Kefu Chai <kchai@redhat.com>

ceph-dashboard-pull-requests: only install google chrome on amd64

and remove the repo settings after done with installation

Signed-off-by: Kefu Chai <kchai@redhat.com>

Merge pull request #1308 from ceph/wip-tserlin-nfs-ganesha-disable-google-chrome-repo

nfs-ganesha: disable google-chrome yum repo

nfs-ganesha: disable google-chrome yum repo

Merge pull request #1305 from ceph/ceph_ansible_disable_container_dashboard

ceph-ansible: Disable dashboard container job

ceph-ansible: Disable dashboard container job

The ceph-ansible dashboard job with containerized deployment requires
some changes not merged yet upstream.
This job will be reenable when all the changes are merged.

Signed-off-by: Dimitri Savineau <dsavinea@redhat.com>

Merge pull request #1303 from ceph/guits-ca_podman

ceph-ansible: test podman on centos instead rhel

ceph-ansible: split project for ubuntu jobs

so we don't create jobs that are never triggered in the CI.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

ceph-ansible: fix ooo_collocation (stable-3.1)

fix a typo, this job should be tested in a containerized environment
only.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

ceph-ansible: test podman on centos instead rhel

podman is available on atomic os, from upstream perspective it's better
to test against this image instead a rhel8 which was a beta image outdated.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1302 from ceph/dsavineau-ceph-container-lint-selinux

ceph-container-lint: Add selinux flag to volume

ceph-container-lint: Add selinux flag to volume

Without the selinux flag on the container volume, the container
command will fail:

: openBinaryFile: permission denied (Permission denied)

Signed-off-by: Dimitri Savineau <dsavinea@redhat.com>

Merge pull request #1300 from ceph/dsavineau-ansible-pr-syntax

ceph-ansible: remove useless command for syntax

ceph-ansible: remove useless command for syntax

Because we're now able to execute the infrastructure playbooks from
the main ceph-ansible directory, we don't need to define the ansible
library path (because already define in ansible.cfg).
The roles and group_vars directories are already present in the main
directory so we don't need to copy them anymore.
This commit also exclude both ansible-lint rules: 204 and 205

- [204] Lines should be no longer than 160 chars
- [205] Use ".yml" or ".yaml" playbook extension

Signed-off-by: Dimitri Savineau <dsavinea@redhat.com>

Merge pull request #1299 from ceph/guits-update-pr-syntax

ceph-ansible: give a common inventory for syntax-check

ceph-ansible: give a common inventory for syntax-check

let's provide a typical 'all_daemons' inventory host file for the syntax
check process. Otherwise we can get failure because the site.yml file
contains `hosts:` which try to resolve some `{{ groups }}` variables.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1298 from ceph/guits-add_ca-dashboard

ceph-ansible: add new scenario 'dashboard'

ceph-ansible: add new scenario 'dashboard'

This commit adds a new scenario to test the dashboard deployment.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1297 from ceph/wip-ceph-dev-new-trigger-shaman

ceph-dev-new-trigger: Supply SHAMAN_API_KEY

ceph-dev-new-trigger: Supply SHAMAN_API_KEY

So the job can update build statuses

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #1295 from ceph/wip-jupdates

Fixes/updates for Jenkins rebuild

Change credential ID for ceph-jenkins github account's ssh key

Signed-off-by: David Galloway <dgallowa@redhat.com>

Configure chacra and shaman API keys using credentials binding plugin

Signed-off-by: David Galloway <dgallowa@redhat.com>

ansible: Use LTS repo for Jenkins

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #1294 from ceph/wip-ceph-volume-tox

ceph-volume-pr: run py36 tox tests

ceph-volume-pr: run py36 tox tests

We will now skip any missing interpreters, so we should
run all the tests here always.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #1287 from tspmelo/wip-dashboard-ctest

ceph-dashboard-pull-requests: Disable running tests

Reviewed-by: Laura Paduano <lpaduano@suse.com>
Reviewed-by: Kefu Chai <kchai@redhat.com>

ceph-dashboard-pull-requests: Disable running tests

Since all the tests are already run in make check,
there is no reason to run them again in the dashboard.

Signed-off-by: Tiago Melo <tmelo@suse.com>

Merge pull request #1293 from ceph/dsavineau-ceph-ansible-branch-name

ceph-ansible: use a more meaning syntax on branch

ceph-ansible: use a more meaning syntax on branch

When doing condition on branch it's maybe easier to understand the
condition based on the branch name instead of a regex for excluding
all the other branches.

Signed-off-by: Dimitri Savineau <dsavinea@redhat.com>

Merge pull request #1292 from rishabh-d-dave/add-add_mgrs-to-CI

ceph-ansible: add add_mgrs scenario to CI

ceph-ansible: add add_mgrs scenario to CI

Add add_mgrs scenario to CI so that it can be tested against master and
nautilus.

Signed-off-by: Rishabh Dave <ridave@redhat.com>

Merge pull request #1291 from ceph/rm-trhoden

rm trhoden from admin list

rm trhoden from admin list

Travis has not worked directly on Ceph for a few years.

Merge pull request #1290 from ceph/gregsfortytwo-pr-admin

move gregsfortytwo from whitelist to admin-list

move gregsfortytwo from whitelist to admin-list

Merge pull request #1282 from rishabh-d-dave/add-add_rbdmirrors-to-CI-jobs

ceph-ansible: add add_rbdmirrors scenario to CI

ceph-ansible: add add_rbdmirrors scenario to CI

Add add_rbdmirrors scenario to CI so that it can be tested against
master.

Signed-off-by: Rishabh Dave <ridave@redhat.com>

Merge pull request #1281 from rishabh-d-dave/add-add_rgws-to-CI-jobs

ceph-ansible: add add_rgws scenario to CI

add add_rgws scenario to CI

Add add_rgws scenario to CI so that it can be tested against master.

Signed-off-by: Rishabh Dave <ridave@redhat.com>

Merge pull request #1289 from ceph/guits-quick_fix_ca_syntax

ceph-ansible-syntax: temporary fix CI error

ceph-ansible-syntax: temporary fix CI error

CI is failing at the moment because of a pip error:

```
+ /tmp/venv.x2V7jCYRmJ/bin/pip install pip==10.0.0
Traceback (most recent call last):
  File "/tmp/venv.x2V7jCYRmJ/bin/pip", line 11, in <module>
    load_entry_point('pip==19.1', 'console_scripts', 'pip')()
  File "/tmp/venv.x2V7jCYRmJ/lib/python2.7/site-packages/pkg_resources/__init__.py", line 565, in load_entry_point
    return get_distribution(dist).load_entry_point(group, name)
  File "/tmp/venv.x2V7jCYRmJ/lib/python2.7/site-packages/pkg_resources/__init__.py", line 2631, in load_entry_point
    return ep.load()
  File "/tmp/venv.x2V7jCYRmJ/lib/python2.7/site-packages/pkg_resources/__init__.py", line 2291, in load
    return self.resolve()
  File "/tmp/venv.x2V7jCYRmJ/lib/python2.7/site-packages/pkg_resources/__init__.py", line 2297, in resolve
    module = __import__(self.module_name, fromlist=['__name__'], level=0)
  File "/tmp/venv.x2V7jCYRmJ/lib/python2.7/site-packages/pip/_internal/__init__.py", line 40, in <module>
    from pip._internal.cli.autocompletion import autocomplete
  File "/tmp/venv.x2V7jCYRmJ/lib/python2.7/site-packages/pip/_internal/cli/autocompletion.py", line 8, in <module>
    from pip._internal.cli.main_parser import create_main_parser
  File "/tmp/venv.x2V7jCYRmJ/lib/python2.7/site-packages/pip/_internal/cli/main_parser.py", line 8, in <module>
    from pip._internal.cli import cmdoptions
  File "/tmp/venv.x2V7jCYRmJ/lib/python2.7/site-packages/pip/_internal/cli/cmdoptions.py", line 24, in <module>
    from pip._internal.utils.ui import BAR_TYPES
  File "/tmp/venv.x2V7jCYRmJ/lib/python2.7/site-packages/pip/_internal/utils/ui.py", line 11, in <module>
    from pip._vendor.progress import HIDE_CURSOR, SHOW_CURSOR
ImportError: cannot import name HIDE_CURSOR
```

since I'm unsure we really need to pin pip to 10.0.0 for the syntax
check job let's not use `install_python_packages` function from
`build_utils.sh` to install `ansible-lint`.

I'll revert this patch as soon as I'll have figured out the proper fix
to apply.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1288 from ceph/guits-get_cluster_status

ceph-ansible: try to get cluster status in teardown

ceph-ansible: try to get cluster status in teardown

sometimes it can be useful to get the full ceph cluster status
when troubleshooting CI failures.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1276 from ceph/dsavinea-remove-bluestore-lvm-osds

ceph-ansible: Remove bluestore_lvm_osds scenario

ceph-ansible: Remove bluestore_lvm_osds scenario

Testing bluestore is handled in the lvm_osds scenario. We don't need
a dedicated one for that.

Signed-off-by: Dimitri Savineau <dsavinea@redhat.com>

Merge pull request #1286 from tchaikov/wip-gcc-8-on-bionic

scripts/build_utils.sh: use gcc-8 on bionic

scripts/build_utils.sh: use gcc-8 on bionic

in hope to alleviate the ICE issues when building kvstore_tool.cc

see also https://bugzilla.redhat.com/show_bug.cgi?id=1531154

Signed-off-by: Kefu Chai <kchai@redhat.com>

Merge pull request #1285 from ceph/ceph-medic-py36

ceph-medic-pull-requests python3.6 support

ceph-medic-pull-requests: require a centos7 node

Signed-off-by: Alfredo Deza <adeza@redhat.com>

ceph-medic-pull-requests: install epel and py36

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #1283 from ceph/wip-rpm-macros

ceph-build: Install latest rpm macros

ceph-build: Install latest rpm macros

We should make sure that all the rpm and srpm macros are installed and
at the latest version before installing the build dependencies.

Otherwise, the macros can get updated and we might not get all the
dependencies installed with yum-builddep.

Signed-off-by: Boris Ranto <branto@redhat.com>

Merge pull request #1280 from ceph/guits-fix_pipeline_rgw-multisite

ceph-ansible-pipeline: rgw_multisite fixes for stable-4.0

ceph-ansible-pipeline: rgw_multisite fixes for stable-4.0

These conditions were incorrect for stable-4.0

luminous jobs triggered for stable-4.0

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1278 from ceph/wip-tserlin-nfs-ganesha-stable-revert-back-to-original-repo

nfs-ganesha-stable: revert back to original repo

nfs-ganesha-stable: update ntirpc to 1.7.3

Revert "nfs-ganesha-stable: fix URL in job section of config"

This reverts commit b39dfff02bbc9e19402636c6b8ef0fd856c1647e.

Revert "nfs-ganesha: switch to using our own fork for now"

This reverts commit 43ba6a2c2e38a73caa07cadae0217ccfcbe76d5c.

Merge pull request #1277 from ceph/guits-fix_pipeline

ceph-ansible-pipeline: refact pipeline

ceph-ansible-pipeline: refact pipeline

- remove bluestore_lvm_osds which is no longer needed in stable-4.0 and
master.
- fix stable-4.0 testing: do not play luminous jobs.
- update some scenarios so they are triggered on stable-4.0

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1275 from ceph/guits-revert_6072cff0

Revert "ceph-ansible: add more slaves"

Revert "ceph-ansible: add more slaves"

This reverts commit 6072cff00cd0b6951e97dd39fbc3e6a694d7a0e3.

OVH nodes can't access sepia lab, so they can't get the rhel8 image.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1274 from ceph/guits-add_more_slaves

ceph-ansible: add more slaves

ceph-ansible: remove invalid job in nightly

this job doesn't exist in stable-3.2

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

ceph-ansible: add more slaves

let's try to use ovh slaves as well, at least for master and stable-4.0
jobs.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1273 from ceph/guits-fix_ca_ci

ceph-ansible-pipeline: fix nautilus jobs

ceph-ansible-pipeline: add missing shebang

using /bin/sh makes those condition failing since it doesn't understand
the double brackets.

Thanks @djgalloway

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

ceph-ansible-pipeline: fix nautilus jobs

that condition isn't correct.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1272 from ceph/guits-add_build_retry

ceph-ansible-prs: retry on CI errors

ceph-ansible-prs: retry on CI errors

Retry jobs when we hit an unrelated CI failure.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

ceph-ansible-nightly: remove not valid scenarios

these scenarios are not valid for stable-3.1

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1267 from ceph/guits-run_all_jobs

ceph-ansible-prs: run all jobs for all PRs

ceph-ansible: add nautilus testing

since nautilus / stable-4.0 have been released upstream, let's add
nautilus testing in the CI.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

ceph-ansible-prs: run all jobs for all PRs

ceph-ansible is missing a lot of coverage because we don't run all jobs
on every PR.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1271 from ceph/wip-tserlin-nfs-ganesha-stable-update-14.2.0

nfs-ganesha-stable: update ceph defaults to 14.2.0

nfs-ganesha-stable: update ceph defaults to 14.2.0

Merge pull request #1270 from jtlayton/nfs-ganesha-fork

nfs-ganesha-stable: fix URL in job section of config

nfs-ganesha-stable: fix URL in job section of config

Signed-off-by: Jeff Layton <jlayton@redhat.com>

Merge pull request #1269 from jtlayton/nfs-ganesha-fork

nfs-ganesha: switch to using our own fork for now

nfs-ganesha: switch to using our own fork for now

We are currently building a version of nfs-ganesha for nautilus that
lacks many needed patches. Some of those aren't suitable for inclusion
into V2.7-stable, but are already merged for V2.8 (which isn't released
yet).

Switch (at least for now) to building from a custom branch in the
ceph/nfs-ganesha fork.

Signed-off-by: Jeff Layton <jlayton@redhat.com>

Merge pull request #1268 from ceph/guits-fix_start_tox

start_tox: list scenario in the corresponding tox ini file

start_tox: list scenario in the corresponding tox ini file

since a split of the tox ini file has been introduced in ceph-ansible,
we must compare the scenario by listing them in the right tox ini file
according to the scenario being run.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1258 from rishabh-d-dave/add-add_mds-to-CI-jobs

add add_mdss scenario to CI

add add_mdss scenarion to CI

Add add_mdss scenario to CI so that it can be tested against master.

Signed-off-by: Rishabh Dave <ridave@redhat.com>

Merge pull request #1266 from ceph/wip-tserlin-nfs-ganesha-rm-rf-yum

nfs-ganesha: clean out yum cache before build

nfs-ganesha: clean out yum cache before build

We occasionally see "HTTP Error 404 - Not Found" when the jenkins slave
tries to contact the EPEL mirrors. Clean up the entire /var/cache/yum/
directory and see if that helps.

Reference: https://wiki.centos.org/yum-errors