nfs-ganesha: switch to using our own fork for now

We are currently building a version of nfs-ganesha for nautilus that
lacks many needed patches. Some of those aren't suitable for inclusion
into V2.7-stable, but are already merged for V2.8 (which isn't released
yet).

Switch (at least for now) to building from a custom branch in the
ceph/nfs-ganesha fork.

Signed-off-by: Jeff Layton <jlayton@redhat.com>

Merge pull request #1268 from ceph/guits-fix_start_tox

start_tox: list scenario in the corresponding tox ini file

start_tox: list scenario in the corresponding tox ini file

since a split of the tox ini file has been introduced in ceph-ansible,
we must compare the scenario by listing them in the right tox ini file
according to the scenario being run.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1258 from rishabh-d-dave/add-add_mds-to-CI-jobs

add add_mdss scenario to CI

add add_mdss scenarion to CI

Add add_mdss scenario to CI so that it can be tested against master.

Signed-off-by: Rishabh Dave <ridave@redhat.com>

Merge pull request #1266 from ceph/wip-tserlin-nfs-ganesha-rm-rf-yum

nfs-ganesha: clean out yum cache before build

nfs-ganesha: clean out yum cache before build

We occasionally see "HTTP Error 404 - Not Found" when the jenkins slave
tries to contact the EPEL mirrors. Clean up the entire /var/cache/yum/
directory and see if that helps.

Reference: https://wiki.centos.org/yum-errors

Merge pull request #1265 from ceph/remoto-ansible-fixes

ansible: remove spec file changes for remoto

ansible: remove spec file changes for remoto

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #1264 from ceph/remoto-packaging

ansible: support remoto packaging for Debian

ansible: allow specifying a remoto release to pick a role

Signed-off-by: Alfredo Deza <adeza@redhat.com>

ansible: add playbooks to package remoto

Signed-off-by: Alfredo Deza <alfredo@deza.pe>

Merge pull request #1263 from ceph/guits-ceph-ansible_split_tox

ceph-ansible: split tox ini file

ceph-ansible: split tox ini file

the tox.ini file in ceph-ansible became too big, this commit is a first
step to split this file.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1262 from ceph/guits-refact_nightly

ceph-ansible: remove add_mons scenario for stable-3.2

ceph-ansible: remove add_mons scenario for stable-3.2

this scenario doesn't exist in stable-3.2

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1261 from ceph/guits-refact_nightly

ceph-ansible: refact nightly jobs

ceph-ansible: refact nightly jobs

due to recent changes in ceph-ansible, let's refact all nightly jobs
accordingly in order to fix jobs in jenkins.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1260 from ceph/guits-add-purge-ubuntu

ceph-ansible-pipeline: add ubuntu purge testing for PRs on master

ceph-ansible-pipeline: add ubuntu purge testing for PRs on master

Add testing against ubuntu for purge scenarios

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1259 from ceph/wip-tserlin-nfs-ganesha-stable-update-defaults

nfs-ganesha-stable: update defaults for nautilus

nfs-ganesha-stable: update defaults for nautilus

Update build defaults for the first release of Nautilus (14.1.0).

Also update ntirpc default to 1.7.2.

Signed-off-by: Thomas Serlin <tserlin@redhat.com>

Merge pull request #1255 from ceph/rm-tcmalloc

build tcmalloc flavors only for CentOS7

ceph-dev-trigger: only build tcmalloc for CentOS7

Signed-off-by: Alfredo Deza <adeza@redhat.com>

ceph-dev-new-trigger: only build tcmalloc for CentOS7

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #1257 from ceph/guits-add_ubuntu_testing

ceph-ansible: reintroduce ubuntu testing

ceph-ansible: reintroduce ubuntu testing

add back ubuntu testing on ceph-ansible PRs.

Closes: ceph/ceph-ansible#3590
Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1256 from rishabh-d-dave/add-add_mons-to-CI

add add_mons scenario to CI

add add_mons scenario to CI

Add add_mons scenario to CI so that it can be tested against master.

Signed-off-by: Rishabh Dave <ridave@redhat.com>

Merge pull request #1254 from ceph/guits-remove_lvm_auto_discovery_32

ceph-ansible: remove lvm_auto_discovery from stable-3.2

ceph-ansible: remove lvm_auto_discovery from stable-3.2

This has not been backported into stable-3.2

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1253 from ceph/guits-fix_sw_32

ceph-ansible: update pipeline

ceph-ansible: update pipeline

Update the name for switch_to_containers job for stable-3.2

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1248 from ceph/guits-fix_syntax_ca

ceph-ansible-pr-syntax-check: get latest version of pip

Merge branch 'master' into guits-fix_syntax_ca

Merge pull request #1252 from ceph/guits-refact_nightly

ceph-ansible: remove stable-3.2 nightly jobs

ceph-ansible: remove stable-3.2 nightly jobs

those jobs aren't available/tested in stable-3.2

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1251 from ceph/guits-refact_nightly

ceph-ansible: update display name for nightly jobs

ceph-ansible: update display name for nightly jobs

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1250 from ceph/guits-refact_nightly

ceph-ansible-nightly: fix nightly jobs (stable-3.2)

ceph-ansible: clean fact cache in individual scenario testing

cleanup fact cache here too

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

ceph-ansible-nightly: fix nightly jobs (stable-3.2)

fix all nightly jobs for stable-3.2 since recent refact in ceph-ansible
testing.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1249 from ceph/guits-clean_facts_cache

ceph-ansible-prs: clean fact cache in teardown

ceph-ansible-prs: clean fact cache in teardown

This commit clean the fact cache after a run.
Sometimes it might cause issue because ansible thinks the cache is valid
in some cases making some tasks failing.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

ceph-ansible: remove debugging tasks

these tasks were added for debugging purpose, they are no longer needed

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

ceph-ansible-pr-syntax-check: get latest version of pip

ensure the latest version of pip is installed for this job to avoid the
following error:

```
ValueError: ('Expected version spec in', 'ansible~=2.7,<2.8', 'at', '~=2.7,<2.8')
```

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1247 from ceph/guits-add_ca_rhel_podman

ceph-ansible: add rhel8/podman scenario

ceph-ansible: add rhel8/podman scenario

This commit does the following:

- add an upstream test against rhel8/podman to catch earlier potential
failures.
- refact a bit the pipeline (since there's a check if the scenario
actually exist in build_utils.sh we can define a global matrix).

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1246 from ceph/explicit-batch-scenarios

ceph-ansible: adds back lvm_auto_discovery tests to pipeline and prs

ceph-ansible: adds back lvm_auto_discovery tests to pipeline and prs

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #1245 from ceph/guits-ca_pipeline

ceph-ansible: rename basic scenario for stable-3.2

ceph-ansible: rename basic scenario for stable-3.2

due to recent changes, the scenarios have to be renamed accordingly.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1244 from callithea/wip-ceph-dashboard-pull-requets-update-trigger

ceph-dashboard-pull-requests: added blacklist for luminous branch

Reviewed-by: Nathan Cutler <ncutler@suse.com>
Reviewed-by: Kefu Chai <kchai@redhat.com>
Reviewed-by: Jos Collin <jcollin@redhat.com>

ceph-dashboard-pull-requests: added blacklist for luminous branch

Added "black-list-target-branches" to triggers to avoid an automated
run of the job on PRs targeting luminous.

Signed-off-by: Laura Paduano <lpaduano@suse.com>

Merge pull request #1243 from ceph/guits-refact_ca32_pipeline

ceph-ansible: isolate switch_to_container scenario

ceph-ansible: isolate switch_to_container scenario

let's make this scenario based as a 'non_container' one so tox.ini will
set right values for`CEPH_ANSIBLE_VAGRANT_BOX` and `PLAYBOOK`.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1242 from ceph/guits-refact_ca32_pipeline

ceph-ansible: update pipeline for 'containers scenarios only'

ceph-ansible: update pipeline for 'containers scenarios only'

ceph-ansible related PR: https://github.com/ceph/ceph-ansible/pull/3546

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1241 from ceph/guits-refact_ca32_pipeline

ceph-ansible: update pipeline for stable-3.2

ceph-ansible: update pipeline for stable-3.2

introduce the same refact in stable-3.2 than the one introduced in
master

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1239 from ceph/guits-check_tox_env

ceph_ansible: check if tox env is defined

ceph_ansible: check if tox env is defined

tox allows to run even if an env doesn't match all the factors in the
full name.
This commits check that the desired environment is well defined in
envlist.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1240 from ceph/explicit-batch-scenarios

ceph-volume-ansible-prs: add mixed_type explicit batch testing scenarios

ceph-volume-ansible-prs: add mixed_type explicit batch testing scenarios

These were introduced in: https://github.com/ceph/ceph/pull/25542

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #1238 from ceph/guits-doc_syntax_on_smithi

ceph-ansible: allow doc and syntax job to be run on smithi node

ceph-ansible: allow doc and syntax job to be run on smithi node

Sometimes, a ceph-ansible PRs are stuck because no OVH nodes are available
while a lot of smithi node aren't busy at all. It's not worth it to block a PR
just because of jobs which take usually less than 2min to be done.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1237 from ceph/guits-wrapper_ca

build_utils: revert previous approach to get around shebang limitation

build_utils: change workdir for tox (ceph-ansible)

This commit reverts the previous commit and simply change the working
directory when running tox, so the shebangs are much more shorter (<127
char).

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Revert "build_utils: add a wrapper for tox in ceph-ansible"

This reverts commit e5fb7805cf717aefa1640f0073430c7c7cd3b6dc.

Revert "build_utils: follow up on e5fb7805"

This reverts commit 1b76f4e059b0be5bea91d69d7d43848c7026f88a.

Revert "do not interpret variables in write_exec_cmd_script()"

This reverts commit b00d3c602d108b38ec3baf953793063615526aeb.

Merge pull request #1236 from ceph/guits-wrapper_ca

do not interpret variables in write_exec_cmd_script()

do not interpret variables in write_exec_cmd_script()

variable are interpreted which is not what we want.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1235 from ceph/guits-wrapper_ca

build_utils: follow up on e5fb7805

Merge branch 'master' into guits-wrapper_ca

build_utils: follow up on e5fb7805

fix path to the wrapper.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1234 from ceph/guits-wrapper_ca

build_utils: add a wrapper for tox in ceph-ansible

build_utils: add a wrapper for tox in ceph-ansible

This is a wrapper to be able to run scripts with tox that contain
shebang with more than 127 char.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1220 from ceph/guits-update_pipeline

ceph-ansible-pipeline: refact ceph-ansible pipeline

ceph-ansible-pipeline: refact ceph-ansible pipeline

corresponding ceph-ansible pull-request: ceph/ceph-ansible#3364

- reintroduce ubuntu testing
- rename all scenario

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1232 from ceph/guits-remove_podman

ceph-ansible-pipeline: remove container_podman temporarily

ceph-ansible-pipeline: remove container_podman temporarily

this scenario is constantly failing, let's remove it temporarily

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1231 from ceph/wip-tserlin-nfs-ganesha-stable-enable-bionic

nfs-ganesha-stable: enable Ubuntu Bionic builds

nfs-ganesha-stable: enable Ubuntu Bionic builds

Signed-off-by: Thomas Serlin <tserlin@redhat.com>

Merge pull request #1230 from ceph/wip-dhc

ceph-volume: Use DreamCompute instances as slaves

ceph-volume: Use DreamCompute instances as slaves

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #1229 from ceph/wip-pause-queue

sepia-fog-images: Optionally pause the sepia queue

sepia-fog-images: Fail curl hard on HTTP errors

Signed-off-by: David Galloway <dgallowa@redhat.com>

sepia-fog-images: Optionally pause the sepia queue

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #1228 from ceph/revert-37707

Revert "ceph-*-build: skip unavailable repo when yum-builddep"

Reviewed-by: Kefu Chai <kchai@redhat.com>

Revert "ceph-*-build: skip unavailable repo when yum-builddep"

The CentOS infra admins resolved the repository issue at
https://bugs.centos.org/view.php?id=15606 .

Generally speaking, we want Yum to bail out early if there is a Yum repo
problem, rather than silently skipping over failures and possibly
introducing side effects to our builds.

This reverts commit 806f274710ebddb92541d6a1f82746beff530323.

Merge pull request #1226 from ceph/wip-tserlin-nfs-ganesha-debian-aptgetupdate

nfs-ganesha: minor apt-get update tweak for build_deb

Merge branch 'master' into wip-tserlin-nfs-ganesha-debian-aptgetupdate

Merge pull request #1227 from ceph/lvm_auto_discovery

ceph-ansible-pipeline: adds lvm_auto_discovery tests

ceph-ansible-pipeline: adds lvm auto discovery scenarios

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-ansible-prs: adds the lvm_auto_discovery_container scenario

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge branch 'master' into wip-tserlin-nfs-ganesha-debian-aptgetupdate

Merge pull request #1224 from ceph/wip-tserlin-nfs-ganesha-cmake-rgw

nfs-ganesha: clean up Jenkins slave

Merge branch 'master' into wip-tserlin-nfs-ganesha-cmake-rgw

nfs-ganesha: minor update tweak for build_deb

There are occasional problems with failures in "apt-get update"
because of the yandex.ru mirror. This just tweaks the command
so we don't fail when the mirror is not available.

Similar to: https://github.com/ceph/ceph-build/pull/940/files

Signed-off-by: Thomas Serlin <tserlin@redhat.com>