build_utils: follow up on e5fb7805

fix path to the wrapper.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

build_utils: add a wrapper for tox in ceph-ansible

This is a wrapper to be able to run scripts with tox that contain
shebang with more than 127 char.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1220 from ceph/guits-update_pipeline

ceph-ansible-pipeline: refact ceph-ansible pipeline

ceph-ansible-pipeline: refact ceph-ansible pipeline

corresponding ceph-ansible pull-request: ceph/ceph-ansible#3364

- reintroduce ubuntu testing
- rename all scenario

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1232 from ceph/guits-remove_podman

ceph-ansible-pipeline: remove container_podman temporarily

ceph-ansible-pipeline: remove container_podman temporarily

this scenario is constantly failing, let's remove it temporarily

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1231 from ceph/wip-tserlin-nfs-ganesha-stable-enable-bionic

nfs-ganesha-stable: enable Ubuntu Bionic builds

nfs-ganesha-stable: enable Ubuntu Bionic builds

Signed-off-by: Thomas Serlin <tserlin@redhat.com>

Merge pull request #1230 from ceph/wip-dhc

ceph-volume: Use DreamCompute instances as slaves

ceph-volume: Use DreamCompute instances as slaves

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #1229 from ceph/wip-pause-queue

sepia-fog-images: Optionally pause the sepia queue

sepia-fog-images: Fail curl hard on HTTP errors

Signed-off-by: David Galloway <dgallowa@redhat.com>

sepia-fog-images: Optionally pause the sepia queue

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #1228 from ceph/revert-37707

Revert "ceph-*-build: skip unavailable repo when yum-builddep"

Reviewed-by: Kefu Chai <kchai@redhat.com>

Revert "ceph-*-build: skip unavailable repo when yum-builddep"

The CentOS infra admins resolved the repository issue at
https://bugs.centos.org/view.php?id=15606 .

Generally speaking, we want Yum to bail out early if there is a Yum repo
problem, rather than silently skipping over failures and possibly
introducing side effects to our builds.

This reverts commit 806f274710ebddb92541d6a1f82746beff530323.

Merge pull request #1226 from ceph/wip-tserlin-nfs-ganesha-debian-aptgetupdate

nfs-ganesha: minor apt-get update tweak for build_deb

Merge branch 'master' into wip-tserlin-nfs-ganesha-debian-aptgetupdate

Merge pull request #1227 from ceph/lvm_auto_discovery

ceph-ansible-pipeline: adds lvm_auto_discovery tests

ceph-ansible-pipeline: adds lvm auto discovery scenarios

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-ansible-prs: adds the lvm_auto_discovery_container scenario

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge branch 'master' into wip-tserlin-nfs-ganesha-debian-aptgetupdate

Merge pull request #1224 from ceph/wip-tserlin-nfs-ganesha-cmake-rgw

nfs-ganesha: clean up Jenkins slave

Merge branch 'master' into wip-tserlin-nfs-ganesha-cmake-rgw

nfs-ganesha: minor update tweak for build_deb

There are occasional problems with failures in "apt-get update"
because of the yandex.ru mirror. This just tweaks the command
so we don't fail when the mirror is not available.

Similar to: https://github.com/ceph/ceph-build/pull/940/files

Signed-off-by: Thomas Serlin <tserlin@redhat.com>

Merge pull request #1225 from ceph/lvm_auto_discovery

ceph-ansible-prs: adds the lvm_auto_discovery testing scenario

ceph-ansible-prs: adds the lvm_auto_discovery testing scenario

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

nfs-ganesha: clean up Jenkins slave

The daily nfs-ganesha builds for CentOS were consistently failing
because cmake could not properly find the RGW library, e.g.:

"Could NOT find RGW: Found unsuitable version "0.0.0", but required is at
  least "1.1.6" (found )"

Removing leftover ceph packages from previous Jenkins jobs seems to
fix the issue.

Signed-off-by: Thomas Serlin <tserlin@redhat.com>

Merge pull request #1223 from ceph/wip-just-tag

ceph-tag: Use binaries

ceph-tag: Use binaries

There was an issue with pynacl (I think) not having a wheel for the latest version.  Despite manually downloading the required (newer) version in a separate pip transaction, pip would still download the old version and try to use it when installing ansible which broke the build.

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #1222 from ceph/wip-disable-retpoline

kernel: disable CONFIG_RETPOLINE

kernel: disable CONFIG_RETPOLINE

Since 4.20-rc5, CONFIG_RETPOLINE kernels no longer compile with
non-retpoline compilers.  Our compilers appear to be too old, at least
on the deb side.

Signed-off-by: Ilya Dryomov <idryomov@gmail.com>

Merge pull request #1221 from tchaikov/wip-37707

ceph-*-build: skip unavailable repo when yum-builddep

Reviewed-by: Brad Hubbard <bhubbard@redhat.com>

ceph-*-build: skip unavailable repo when yum-builddep

as centos-sclo-rh-source leads us to 404 at this moment. and we are not
using the source repo for building ceph. so we can just skip any
unavailable repo.

Fixes: http://tracker.ceph.com/issues/37707
Signed-off-by: Kefu Chai <kchai@redhat.com>

Merge pull request #1219 from ceph/wip-sync-scripts

Update sync scripts to match signer box

sync-pull: Check chacra repos for doneness

Helps fix issues like http://tracker.ceph.com/issues/37434 and http://tracker.ceph.com/issues/37545

Signed-off-by: David Galloway <dgallowa@redhat.com>

sync-push: Scrap EL6 since we no longer build for it

Signed-off-by: David Galloway <dgallowa@redhat.com>

sync-pull: Find the chacra repo with the most packages

This works around the known chacra issue where multiple repos get built
using the same packages.  Only one of the distro/version combinations
will have *all* the built packages in it though.

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #1218 from ceph/cv-netaddr

ceph-volume jobs: remove installation of python-netaddr

ceph-volume jobs: remove installation of python-netaddr

This was wrongly assumed, netaddr required to be installed in the
virtualenv, and that is the case now. This is no longer necessary, so
removing

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #1217 from ceph/guits-build_stable_ca_doc

ceph-ansible-docs: build doc for stable-3.1 and stable-3.2

ceph-ansible-docs: build doc for stable-3.1 and stable-3.2

Let's build the upstream documentation for stable-3.1 and stable-3.2

Closes: ceph/ceph-ansible#3224
Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1215 from ceph/guits-update_ca_pipeline

ceph-ansible-pipeline: update pipeline

ceph-ansible-pipeline: update pipeline

- Reintroduce the purge_cluster_non_container and purge_cluster_container
scenario for stable-3.2 and master (somehow they got removed...),
- Remove purge_lvm_osds_* scenarios.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1214 from ceph/vagrant-prune

vagrant: prune stale machines before a run

ceph-volume jobs: prune stable vagrant vms

Signed-off-by: Alfredo Deza <adeza@redhat.com>

scripts: pruning from global status is needed once per teardown

Signed-off-by: Alfredo Deza <adeza@redhat.com>

scripts: create a prune_stale_vagrant_vms function to clear before jobs start

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #1213 from ceph/wip-adminme

teuthology-PRs: Add trigger phrase

teuthology-PRs: Add trigger phrase

Not sure if there was a default that used to work in the past but this
field was blank in the Jenkins web UI and I had to set it before commenting
'jenkins test' triggered a build.

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #1212 from ceph/wip-moar-cleanup

build_utils: Manually clean up vagrant old domain IDs

build_utils: Manually clean up vagrant old domain IDs

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #1211 from ceph/guits_pipeline_ca

ceph-ansible: add purge_lvm_osds_container to PRs

Merge branch 'master' into guits_pipeline_ca

ceph-ansible: add purge_lvm_osds_container to PRs

Add purge_lvm_osds_container definition to the existing list of PRs that
are automatically triggered in the pipeline.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1210 from ceph/guits_pipeline_ca

ceph-ansible-pipeline: add purge_lvm_osds_container scenario

ceph-ansible-pipeline: add purge_lvm_osds_container scenario

Add scenario purge_lvm_osds_container for master branch.

Only run scenario for corresponding purge playbook (container vs. non
container).

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1207 from ceph/podman-pipeline

ceph-ansible: add container_podman to the pipeline

Merge branch 'master' into podman-pipeline

Merge pull request #1208 from ceph/wip-sepia-optional

sepia-fog-images: Allow use of different teuth/cm branches

sepia-fog-images: Allow use of different teuth/cm branches

Signed-off-by: David Galloway <dgallowa@redhat.com>

ceph-ansible: add container_podman to the pipeline

container_podman must run on every PR as it's the same scenario as
docker but using podman.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1206 from ceph/guits-ca_old_scenarios

ceph-ansible-pipeline: fix luminous-bluestore_lvm_osds scenario

Merge branch 'master' into guits-ca_old_scenarios

ceph-ansible-pipeline: fix luminous-bluestore_lvm_osds scenario

this scenario should run on stable-3.2 only

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1205 from ceph/guits-ca_old_scenarios

ceph-ansible-pipeline: remove old scenario from stable-3.2 tests

ceph-ansible-pipeline: remove old scenario from stable-3.2 tests

filestore|bluestore old osds scenarios shouldn't be run when branch is
stable-3.2

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1198 from callithea/wip-ceph-dashboard-pull-requests-tmp-remove-ubuntu

ceph-dashboard-pull-requests: Temporary remove Ubuntu node(s)

Reviewed-by: Kefu Chai <kchai@redhat.com>

ceph-dashboard-pull-requests: Temporary remove Ubuntu node(s)

In order to be able to get to the step where the dashboard end-to-end tests
are being executed (which seem to pass on centos) the proposal is to temporary remove
the Ubuntu nodes.
When the current issues with Ubuntu have been fixed the plan is to
re-add Ubuntu (xenial) again to the configuration of this Jenkins job.
Since the job is being triggered automatically it would also prevent failing
jobs (which currently happens all the time and is eating up resources).

Signed-off-by: Laura Paduano <lpaduano@suse.com>

Merge pull request #1204 from ceph/guits_ca_pipeline

ceph-ansible: fix pipeline on add-osds/rgw-multisite scenarios

ceph-ansible: fix pipeline on add-osds/rgw-multisite scenarios

add-osds and rgw-multisite scenarios were not working as expected
in the CI regarding the destination branch.

This commits fixes the scenarios that should be run accoding to the
destination branch.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1203 from ceph/ceph-volume-dev-branches

ceph-volume-nightly check against CEPH_BRANCH, not CEPH_DEV_BRANCH

ceph-volume-nightly check against CEPH_BRANCH, not CEPH_DEV_BRANCH

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #1202 from ceph/ceph-ansible-branches

ceph-volume: pick stable-3.2 ceph-ansible branches

ceph-volume-nightly use stable-3.2 if luminous or mimic is targetted

Signed-off-by: Alfredo Deza <adeza@redhat.com>

ceph-volume-ansible-prs use stable-3.2 if luminous or mimic

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #1201 from ceph/mv-ooo

Mv ooo

ceph-ansible-pipeline: do not test ooo on master

Since all the scenario use lvm now, the ooo scenario will always fail
when triggered from the pipeline. The job will remain in stable branches
though.

Signed-off-by: Sébastien Han <seb@redhat.com>

Revert "ceph-ansible-pipeline: do not test ooo"

This reverts commit 56fe3506a192c9e27a5e18801fb904febf4e58db.
We merge the wrong content, this commit was meant to run ooo on stable
branches only and not on master, we did the opposite so reverting this.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1180 from ceph/rm-ooo

ceph-ansible-pipeline: do not test ooo

Merge branch 'master' into rm-ooo

Merge pull request #1200 from ceph/syntax-check

ceph-ansible-pr-syntax-check: always fetch origin

ceph-ansible-pr-syntax-check: always fetch origin

We need to fetch origin to always ensure we have the right version.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1199 from ceph/guits_stable3.2

ceph-ansible-pipeline: update pipeline matrix

ceph-ansible-pipeline: update pipeline matrix

We must test corresponding ceph release for each stable branch of
ceph-ansible.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1197 from ceph/container_podman

add new container_podman scenario to ceph-ansible

add new container_podman scenario to ceph-ansible

This scenario allows us testing podman instead of docker and also python
3 for ou rmodules.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1196 from ceph/wip-nfs-ganesha-stable-build-fix

nfs-ganesha: fix debian stable build

Merge branch 'master' into wip-nfs-ganesha-stable-build-fix

Merge pull request #1195 from callithea/wip-ceph-dashboard-pull-requests-switch-node

ceph-dashboard-pull-requests: switch node type from trusty to xenial

Reviewed-by: Kefu Chai <kchai@redhat.com>

nfs-ganesha: fix debian stable build

various fixes to nfs-ganesha-stable deb building
update stable config defaults
add removal of old ceph packages from pbuilder
to normal nfs-ganesha debian job

Signed-off-by: Ali Maredia <amaredia@redhat.com>

ceph-dashboard-pull-requests: switch node type from trusty to xenial

Since there are currently issues with the dashboard job and its dependencies (python-jwt)
when the test node is based on trusty (and Nautilus has dropped the support for trusty anyway)
it makes sense to switch to a more recent Ubuntu version

Signed-off-by: Laura Paduano <lpaduano@suse.com>

Merge pull request #1193 from ceph/diff-git

ceph-ansible syntax check

ceph-ansible syntax check

Only check for Modified and Changed content, anything else is irrelevant
especially remove, rename and will make the check fail.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1190 from callithea/wip-ceph-dashboard-pull-requests-jwt-dependency

ceph-dashboard-pull-requests: add new python-jwt dependency

Signed-off-by: Laura Paduano <lpaduano@suse.com>

ceph-dashboard-pull-requests: add new python-jwt dependency

Since the JWT PR (#22833) has been merged  a new dependency
has been introduced which is now missing for the dashboard Jenkins job
Signed-off-by: Laura Paduano <lpaduano@suse.com>

Merge pull request #1192 from ceph/wip-ceph-iscsi

ceph-iscsi: new PR tox and branch trigger builders

ceph-iscsi: new PR tox and branch trigger builders

Signed-off-by: Jason Dillaman <dillaman@redhat.com>

Merge pull request #1191 from ceph/wip-ceph-iscsi

ceph-iscsi: initial version of combined iSCSI tools repo

ceph-iscsi: initial version of combined iSCSI tools repo

Signed-off-by: Jason Dillaman <dillaman@redhat.com>

Merge pull request #1189 from callithea/wip-ceph-dashboard-pull-requests-label

Changed config of 'white-list-label'

Reviewed-by: Jos Collin <jcollin@redhat.com>