ceph-ansible-prs: run podman on stable-4.0 only

We don't need to run an extra podman scenario job on newer branches than
stable-4.0 because we're already using podman by default (CentOS 8) for
all container scenarios.
For older branches we don't support podman.

Signed-off-by: Dimitri Savineau <dsavinea@redhat.com>

Merge pull request #1540 from ceph/wip-unknown-release

build_utils.sh: add pacific

Reviewed-by: Kefu Chai <kchai@redhat.com>
Reviewed-by: Kyr Shatskyy <kyrylo.shatskyy@suse.de>

Merge pull request #1541 from ceph/guits-ca-syntax

ceph-ansible: update syntax check

ceph-ansible: update syntax check

This commit replaces s/site-docker.yml.sample/site-container.yml.sample

ceph-ansible related PR: ceph/ceph-ansible#5216

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

ceph-dev-build: update {build,setup}_osc for pacific

Signed-off-by: Nathan Cutler <ncutler@suse.com>

build_utils.sh: add pacific

I hope this will fix the FTBFS currently seen in Shaman on openSUSE Leap
15.2 builds of "master" branch:

++ case $ver in
++ rel=unknown
++ echo 'ERROR: Unknown release for version '\''16.0.0'\'''
ERROR: Unknown release for version '16.0.0'
++ echo unknown
++ exit 1
+ RELEASE_BRANCH=unknown

Signed-off-by: Nathan Cutler <ncutler@suse.com>

Merge pull request #1537 from ceph/ceph_ansible_nightly_container_name

ceph-ansible-nightly: parametrize centos release

Merge pull request #1538 from ceph/quary_prune_el8

quay-pruner: add CentOS 8 container support

quay-pruner: add CentOS 8 container support

Since Ceph Octopus release, the container image are based on CentOS 8
instead of 7 for previous releases.
The current quay pruner script only matches tags for CentOS 7.
This adds the CentOS 8 support.

Signed-off-by: Dimitri Savineau <dsavinea@redhat.com>

ceph-ansible-nightly: parametrize centos release

Since octopus the container image are based on CentOS 8 instead of 7 for
the previous Ceph releases.
The current regex to find the latest stable container image per Ceph
releases is hardcoding 7.

Signed-off-by: Dimitri Savineau <dsavinea@redhat.com>

Merge pull request #1535 from ceph/ceph_ansible_stable_5

ceph-ansible-nightly: add stable-5.0 branch

Merge pull request #1536 from ceph/ceph_ansible_get_rid_ubuntu

ceph-ansible: remove ubuntu distribution

ceph-ansible: remove ubuntu distribution

This commit removes the ubuntu distribution testing from the ceph-ansible
jobs for both PRs and nightly configuration.

Signed-off-by: Dimitri Savineau <dsavinea@redhat.com>

ceph-ansible-nightly: add stable-5.0 branch

This adds the ceph-ansible stable-5.0 branch to the nighly jobs which
is used to test the Ceph Octopus release.

Signed-off-by: Dimitri Savineau <dsavinea@redhat.com>

Merge pull request #1534 from ceph/wip-relative

sync-push: Create relative symlinks instead of absolute

sync-push: Create relative symlinks instead of absolute

This allows people to `rsync --copy-links -aiv rsync://download.ceph.com/ceph/{debian,rpm}-octopus .` and have rsync follow the symlink.

The previous way of symlinking did not.

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #1531 from ceph/wip-buster-key

ansible: Install Buster GPG keys

ansible: Install Buster GPG keys

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #1526 from ceph/wip-dirs

scripts: Support new directory structure in signing scripts

Merge pull request #1344 from ThoreKr/debian-buster

Debian buster support for releases

Merge pull request #1530 from ceph/wip-c8aldfjls

ceph*build: Update combination filter for bionic/centos8 ARM64

Reviewed-by: Kefu Chai <kchai@redhat.com>

ceph*build: Update combination filter for bionic/centos8 ARM64

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #1529 from ceph/wip-gigantic

ceph*build: Use new gigantic label

scripts: Support new directory structure in signing scripts

Sage requested a new directory structure on download.ceph.com to make posting new versions and potentially pulling releases easier.

Instead of having all packages in a single repo under a `rpm-octopus` directory, `rpm-octopus` on d.c.c will symlink to `rpm-X.X.X` where X.X.X is the latest release.

Signed-off-by: David Galloway <dgallowa@redhat.com>

ceph*build: Use new gigantic label

By requiring 'braggi', none of the ARM64 builds would start.  It wouldn't be appropriate to give the arm64 builders a "braggi" label so I'm creating a new "gigantic" label that can apply to the braggi and arm64 builders.

There are no nodes in mita that have a 'gigantic' label so that guarantees builds won't run on OVH ephemeral nodes.

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #1528 from ceph/wip-fix-rpm-release

Update ceph-release-rpm job for EL8 compatibility

Merge pull request #1527 from ceph/wip-fix-master

ceph-dev-trigger: Fix regex for master conditional step

ceph-release-rpm: Update for EL8 compatibility

Signed-off-by: David Galloway <dgallowa@redhat.com>

ceph-release-rpm: Inject missing chacra credentials

Signed-off-by: David Galloway <dgallowa@redhat.com>

ceph-dev-trigger: Fix regex for master conditional step

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #1525 from ceph/wip-require-braggi

ceph*build: Only build on new braggi builders

ceph*build: Only build on new braggi builders

This may need to change in the future if jobs start getting backed up.  Still trying to find the balance.

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #1524 from tchaikov/wip-dont-build-crimson-for-master

ceph-dev-trigger: do not build crimson flavor on master branch

ceph-dev-trigger: do not build crimson flavor on master branch

no need to do so at this moment, we just need to build it for wip-*
branches to make sure crimson does not fail to build.

Signed-off-by: Kefu Chai <kchai@redhat.com>

Merge pull request #1519 from tchaikov/wip-octopus

ceph-dev-trigger: include octopus branch

ceph-dev-trigger: do not build crimson for octopus

Signed-off-by: Kefu Chai <kchai@redhat.com>

Merge pull request #1523 from callithea/wip-ceph-dashboard-add-octopus

ceph-api-nightly: Add octopus branch to nightly tests

ceph-api-nightly: Add octopus branch to nightly tests

Signed-off-by: Laura Paduano <lpaduano@suse.com>

Merge pull request #1520 from ceph/wip-xargs

multiple: Use --no-run-if-empty flag with `xargs dirname`

Merge pull request #1522 from ceph/ceph_ansible_braggi_fix

build_utils.sh: allow using virtualenv with py3

build_utils.sh: allow using virtualenv with py3

On braggi nodes (CentOS 8) there's no python2 anymore but only python3 so
the virtualenv command will fail.

+ virtualenv -p python2.7 /tmp/venv.iqvT26vCL8
The path python2.7 (from --python=python2.7) does not exist
Build step 'Conditional step (single)' marked build as failure

Instead we should try if test if the python2.7 command exist and then try
python3 if this fails.

This commit also removes a duplicate slave_labels declaration in the
ceph-ansible-prs configuration.

Signed-off-by: Dimitri Savineau <dsavinea@redhat.com>

Merge pull request #1521 from ceph/wip-agent-sl

Avoid symlink recursion issue

Avoid symlink recursion issue

Checkouts of the ceph repo contain directories with symlinks that link
to their parent dirs; this causes the file permissions check to fail.
Avoid following symlinks to work around.

Signed-off-by: Zack Cerza <zack@redhat.com>

multiple: Use --no-run-if-empty flag with `xargs dirname`

I was seeing `dirname: missing operand` when there was no output from the `find | grep`

We want the output to just be empty instead of throwing an error

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #1518 from ceph/wip-noreboot

ceph-pull-requests: Don't require rebootable label

ceph-dev-new-trigger: do not build crimson flavor for octopus

Signed-off-by: Kefu Chai <kchai@redhat.com>

ceph-dev-trigger: include octopus branch

Signed-off-by: Kefu Chai <kchai@redhat.com>

Merge pull request #1516 from ceph/wip-python3dev

Test teuthology PRs on Bionic & install python3-dev

ceph-*: Don't require rebootable label

We got rid of slave reboots for ceph-pull-requests in https://github.com/ceph/ceph-build/pull/1508

The other jobs already didn't reboot on failure.

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #1517 from ceph/guits-add_braggi_nodes

ceph-ansible: add new slave label 'braggi'

ceph-ansible: add new slave label 'braggi'

This will make ceph-ansible CI using new nodes 'braggi'

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1296 from ceph/wip-jupdates

More Jenkins deployment updates

Merge pull request #1495 from ceph/wip-c8-pull

scripts: Update signing scripts to support CentOS/RHEL8

ansible: Install python3 deps on Bionic and up

Again, I don't know how this was working before but I also had to set `executable:` under the pip tasks in order for them to work on all distros.

Signed-off-by: David Galloway <dgallowa@redhat.com>

teuthology-pull-requests: Test on Bionic only

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #1515 from tchaikov/wip-enable-seastar-explicitly

ceph-pull-requests*: enable seastar explicitly

Reviewed-by: David Galloway <dgallowa@redhat.com>

ceph-pull-requests*: enable seastar explicitly

the next step is to disable it by default in ceph/ceph, so it's only
compiled and tested when explictly enabled.

Signed-off-by: Kefu Chai <kchai@redhat.com>

Merge pull request #1514 from ceph/wip-notc

ceph-dev*trigger: Drop notcmalloc for centos7 on master/wip

ceph-dev*trigger: Drop notcmalloc for centos7 on master/wip

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #1507 from ceph/wip-c8-libvirt

ansible: Update libvirt slave playbooks to support EL8

Merge pull request #1513 from ceph/guits-remove_ubuntu

ceph-ansible: remove ubuntu on nightlies jobs

ceph-ansible: use 'exclude' feature in nightlies definition

This commit refacts the project definitions in ceph-ansible nightlies
jobs, let's use 'exclude' instead of having multiple project blocks.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

ceph-ansible: remove ubuntu testing on PRs

This commit removes the ubuntu testing on ceph-ansible PRs.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

ceph-ansible: remove ubuntu on nightlies jobs

This commit removes ubuntu testing on ceph-ansible nightlies jobs.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1512 from rishabh-d-dave/cv-use-centos8-for-prs

ceph-volume: use cento8 instead of centos7 for PR jobs

ceph-volume: use cento8 instead of centos7 for PR jobs

Signed-off-by: Rishabh Dave <ridave@redhat.com>

Merge pull request #1510 from rishabh-d-dave/cv-add-scenarios-to-nightly

ceph-volume: add missing scenarios to nightlies

Merge pull request #1505 from rishabh-d-dave/cv-update-batch-functest-scenario-names

ceph-volume: add centos 8 based jobs for master and octopus

ceph-volume: add missing scenarios

Signed-off-by: Rishabh Dave <ridave@redhat.com>

ceph-volume: separate xenial jobs from centos7 jobs

Signed-off-by: Rishabh Dave <ridave@redhat.com>

ceph-volume: add nautilus to jobs for pre-octopus release

Signed-off-by: Rishabh Dave <ridave@redhat.com>

ceph-volume: add centos 8 based jobs for master and octopus

Signed-off-by: Rishabh Dave <ridave@redhat.com>

ceph-volume: add missing scenarios to nightlies

Signed-off-by: Rishabh Dave <ridave@redhat.com>

Merge pull request #1508 from ceph/wip-prs-noreboot

ceph-pull-requests: Behave like arm64 job

ceph-pull-requests*: Don't risk exposing jenkins credentials

The `ps` command doesn't even get run currently because the job stops immediately after make check exits but let's not risk it.

Signed-off-by: David Galloway <dgallowa@redhat.com>

ceph-pull-requests: Behave like arm64 job

Debugging unit test failures was difficult on x86 jobs because the slave got rebooted right away.

Signed-off-by: David Galloway <dgallowa@redhat.com>

ansible: Update libvirt slave playbooks to support EL8

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #1509 from toabctl/octopus-on-opensuse-leap-15.2

osc: Build octopus on openSUSE Leap 15.2

Reviewed-by: Kyr Shatskyy <kyrylo.shatskyy@suse.de>

osc: Build octopus on openSUSE Leap 15.2

We want to test with the upcoming openSUSE release (15.2) instead of
15.1.

Signed-off-by: Thomas Bechtold <tbechtold@suse.com>

Merge pull request #1506 from ceph/guits-quick_fix

ceph-volume-nightly: fix a typo

ceph-volume-nightly: fix a typo

This fixes a quick typo introduced by e70982ce09a712f1182bc66d381de43a9076ec5f

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1504 from ceph/guits-fix_ceph-container_ci

ceph-container-prs: refact job template

ceph-container-prs: refact job template

This commit refact the job template for ceph-container.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1501 from ceph/jan--f-c-v-nightlies-centos8

Add nightly support for ceph-volume centos8 tests

Merge pull request #1503 from ceph/guits-fix_ceph-container_ci

ceph-container-prs: update scenarios matrix

ceph-container-prs: update scenarios matrix

This commit updates the matrix of scenario tested in ceph-container CI.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Add nightly support for ceph-volume centos8 tests

Merge pull request #1502 from tchaikov/bionic-for-building-doc

ceph-pr-docs: use bionic for building docs

ceph-pr-docs: use bionic for building docs

xenial comes with python3.5, and our document is renders with a python3
venv created on the builder, also, the python code is also parsed by
the python3 env, so using python3.5 pratically prevents us from using
python3.6 features.

so we can use python3.6 which is offered by bionic.

Signed-off-by: Kefu Chai <kchai@redhat.com>

Merge pull request #1472 from ceph/wip-release-dev

ceph-dev: Build containers from ceph.git branches

Merge pull request #1500 from ceph/wip-ceph-volume-tests

ceph-volume-nightly: adds mimic and luminous to batch mixed type tests

ceph-volume-nightly: adds mimic and luminous to batch mixed type tests

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #1499 from tchaikov/wip-crimson-flavor

scripts/build_utils.sh: install deps for crimson flavor

Reviewed-by: David Galloway <dgallowa@redhat.com>

scripts/build_utils.sh: install deps for crimson flavor

Signed-off-by: Kefu Chai <kchai@redhat.com>

Merge pull request #1498 from ceph/wip-noarm64

Disabling ceph-pull-requests-arm64 until we have packages and reliable hw

Disabling ceph-pull-requests-arm64 unless 'arm64' label is used

CentOS8 is missing dependencies.

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #1496 from ceph/ceph-medic-pr

ceph-medic-pull-requests: Skip py37 env

ceph-medic-pull-requests: Skip py37 env

Signed-off-by: Zack Cerza <zack@redhat.com>

ceph-medic-pull-requests: Replace alfredo

Signed-off-by: Zack Cerza <zack@redhat.com>

scripts: Update signing scripts to support CentOS/RHEL8

Signed-off-by: David Galloway <dgallowa@redhat.com>