kernel: turn on ubuntu focal builds

Commit 458332be6244 ("Add support for Ubuntu Focal Fossa globally")
added support for focal builds but didn't turn them on.

Signed-off-by: Ilya Dryomov <idryomov@gmail.com>

Merge pull request #1559 from tspmelo/wip-cypress-key

ceph-dashboard-pull-requests: Add Cypress key credential

Reviewed-by: Laura Paduano <lpaduano@suse.com>
Reviewed-by: Kefu Chai <kchai@redhat.com>

Merge pull request #1566 from tchaikov/wip-crimson-builddeps-fix

ceph-*-*: s/esac/fi/

ceph-*-*: s/esac/fi/

fix syntax error introduced by f934188b6cb95a56fd799ff2806a3f4ce30a9c58

Signed-off-by: Kefu Chai <kchai@redhat.com>

Merge pull request #1564 from tchaikov/wip-crimson-builddeps

ceph-*-build: enable crimson build dependencies

ceph-*-build: enable crimson build dependencies

if $FLAVOR is crimson, crimson specific build dependencies should be
installed, otherwise we could have following failure when trying to
build crimson flavor of ceph packages:

error: Failed build dependencies:
fmt-devel is needed by ceph-2:16.0.0-1456.g311da94.el8.x86_64

Signed-off-by: Kefu Chai <kchai@redhat.com>

ceph-dashboard-pull-requests: Add Cypress key credential

We need to have access to this key, to be able to record our e2e runs.

Signed-off-by: Tiago Melo <tmelo@suse.com>

Merge pull request #1563 from ceph/wip-jjb-latest

jenkins-job-builder: Use latest pip

jenkins-job-builder: Use latest pip

I guess jjb needs a newer pip.  This job broke a few weeks ago after https://github.com/ceph/ceph-build/commit/21e7a7b2d3aa4d49b3a38c8eab494adb8f928a4b

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #1562 from ceph/wip-unpin

ceph*setup: Unpin to trusty slaves

Reviewed-by: Kefu Chai <kchai@redhat.com>

ceph*setup: Unpin to trusty slaves

Not sure why this was needed in the first place but not only do we not have any actual 'trusty' slaves anymore.  Any Ubuntu slave should do.  I tried CentOS but `dch` is required and conflicts with RPM packaging tools.

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #1560 from ideepika/wip-crimson-el8

support crimson flavor for centos 8

add crimson flavor build for centos8

Signed-off-by: Deepika Upadhyay <dupadhya@redhat.com>

Merge pull request #1557 from ceph/wip-focal

Add support for Ubuntu Focal Fossa globally

ceph-dev*trigger: Build crimson on Focal instead of Bionic

Signed-off-by: David Galloway <dgallowa@redhat.com>

Add support for Ubuntu Focal Fossa globally

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #1552 from tspmelo/wip-xvfb

ceph-dashboard-pull-requests: Install xvfb

Reviewed-by: Thomas Bechtold <tbechtold@suse.com>
Reviewed-by: Laura Paduano <lpaduano@suse.com>

Merge pull request #1556 from ceph/wip-no-easyinstall

Get rid of easy_install and add functionality to install any pip version

scripts: Add ability to install a different pip version

@guits was seeing an issue in ceph-ansible jobs with pip 10.0.0.  This commit will allow individual jobs to specify "latest" or "pip==X.X.X" or "pip<20.0.0" as a second parameter to the `install_python_packages` functions.  The default behavior is still no second parameter and pip=10.0.0 will still be installed until we're ready to unpin that.

Signed-off-by: David Galloway <dgallowa@redhat.com>

scripts: Stop using easy_install to upgrade pip

A recent pip release caused `easy_install --upgrade pip` to break all builds on non-CentOS7 machines.  Let's assume it's safe to stop using easy_install to upgrade pip since we're not building on any ancient distros anymore.

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #1553 from ceph/guits-ca_doc_stable-5.0

ceph-ansible-docs: build doc for stable-5.0

ceph-ansible-docs: build doc for stable-5.0

Let's build the upstream documentation for stable-5.0

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

ceph-dashboard-pull-requests: Install xvfb

This is needed to run cypress.

Signed-off-by: Tiago Melo <tmelo@suse.com>

Merge pull request #1550 from tchaikov/wip-ceph-perf

ceph-perf-pull-requests: add ceph-perf-classic job

Reviewed-by: Josh Durgin <jdurgin@redhat.com>

Merge pull request #1551 from ceph/wip-sepia-defaults

sepia-fog-images: Don't build for mira

sepia-fog-images: Don't build for mira

RHEL/CentOS8 don't support them.

Signed-off-by: David Galloway <dgallowa@redhat.com>

ceph-perf-pull-requests: use foo-bar-baz for jjb parameters

use a different naming convention for jjb parameters

- to be consistent with other parameters defined by jjb
- to differentiate them from the environmental variables which
  are determined at runtime.

Signed-off-by: Kefu Chai <kchai@redhat.com>

ceph-perf-pull-requests: reference runtime variables using $name

they are not template variables, and jjb will error out when trying to
substituting them.

Signed-off-by: Kefu Chai <kchai@redhat.com>

ceph-perf-pull-requests: escape when referencing variables in shell

`jenkins-jobs ... test` complains at seeing this.

Signed-off-by: Kefu Chai <kchai@redhat.com>

ceph-perf-pull-requests: add ceph-perf-classic job

* add "ceph-perf-classic" job. this job is defined using the job
  template of "ceph-perf-{osd_flavor}"
* change the whitelist of "ceph-perf-crimson" and "ceph-perf-classic"
  to "performance", so both of them can be enabled as long as the
  "performance" label is attached to a PR.

please note, "ceph-perf-classic" job is using the test case and
acceptance critiera defined in `src/test/crimson/cbt/radosbench_4K_read.yaml`
for testing the performance. we need to adapt it for the needs of
classic OSD.

Signed-off-by: Kefu Chai <kchai@redhat.com>

ceph-perf-pull-requests: conditionalize run-cbt

to guard the embedded shell script with the check of "osd-flavor" parameter

Signed-off-by: Kefu Chai <kchai@redhat.com>

ceph-perf-pull-requests: extract ceph-perf test as a job-template

so we can reuse it for testing classic osd

Signed-off-by: Kefu Chai <kchai@redhat.com>

Merge pull request #1548 from ceph/always-run-teuthology-in-sepia

teuthology: always test pull requests in sepia

teuthology: always test pull requests in sepia

Because teuthology has functional and integration tests which
needs a connection to some services running in sepia and
some of the jenkins workers are running far away from the lab,
it takes significantly more time to run tests when using those
nodes. Like 6-7 minutes for running test on nodes in sepia,
and about 55-60 minutes outside.

Signed-off-by: Kyr Shatskyy <kyrylo.shatskyy@suse.com>

Merge pull request #1547 from tchaikov/wip-cleanup-ws

ceph-dev-*build: remove ceph-container after done with it

ceph-dev-*build: remove ceph-container after done with it

because `ceph-container` contains the artifacts created using `root`
user after 6090e4d00c82b8aba1d56ed249f29352e7c308d6, for instance, the
`staging` directory is created by
https://github.com/ceph/ceph-container/blob/2f61465f6a91f15470ff4f87844c5fe9c64b9664/maint-lib/stage.py#L102

so we need to remove `ceph-container` after pushing the created image
using `sudo` as well. otherwise, jenkins is not able to cleanup the
workspace using the "jenkins-build" user.

Signed-off-by: Kefu Chai <kchai@redhat.com>

Merge pull request #1546 from ceph/root-container-build

ceph-dev-*build: sudo -E for container build

ceph-dev-*build: sudo -E for container build

We need the environment, or else

+ sudo CI_CONTAINER=true SHA1=ca338cb74a4f503555323a668a2ba5b2e1845057 /bin/bash ./contrib/build-push-ceph-container-imgs.sh
+ CI_CONTAINER=true
+ true
+ CEPH_BRANCH=
+ for v in BRANCH SHA1 CONTAINER_REPO_HOSTNAME CONTAINER_REPO_ORGANIZATION CONTAINER_REPO_USERNAME CONTAINER_REPO_PASSWORD
+ require BRANCH
+ [[ -z '' ]]
+ echo 'Required variable BRANCH not set, exiting'
Required variable BRANCH not set, exiting

Signed-off-by: Sage Weil <sage@redhat.com>

Merge pull request #1539 from ceph/medic-chacra-key

ceph-medic-release: Bind CHACRACTL_KEY credential

Merge pull request #1545 from ceph/root-container-build

ceph-dev-*build: build containers as root

ceph-dev-*build: build container as root

Hopefully this avoids all of the podman/docker issues like

+ make clean.all
Emulate Docker CLI using podman. Create /etc/containers/nodocker to quiet msg.
Error: could not get runtime: open /proc/13238/ns/user: no such file or directory
Emulate Docker CLI using podman. Create /etc/containers/nodocker to quiet msg.
Error: could not get runtime: open /proc/13238/ns/user: no such file or directory
Emulate Docker CLI using podman. Create /etc/containers/nodocker to quiet msg.
Error: could not get runtime: open /proc/13238/ns/user: no such file or directory
+ login_docker_hub
+ echo 'Login in the Docker Hub'
Login in the Docker Hub
+ docker login -u **** -p **** quay.io
Emulate Docker CLI using podman. Create /etc/containers/nodocker to quiet msg.
Error: could not get runtime: open /proc/13238/ns/user: no such file or directory

Signed-off-by: Sage Weil <sage@redhat.com>

Merge pull request #1544 from tchaikov/wip-with-seastar

ceph-perf-pull-requests: enable WITH_SEASTAR

ceph-perf-pull-requests: enable WITH_SEASTAR

as WITH_SEASTAR is now off by default, we need to enable it for testing
crimson-osd

Signed-off-by: Kefu Chai <kchai@redhat.com>

Merge pull request #1543 from tchaikov/wip-run-cbt-on-el8

ceph-perf-pull-requests: install cbt dependencies for el8

ceph-perf-pull-requests: install cbt dependencies for el8

since all "performance" slaves are now el8, we need to update the
dependencies for cbt accordingly

Signed-off-by: Kefu Chai <kchai@redhat.com>

Merge pull request #1532 from ceph/wip-sepia-weekly

sepia-fog-images: Run automatically every week

Merge pull request #1542 from ceph/ceph_ansible_podman_stable_4_only

ceph-ansible-prs: run podman on stable-4.0 only

ceph-ansible-prs: run podman on stable-4.0 only

We don't need to run an extra podman scenario job on newer branches than
stable-4.0 because we're already using podman by default (CentOS 8) for
all container scenarios.
For older branches we don't support podman.

Signed-off-by: Dimitri Savineau <dsavinea@redhat.com>

Merge pull request #1533 from ceph/ceph_container_nightly_update

ceph-container-nightly: update job naming

Merge pull request #1540 from ceph/wip-unknown-release

build_utils.sh: add pacific

Reviewed-by: Kefu Chai <kchai@redhat.com>
Reviewed-by: Kyr Shatskyy <kyrylo.shatskyy@suse.de>

Merge pull request #1541 from ceph/guits-ca-syntax

ceph-ansible: update syntax check

ceph-ansible: update syntax check

This commit replaces s/site-docker.yml.sample/site-container.yml.sample

ceph-ansible related PR: ceph/ceph-ansible#5216

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

ceph-dev-build: update {build,setup}_osc for pacific

Signed-off-by: Nathan Cutler <ncutler@suse.com>

build_utils.sh: add pacific

I hope this will fix the FTBFS currently seen in Shaman on openSUSE Leap
15.2 builds of "master" branch:

++ case $ver in
++ rel=unknown
++ echo 'ERROR: Unknown release for version '\''16.0.0'\'''
ERROR: Unknown release for version '16.0.0'
++ echo unknown
++ exit 1
+ RELEASE_BRANCH=unknown

Signed-off-by: Nathan Cutler <ncutler@suse.com>

Merge pull request #1537 from ceph/ceph_ansible_nightly_container_name

ceph-ansible-nightly: parametrize centos release

Merge pull request #1538 from ceph/quary_prune_el8

quay-pruner: add CentOS 8 container support

ceph-medic-release: Bind CHACRACTL_KEY credential

This job was writing an incomplete .chacractl config file.

Signed-off-by: Zack Cerza <zack@redhat.com>

quay-pruner: add CentOS 8 container support

Since Ceph Octopus release, the container image are based on CentOS 8
instead of 7 for previous releases.
The current quay pruner script only matches tags for CentOS 7.
This adds the CentOS 8 support.

Signed-off-by: Dimitri Savineau <dsavinea@redhat.com>

ceph-ansible-nightly: parametrize centos release

Since octopus the container image are based on CentOS 8 instead of 7 for
the previous Ceph releases.
The current regex to find the latest stable container image per Ceph
releases is hardcoding 7.

Signed-off-by: Dimitri Savineau <dsavinea@redhat.com>

Merge pull request #1535 from ceph/ceph_ansible_stable_5

ceph-ansible-nightly: add stable-5.0 branch

Merge pull request #1536 from ceph/ceph_ansible_get_rid_ubuntu

ceph-ansible: remove ubuntu distribution

ceph-ansible: remove ubuntu distribution

This commit removes the ubuntu distribution testing from the ceph-ansible
jobs for both PRs and nightly configuration.

Signed-off-by: Dimitri Savineau <dsavinea@redhat.com>

ceph-ansible-nightly: add stable-5.0 branch

This adds the ceph-ansible stable-5.0 branch to the nighly jobs which
is used to test the Ceph Octopus release.

Signed-off-by: Dimitri Savineau <dsavinea@redhat.com>

Merge pull request #1534 from ceph/wip-relative

sync-push: Create relative symlinks instead of absolute

sync-push: Create relative symlinks instead of absolute

This allows people to `rsync --copy-links -aiv rsync://download.ceph.com/ceph/{debian,rpm}-octopus .` and have rsync follow the symlink.

The previous way of symlinking did not.

Signed-off-by: David Galloway <dgallowa@redhat.com>

ceph-container-nightly: update job naming

The ceph-container tests using ceph-ansible are using:
  - ceph_ansible-all_daemons
  - ceph_ansible-collocation
  - ceph_ansible-lvm_osds

Signed-off-by: Dimitri Savineau <dsavinea@redhat.com>

Merge pull request #1531 from ceph/wip-buster-key

ansible: Install Buster GPG keys

sepia-fog-images: Run automatically every week

Signed-off-by: David Galloway <dgallowa@redhat.com>

ansible: Install Buster GPG keys

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #1526 from ceph/wip-dirs

scripts: Support new directory structure in signing scripts

Merge pull request #1344 from ThoreKr/debian-buster

Debian buster support for releases

Merge pull request #1530 from ceph/wip-c8aldfjls

ceph*build: Update combination filter for bionic/centos8 ARM64

Reviewed-by: Kefu Chai <kchai@redhat.com>

ceph*build: Update combination filter for bionic/centos8 ARM64

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #1529 from ceph/wip-gigantic

ceph*build: Use new gigantic label

scripts: Support new directory structure in signing scripts

Sage requested a new directory structure on download.ceph.com to make posting new versions and potentially pulling releases easier.

Instead of having all packages in a single repo under a `rpm-octopus` directory, `rpm-octopus` on d.c.c will symlink to `rpm-X.X.X` where X.X.X is the latest release.

Signed-off-by: David Galloway <dgallowa@redhat.com>

ceph*build: Use new gigantic label

By requiring 'braggi', none of the ARM64 builds would start.  It wouldn't be appropriate to give the arm64 builders a "braggi" label so I'm creating a new "gigantic" label that can apply to the braggi and arm64 builders.

There are no nodes in mita that have a 'gigantic' label so that guarantees builds won't run on OVH ephemeral nodes.

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #1528 from ceph/wip-fix-rpm-release

Update ceph-release-rpm job for EL8 compatibility

Merge pull request #1527 from ceph/wip-fix-master

ceph-dev-trigger: Fix regex for master conditional step

ceph-release-rpm: Update for EL8 compatibility

Signed-off-by: David Galloway <dgallowa@redhat.com>

ceph-release-rpm: Inject missing chacra credentials

Signed-off-by: David Galloway <dgallowa@redhat.com>

ceph-dev-trigger: Fix regex for master conditional step

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #1525 from ceph/wip-require-braggi

ceph*build: Only build on new braggi builders

ceph*build: Only build on new braggi builders

This may need to change in the future if jobs start getting backed up.  Still trying to find the balance.

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #1524 from tchaikov/wip-dont-build-crimson-for-master

ceph-dev-trigger: do not build crimson flavor on master branch

ceph-dev-trigger: do not build crimson flavor on master branch

no need to do so at this moment, we just need to build it for wip-*
branches to make sure crimson does not fail to build.

Signed-off-by: Kefu Chai <kchai@redhat.com>

Merge pull request #1519 from tchaikov/wip-octopus

ceph-dev-trigger: include octopus branch

ceph-dev-trigger: do not build crimson for octopus

Signed-off-by: Kefu Chai <kchai@redhat.com>

Merge pull request #1523 from callithea/wip-ceph-dashboard-add-octopus

ceph-api-nightly: Add octopus branch to nightly tests

ceph-api-nightly: Add octopus branch to nightly tests

Signed-off-by: Laura Paduano <lpaduano@suse.com>

Merge pull request #1520 from ceph/wip-xargs

multiple: Use --no-run-if-empty flag with `xargs dirname`

Merge pull request #1522 from ceph/ceph_ansible_braggi_fix

build_utils.sh: allow using virtualenv with py3

build_utils.sh: allow using virtualenv with py3

On braggi nodes (CentOS 8) there's no python2 anymore but only python3 so
the virtualenv command will fail.

+ virtualenv -p python2.7 /tmp/venv.iqvT26vCL8
The path python2.7 (from --python=python2.7) does not exist
Build step 'Conditional step (single)' marked build as failure

Instead we should try if test if the python2.7 command exist and then try
python3 if this fails.

This commit also removes a duplicate slave_labels declaration in the
ceph-ansible-prs configuration.

Signed-off-by: Dimitri Savineau <dsavinea@redhat.com>

Merge pull request #1521 from ceph/wip-agent-sl

Avoid symlink recursion issue

Avoid symlink recursion issue

Checkouts of the ceph repo contain directories with symlinks that link
to their parent dirs; this causes the file permissions check to fail.
Avoid following symlinks to work around.

Signed-off-by: Zack Cerza <zack@redhat.com>

multiple: Use --no-run-if-empty flag with `xargs dirname`

I was seeing `dirname: missing operand` when there was no output from the `find | grep`

We want the output to just be empty instead of throwing an error

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #1518 from ceph/wip-noreboot

ceph-pull-requests: Don't require rebootable label

ceph-dev-new-trigger: do not build crimson flavor for octopus

Signed-off-by: Kefu Chai <kchai@redhat.com>

ceph-dev-trigger: include octopus branch

Signed-off-by: Kefu Chai <kchai@redhat.com>

Merge pull request #1516 from ceph/wip-python3dev

Test teuthology PRs on Bionic & install python3-dev

ceph-*: Don't require rebootable label

We got rid of slave reboots for ceph-pull-requests in https://github.com/ceph/ceph-build/pull/1508

The other jobs already didn't reboot on failure.

Signed-off-by: David Galloway <dgallowa@redhat.com>