ceph-dev: Keep 14 days' worth of builds

multijob projects only keep the lowest number of builds specified in build-discarder config.  So we only had 25 builds.  That only correlates to 3-5 days which isn't log enough to debug failed builds from a week ago, for example.

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #2036 from ceph/cv-c8

ceph-volume-*: Run on CentOS8 builders. C7 is too old now.

Merge pull request #2035 from ceph/fix-path

ceph-volume-*: Run on CentOS8 builders. C7 is too old now.

Signed-off-by: David Galloway <dgallowa@redhat.com>

ansible: Replace a couple more instances of slave

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #2034 from ceph/add-tox-rbdmirror

build_utils.sh: update start_tox()

build_utils.sh: update start_tox()

This makes tox pick the right tox config file when scenario is
'rbdmirror'

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #2033 from ceph/ca-add-rbdmirror

ca-ansible-prs: add rbdmirror scenario

ca-ansible-prs: add rbdmirror scenario

add functional testing for rbdmirror scenario

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #2032 from tchaikov/wip-crimson

build_utils: do not pass -DWITH_SEASTAR=ON for building crimson flavor

Reviewed-by: Radoslaw Zarzynski <rzarzyns@redhat.com>

build_utils: do not pass -DWITH_SEASTAR=ON for building crimson flavor

CEPH_EXTRA_RPMBUILD_ARGS="--with seastar" should suffice for building
rpm. while DEB_BUILD_PROFILES="pkg.ceph.crimson" should be enough for
building deb packages.

Signed-off-by: Kefu Chai <tchaikov@gmail.com>

Merge pull request #2031 from ceph/fix-cv-ansible-prs

ceph-volume-ansible-prs: various fixes

ceph-volume-ansible-prs: various fixes

- enforce py39
- add quincy release

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1828 from ceph/dashboard-junit

dashboard-pr: add JUnit tests

dashboard-pr: add JUnit tests

https://plugins.jenkins.io/junit/
https://docs.openstack.org/infra/jenkins-job-builder/publishers.html?highlight=junit#publishers.junit

Signed-off-by: Ernesto Puerta <epuertat@redhat.com>

Merge pull request #2029 from ceph/sepia-pause

sepia-fog-images: Don't unpause if PAUSEQUEUE=false

sepia-fog-images: Don't unpause if PAUSEQUEUE=false

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #2027 from ceph/cv-py3

ceph-volume-pr: Run on CentOS8 Builders

ceph-volume-pr: Run on CentOS8 Builders

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #2025 from ceph/cc-smithi

ceph-container-prs: Only run on braggi/adami

ceph-container-prs: Only run on braggi/adami

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #2024 from ceph/nfs-fix

nfs-ganesha: mock target is centos-stream-8 now

nfs-ganesha: mock target is centos-stream-8 now

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #2003 from ceph/wip-centos9

Add Centos Stream 9

build_utils: opensuse -> opensuse-leap

build_utils: enable crb for c9s via dnf config-manager

add centos9

Merge pull request #2023 from ceph/revert-2011-wip-enable-WITH_PMEM

Revert "ceph-pull-requests/build/build: enable WITH_PMEM"

Revert "ceph-pull-requests/build/build: enable WITH_PMEM"

Merge pull request #2011 from CongMinYin/wip-enable-WITH_PMEM

ceph-pull-requests/build/build: enable WITH_PMEM

Merge pull request #2022 from ceph/sepia

sepia-fog-image: fetch before checkout

Shouldn't ever have to run into this issue again but...

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #2021 from ceph/cansible-docs

ceph-ansible-docs-prs: Disable job

Merge pull request #2020 from jtlayton/kconfig-debuginfo

kernel: enable CONFIG_DEBUG_INFO_DWARF_TOOLCHAIN_DEFAULT

Reviewed-by: Ilya Dryomov <idryomov@gmail.com>

kernel: enable CONFIG_DEBUG_INFO_DWARF_TOOLCHAIN_DEFAULT

The kernel builds don't currently include debug symbols. Enable them.

Signed-off-by: Jeff Layton <jlayton@redhat.com>

ceph-ansible-docs-prs: Disable job

readthedocs is building PRs

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #2017 from ceph/fixarm64

ceph-pull-requests-arm64: Do not run make check on c9

Merge pull request #1973 from tchaikov/wip-perf-test

ceph-perf-pull-requests: use newer clang

Merge pull request #2018 from ceph/python369

Merge pull request #2019 from ceph/target

build_utils: Fix get_distro to support CentOS Stream

There is no /etc/mock/epel-8-x86_64.cfg with the deprecation of CentOS 8.

```
[root@braggi07 mock]# ls -l /etc/mock/ | grep epel
-rw-r--r--. 1 root mock  201 Mar  3 07:18 alma+epel-8-aarch64.cfg
-rw-r--r--. 1 root mock  201 Mar  3 07:18 alma+epel-8-ppc64le.cfg
-rw-r--r--. 1 root mock  198 Mar  3 07:18 alma+epel-8-x86_64.cfg
-rw-r--r--. 1 root mock  200 Mar  3 07:18 centos+epel-7-ppc64le.cfg
-rw-r--r--. 1 root mock  197 Mar  3 07:18 centos+epel-7-x86_64.cfg
-rw-r--r--. 1 root mock  256 Mar  3 07:18 centos-stream+epel-8-aarch64.cfg
-rw-r--r--. 1 root mock  256 Mar  3 07:18 centos-stream+epel-8-ppc64le.cfg
-rw-r--r--. 1 root mock  253 Mar  3 07:18 centos-stream+epel-8-x86_64.cfg
-rw-r--r--. 1 root mock  256 Mar  3 07:18 centos-stream+epel-9-aarch64.cfg
-rw-r--r--. 1 root mock  256 Mar  3 07:18 centos-stream+epel-9-ppc64le.cfg
-rw-r--r--. 1 root mock  250 Mar  3 07:18 centos-stream+epel-9-s390x.cfg
-rw-r--r--. 1 root mock  253 Mar  3 07:18 centos-stream+epel-9-x86_64.cfg
-rw-r--r--. 1 root mock  304 Mar  3 07:18 centos-stream+epel-next-8-aarch64.cfg
-rw-r--r--. 1 root mock  304 Mar  3 07:18 centos-stream+epel-next-8-ppc64le.cfg
-rw-r--r--. 1 root mock  301 Mar  3 07:18 centos-stream+epel-next-8-x86_64.cfg
-rw-r--r--. 1 root mock  303 Mar  3 07:18 centos-stream+epel-next-9-aarch64.cfg
-rw-r--r--. 1 root mock  303 Mar  3 07:18 centos-stream+epel-next-9-ppc64le.cfg
-rw-r--r--. 1 root mock  297 Mar  3 07:18 centos-stream+epel-next-9-s390x.cfg
-rw-r--r--. 1 root mock  300 Mar  3 07:18 centos-stream+epel-next-9-x86_64.cfg
lrwxrwxrwx. 1 root root   17 Mar  6  2020 default.cfg -> epel-8-x86_64.cfg
lrwxrwxrwx. 1 root root   31 Mar 29 16:53 default.cfg.rpmnew -> centos-stream+epel-8-x86_64.cfg
lrwxrwxrwx. 1 root mock   25 Mar  3 07:18 epel-7-ppc64le.cfg -> centos+epel-7-ppc64le.cfg
lrwxrwxrwx. 1 root mock   24 Mar  3 07:18 epel-7-x86_64.cfg -> centos+epel-7-x86_64.cfg
-rw-r--r--. 1 root mock  210 Mar  3 07:18 oraclelinux+epel-7-aarch64.cfg
-rw-r--r--. 1 root mock  207 Mar  3 07:18 oraclelinux+epel-7-x86_64.cfg
-rw-r--r--. 1 root mock  210 Mar  3 07:18 oraclelinux+epel-8-aarch64.cfg
-rw-r--r--. 1 root mock  207 Mar  3 07:18 oraclelinux+epel-8-x86_64.cfg
-rw-r--r--. 1 root mock  117 Mar  3 07:18 rhel+epel-8-aarch64.cfg
-rw-r--r--. 1 root mock  117 Mar  3 07:18 rhel+epel-8-ppc64le.cfg
-rw-r--r--. 1 root mock  115 Mar  3 07:18 rhel+epel-8-s390x.cfg
-rw-r--r--. 1 root mock  116 Mar  3 07:18 rhel+epel-8-x86_64.cfg
-rw-r--r--. 1 root mock  198 Mar  3 07:18 rocky+epel-8-aarch64.cfg
-rw-r--r--. 1 root mock  195 Mar  3 07:18 rocky+epel-8-x86_64.cfg
```

Signed-off-by: David Galloway <dgallowa@redhat.com>

build_utils.sh: Do not remove unwanted python3 versions

For some reason, python36 is a dependency of python3-virtualenv.  python39 is not.

So removing python36 was removing python3-virtualenv.

Signed-off-by: David Galloway <dgallowa@redhat.com>

ceph-pull-requests-arm64: Do not run make check on c9

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #2016 from ceph/fix-container-lint

ceph-container-{lint,flake8}: Start podman too

ceph-container-{lint,flake8}: Start podman too

Installing 'docker' on CentOS8 installs podman (and podman-docker). One cannot restart the service by calling 'docker' however.

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #1729 from ceph/wip-cleanup-nfs

nfs-ganesha*: Clean up leftover shaman repos

Merge pull request #2015 from ceph/builtin2

Use Jenkins' 'built-in' magic phrase

https://www.jenkins.io/changelog-stable/#v2.319.1

I don't know if it's a bug or what but giving the controller a "controller" label and instructing the jobs to run on that label only, they would still get stuck on `(pending—Waiting for next available executor on ‘builtin’)`.

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #2014 from ceph/mastermain

Replace remaining references to master

Replace remaining references to master

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #2010 from ceph/inclusive

Inclusive Language Update

Merge pull request #2013 from ceph/cephadm-ansible-skip-el9

cephadm-ansible-prs: disable el9-functional

cephadm-ansible-prs: disable el9-functional

el9 RPMs aren't available yet.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #2012 from ceph/cephadm-ansible-unittests

cephadm-ansible-prs: add new scenario

cephadm-ansible-prs: add new scenario

This adds the `unittests` scenario.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

ceph-pull-requests/build/build: enable WITH_PMEM

WITH_PMEM is added in
https://github.com/ceph/ceph/commit/17d2bc3707bb0078e2fa1b4eef31b39804e45135.

Signed-off-by: Yin Congmin <congmin.yin@intel.com>

Merge pull request #2009 from ceph/cephadm-ansible-prs-el9

cephadm-ansible-prs: add multi-distro support

master-> main

Signed-off-by: David Galloway <dgallowa@redhat.com>

ansible: s/slave/builder s/master/controller

Signed-off-by: David Galloway <dgallowa@redhat.com>

cephadm-ansible-prs: add multi-distro support

So we can test against multiple distro.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

ceph-perf-pull-requests: install clang-12 on debian/ubuntu

now that clang-12 is available for focal-updates, let's use it.

regarding the error message and warnings reported by compiler, the newer
the merrier.

Signed-off-by: Kefu Chai <tchaikov@gmail.com>

ceph-perf-pull-requests: use llvm-toolset from AppStream

now that AppStream includes llvm-toolset-13, there is no need to
use a copr repo for llvm-toolset-10.

also update the compiler detection algorithm to be more future-proof.

see also 342bd7ec05bc4b83212cb53e48b04b607bb2be04

Signed-off-by: Kefu Chai <tchaikov@gmail.com>

Merge pull request #2008 from ceph/push

ceph-setup: Correct repo and branch name

ceph-tag: Fix paths and order

Signed-off-by: David Galloway <dgallowa@redhat.com>

ceph-tag: Provide a message when merging

Signed-off-by: David Galloway <dgallowa@redhat.com>

ceph-setup: Check out {{ branch }}-release

We *do* want to do this after all. It's sketchy to expect {{ branch }} will continue staying at the point you want it to.

Yuri (or anyone) should push {{ branch }} to {{ branch }}-release and test it.  {{ branch }} can continue to be merged to.

Signed-off-by: David Galloway <dgallowa@redhat.com>

ceph-setup: Correct repo and branch name

Fixes error: src refspec pacific does not match any

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #2007 from ceph/missingquote

ceph-setup: missing apostrophe

ceph-setup: missing apostrophe

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #2006 from ceph/nopehotfixfix

ceph-setup: fix hotfix process

ceph-setup: Pull {{branch}}-release not {{branch}} for hotfix

Signed-off-by: David Galloway <dgallowa@redhat.com>

Revert "ceph-release: Fix checkout process for HOTFIX"

This reverts commit 25f83fd65c5ac936b5dc618ed6c553c9a2307529.

Merge pull request #2004 from ceph/hotfixfix

ceph-release: Fix checkout process for HOTFIX

ceph-release: Fix checkout process for HOTFIX

The process is the same for a STABLE release and a HOTFIX release.

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #2000 from ceph/release

ceph: Support releasing from BRANCH-release branch

Merge pull request #2001 from ceph/cephadm-ansible-prs-fix

cephadm-ansible-prs: update scenario name

cephadm-ansible-prs: update scenario name

The tox config in cephadm-ansible has now more than 1 test.
Let's rename from 'deploy_and_purge' to 'tox' so it's more generic

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

ceph: Support releasing from BRANCH-release branch

The main goal of this change is to allow us to release from a BRANCH-release branch from ceph.git. This will allow us to continue merging PRs into BRANCH while we build and push releases.

The job also now handles pushing the version commit and tags to ceph.git.

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #1998 from ceph/p2

scripts: Always reinstall python3 and always set alternatives to auto

scripts: Always reinstall python3 and always set alternatives to auto

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #1997 from ceph/aggressive

build_utils.sh: Always remove unwanted python3.X versions

build_utils.sh: Always remove unwanted python3.X versions

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #1996 from ceph/refactor-py3

build_utils.sh: Remove python3 versions we don't want

build_utils.sh: Remove python3 versions we don't want

@guits and I think there's either a bug in `alternatives` or we just can't figure out how it's supposed to work.  Even with setting `alternatives --set python3 /usr/bin/python3.9`, python3.6 was still the "best" version according to `alternatives --display`.

So we'll just remove the other version entirely.

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #1992 from ceph/c8rpm

ansible: Update playbooks to install newest vagrant&plugin

Merge pull request #1995 from ionutbalutoiu/fix-windows-img-build

[ceph-windows-image-build] Fix Windows image build

[ceph-windows-image-build] Backup existing image file

[ceph-windows-image-build] Fix Windows image build

The `${VIRTIO_WIN_PATH}\guest-agent\qemu-ga-x86_64.msi` unattended
installation fails with latest virtio.

Refactor the setup scripts to only install the required drivers (`NetKVM`,
`viostor`, `vioserial`), and use a single script (`first-logon.ps1`) for
provisioning the Windows OS.

Also, add a separate script `utils.ps1` with common PowerShell functions.

Merge pull request #1994 from ionutbalutoiu/update-wnbd-build

[wnbd-build] Remove `FORCE` parameter

[wnbd-build] Remove `FORCE` parameter

Remove the `FORCE` parameter from the `wnbd-build` Jenkins job, and
use it by default.

The `wnbd` project is not updated that frequently, so the daily
build trigger mostly skips the Chacra upload. This is a problem
because when old Chacra artifacts are deleted, the `wnbd` build will
not be available in Chacra.

We need `wnbd` to always be available in Chacra, since the
Windows Teuthology tests will try to download it from there.

Merge pull request #1990 from rhcs-dashboard/archiving-log-error

cephadm-dashboard-e2e: archiving takes too long to fail

Merge pull request #1993 from ceph/2jenkins-python

ceph-{ansible,container}: Use python3.9 and pip==22.0.4

ceph-{ansible,container}: Use python3.9 and pip==22.0.4

In order to install and use latest ansible

Signed-off-by: David Galloway <dgallowa@redhat.com>

build_utils: Function to install/change python3 symlink

@guits needed all of the 2.jenkins.ceph.com builders to have `python3` point to `/usr/bin/python3.9`

Signed-off-by: David Galloway <dgallowa@redhat.com>

ansible: Update playbooks to install newest vagrant&plugin

The time finally came to update 2.jenkins.ceph.com's builders to CentOS8. Along with that change came the library issues mentioned here: https://github.com/vagrant-libvirt/vagrant-libvirt#additional-notes-for-fedora-and-similar-linux-distributions

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #1991 from ceph/2jenkins-centos8

ceph-{ansible,container}*: Use CentOS8 builders instead of 7

ceph-{ansible,container}*: Use CentOS8 builders instead of 7

Signed-off-by: David Galloway <dgallowa@redhat.com>

cephadm-dashboard-e2e: archiving takes too long to fail

If the provided pattern for eg: log/*.log is not found, archiving takes
way too longer to fail and that increased the job time to 1 hour on our
cephadm dashboard e2e jobs. Instead I added a pattern like log/** and
this way it immediately failed when there is no logs. (In cephadm
dashboard e2e, there
won't be any logs if the job is succesfull and the logs are saved only
when the job is failed)

Signed-off-by: Nizamudeen A <nia@redhat.com>

Merge pull request #1988 from rhcs-dashboard/cephadm-e2e-logs-artifact

cephadm-dashboard-e2e-job: get mgr container logs as an artifact

Merge pull request #1989 from ceph/wip-enable-rbd-caches

ceph-pull-requests: enable the RWL mode of RBD persistent cache