Merge pull request #1992 from ceph/c8rpm

ansible: Update playbooks to install newest vagrant&plugin

Merge pull request #1995 from ionutbalutoiu/fix-windows-img-build

[ceph-windows-image-build] Fix Windows image build

[ceph-windows-image-build] Backup existing image file

[ceph-windows-image-build] Fix Windows image build

The `${VIRTIO_WIN_PATH}\guest-agent\qemu-ga-x86_64.msi` unattended
installation fails with latest virtio.

Refactor the setup scripts to only install the required drivers (`NetKVM`,
`viostor`, `vioserial`), and use a single script (`first-logon.ps1`) for
provisioning the Windows OS.

Also, add a separate script `utils.ps1` with common PowerShell functions.

Merge pull request #1994 from ionutbalutoiu/update-wnbd-build

[wnbd-build] Remove `FORCE` parameter

[wnbd-build] Remove `FORCE` parameter

Remove the `FORCE` parameter from the `wnbd-build` Jenkins job, and
use it by default.

The `wnbd` project is not updated that frequently, so the daily
build trigger mostly skips the Chacra upload. This is a problem
because when old Chacra artifacts are deleted, the `wnbd` build will
not be available in Chacra.

We need `wnbd` to always be available in Chacra, since the
Windows Teuthology tests will try to download it from there.

Merge pull request #1990 from rhcs-dashboard/archiving-log-error

cephadm-dashboard-e2e: archiving takes too long to fail

Merge pull request #1993 from ceph/2jenkins-python

ceph-{ansible,container}: Use python3.9 and pip==22.0.4

ceph-{ansible,container}: Use python3.9 and pip==22.0.4

In order to install and use latest ansible

Signed-off-by: David Galloway <dgallowa@redhat.com>

build_utils: Function to install/change python3 symlink

@guits needed all of the 2.jenkins.ceph.com builders to have `python3` point to `/usr/bin/python3.9`

Signed-off-by: David Galloway <dgallowa@redhat.com>

ansible: Update playbooks to install newest vagrant&plugin

The time finally came to update 2.jenkins.ceph.com's builders to CentOS8. Along with that change came the library issues mentioned here: https://github.com/vagrant-libvirt/vagrant-libvirt#additional-notes-for-fedora-and-similar-linux-distributions

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #1991 from ceph/2jenkins-centos8

ceph-{ansible,container}*: Use CentOS8 builders instead of 7

ceph-{ansible,container}*: Use CentOS8 builders instead of 7

Signed-off-by: David Galloway <dgallowa@redhat.com>

cephadm-dashboard-e2e: archiving takes too long to fail

If the provided pattern for eg: log/*.log is not found, archiving takes
way too longer to fail and that increased the job time to 1 hour on our
cephadm dashboard e2e jobs. Instead I added a pattern like log/** and
this way it immediately failed when there is no logs. (In cephadm
dashboard e2e, there
won't be any logs if the job is succesfull and the logs are saved only
when the job is failed)

Signed-off-by: Nizamudeen A <nia@redhat.com>

Merge pull request #1988 from rhcs-dashboard/cephadm-e2e-logs-artifact

cephadm-dashboard-e2e-job: get mgr container logs as an artifact

Merge pull request #1989 from ceph/wip-enable-rbd-caches

ceph-pull-requests: enable the RWL mode of RBD persistent cache

cephadm-dashboard-e2e-job: get mgr container logs as an artifact

archive the logs as an artifact in both pr and nightly jobs of
cephadm dashboard frontend e2es.

Signed-off-by: Nizamudeen A <nia@redhat.com>

ceph-pull-requests: enable the RWL mode of RBD persistent cache

WITH_RBD_RWL variable is added in https://github.com/ceph/ceph/pull/45872.

Signed-off-by: Ilya Dryomov <idryomov@gmail.com>

Merge pull request #1968 from ceph/calamari

Delete calamari jobs

Merge pull request #1987 from ceph/wip-enable-cgroup-pids

kernel: enable CONFIG_CGROUP_PIDS

Merge pull request #1986 from ceph/grafana-credid

ceph-grafana: Update quay cred / erase dockerhub cred

kernel: enable CONFIG_CGROUP_PIDS

... just in case someone ever decides to test iSCSI with a testing
kernel -- iSCSI containers are started with --pids-limit=-1.

Signed-off-by: Ilya Dryomov <idryomov@gmail.com>

ceph-grafana: Update quay cred / erase dockerhub cred

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #1985 from ceph/fix-remove_docker_and_update_grafana-master

grafana/trigger: remove docker references

Merge pull request #1982 from ceph/fix-applitools_baseline-master

dashboard/nighlty: fix applitools baseline

grafana/trigger: remove docker references

And upgrade Grafana default version to 8.3.5

Signed-off-by: Ernesto Puerta <epuertat@redhat.com>

Merge pull request #1978 from ceph/sepia-defaults

sepia-fog-images: Update defaults to latest supported distros

Merge pull request #1984 from ceph/ca-drop-4.0-nightly

ceph-ansible: drop nightly jobs against nautilus

ceph-ansible: drop nightly jobs against nautilus

Nautilus is EOL, there's no need to keep testing this.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

dashboard/nighlty: fix applitools baseline

Adds correct Branch to Nightly jobs.

Renames Batches with a more intuitive naming

Signed-off-by: Ernesto Puerta <epuertat@redhat.com>

Merge pull request #1981 from badone/wip-reverse-isnottar-fix

Revert "scripts: Use python3 to test is_not_tar"

Fix python3 string check

Co-authored-by: Kefu Chai <tchaikov@gmail.com>

Revert "scripts: Use python3 to test is_not_tar"

String format appears to be incompatible with the python version being
used and so this is causing more failures than the original.

This reverts commit 4668da7fb015138b626ad21d2519c76a64e390a0.

Merge pull request #1980 from ceph/isnottar

scripts: Use bash instead of python to determine is_not_tar

Reviewed-by: Brad Hubbard <bhubbard@redhat.com>
Reviewed-by: Dan Mick <dmick@redhat.com>

scripts: Use python3 to test is_not_tar

Signed-off-by: David Galloway <dgallowa@redhat.com>

sepia-fog-images: Update defaults to latest supported distros

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #1972 from rhcs-dashboard/archive-artifacts-dashboard

dashboard-e2e-job: get mgr logs as an artifact

Merge pull request #1974 from ceph/wip-ceph-iscsi-tox-node

ceph-iscsi-tox: replace python3 node label constraint

Merge pull request #1975 from ceph/wip-windows-quincy

ceph-windows-pull-requests: add quincy

Merge pull request #1970 from rhcs-dashboard/update-grafana-version

ceph-grafana-trigger: update grafana container image version to 8.2.6

ceph-windows-pull-requests: add quincy

Signed-off-by: Ilya Dryomov <idryomov@gmail.com>

ceph-iscsi-tox: replace python3 node label constraint

mira042, the only node with python3 label, was retired two months ago.

Signed-off-by: Ilya Dryomov <idryomov@gmail.com>

dashboard-e2e-job: get mgr logs as an artifact

archive the logs as an artifact in both pr jobs and nightly jobs of
dashboard frontend e2es.

Signed-off-by: Nizamudeen A <nia@redhat.com>

ceph-grafana-trigger: update grafana container image version to 8.2.6

Signed-off-by: Aashish Sharma <aasharma@redhat.com>

Merge pull request #1966 from ionutbalutoiu/update-ceph-win-installer-job

[ceph-windows-installer-build] Remove `FORCE` parameter

[ceph-windows-installer-build] Remove `FORCE` parameter

Remove the `FORCE` parameter from the `ceph-windows-installer-build`
Jenkins job, and use it by default.

This job builds the installer from source code, and it bundles
the Ceph binaries and the WNBD driver.

Therefore, the logic to skip the build if the latest installer commit
didn't change is not useful, because the installer might contain
different Ceph binaries and WNBD driver.

Merge pull request #1969 from ceph/quincy

ceph-dev-cron: Drop nautilus | Add quincy

ceph-dev-cron: Drop nautilus | Add quincy

Signed-off-by: David Galloway <dgallowa@redhat.com>

Delete calamari jobs

Project is defunct

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #1967 from ceph/revert-207adf189

Revert "use alpha tag for ceph-ansible until we have a stable-7.0 bra…

Revert "use alpha tag for ceph-ansible until we have a stable-7.0 branch"

This reverts commit 207adf189e25753bfc68b2998d430b16fb50d389.

This breaks ceph-volume/ceph-ansible testing.

`v7.0.0alpha1` is a tag present on stable-6.0.
ceph-ansible stable-6.0 doesn't support quincy.

We have to keep using ceph-ansible@master for now.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1964 from vumrao/wip-vumrao-quincy

add quincy targets

use alpha tag for ceph-ansible until we have a stable-7.0 branch

Signed-off-by: Vikhyat Umrao <vikhyat@redhat.com>

add quincy targets

Fixes: https://tracker.ceph.com/issues/54134
Signed-off-by: Vikhyat Umrao <vikhyat@redhat.com>

Merge pull request #1962 from ceph/just-container

ceph-dev-container-only: Create job

Merge pull request #1965 from rhcs-dashboard/dashboard-e2e-dep-script

dep: delete the network before creating it again

dep: delete the network before creating it again

Need to recreate the network to avoid issues like ssh ing into the
environment.

Fixes: https://tracker.ceph.com/issues/54131
Signed-off-by: Nizamudeen A <nia@redhat.com>

Merge pull request #1937 from ceph/14

ansible: Clean up tmp files older than 14

Merge pull request #1916 from ceph/wip-jenkins-default

ansible: Update Jenkins master java args

Merge pull request #1959 from ceph/disable-docs

{ceph-pr-render,teuthology}-docs: Disable job

ceph-dev-container-only: Create job

This job will allow users to build a container for https://quay.ceph.io/repository/ceph-ci/ceph?tab=tags given a branch name.  Should work for ceph.git and ceph-ci.git.

This is mostly useful for when packages and a repo successfully get built for a ceph-dev*build job but the container build fails.

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #1917 from ceph/wip-more-builds

ceph-dev-cron: Keep more builds

Merge pull request #1961 from ceph/no-dockermirror

ceph-dev*build: Stop using docker-mirror

Merge pull request #1963 from ceph/wip-kernel-get-rpm-dist

kernel: make CentOS Stream builds work

kernel: drop local get_rpm_dist() definition

The local definition is missing a couple of things, most notably
CentOSStream addition from commit d4dfd1210124 ("scripts: Support
CentOS Stream").  This fixes repository creation breakage caused
by DIST and DISTRO set to unknown.

Signed-off-by: Ilya Dryomov <idryomov@gmail.com>

scripts/build_utils: set DIST for fedora

Set it to what it was set in a duplicate definition that got
removed in commit 8e83d2dd1b4b ("scripts/build_utils: remove
duplicated get_rpm_dist()").

Signed-off-by: Ilya Dryomov <idryomov@gmail.com>

ceph-dev*build: Stop using docker-mirror

Non-stream CentOS8 containers no longer work because the BaseOS and AppStream repos moved.  We now use the centos/centos:stream8 container image as our BASEOS_TAG.  Except that container lives on quay.io and not dockerhub.

docker-mirror.front.sepia.ceph.com:5000 can only mirror one registry.  We'll keep it as mirroring dockerhub.

Signed-off-by: David Galloway <dgallowa@redhat.com>

{ceph-pr-render,teuthology}-docs: Disable job

We're using RTD now.  The docs Jenkins builder is retired.

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #1958 from ceph/wip-fix7core

scripts: Support CentOS Stream

scripts: Support CentOS Stream

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #1955 from cbodley/wip-arrow

arrow: remove apache jfrog repositories

Merge pull request #1948 from chrisphoffman/wip-classic-libarchive-zstd

ceph-perf-pull-requests: update libarchive

Merge pull request #1956 from ceph/api-quincy

api: allowlist quincy

api: allowlist quincy

Signed-off-by: Ernesto Puerta <epuertat@redhat.com>

revert the apache.jfrog.io repos

Signed-off-by: Casey Bodley <cbodley@redhat.com>

Merge pull request #1954 from rhcs-dashboard/add-quincy-dash-nightly

config: add quincy to the dashboard nightlies

config: add quincy to the dashboard nightlies

Signed-off-by: Nizamudeen A <nia@redhat.com>

Merge pull request #1952 from dmick/wip-cephadm-package-test

ceph-{,dev,dev-new} build: fix conditional for cephadm package test

ceph-{,dev,dev-new} build: fix conditional for cephadm package test

https://github.com/ceph/ceph-build/pull/1919 added a conditional
test to check for cephadm package existence (so the code to extract
cephadm could work on older builds that did not have a cephadm package).
However, it used bash's [[ operator, and that doesn't expand file globs
in its arguments, so it effectively stopped creating the cephadm
binary altogether.

Switch to [, which doesn't have that problem.

Signed-off-by: Dan Mick <dmick@redhat.com>

ceph-perf-pull-requests: update libarchive

Ensure version of libarchive is installed due to cmake dependency: https://access.redhat.com/solutions/6068431
Error message encountered:
cmake3: symbol lookup error: cmake3: undefined symbol: archive_write_add_filter_zstd

Related: https://github.com/ceph/ceph/pull/42294

Signed-off-by: Christopher Hoffman <choffman@redhat.com>

Merge pull request #1951 from ionutbalutoiu/add-daily-triggers

Add triggers for `wnbd-build` and `ceph-windows-installer-build`

Add triggers for `wnbd-build` and `ceph-windows-installer-build`

Add daily triggers for `wnbd-build` and `ceph-windows-installer-build`.

The ceph-windows installer trigger time is offset by 1 hour to
allow the `wnbd` build to be uploaded to Chacra.

Merge pull request #1949 from ionutbalutoiu/ceph-windows-image-build

[ceph-windows-image-build] Add job to build the CI Windows image

[ceph-windows-image-build] Add job to build the CI Windows image

Adds a new freestyle Jenkins job that builds, unattended, the Windows
Server 2019 qcow2 image used in the Ceph CI with libvirt.

Merge pull request #1950 from ceph/cephadm-ansible-creds

cephadm-ansible: add new credentials

cephadm-ansible: add new credentials

This will allow using default images from cephadm instead of
maintaining what needs to be used in the tox.ini file of cephadm-ansible.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1945 from rhcs-dashboard/cephadm-e2e-nightly-fix

ceph-dashboard-cephadm-e2e-job: update workspace path

Merge pull request #1946 from chrisphoffman/wip-llvmtoolset-repo-method

ceph-perf-pull-requests: enable llvm-toolset-10 repo using distribution-version-architecture format.

ceph-perf-pull-requests: enable llvm-toolset-10 repo using
distribution-version-architecture format.

Signed-off-by: Christopher Hoffman <choffman@redhat.com>

ceph-dashboard-cephadm-e2e-job: update workspace path

In the nightly runs we saw that the ceph_cluster.yml file which we used
to deploy kcli plans is not up-to-date with the master one. It cause
problems in the nightlies. We've narrowed down the problem is with the basedir
and and also with the path difference in the dependency script and the location of
ceph. So changing the workspace path to workspace/ceph.

Signed-off-by: Nizamudeen A <nia@redhat.com>

Merge pull request #1941 from ionutbalutoiu/ceph-windows-installer-job

[ceph-windows-installer-build] Add Jenkins job to build the ceph-windows-installer project

Merge pull request #1944 from ionutbalutoiu/refactor-windows-jobs

Refactor `ceph-windows-test` and `ceph-windows-pull-requests` jobs

Add `ceph-windows-installer-build` job to build Ceph Windows installer

The `ceph-windows-installer` project creates a Windows MSI installer
that can be used to setup Ceph on Windows.

It bundles the `wnbd` driver, and the `ceph` binaries.
These are downloaded from Chacra prior to building the installer.

Refactor `ceph-windows-test` and `ceph-windows-pull-requests` jobs

Refactor the Ceph Windows Jenkins jobs (`ceph-windows-test` and
`ceph-windows-pull-requests`) with common scripts from
`scripts/ceph-windows` and `scripts/build_utils.sh`.

Merge pull request #1943 from tchaikov/wip-submodules

ceph-pr-submodules: check for commit message noting submodule change

Reviewed-by: David Galloway <dgallowa@redhat.com>

ceph-pr-submodules: check for commit message noting submodule change

Signed-off-by: Kefu Chai <tchaikov@gmail.com>

ceph-pr-submodules: print out the changed submodule only

instead of printing:

Project has modified submodules!
Submodule src/seastar f021c161816...ce2652d39dc (commits not present)

just print:

Project has modified submodules: src/seastar

Signed-off-by: Kefu Chai <tchaikov@gmail.com>

ceph-pr-submodules: extract the check into a function

prepare for the next commit which add an escape rule

Signed-off-by: Kefu Chai <tchaikov@gmail.com>

Merge pull request #1935 from ionutbalutoiu/add-wnbd-job

[wnbd-build] Add new Jenkins job to build the wnbd project

[wnbd-build] Add Jenkins job to build the wnbd project

* Add the Jenkins job used to build the `wnbd` project.
* Add the following utils functions: `ssh_exec`, `scp_upload`, `scp_download`.
* Add `./scripts/ceph-windows/cleanup` script that can be used as a
  post-build step to clean up the Windows test / build environment.
* Add `./scripts/ceph-windows/setup_libvirt_vm` script used to spawn a
  libvirt VM with the Windows test / build environment.
* Upload the build artifact to chacra.