label: s/bionic/jammy

These surprised me.  I'd only been looking for focal.

Signed-off-by: David Galloway <david.galloway@ibm.com>

Merge pull request #2596 from ceph/novagrant

windows jobs: Can run on Noble or Jammy

windows jobs: Can run on Noble or Jammy

Signed-off-by: David Galloway <david.galloway@ibm.com>

Merge pull request #2594 from ceph/ceph-pr-jammy

ceph-pr-api: Split out squid-specific job

Merge pull request #2595 from ceph/cdp-bookworm

ceph-dev-pipeline: Fix NotSerializableException when iterating readPr…

Merge pull request #2593 from ceph/label-cleanup

Label cleanup

ceph-dev-pipeline: Fix NotSerializableException when iterating readProperties result

Jenkins periodically saves its state to disk so it can resume builds
after a restart or when waiting for an agent. Some Java objects cannot
be saved this way. We were looping over a properties file in a way that
created one of those unsaveable objects, which caused Jenkins to crash
when it happened to try saving at that moment.

The fix changes the loop to only work with plain strings, which Jenkins
has no trouble saving.

Signed-off-by: David Galloway <david.galloway@ibm.com>

ceph-pr-api: Split out squid-specific job

The Squid branch still requires python3.10 in order to build.  Most of our builders are running Ubuntu Noble now which does not have python3.10.

So run ceph API tests for Squid-targeted PRs on installed-os-jammy and all others on installed-os-noble.

The job names were chosen to keep the existing naming scheme for non-squid jobs (e.g., https://jenkins.ceph.com/job/ceph-api vs. https://jenkins.ceph.com/job/ceph-api-squid)

Signed-off-by: David Galloway <david.galloway@ibm.com>

Condense windows/libvirt/vagrant labels

All libvirt hosts have vagrant-libvirt installed.  All windows jobs require libvirt.

Signed-off-by: David Galloway <david.galloway@ibm.com>

Clean up retired jobs

We're retiring chacra eventually
shaman-pull-requests hasn't passed in 7 years
ceph-deploy is long dead
What even is lab-cop

Signed-off-by: David Galloway <david.galloway@ibm.com>

Clean up references to EOL distros

I didn't bother with the jobs that I'm pretty sure need to be moved to the attic.

Signed-off-by: David Galloway <david.galloway@ibm.com>

labels: replace all amd64 with x86_64

Chose x86_64 because there were more instances of it.  We don't need both.

Signed-off-by: David Galloway <david.galloway@ibm.com>

Merge pull request #2583 from ceph/76605

setup_container_runtime: Fix image pruning

Merge pull request #2589 from afreen23/fix-cephadm-e2e

cephadm-e2e: fix libvirt socket permission denied in rootless podman

cephadm-e2e: fix libvirt socket permission denied in rootless podman

Rootless podman drops host supplementary groups when creating a user
namespace. The kcli container loses the libvirt GID and cannot access
/var/run/libvirt/libvirt-sock, causing all e2e builds to fail.

Add --group-add keep-groups to preserve the host user's groups inside
the container.

Signed-off-by: Afreen Misbah <afreen@ibm.com>

Merge pull request #2588 from afreen23/fix-image-sync

mgr/dashboard: Fix image sync issue grafana

mgr/dashboard: Fix image sync issue grafana

In the build script, `-e GODEBUG=http2client=0` is placed after the container image name (quay.io/skopeo/stable sync --all), which means it gets passed as a flag to skopeo sync, not to podman run.

Signed-off-by: Afreen Misbah <afreen@ibm.com>

Merge pull request #2570 from ceph/upload-to-pulp

feat: add Pulp upload scripts and pipeline integration

Merge pull request #2587 from ceph/fix-builder-playbook

Fix: when conditional failure due to non-boolean result

feat: add Pulp upload scripts and pipeline integration

Add an optional path to publish built RPM/DEB artifacts to Pulp alongside the
existing Chacra flow.
  - Introduce a `PULP_UPLOAD` boolean parameter (default false) on the `ceph-dev` job.
  - Add `scripts/setup_pulp.sh` to install `pulp-cli` (with pulp-cli-deb) via uv and
    write client config from Jenkins credentials.
  - Add `scripts/pulp_upload.sh` to upload discovered packages, attach them to the
    target repository, create a publication, and publish a distribution with
    project/version/ref/arch/sha labels.
  - Update the Jenkinsfile to install/configure the Pulp client when forcing a
    rebuild with Pulp upload while Chacra already has artifacts, and to invoke
    `pulp_upload.sh` after `chacra_upload.sh` when `THROWAWAY` is not `true` and
    `PULP_UPLOAD` is `true`.

Signed-off-by: Vaibhav Mahajan <vamahaja@redhat.com>

Fix: when conditional failure due to non-boolean result

Signed-off-by: jitendrasahu1803 <jitendra.sahu1803@gmail.com>

setup_container_runtime: Fix image pruning

`podman system prune --force` can still exit 0 even if there are
images still in use by external containers.  e.g.,

```
+ podman system prune --force
Deleted Images
63ce0076aa6cdd5544433330d81d0a116b3cfcace3d3ca7aabcf953d97ee819d
2234e3448b78b20836a83c3559ba45ec0d3713786c9ce8ccaadd0ae728b6c3b5
Total reclaimed space: 1.607GB

real 0m1.948s
user 0m0.536s
sys 0m1.061s
+ podman image prune --filter=until=168h --all --force
Error: 2 errors occurred:
* image used by b0c2fcd16e3423046b704d626ee30f1e9d455efb844640aa83f61d0f2bf7b426: image is in use by a container: consider listing external containers and force-removing image
* image used by fe06141e65c607edd79df847d793116c00b9749cea2bb5b1b247cfca1c72e9d9: image is in use by a container: consider listing external containers and force-removing image

real 0m19.330s
user 0m1.280s
sys 0m10.139s
Build step 'Execute shell' marked build as failure
```

Since this script is already pretty destructive, just add --external unconditionally.

Fixes: https://github.com/ceph/ceph-build/pull/2583
Signed-off-by: David Galloway <david.galloway@ibm.com>

Merge pull request #2580 from ceph/wip-63336

scripts: sign-debs script

Merge pull request #2581 from ceph/63567

builder.yml: Replace apt_key module

builder.yml: Replace apt_key module

Fixes: https://tracker.ceph.com/issues/63567
Signed-off-by: David Galloway <david.galloway@ibm.com>

scripts: sign-debs script

Fixes: https://tracker.ceph.com/issues/63336
Signed-off-by: David Galloway <david.galloway@ibm.com>

Merge pull request #2539 from deepssin/release-tracker-workflow

Add release-tracker-workflow pipeline for Shaman-based RC testing

Merge pull request #2579 from jmundack/handle_branch_names

ceph-website-pr: Support '/' and  '.' in branch names for website pr builds

Merge pull request #2578 from deepssin/fix-jjb-setuptools-pkg-resources

jenkins-job-builder: pin setuptools for JJB on Python 3.12

ceph-website-pr: Support '/' and '.' in branch names for website pr builds

jenkins-job-builder: pin setuptools for JJB on Python 3.12

Stevedore still imports pkg_resources when loading jenkins-jobs CLI
extensions. setuptools>=82 can leave that module unavailable in fresh
venvs on newer agents, causing No module named pkg_resources and
No jjb.cli.subcommands extensions found.

Install setuptools<82 after bootstrap so jenkins-jobs works on both
Python 3.10 and 3.12 workers until upstream drops pkg_resources.

Signed-off-by: deepssin <deepssin@redhat.com>

Merge pull request #2577 from ceph/cdp-fix-skip-compile

ceph-dev-pipeline: Correct compile-skipping

ceph-dev-pipeline: Correct compile-skipping

We were erroneously skipping the container phase in some cases.

Signed-off-by: Zack Cerza <zack@cerza.org>

Merge pull request #2576 from ceph/vagrant-sudo

builder.yml: Switch python binaries for vagrant install.

builder.yml: Switch python binaries for vagrant install.

See comment in-line.

Signed-off-by: David Galloway <david.galloway@ibm.com>

Merge pull request #2572 from ceph/jb-nouid

builder.yml: Fix builder home dir ownership

Merge pull request #2573 from ceph/fix-names

Remove preserve- prefix from new jobs

Remove preserve- prefix from new jobs

Signed-off-by: Zack Cerza <zack@cerza.org>

builder.yml: Don't follow symlinks when chowning

Signed-off-by: David Galloway <david.galloway@ibm.com>

builder.yml: Do not recursively chown everything

`chown`ing the podman storage directory is problematic when using rootless podman

Signed-off-by: David Galloway <david.galloway@ibm.com>

builder.yml: Clean up podman storage

Signed-off-by: David Galloway <david.galloway@ibm.com>

Merge pull request #2568 from deepssin/wip-teuthology-nightly-cadence

Add teuthology-nightly-cadence (and trigger) plus teuthology-runner

Merge pull request #2571 from jmundack/add_admins

ceph-website-pr: Enable ceph team members to be admins on website prs

ceph-website-pr: Enable ceph team members to be admins on website prs

Add teuthology-nightly-cadence (and trigger) plus teuthology-runner

Signed-off-by: deepssin <deepssin@redhat.com>

Merge pull request #2569 from ceph/jenkins-rbac-config

Update Jenkins authorization strategy

update Jenkins authorization strategy to use ProjectMatrixAuthorizationStrategy and adjust oauth settings

Merge pull request #2562 from ceph/start-with-libvirt-group

cephadm-e2e: wrap kcli commands in libvirt group

Merge pull request #2567 from shraddhaag/wip-support-debug-rocky10

introduce debug builds for rocky10

introduce debug builds for rocky10

This commit adds debug builds for rocky10. So far we are only building
release builds for rocky10. Debug builds are helpful for testing,
especially for crimson.

Fixes: https://tracker.ceph.com/issues/75952
Signed-off-by: Shraddha Agrawal <shraddha.agrawal000@gmail.com>

cephadm-e2e: wrap kcli commands in libvirt group

as per: https://github.com/ceph/ceph-build/pull/2458#discussion_r3009905844

Signed-off-by: Nizamudeen A <nia@redhat.com>

Add release-tracker-workflow pipeline for Shaman-based RC testing

Signed-off-by: deepssin <deepssin@redhat.com>

Merge pull request #2565 from dmick/version-only-for-v21

ceph-release-containers: only use --version on v21 and later: fix missing fi

ceph-release-containers: only use --version on v21 and later

This should be temporary and replaced with a proper backport; doing
this to allow v20.2.1 to be released without rebuilding packages

Signed-off-by: Dan Mick <dan.mick@redhat.com>

Merge pull request #2564 from dmick/version-only-for-v21

ceph-release-containers: only use --version on v21 and later

ceph-release-containers: only use --version on v21 and later

This should be temporary and replaced with a proper backport; doing
this to allow v20.2.1 to be released without rebuilding packages

Signed-off-by: Dan Mick <dan.mick@redhat.com>

Merge pull request #2563 from ceph/el10_functional_test

cephadm-ansible-prs: add el10-functional job

cephadm-ansible-prs: add el10-functional job

Signed-off-by: Teoman ONAY <tonay@ibm.com>

Merge pull request #2561 from ceph/release-tar

ceph-source-dist: Decompress the bzip2 to stdout

ceph-source-dist: Decompress the bzip2 to stdout

The original bunzip didn't like the `ln ceph-$ceph_version_tarball.$extension dist/` hard link.

bunzip2 refuses to decompress in-place when a file has multiple hard links, because doing so would silently corrupt the other link

Signed-off-by: David Galloway <david.galloway@ibm.com>

Merge pull request #2458 from rhcs-dashboard/fix-docker-issue

cephadm-dashboard-e2e: replace docker with podman

cephadm-dashboard-e2e: replace docker with podman

- cleanup the docker installation if its installed through docker-ce

Signed-off-by: Nizamudeen A <nia@redhat.com>

Merge pull request #2560 from ceph/c-o-r-e

ceph-rook-e2e fixes

ceph-rook-e2e: Try podman in cleanup too

Signed-off-by: David Galloway <david.galloway@ibm.com>

ceph-rook-e2e: Add debug line

Signed-off-by: David Galloway <david.galloway@ibm.com>

rook-e2e: Don't use docker

Signed-off-by: David Galloway <david.galloway@ibm.com>

ceph-rook-e2e: Fix ghprb

It wasn't possible to run this manually.  These changes allow putting just a PR # in the parameter for hte job.

Signed-off-by: David Galloway <david.galloway@ibm.com>

Merge pull request #2559 from ceph/hash

setup_container_runtime.sh: refresh bash path after podman removal

setup_container_runtime.sh: refresh bash path after podman removal

If we remove podman in the "Found a very old podman; removing" function, we subsequently run `command -v podman` later in the script but we're hitting a stale cache.

e.g.,

```
+ setup_container_runtime
++ id -nu
+ loginctl enable-linger jenkins-build
+ command -v podman
/usr/bin/podman
+ podman system info
++ podman version -f '{{ lt .Client.Version "4" }}'
+ '[' true = true ']'
+ echo 'Found a very old podman; removing'
Found a very old podman; removing
+ command -v dnf
+ command -v apt
/usr/bin/apt
+ sudo apt remove -y podman

WARNING: apt does not have a stable CLI interface. Use with caution in scripts.

Reading package lists...
Building dependency tree...
Reading state information...
The following packages were automatically installed and are no longer required:
  buildah catatonit cmake cmake-data conmon containernetworking-plugins
  cython3 dh-elpa-helper dh-exec dh-python docutils-common emacsen-common
  fonts-glyphicons-halflings fuse-overlayfs golang golang-1.18 golang-1.18-doc
  golang-1.18-go golang-1.18-src golang-doc
  golang-github-containernetworking-plugin-dnsname
  golang-github-containers-common golang-github-containers-image golang-go
  golang-src gperf javahelper jsonnet junit4 libaio-dev libavahi-glib1
  libbabeltrace-ctf-dev libbabeltrace-dev libbabeltrace1 libblkid-dev
  libc6-dbg libcap-dev libcap-ng-dev libcryptsetup-dev libcunit1 libcunit1-dev
  libcurl4-openssl-dev libdouble-conversion3 libevent-2.1-7 libevent-dev
  libevent-extra-2.1-7 libevent-openssl-2.1-7 libevent-pthreads-2.1-7
  libfmt-dev libfmt8 libfuse-dev libfuse2 libgcrypt20-dev libgmp-dev
  libgmpxx4ldbl libgnutls-dane0 libgnutls-openssl27 libgnutls28-dev
  libgnutlsxx28 libgoogle-perftools-dev libgoogle-perftools4 libgpg-error-dev
  libhamcrest-java libibverbs-dev libidn2-dev libjs-bootstrap libjs-d3
  libjs-eonasdan-bootstrap-datetimepicker libjs-jquery-hotkeys libjs-moment
  libjs-moment-timezone libjs-mustache libjs-rickshaw libjsoncpp25
  libkeyutils-dev libldap-dev libldap2-dev liblmdb-dev liblttng-ust-common1
  liblttng-ust-ctl5 liblttng-ust-dev liblttng-ust-python-agent1 liblttng-ust1
  liblua5.3-0 liblua5.3-dev liblz4-dev libnbd-dev libnbd0 libnl-3-dev
  libnl-genl-3-dev libnl-route-3-dev libnspr4-dev libnss3-dev libnuma-dev
  liboath-dev liboath0 libostree-1-1 libp11-kit-dev libpcre2-16-0
  libpcre2-32-0 libpcre2-dev libpcre2-posix3 libpython3-all-dev libqt5core5a
  libqt5dbus5 libqt5network5 librabbitmq-dev librabbitmq4 librdkafka++1
  librdkafka-dev librdkafka1 librdmacm-dev libre2-dev libreadline-dev
  librhash0 libselinux1-dev libsepol-dev libsnappy-dev libsnappy1v5
  libsqlite3-dev libtasn1-6-dev libtcmalloc-minimal4 libthrift-0.16.0
  libthrift-dev libudev-dev libunbound8 libunwind-dev liburcu-dev
  libutf8proc-dev libutf8proc2 libxmlsec1-dev libxmlsec1-gcrypt
  libxmlsec1-gnutls libxmlsec1-nss libxslt1-dev libyaml-cpp-dev libyaml-cpp0.7
  libzstd-dev nasm nettle-dev ninja-build nlohmann-json3-dev prometheus
  python3-alabaster python3-all python3-all-dev python3-cheroot
  python3-cherrypy3 python3-coverage python3-dateutil python3-docutils
  python3-grpcio python3-imagesize python3-isodate python3-jaraco.classes
  python3-jaraco.collections python3-jaraco.functools python3-jaraco.text
  python3-jmespath python3-lxml python3-natsort python3-onelogin-saml2
  python3-pluggy python3-portend python3-prettytable python3-protobuf
  python3-py python3-roman python3-snowballstemmer python3-sphinx
  python3-tempora python3-toml python3-wcwidth python3-xmlsec
  python3-xmltodict python3-zc.lockfile sgml-base slirp4netns socat
  sphinx-common tox uidmap uuid-dev valgrind xfslibs-dev xml-core xmlstarlet
Use 'sudo apt autoremove' to remove them.
The following packages will be REMOVED:
  podman
0 upgraded, 0 newly installed, 1 to remove and 6 not upgraded.
After this operation, 36.6 MB disk space will be freed.
(Reading database ...
(Reading database ... 5%
(Reading database ... 10%
(Reading database ... 15%
(Reading database ... 20%
(Reading database ... 25%
(Reading database ... 30%
(Reading database ... 35%
(Reading database ... 40%
(Reading database ... 45%
(Reading database ... 50%
(Reading database ... 55%
(Reading database ... 60%
(Reading database ... 65%
(Reading database ... 70%
(Reading database ... 75%
(Reading database ... 80%
(Reading database ... 85%
(Reading database ... 90%
(Reading database ... 95%
(Reading database ... 100%
(Reading database ... 218554 files and directories currently installed.)
Removing podman (3.4.4+ds1-1ubuntu1.22.04.3) ...
Processing triggers for man-db (2.10.2-1) ...
+ command -v podman
/usr/bin/podman
+ command -v podman
/usr/bin/podman
++ podman version -f '{{ lt .Client.Version "5.6.1" }}'
/tmp/jenkins512750246180841280.sh: line 29: /usr/bin/podman: No such file or directory
+ '[' '' = true ']'
++ podman version -f '{{ ge .Client.Version "4" }}'
/tmp/jenkins512750246180841280.sh: line 36: /usr/bin/podman: No such file or directory
+ '[' '' = true ']'
+ podman rm -f ceph_build
/tmp/jenkins512750246180841280.sh: line 66: /usr/bin/podman: No such file or directory
```

Signed-off-by: David Galloway <david.galloway@ibm.com>

Merge pull request #2558 from ceph/djgalloway-patch-1

Clarify testing changes w/ JJB in README

Clarify testing changes w/ JJB in README

Merge pull request #2556 from dmick/ceph-release-containers-version

ceph-release-containers: Add VERSION parameter to make-manifest-list invocation

Merge pull request #2557 from ceph/r10-for-tent

ceph-trigger-build: Build Rocky 10 by default

ceph-trigger-build: Build Rocky 10 by default

Except squid and reef

Signed-off-by: David Galloway <david.galloway@ibm.com>

ceph-release-containers: Add VERSION parameter to make-manifest-list invocation

Signed-off-by: Dan Mick <dmick@ibm.com>

Merge pull request #2553 from phlogistonjohn/jjm-refactor-bwc

refactor bwc related code into common functions

xxx: workaround branches with slashes (again)

Signed-off-by: John Mulligan <phlogistonjohn@asynchrono.us>

Merge pull request #2554 from ceph/dist-on-x86

Revert "ceph-source-dist: Run on any architecture"

Revert "ceph-source-dist: Run on any architecture"

This reverts commit 2a944cd9542c5748316910da97d2c10ddd674a43.

Fixes: https://tracker.ceph.com/issues/75442
I don't have the time to dig into which node dependency is the problem on arm64 but ceph-source-dist runs fine on x86 but not arm64.

ceph-pull-requests-arm64: update file to use new bwc functions

Replace the existing "open coded" implementation with calls to the
recently created bwc.sh functions. This avoids duplication and improves
reuse.

Signed-off-by: John Mulligan <phlogistonjohn@asynchrono.us>

ceph-pull-requests: update file to use new bwc functions

Replace the existing "open coded" implementation with calls to the
recently created bwc.sh functions. This avoids duplication and improves
reuse.

Signed-off-by: John Mulligan <phlogistonjohn@asynchrono.us>

scripts: create bwc.sh a library for funcs around build-with-containers

Copy and make generic various bits of code present in
ceph-pull-requests/build/build and ceph-pull-requests-arm64/build/build
such that they can be replaced in the future by calls to functions
in this file.

Signed-off-by: John Mulligan <phlogistonjohn@asynchrono.us>

Merge pull request #2552 from ceph/nofail

ceph-dev-cron: ls-remote failure is not fatal

ceph-dev-cron: ls-remote failure is not fatal

Signed-off-by: David Galloway <david.galloway@ibm.com>

Merge pull request #2551 from ceph/stupid

sign-rpms: extra \n

sign-rpms: extra \n

Signed-off-by: David Galloway <david.galloway@ibm.com>

Merge pull request #2550 from ceph/get

sync-pull: Check the actual repo readiness

sync-pull: Check the actual repo readiness

This has been broken for.. possibly ever.

--head results in 405 Method Not Allowed

Just a GET results in 200 no matter what, whether the repo exists or not.

```
++ curl -fsSo - --connect-timeout 5 --max-time 10 https://shaman.ceph.com/api/repos/ceph/reef/efac5a54607c13fa50d4822e50242b86e6e446df/rocky/10/flavors/default/
++ jq -r '.[].status // empty'
+ status=
+ '[' '' = ready ']'
+ echo 'Shaman repo for rocky/10 is not ready (status: unknown). Skipping.'
Shaman repo for rocky/10 is not ready (status: unknown). Skipping.
```

Signed-off-by: David Galloway <david.galloway@ibm.com>

Merge pull request #2540 from ceph/sign-256

sign-rpms: Sign using SHA256 algo

Merge pull request #2549 from ceph/branch-name

Make get-tarballs.sh executable

Make get-tarballs.sh executable

Signed-off-by: David Galloway <david.galloway@ibm.com>

Merge pull request #2499 from jamiepryde/umbrella-release

Umbrella kickoff!

Merge pull request #2546 from shraddhaag/wip-shraddhaag-improve-ci-for-docs

disable CI checks for PRs with only docs/QA changes

disable CI checks for PRs with only docs/QA changes

Signed-off-by: Shraddha Agrawal <shraddha.agrawal000@gmail.com>

Merge pull request #2548 from dmick/add-arm64-c9-main

Add centos9/arm64 to main builds

Add centos9/arm64 to main builds

Signed-off-by: Dan Mick <dan.mick@redhat.com>

ceph-dev-cron: Add umbrella to Jenkinsfile

Signed-off-by: Jamie Pryde <jamiepry@uk.ibm.com>

*: Update scripts and triggers for Umbrella

Signed-off-by: Jamie Pryde <jamiepry@uk.ibm.com>

Merge pull request #2547 from ceph/wip-revert-make-check-qa-only

ceph-pull-requests: don't skip qa-only PRs

Reviewed-by: Casey Bodley <cbodley@redhat.com>
Reviewed-by: John Mulligan <jmulligan@redhat.com>

ceph-pull-requests: don't skip qa-only PRs

This is a partial revert of commit 78849bdf7d0d ("ceph-pull-requests:
Skip qa-only PRs").  Unfortunately "make check" needs to be run even on
qa-only PRs at least once to get linter coverage for files under qa/.

Revert to running "make check" on qa-only PRs for ceph-pull-requests
but continue skipping it for ceph-pull-requests-arm64.

Signed-off-by: Ilya Dryomov <idryomov@gmail.com>