ceph-dev-new: Add sccache toggle

Signed-off-by: Zack Cerza <zack@redhat.com>

ceph-dev-new-build: Use creds for sccache bucket

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #2288 from ceph/dwz

ceph-dev-new: Add dwz toggle

Merge pull request #2287 from ceph/yaml-formatting

Merge pull request #2284 from ceph/unbottleneck

ceph-dev-new-setup: Run on any node

Merge pull request #2286 from ceph/quiet-submodule

ceph-dev-new-setup: Run on any node

Signed-off-by: Zack Cerza <zack@redhat.com>

ceph-dev-new-setup: Disable dwz if requested

Signed-off-by: Zack Cerza <zack@redhat.com>

ceph-dev-new: Add dwz toggle

Signed-off-by: Zack Cerza <zack@redhat.com>

ceph-dev-new: Fix YAML errors in job definition

Signed-off-by: Zack Cerza <zack@redhat.com>

ceph-dev-new-setup: Quiet submodule operations

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #2280 from dmick/wip-container

ceph-dev-new-*: change for in-tree container builds

ceph-dev-new-build/build/setup_rpm: add podman login

ceph.git's build.sh does not handle authentication in its latest
version, but assumes it's been done.  Add the authentication
step (podman login) here, in setup_rpm, with the side benefit
that it'll fail faster if the credentials are incorrect.

Signed-off-by: Dan Mick <dmick@redhat.com>

Merge pull request #2283 from ceph/cephadm-move-to-quay

sync-images: sync all cephadm required images to quay.io

sync-images: sync all cephadm required images to quay.io

Mirror `grafana/loki`, `grafana/promtail` and `maxwo/snmp-notifier` in
addition to `nginx` and `grafana/grafana`.

Signed-off-by: Guillaume Abrioux <gabrioux@ibm.com>

Merge pull request #2282 from ceph/wip-apt-get-update-errors-windows

windows: ignore "apt-get update" errors

Reviewed-by: Lucian Petrut <lpetrut@cloudbasesolutions.com>

windows: ignore "apt-get update" errors

... as they are ignored in scripts/build_utils.sh since commit
3517941ef2aa ("script/build_utils.sh: don't fail if any mirror is not
accessible").  This is prompted by an issue with libboost repo, which
started returning 403 Forbidden errors.

While at it, skip fetching language and translation packs.

Signed-off-by: Ilya Dryomov <idryomov@gmail.com>

Merge pull request #2281 from ceph/ceph-volume-unit-tests

ceph-volume: Rename ceph-volume-linter to ceph-volume-unit-tests

ceph-volume: Rename ceph-volume-linter to ceph-volume-unit-tests

This:
- Update the job name and display name in ceph-volume-pr.yml to reflect the change.
- Changes the trigger phrase and GitHub status context for unit tests.

Signed-off-by: Guillaume Abrioux <gabrioux@ibm.com>

ceph-dev-new-*: change for in-tree container builds

- invoke ${SRC}/container/build.sh to build the container
- do not check out ceph-container.git
- add test to loop for "is repo ready" to test for the jenkins job
  url ${BUILD_URL} as well as ready, so that we're not racing against
  preexisting repos for this branch/os/flavor

Signed-off-by: Dan Mick <dmick@redhat.com>

Merge pull request #2279 from ceph/test-black-list-labels

ceph-ansible-prs: follow up on edf5311

ceph-ansible-prs: follow up on edf5311

As per [1] `test-black-list-labels` expects a list.

[1] https://jenkins-job-builder.readthedocs.io/en/latest/triggers.html

Signed-off-by: Guillaume Abrioux <gabrioux@ibm.com>

Merge pull request #2278 from ceph/test-black-list-labels

ceph-ansible-prs: set black-list-labels

ceph-ansible-prs: set black-list-labels

This makes the CI not trigger the jobs when "draft" label is set
on PRs.

Signed-off-by: Guillaume Abrioux <gabrioux@ibm.com>

Merge pull request #2277 from ceph/cv-func-test-refactor

ceph-volume: functional testing refactor

ceph-volume: functional testing refactor

See corresponding ceph/ceph PR: ceph/ceph#59606 for details.

Signed-off-by: Guillaume Abrioux <gabrioux@ibm.com>

Merge pull request #2275 from dmick/wip-sepia-fog-images

sepia-fog-images: allow ansible to find collections

sepia-fog-images: allow ansible to find collections

The mount module is now ansible.posix.mount, and ansible-playbook
can't seem to find it when executed from the parent directory.
Set ANSIBLE_CONFIG, which sets the collection search path.

Signed-off-by: Dan Mick <dmick@redhat.com>

Merge pull request #2260 from ceph/fog-unlock

sepia-fog-images: Unlock on failure

Merge pull request #2268 from asm0deuz/remove_el8_cephansible

ceph-ansible: remove el8 test scenario

ceph-ansible: remove el8 test scenario

Due to CentOS 8 eol on May 31, 2024*, cephadm-ansible testing against CentOS 8 is removed

*https://blog.centos.org/2023/04/end-dates-are-coming-for-centos-stream-8-and-centos-linux-7/

Signed-off-by: Teoman ONAY <tonay@ibm.com>

Merge pull request #2267 from ceph/ceph-container-linter-c9

ceph-container: migrate to c9 jenkins workers

ceph-container: migrate to c9 jenkins workers

Due the the EOL of CentOS Stream 8, all the Jenkins workers were
migrated to CentOS Stream 9. Therefore, we need to make these jobs pick
these workers.

Signed-off-by: Guillaume Abrioux <gabrioux@ibm.com>

Merge pull request #2252 from cbodley/wip-main-no-focal-cron

ceph-dev-cron: stop building focal packages on squid/main

Reviewed-by: Dan Mick <dan.mick@redhat.com>

ceph-dev-cron: stop building focal packages on squid/main

Signed-off-by: Casey Bodley <cbodley@redhat.com>

Merge pull request #2266 from dmick/wip-ceph-build-centos9

ceph-build: remove xenial/bionic/c7/c8 from arm64, add c9

ceph-build: remove xenial/bionic/c7/c8 from arm64, add c9

Signed-off-by: Dan Mick <dmick@redhat.com>

Merge pull request #2259 from dmick/wip-fix-quay-pruner

Fix up quay-pruner

Merge pull request #2265 from dmick/main

scripts/sync-pull: type bug, remove centos8

scripts/sync-pull: remove el8

Signed-off-by: Dan Mick <dan.mick@redhat.com>

scripts/sync-pull: fix test for 'highest_combo'

it's a string, not a number

Signed-off-by: Dan Mick <dan.mick@redhat.com>

Merge pull request #2264 from ceph/sync-images-c9

sync-images: update worker labels

sync-images: update worker labels

This updates the labels for the `sync-images` job.
(c8->c9)

Signed-off-by: Guillaume Abrioux <gabrioux@ibm.com>

Merge pull request #2263 from ceph/migrate-cv-to-c9

ceph-volume: update labels

ceph-volume: update labels

These labels must be updated to make ceph-volume jobs use
`centos9` workers.

Signed-off-by: Guillaume Abrioux <gabrioux@ibm.com>

prune-quay.py: don't sort delete list

It's easier to understand what's going on from the debug output
if the list is left in query order, which is newest-to-oldest order

Signed-off-by: Dan Mick <dan.mick@redhat.com>

prune-quay.py: avoid bug deleting -crimson tags

<sha1>-crimson tags stand sort of alone.  Don't delete them when
looking for sha1 tags, unless their x86 counterpart (<sha1>) is
going to be deleted as well.

Signed-off-by: Dan Mick <dan.mick@redhat.com>

prune-quay.py: dump digest map with --verbose

Signed-off-by: Dan Mick <dan.mick@redhat.com>

prune-quay.py: fix whitespace error

Signed-off-by: Dan Mick <dan.mick@redhat.com>

prune-quay.py: use functools.cache to cache shaman results

Avoids a global, separates caching from searching, and is
thus bit cleaner/clearer.

Signed-off-by: Dan Mick <dan.mick@redhat.com>

prune-quay.py: remove short_sha1_cache

Not only is it no longer necessary now that we're caching the
entire shaman result, it actually can lead to missing deletions
if the same sha1 validly exists for different builds (like for
centos8 vs centos9, or crimson vs default, etc.)

Signed-off-by: Dan Mick <dan.mick@redhat.com>

prune-quay.py: rely on delete-all-with-same-digest

With the new "delete all tags with the same digest", there's no need to
keep the short_sha1 around to match against sha1 tags; they'll be
caught earlier by the 'same-digest' test.

Signed-off-by: Dan Mick <dan.mick@redhat.com>

prune-quay.py: add a few unconditional progress messages

Signed-off-by: Dan Mick <dan.mick@redhat.com>

prune-quay.py: onlyActiveTags seems to work better now, use it

this avoids fetching and throwing away deleted tags

Signed-off-by: Dan Mick <dan.mick@redhat.com>

prune-quay.py: cache shaman results (they're not that large)

This allows much faster processing of the tags

Signed-off-by: Dan Mick <dan.mick@redhat.com>

prune-quay.py: stop using image_id, optimize 'same image' search

image_id has apparently gone away; take the opportunity to be
a bit more efficient: keep a map of digests to tagnames, and when
deleting a full tag, also delete any tags that have the same
digest.  Only verbosely report if any new tags were marked.

Signed-off-by: Dan Mick <dmick@redhat.com>

prune-quay.py: fix RE to catch images built on Stream

(we've been not pruning correctly since we started building on
stream8.  yikes.)

Signed-off-by: Dan Mick <dmick@redhat.com>

Merge pull request #2262 from ceph/cv-c9

ceph-volume: use centos9 worker

ceph-volume: use centos9 worker

due to recent EOL of CentOS Stream 8, the workers were migrated to
CentOS Stream 9.

This commit reflect that change to the ceph-volume-scenario job.

Signed-off-by: Guillaume Abrioux <gabrioux@ibm.com>

Merge pull request #2261 from ceph/cv-squid

ceph-volume: add squid release to functional test suite

ceph-volume: add squid release to functional test suite

This adds the squid release support to the function test suite

Signed-off-by: Guillaume Abrioux <gabrioux@ibm.com>

sepia-fog-images: Unlock on failure

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #2258 from ceph/update-sync-images

sync-images: sync nginx images

sync-images: sync nginx images

This commit makes the job sync nginx images from docker.io
to quay.io
Also, two changes:
  - This makes sure the latest stable image of skopeo is pulled from quay.io
  - Use the filter 'by-semver' filter for grafana too.

Signed-off-by: Guillaume Abrioux <gabrioux@ibm.com>

Merge pull request #2257 from dmick/wip-disable-centos8-kernel-and-ganesha

Disable centos8 kernel and ganesha

kernel, nfs-ganesha: remove centos8

Signed-off-by: Dan Mick <dan.mick@redhat.com>

Merge pull request #2256 from rhcs-dashboard/e2e-xfvb-fix

scripts/dashboard: kill existing xvfb process

scripts/dashboard: kill existing xvfb process

To fix the below error on starting cypress
```
[STARTED] Task without title.
[FAILED] Xvfb exited with a non zero exit code.
[FAILED]
[FAILED] There was a problem spawning Xvfb.
[FAILED]
[FAILED] This is likely a problem with your system, permissions, or installation of Xvfb.
[FAILED]
[FAILED] ----------
[FAILED]
[FAILED] Error: _XSERVTransSocketUNIXCreateListener: ...SocketCreateListener() failed
[FAILED] _XSERVTransMakeAllCOTSServerListeners: server already running
[FAILED] (EE)
[FAILED] Fatal server error:
[FAILED] (EE) Cannot establish any listening sockets - Make sure an X server isn't already running(EE)
[FAILED]
[FAILED] ----------
[FAILED]
[FAILED] Platform: linux-x64 (Ubuntu - 22.04)
[FAILED] Cypress Version: 12.17.4
Xvfb exited with a non zero exit code.

There was a problem spawning Xvfb.

This is likely a problem with your system, permissions, or installation of Xvfb.
```

Signed-off-by: Nizamudeen A <nia@redhat.com>

Merge pull request #2255 from jdurgin/wip-website-pr-branch

ceph-website-prs: disallow branches named 'main'

Reviewed-by: Dan Mick <dan.mick@redhat.com>

ceph-website-prs: disallow branches named 'main'

Signed-off-by: Josh Durgin <jdurgin@redhat.com>

Merge pull request #2253 from ceph/wip-java-11-openjdk

Builders need to run java-11-openjdk in order to connect to the master

Merge pull request #2254 from asm0deuz/remove_el8

cephadm-ansible: remove el8 test scenario

cephadm-ansible: remove el8 test scenario

Due to CentOS 8 eol on May 31, 2024*, cephadm-ansible
testing against CentOS 8 is removed

*https://blog.centos.org/2023/04/end-dates-are-coming-for-centos-stream-8-and-centos-linux-7/

Signed-off-by: Teoman ONAY <tonay@ibm.com>

Builders need to run java-11-openjdk in order to connect to the master

Signed-off-by: Adam Kraitman <akraitma@redhat.com>

Merge pull request #2235 from cbodley/wip-main-no-centos8

ceph-dev: stop building centos8 packages/container on quincy/reef/squid/main

ceph-dev: stop building centos8 packages/container on main

Signed-off-by: Casey Bodley <cbodley@redhat.com>

ceph-dev: stop building centos8 packages/container on squid

ceph-dev: stop building centos8 packages/container on reef

ceph-dev: stop building centos8 packages/container on quincy

Reapply "ceph-dev*: remove centos8 crimson builds"

This reverts commit 91858f3b4eb006655062188f11d2efd5992080ab.

Signed-off-by: Casey Bodley <cbodley@redhat.com>
Conflicts: quincy +jammy from 8afdc0521c0d3e09f4b3efa5e76089cc98196440
ceph-dev-new-trigger/config/definitions/ceph-dev-new-trigger.yml

Merge pull request #2251 from ceph/wip-windows-label

ceph-windows-pull-requests: constrain to windows label

ceph-windows-pull-requests: constrain to windows label

Currently, the intersection of focal && libvirt labels returns some
smithi (nproc == 8) and mira (nproc == 4) nodes, which are inadequate
for the two VMs that the Windows job spawns.  It turns we already have
a windows label, which, after dropping it from mira015, seems to be on
point (i.e. would filter those low CPU nodes out).  Let's use it!

Signed-off-by: Ilya Dryomov <idryomov@gmail.com>

Merge pull request #2250 from dmick/wip-ceph-container-allow-flavor-specification

ceph-container-build-ceph-base-push-imgs*: allow specifying FLAVOR

ceph-container-build-ceph-base-push-imgs*: allow specifying FLAVOR

Add parameters to set variables that the job scripts will look for
to choose which flavors to build.  This will override the defaults in
ceph-container.git; the defaults are set to the same as
ceph-container.git at this moment, but are probably soon to change to
centos,9.

Signed-off-by: Dan Mick <dan.mick@redhat.com>

Merge pull request #2247 from dmick/wip-fix-include-with-gh-clone

Replace obsolete "include:' in upstream ansible tasks

Merge pull request #2249 from dmick/wip-fix-ceph-container-yml-names

ceph-container-*: make .yml filenames match job names

ceph-container-*: make .yml filenames match job names

Why intentionally confuse people?

Signed-off-by: Dan Mick <dan.mick@redhat.com>

Merge pull request #2248 from dmick/wip-fix-container-job-display-names

ceph-container-build-*: make display-name the job name

Merge pull request #2242 from Svelar/extend_arm_build_time

ceph-pull-requests-arm64: extend timeout to 4h

Merge pull request #2243 from dmick/wip-scripts-ceph-iscsi

Modify scripts/{sync-pull,sign-rpms,sync-push} to handle ceph-iscsi

ceph-container-build-*: make display-name the job name

Some of these were using the *same display-name for different jobs*.
O_o

Signed-off-by: Dan Mick <dan.mick@redhat.com>

ceph-build-pull-requests: listen for a '.*retest.*' PR comment

Signed-off-by: Dan Mick <dmick@redhat.com>

ansible/requirements: Use private github repo to fix include:

ansible has removed include:.  Create clones of the two
repos in sensu-requirements.yml to change it to import_tasks:.

Signed-off-by: Dan Mick <dmick@redhat.com>

Merge pull request #2239 from dmick/wip-use-base-deb-mirror

build_utils.sh: re: last commit: one must specify a mirror

Merge pull request #2244 from dmick/wip-docs-only-for-admin-dir

scripts/build_utils.sh: set DOCS_ONLY for PRs with only admin/ files,…

Reviewed-by: Kefu Chai <tchaikov@gmail.com>

scripts/build_utils.sh: set DOCS_ONLY for PRs with only admin/ files, too

DOCS_ONLY is set if the filenames all start with docs/, but it's
also true that if the filenames start with admin/, it's strictly
docs related (discovered for https://github.com/ceph/ceph/pull/57649)

Signed-off-by: Dan Mick <dmick@redhat.com>

scripts/sync-push: add projectname to handle ceph-iscsi

ceph-iscsi also needs a repo file created
Drop el7
Add usage

Signed-off-by: Dan Mick <dan.mick@redhat.com>

scripts/sync-pull: changes for ceph-iscsi, drop el7

Several sections are done only for the 'ceph' project (to
accommodate ceph-iscsi, which has no debs, so doesn't need
to find the most-populated distroversion or create debs,
pull a tarball, etc.).

Also drop el7.

Signed-off-by: Dan Mick <dan.mick@redhat.com>

sign-rpms: add 'project' argument

This allows signing ceph-iscsi packages

Signed-off-by: Dan Mick <dan.mick@redhat.com>

scripts: add vim modelines for editing ease

Signed-off-by: Dan Mick <dan.mick@redhat.com>