ceph-dev-trigger/config/definitions: don't build crimson for pacific

Crimson changes will not be backported to pacific, so it doesn't make
sense to keep building it.

Signed-off-by: Laura Flores <lflores@redhat.com>

Merge pull request #2140 from dmick/wip-ceph-release-rpm

ceph-release-rpm build script missing space before =

ceph-release-rpm build script missing space before =

This causes a syntax error.  Also, the script didn't have -e set, so
the error went unnoticed

Signed-off-by: Dan Mick <dmick@redhat.com>

Merge pull request #2137 from ljflores/wip-ceph-dev-new-build

ceph-dev-new-build/config/definitions: give proper permission to remove a folder

ceph-dev-new-build/config/definitions: give proper permission to remove a folder

Solution to fix this in ceph-dev-new-build:
```
[EnvInject] - Inject global passwords.
[EnvInject] - Mask passwords that will be passed as build parameters.
Failed to evaluate name macro:org.jenkinsci.plugins.tokenmacro.MacroEvaluationException: Error processing tokens
[gigantic] $ /bin/sh -xe /tmp/jenkins6948878898411108393.sh
+ echo 'Cleaning up top-level workarea (shared among workspaces)'
Cleaning up top-level workarea (shared among workspaces)
+ sudo rm -rf dist
+ rm -rf venv
+ rm -rf release
rm: cannot remove 'release/18.0.0-4267-g48627125/ceph-18.0.0-4267-g48627125': Permission denied
rm: cannot remove 'release/18.0.0-4267-g48627125/version': Permission denied
rm: cannot remove 'release/18.0.0-4267-g48627125/ceph_18.0.0-4267-g48627125.orig.tar.gz': Permission denied
rm: cannot remove 'release/18.0.0-4267-g48627125/branch': Permission denied
rm: cannot remove 'release/18.0.0-4267-g48627125/ceph_18.0.0-4267-g48627125-1.dsc': Permission denied
rm: cannot remove 'release/18.0.0-4267-g48627125/other_envvars': Permission denied
rm: cannot remove 'release/18.0.0-4267-g48627125/ceph.spec': Permission denied
...
rm: cannot remove 'release/18.0.0-4267-g48627125/rpm/el8/BUILD/ceph-18.0.0-4267-g48627125/qa/suites/rgw/dbstore/cluster.yaml': Permission denied
rm: cannot remove 'release/18.0.0-4267-g48627125/rpm/el8/BUILD/ceph-18.0.0-4267-g48627125/qa/suites/rgw/dbstore/overrides.yaml': Permission denied
rm: cannot remove 'release/18.0.0-4267-g48627125/rpm/el8/BUILD/ceph-18.0.0-4267-g48627125/qa/suites/rgw/dbstore/s3tests-branch.yaml': Permission denied
rm: cannot remove 'release/18.0.0-4267-g48627125/rpm/el8/BUILD/ceph-18.0.0-4267-g48627125/qa/suites/rgw/dbstore/supported-random-distro$': Permission denied
rm: cannot remove 'release/18.0.0-4267-g48627125/rpm/el8/BUILD/ceph-18.0.0-4267-g48627125/qa/suites/rgw/dbstore/tasks/rgw_s3tests.yaml': Permission denied
rm: cannot remove 'release/18.0.0-4267-g48627125/rpm/el8/BUILD/ceph-18.0.0-4267-g48627125/qa/suites/rgw/dbstore/tasks/.qa': Permission denied
rm: cannot remove 'release/18.0.0-4267-g48627125/rpm/el8/BUILD/ceph-18.0.0-4267-g48627125/qa/suites/rgw/dbstore/.qa': Permission denied
rm: cannot remove 'release/18.0.0-4267-g48627125/rpm/el8/BUILD/ceph-18.0.0-4267-g48627125/qa/suites/rgw/hadoop-s3a/%': Permission denied
rm: cannot remove 'release/18.0.0-4267-g48627125/rpm/el8/BUILD/ceph-18.0.0-4267-g48627125/qa/suites/rgw/hadoop-s3a/clusters/fixed-2.yaml': Permission denied
```

Also add a line to list ownership before removing folders.

Signed-off-by: Laura Flores <lflores@redhat.com>
sdf

Merge pull request #2136 from petrutlucian94/win_bluestore

windows: use bluestore instead of memstore by default

Reviewed-by: Ilya Dryomov <idryomov@gmail.com>

windows: use bluestore instead of memstore by default

We've been using memstore in order to put as much load as possible
on the Windows clients in a relatively short timeframe.

However, we've been hitting memstore segfaults:
https://tracker.ceph.com/issues/61416

For this reason, we'll make the OSD backend configurable,
defaulting to bluestore for now.

Signed-off-by: Lucian Petrut <lpetrut@cloudbasesolutions.com>

Merge pull request #2135 from dmick/main

ceph-dev-new-trigger: keep 50 jobs to help diagnose dual builds

Signed-off-by: Dan Mick <dmick@redhat.com>

Merge pull request #2127 from dmick/main

Merge pull request #2134 from dmick/wip-build-utils

scripts/build_utils.sh: limit .gz files copied to chacra

Don't copy *every* .gz file from the release tree
(which includes the source tree); just ceph*.gz

Fixes: https://tracker.ceph.com/issues/61306
Signed-off-by: Dan Mick <dmick@redhat.com>

Merge pull request #2132 from ceph/jjb-wheel

build_utils.sh: Install wheel

Signed-off-by: Zack Cerza <zack@redhat.com>

jenkins-job-builder: Install dataclasses

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #2130 from ljflores/wip-requests-toolbelt

scripts/build_utils.sh: pin urllib3 and requests

scripts/build_utils.sh: pin urllib3 and requests

The latest version of chacractl requires requests-toolbelt==0.9.1.
This is not compatible with the latest version of urllib3, which
dropped support for appengine.

We need to pin urllib3 to an older version that still supports
appengine, and requests to an older version that still supports
the older urllib3 until charactl allows a higher version of
requests-toolbelt.

Fixes: https://tracker.ceph.com/issues/59652
Signed-off-by: Laura Flores <lflores@redhat.com>

Merge pull request #2129 from ceph/cephadm-ansible-reef

cephadm-ansible: add el9 testing

cephadm-ansible: add el9 testing

el9 RPMs weren't available so `el9` distribution was left commented out so
far. Given that we now have el9 packages, let's add el9 testing.

Signed-off-by: Guillaume Abrioux <gabrioux@ibm.com>

Merge pull request #2128 from dmick/wip-remove-ceph-qa-emails

ceph-api-nightly, ceph-dashboard-cephadm-e2e-nightly: stop emails

ceph-api-nightly, ceph-dashboard-cephadm-e2e-nightly: stop emails

Remove the email notifications from the configuration.  They're
just cluttering the ceph-qa inbox and no one is acting on them.

Signed-off-by: Dan Mick <dan.mick@redhat.com>

ceph-dev-setup: save only 25 builds (rather than 2 weeks)

ceph-dev-setup is using 67G out of the 200G on /var/lib/jenkins,
far larger than any other job.  There's no reason to save all these jobs.

Signed-off-by: Dan Mick <dmick@redhat.com>

Merge pull request #2122 from ceph/add_centos9_main

ceph-release-rpm: add CentOS 9 build

Merge pull request #2125 from dmick/wip-sign-rpms

Use createrepo_c, and change order of signing operations to avoid invalid repomd.xml sigs

scripts/sign-rpms: signing repomd.xml has to come after all updates

We had been signing, and then running createrepo, which changed repomd
and thus invalidated the signature.

Signed-off-by: Dan Mick <dmick@redhat.com>

scripts/sign-rpms: use createrepo_c on newer Ubuntu releases (post-focal)

Signed-off-by: Dan Mick <dmick@redhat.com>

Merge pull request #2124 from ceph/signing-fixes

scripts: signing fixes

sync-pull: use jq instead of python

We installed jq on the signer host so we do not need /usr/bin/python

scripts: make signing scripts executable

This makes it easier to run these interactively.

Merge pull request #2123 from rhcs-dashboard/grafana-update

ceph-grafana-trigger: update the grafana version

ceph-grafana-trigger: update the grafana version

Signed-off-by: Nizamudeen A <nia@redhat.com>

ceph-release-rpm: add CentOS 9 build

Merge pull request #2121 from ceph/cv-test-suite-update

ceph-volume: do not test filestore against reef onward

ceph-volume: do not test filestore against reef onward

filestore support has been dropped as of Reef release.
This commits drops ceph-volume filestore testing for reef onward.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #2120 from petrutlucian94/mgr_deps

windows: install python3-bcrypt dependency

windows: install python3-bcrypt dependency

The Windows job is failing because of a missing mgr dependency.

We'll update the setup script, ensuring that python3-bcrypt is
installed.

Signed-off-by: Lucian Petrut <lpetrut@cloudbasesolutions.com>

Merge pull request #2119 from ceph/wip-reef

Update releases - add reef, remove octopus and older

Reviewed-by: Neha Ojha <nojha@redhat.com>

Update releases - add reef, remove octopus and older

Signed-off-by: Josh Durgin <jdurgin@redhat.com>

Merge pull request #2118 from ceph/ceph-devstack

Add ceph-devstack job

Add ceph-devstack job

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #2117 from ionutbalutoiu/fix-ssh-exec

utils: fix ssh_exec function

utils: fix ssh_exec function

We need to use `return` inside the function to properly return the
exit code of the function. Using `exit` will abruptly exit the
entire script, which is not what we want.

Signed-off-by: Ionut Balutoiu <ibalutoiu@cloudbasesolutions.com>

Merge pull request #2116 from ionutbalutoiu/enable-win-event-logs

ceph-windows: Re-enable Windows event logs collection

ceph-windows: Enable Windows event log collection

The Windows event log collection was failing due `ssh_exec` abruptly
closing the connection, because the default timeout of `30 secs` was exceeded.

This change re-enables the Windows event log collection by increasing the
SSH timeout to `30 minutes`.

Additionally, the `ssh_exec` function is updated to print an appropriate
error message when SSH timeout is exceeded.

Signed-off-by: Ionut Balutoiu <ibalutoiu@cloudbasesolutions.com>

ceph-windows: Cleanup collect-event-logs.ps1 script

* Rely on the default `$ErrorActionPreference` value (which is `Continue`).
* Add new function `SanitizeName` that it's used to sanitize the name of the log files.
  The function code existed before, but it was duplicated in the script.
* General PowerShell code cleanup.

Signed-off-by: Ionut Balutoiu <ibalutoiu@cloudbasesolutions.com>

Merge pull request #2115 from petrutlucian94/log_collection_errors

windows: install dokany

windows: install dokany

Dokany is required in order to map cephfs on Windows through
ceph-dokan.

For this reason, we're updating the Windows image build script
to include Dokany.

Signed-off-by: Lucian Petrut <lpetrut@cloudbasesolutions.com>

Merge pull request #2114 from petrutlucian94/log_collection_errors

windows: temporarily disable event log collection

windows: temporarily disable event log collection

We're attempting to collect Windows event logs at the end of the
job.

The issue is that some logs cannot be collected and the job
terminates abruptly despite the error action being set to "ignore".

We'll temporarily skip this step in order to unblock the Windows
job.

Signed-off-by: Lucian Petrut <lpetrut@cloudbasesolutions.com>

Merge pull request #2113 from petrutlucian94/log_collection_errors

windows: fix log collection

windows: fix log collection

The "Get-WinEvent" command used to retrieve Windows event log
messages can fail if the specified log has no entries.

We're using the "SilentlyContinue" action to avoid erroring out
in such cases.

However, the script still terminates abruptly while collecting
logs. For this reason, we'll use the "Ignore" error action instead.
We'd rather not have test failures just because we failed to
retrieve some Windows event log entries.

Unlike "SilentlyContinue", "Ignore" doesn't populate the global
$Error variable, which may be used when running the script
remotely.

While at it, we're adding some log messages at the end of the
"run_tests" and "collect-event-logs.ps1" scripts.

Signed-off-by: Lucian Petrut <lpetrut@cloudbasesolutions.com>

Merge pull request #2112 from stefan-chivu/fix-event-logs-v2

ceph-windows: Fixed txt event log dump

ceph-windows: Fixed txt event log dump

The event log collection script was throwing an error if no event
logs could be found for the filters applied. Therefore, the
Get-WinEvent call in DumpEventLogTxt has been modified to silently
continue if such case arises.

Signed-off-by: Stefan Chivu <schivu@cloudbasesolutions.com>

Merge pull request #2111 from stefan-chivu/fix-event-logs

ceph-windows: Fix event log artifacts

ceph-windows: Fix event log artifacts

Previously, the windows event log artifacts were being dumped in
evtx format and then converted to txt by individually querying them
using wevtutil.

After doing this, the resulting txt logs contained xml entries that
omitted the actual event message.

Now, they will be directly dumped as txt using Get-WinEvent and the
evtx logs can be obtained using the -IncludeEvtxFiles flag.

Signed-off-by: Stefan Chivu <schivu@cloudbasesolutions.com>

Merge pull request #2110 from petrutlucian94/win_logs

windows: collect additional information

windows: collect additional information

In some cases, the OSDs seem to crash while running Windows tests.

In order to be able to investigate the issue, we'll need to collect
additional information. This commit fetches the following:

* the entire journal since the last boot
* ceph logs
* available memory at the end of the job

Signed-off-by: Lucian Petrut <lpetrut@cloudbasesolutions.com>

Merge pull request #2109 from petrutlucian94/win_jq_package

windows: install jq package

Reviewed-by: Ilya Dryomov <idryomov@gmail.com>

windows: install jq package

Windows jobs run ceph clusters in Ubuntu VMs. This change ensures
that the jq binary used by vstart will be available.

Signed-off-by: Lucian Petrut <lpetrut@cloudbasesolutions.com>

Merge pull request #2108 from petrutlucian94/increase_vm_mem

increase vm memory for windows test jobs

increase vm memory for windows test jobs

Windows test jobs use two vms: a windows vm that takes 8gb of ram
and a linux one that currently uses 32gb of ram.

We're using memstore with 5gb per osd. It seems that the linux vm
is running out of memory, which is why the OSDs can get
terminated while running the tests.

We'll go ahead and increase the linux vm memory to 64gb.

Signed-off-by: Lucian Petrut <lpetrut@cloudbasesolutions.com>

Merge pull request #2107 from petrutlucian94/fix_win_ceph_call

windows: fix running "ceph status"

windows: fix running "ceph status"

One of the Windows scripts tries to do "ceph status" before
and after executing the ceph tests.

The issue is that it's using a wrong path. The ceph dir is actually
located in the home dir.

We'll update the script accordingly.

Signed-off-by: Lucian Petrut <lpetrut@cloudbasesolutions.com>

Merge pull request #2103 from stefan-chivu/log-artifacts

ceph-windows: Collect logs for build artifacts

Merge pull request #2106 from ceph/update-ceph-containers-prs

ceph-container-nightly: drop ceph-ansible testing

ceph-container-nightly: drop ceph-ansible testing

These tests don't work anymore, the plan is to test with cephadm.

Signed-off-by: Guillaume Abrioux <gabrioux@ibm.com>

Merge pull request #2105 from ionutbalutoiu/ceph_win32_build-libvirt-vm

ceph-windows: Build Ceph on Windows inside libvirt VM

ceph-windows: Build Ceph on Windows inside libvirt VM

Make sure that the Ceph on Windows build is done inside an Ubuntu
libvirt VM. This ensures that the build is done on a clean environment
on each job run.

After the Windows build is done, the Ubuntu VM is rebuilt to ensure
that Ceph vstart will have a clean environment as well.

Signed-off-by: Ionut Balutoiu <ibalutoiu@cloudbasesolutions.com>

Merge pull request #2104 from ivancich/wip-allow-distro-specific-builds

ceph-dev: allow for a strictly centos9 build

Reviewed-by: Ilya Dryomov <idryomov@gmail.com>
Reviewed-by: Zack Cerza <zack@redhat.com>

ceph-dev: allow for a strictly centos9 build

For those working on details of a centos9 build, testing should not
involve a bunch of other builds. Presenting this as a potential
solution.

Signed-off-by: J. Eric Ivancich <ivancich@redhat.com>

ceph-windows: Collect more artifacts

This commit changes the run_tests script in order to include more
logs and overall information as build artifacts, such as Windows
client logs, Windows event logs, the ceph.conf on the client, the
wnbd version and the status of the ceph cluster.

Signed-off-by: Stefan Chivu <schivu@cloudbasesolutions.com>

ceph-windows: Added script for collecting Windows event logs

In order to collect more information for the build artifacts,
the collect-event-logs.ps1 script will be run in order to extract
the event logs from the Windows client machine.

It will dump all the event logs as evtx and then convert them to
txt in order to be accessible on all platforms.

If the -IncludeEvtxFiles flag is used, the evtx files can be kept.
By default they are deleted.

Also, if the -CleanupEventLog flag is used, then the machine's
events will get cleared after the dump. By default they are kept.

The dumped event log files can be found in the directory sent as
parameter using the mandatory -LogDirectory parameter.

Signed-off-by: Stefan Chivu <schivu@cloudbasesolutions.com>

Merge pull request #2101 from petrutlucian94/mingw_jammy

ceph-dev-*: bump pbuilder dist when targeting Windows

Reviewed-by: Ilya Dryomov <idryomov@gmail.com>

ceph-dev-*: bump pbuilder dist when targeting Windows

Ceph now uses c++ 20, thus requiring gcc 10 or later.

We'll need to update Windows jobs that leverage pbuilder
to from Ubuntu Focal (20.04) to Ubuntu Jammy (22.04) to
get mingw 8.0 and gcc 10.3.0.

Fixes: https://tracker.ceph.com/issues/58562
Signed-off-by: Lucian Petrut <lpetrut@cloudbasesolutions.com>

Merge pull request #2102 from ceph/drop-ca-nightly

ceph-ansible: drop nightly jobs

ceph-ansible: drop nightly jobs

ceph-ansible is receiving less and less engineering efforts so it is now
unnecessary to run nightly jobs.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #2100 from petrutlucian94/win_timeout

ceph-windows: update test timeouts

Reviewed-by: Ilya Dryomov <idryomov@gmail.com>

ceph-windows: update test timeouts

The Python rbd-wnbd tests time out on stable branches. The reason
is that if the test script is missing, we're fetching it from
the main branch and then run the tests individually.

The issue is that while on the main branch the entire suite uses
a 30m timeout, on stable branches we're excuting each individual
test with a 5m timeout, which isn't enough for some of the tests
(e.g. the FIO one).

For this reason, we're going to increase the timeout.

While at it, we're pinning the commit id when fetching the test
script on older branches. That will allow us to move it or
refactor it.

Signed-off-by: Lucian Petrut <lpetrut@cloudbasesolutions.com>

Merge pull request #2099 from ceph/ceph-container-prs-remove-ca-tests

ceph-container-prs: disable ceph-ansible tests

ceph-container-prs: disable ceph-ansible tests

ceph-container repo is being reworked.
ceph-ansible is about to drop ceph/daemon entrypoints anyway
so theses tests don't make sense anymore.

This disables ceph-ansible tests in the ceph-container CI.

Signed-off-by: Guillaume Abrioux <gabrioux@ibm.com>

Merge pull request #2098 from ceph/pin-tox-cv-scenario

ceph-volume-scenario: pin the tox version

ceph-volume-scenario: pin the tox version

Due to a regression introduced in tox 4.3.1, we have to pin
the version used in the CI in order to avoid the following error:

```
tox.report.HandledError: replace failed in centos8-filestore-create.commands with MatchRecursionError('circular chain between set env VAGRANT_UP_FLAGS, CEPH_DEV_BRANCH, CEPH_DEV_SHA1')
```

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #2097 from ceph/ca-pin-tox

ceph-ansible-prs: pin tox version

ceph-ansible-prs: pin tox version

Due to a regression introduced in tox 4.3.1, multiple environment variable substitution
is broken.
```
tox.report.HandledError: replace failed in centos-non_container-update.commands with MatchRecursionError('circular chain between set env DOCKER_HUB_USERNAME, DOCKER_HUB_PASSWORD, INVENTORY')
```

Let's pin to the last tox stable version where it used to work fine (4.2.8).

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #2096 from Matan-B/wip-matanb-c-cephfs-java-disable-revert

Revert "build_utils.sh: Disable cephfs_java with Crimson"

Reviewed-by: Samuel Just <sjust@redhat.com>

Revert "build_utils.sh: Disable cephfs_java with Crimson"

This reverts commit dd03c322eaded5f1bb274bb46fb13fbfe7a191aa.

Signed-off-by: Matan Breizman <mbreizma@redhat.com>

Merge pull request #2095 from Matan-B/wip-matanb-c-cephfs-java-disable

build_utils.sh: Disable cephfs_java with Crimson

Reviewed-by: Samuel Just <sjust@redhat.com>
Reviewed-by: Radoslaw Zarzynski <rzarzyns@redhat.com>

build_utils.sh: Disable cephfs_java with Crimson

Signed-off-by: Matan Breizman <mbreizma@redhat.com>

Merge pull request #2094 from ionutbalutoiu/update-ceph-win-tests

ceph-windows: Use PowerShell script to run tests

ceph-windows: Use PowerShell script to run tests

We have a new PowerShell script that runs all the Ceph Windows tests
from the main repository.

Signed-off-by: Ionut Balutoiu <ibalutoiu@cloudbasesolutions.com>

Merge pull request #2093 from ionutbalutoiu/update-ceph-win-tests

ceph-windows: Use locally cloned script, if possible

ceph-windows: Use locally cloned script, if possible

Use the locally cloned `test_rbd_wnbd.py` script if `$WORKSPACE/ceph`
repository was cloned as part of the Jenkins job.

Signed-off-by: Ionut Balutoiu <ibalutoiu@cloudbasesolutions.com>

Merge pull request #2091 from petrutlucian94/win_stamp_test

ceph-windows: re-enable rbd-wnbd stamp test

Reviewed-by: Ilya Dryomov <idryomov@gmail.com>

ceph-windows: re-enable rbd-wnbd stamp test

We had to disable one of the rbd-wnbd tests while investigating
the reason why disks started coming up as read-only.

This was actually caused by the wnbd bus type, which changed from
virtual to SAS. The default Windows policy (offlineShared) doesn't
automatically bring online such disks, SAS being considered a
shared bus.

While at it, we're also enabling the new *Fs* tests, which use
a Windows partition instead of the raw block devices.

Signed-off-by: Lucian Petrut <lpetrut@cloudbasesolutions.com>

Merge pull request #2076 from rzarzynski/wip-kickoff-reef

kickoff v18 reef

Merge pull request #2090 from ceph/ceph-ansible-infinite-loop

ceph-ansible-nightly: Don't search tags endlessly

ceph-ansible-nightly: Don't search tags endlessly

If the reponse is in an unexpected format (e.g. it's an error response),
we were looping infinitely; one job got to over 60k pages!

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #2089 from petrutlucian94/disable_wnbd_test

temporarily disable windows RbdStampTest test

Reviewed-by: Ilya Dryomov <idryomov@gmail.com>

temporarily disable windows rbd-wnbd test

One of the rbd-wnbd tests has started failing after the Windows
image got updated. The disks now show up as "read-only" by default.

https://pastebin.com/raw/JXmLXFnN

We'll temporarily disable this test to unblock the Windows job
while doing further investigation.

Signed-off-by: Lucian Petrut <lpetrut@cloudbasesolutions.com>

Merge pull request #2088 from ceph/cdn-quay

ceph-dev-new: Default to internal quay instance