mds: skip sr moves when target is an unlinked dir

A directory in the stray directory cannot have any HEAD inodes with caps so
there is no need to move anything to the snaprealm opened for the unlinked
directory.

Following the parent commit's reproducer, the behavior now looks expectedly like:

    2024-02-27T02:26:59.049+0000 7f5b095f3700 10 mds.0.cache.ino(0x100000f4575) open_snaprealm snaprealm(0x100000f4575 seq 0 lc 0 cr 0 cps 1 snaps={} last_modified 0.000000 change_attr 0 0x5632a57f9680) parent is snaprealm(0x1 seq e lc e cr e cps 1 snaps={2=snap(2 0x1 'one' 2024-02-27T01:34:36.001053+0000),3=snap(3 0x1 'two' 2024-02-27T01:34:48.623349+0000),6=snap(6 0x1 'six' 2024-02-27T02:03:51.619896+0000),7=snap(7 0x1 'seven' 2024-02-27T02:04:28.375336+0000),8=snap(8 0x1 '1' 2024-02-27T02:06:14.170884+0000),9=snap(9 0x1 '2' 2024-02-27T02:09:47.158624+0000),a=snap(a 0x1 '3' 2024-02-27T02:18:24.666934+0000),b=snap(b 0x1 '4' 2024-02-27T02:18:38.268874+0000),c=snap(c 0x1 '5' 2024-02-27T02:23:13.183995+0000),d=snap(d 0x1 '6' 2024-02-27T02:25:25.593014+0000),e=snap(e 0x1 '7' 2024-02-27T02:26:55.184945+0000)} last_modified 2024-02-27T02:26:55.184945+0000 change_attr 11 0x5632861c5680)
    2024-02-27T02:26:59.049+0000 7f5b095f3700 10  mds.0.cache.snaprealm(0x1 seq 14 0x5632861c5680) split_at: snaprealm(0x100000f4575 seq 0 lc 0 cr 0 cps 1 snaps={} last_modified 0.000000 change_attr 0 0x5632a57f9680) on [inode 0x100000f4575 [...f,head] ~mds0/stray0/100000f4575/ auth v1199 pv1200 ap=3 snaprealm=0x5632a57f9680 DIRTYPARENT f() n(v0 1=0+1) old_inodes=1 (ilink xlockdone x=1) (isnap xlockdone x=1) (inest lock) (ifile excl) (iversion lock w=1 last_client=4365) caps={4365=pAsLsXsFsx/AsLsXsFsx@6},l=4365 | request=1 lock=3 dirfrag=1 caps=1 dirtyparent=1 dirty=1 waiter=0 authpin=1 0x563385e94000]
    2024-02-27T02:26:59.049+0000 7f5b095f3700 10  mds.0.cache.snaprealm(0x1 seq 14 0x5632861c5680)  moving unlinked directory inode

Discussions with Dan van der Ster led to the creation of this patch.

Fixes: https://tracker.ceph.com/issues/53192
Signed-off-by: Patrick Donnelly <pdonnell@redhat.com>
Signed-off-by: Dan van der Ster <dan.vanderster@clyso.com>
(cherry picked from commit c190a3f1633e9282772e5ec54fe10556856a2540)

mds: memoize descendent results during realm splits

This change uses an unordered_map to memoize results of CInode::is_ancestor_of
so that subsequent invocations can skip directory inodes which are already
known to not be a descendent of the target directory.

In the worst case, this unordered_map can grow to the number of inodes in
memory when all inodes are directories and at least one client has a cap for
each inode. However, in general this will not be the case. The size of each
entry in the map will be a 64-bit pointer and bool. The total size will vary
across platforms but we can say that with a conservative estimate of 192 bits /
entry overhead (including the entry linked list pointer in the bucket), the map
will grow to ~24MB / 1M inodes.

The result of this change is not eye-popping but it does have a significant performance advantage.

For an unpatched MDS with 1M inodes with caps in the global snaprealm (with debugging commits preceding this one):

    2024-02-27T01:08:53.247+0000 7f4be40ec700  2 mds.0.cache Memory usage:  total 6037860, rss 5710800, heap 215392, baseline 199008, 1000251 / 1000323 inodes have caps, 1000251 caps, 0.999928 caps per inode
    ...
    2024-02-27T01:08:54.000+0000 7f4be18e7700 10  mds.0.cache.snaprealm(0x1 seq 3 0x55feaf85ad80) split_at: snaprealm(0x1000000043b seq 0 lc 0 cr 0 cps 1 snaps={} last_modified 0.000000 change_attr 0 0x55feb986b200) on [inode 0x1000000043b [...4,head] ~mds0/stray8/1000000043b/ auth v152 pv153 ap=3 snaprealm=0x55feb986b200 f() n(v0 1=0+1) old_inodes=1 (ilink xlockdone x=1) (isnap xlockdone x=1) (ifile excl) (iversion lock w=1 last_client=4361) caps={4361=pAsXsFs/-@6},l=4361 | request=1 lock=3 caps=1 authpin=1 0x56000423d180]
    2024-02-27T01:08:54.649+0000 7f4be18e7700 10 mds.0.cache.ino(0x1000000043b) move_to_realm joining realm snaprealm(0x1000000043b seq 0 lc 0 cr 0 cps 1 snaps={} last_modified 0.000000 change_attr 0 0x55feb986b200), leaving realm snaprealm(0x1 seq 3 lc 3 cr 3 cps 1 snaps={2=snap(2 0x1 'one' 2024-02-27T01:06:29.440802+0000),3=snap(3 0x1 'two' 2024-02-27T01:06:43.209349+0000)} last_modified 2024-02-27T01:06:43.209349+0000 change_attr 2 0x55feaf85ad80)
    2024-02-27T01:08:54.750+0000 7f4be18e7700 10  mds.0.cache.snaprealm(0x1 seq 3 0x55feaf85ad80) split_at: split 1 inodes

so around 750ms to check all inodes_with_caps (1M) in the global snaprealm. This result was fairly consistent for multiple tries.

For a 100k split:

    2024-02-27T04:12:27.548+0000 7f2da9dbe700 10 mds.0.cache.ino(0x1000000000f) open_snaprealm snaprealm(0x1000000000f seq 0 lc 0 cr 0 cps 1 snaps={} last_modified 0.000000 change_attr 0 0x563553c92900) parent is snaprealm(0x1 seq 2 lc 2 cr 2 cps 1 snaps={2=snap(2 0x1 '1' 2024-02-27T04:12:13.803030+0000)} last_modified 2024-02-27T04:12:13.803030+0000 change_attr 1 0x563553abed80)
    2024-02-27T04:12:27.548+0000 7f2da9dbe700 10  mds.0.cache.snaprealm(0x1 seq 2 0x563553abed80) split_at: snaprealm(0x1000000000f seq 0 lc 0 cr 0 cps 1 snaps={} last_modified 0.000000 change_attr 0 0x563553c92900) on [inode 0x1000000000f [...3,head] /tmp.K9bdjohIVa/ auth v10972 ap=2 snaprealm=0x563553c92900 f(v0 m2024-02-27T04:03:37.953918+0000 1=0+1) n(v106 rc2024-02-27T04:12:27.544141+0000 rs1 99755=0+99755) old_inodes=1 (isnap xlock x=1 by 0x5636a6372900) (inest lock dirty) (ifile excl) (iversion lock w=1 last_client=20707) caps={20707=pAsLsXsFsx/AsLsXsFsx@8},l=20707 | dirtyscattered=1 request=1 lock=2 dirfrag=1 caps=1 dirtyrstat=0 dirtyparent=0 dirty=1 waiter=0 authpin=1 0x563553cfd180]
    2024-02-27T04:12:28.886+0000 7f2da9dbe700 10  mds.0.cache.snaprealm(0x1 seq 2 0x563553abed80) split_at: split 100031 inodes

or about 1,338ms. This caused a split of 100k inodes. This takes more time
because directories are actually moved to the snaprealm with a lot of list
twiddling for caps.

With this patch, we bring that down, for 1 split:

    2024-02-27T02:09:48.549+0000 7ff854ad4700  2 mds.0.cache Memory usage:  total 5859852, rss 4290012, heap 231776, baseline 190816, 1000312 / 1000327 inodes have caps, 1000312 caps, 0.999985 caps per inode
    ...
    2024-02-27T02:09:48.550+0000 7ff8522cf700 10 mds.0.cache.ino(0x100000f456f) open_snaprealm snaprealm(0x100000f456f seq 0 lc 0 cr 0 cps 1 snaps={} last_modified 0.000000 change_attr 0 0x559e2b4fab40) parent is snaprealm(0x1 seq 9 lc 9 cr 9 cps 1 snaps={2=snap(2 0x1 'one' 2024-02-27T01:34:36.001053+0000),3=snap(3 0x1 'two' 2024-02-27T01:34:48.623349+0000),6=snap(6 0x1 'six' 2024-02-27T02:03:51.619896+0000),7=snap(7 0x1 'seven' 2024-02-27T02:04:28.375336+0000),8=snap(8 0x1 '1' 2024-02-27T02:06:14.170884+0000),9=snap(9 0x1 '2' 2024-02-27T02:09:47.158624+0000)} last_modified 2024-02-27T02:09:47.158624+0000 change_attr 6 0x559dfd4ad8c0)
    2024-02-27T02:09:48.550+0000 7ff8522cf700 10  mds.0.cache.snaprealm(0x1 seq 9 0x559dfd4ad8c0) split_at: snaprealm(0x100000f456f seq 0 lc 0 cr 0 cps 1 snaps={} last_modified 0.000000 change_attr 0 0x559e2b4fab40) on [inode 0x100000f456f [...a,head] ~mds0/stray2/100000f456f/ auth v1164 pv1165 ap=3 snaprealm=0x559e2b4fab40 DIRTYPARENT f() n(v0 1=0+1) old_inodes=1 (ilink xlockdone x=1) (isnap xlockdone x=1) (inest lock) (ifile excl) (iversion lock w=1 last_client=4365) caps={4365=pAsLsXsFsx/AsLsXsFsx@6},l=4365 | request=1 lock=3 dirfrag=1 caps=1 dirtyparent=1 dirty=1 waiter=0 authpin=1 0x559e8a8bd600]
    2024-02-27T02:09:48.550+0000 7ff8522cf700 10  mds.0.cache.snaprealm(0x1 seq 9 0x559dfd4ad8c0)  open_children are 0x559dfd4add40,0x559e1cca1d40
    2024-02-27T02:09:48.919+0000 7ff8522cf700 10  mds.0.cache.snaprealm(0x1 seq 9 0x559dfd4ad8c0) split_at: split 1 inodes

or about 370ms. This was also fairly consistent across multiple tries.

For a 100k split:

    2024-02-27T01:52:24.500+0000 7ff8522cf700 10  mds.0.cache.snaprealm(0x1 seq 3 0x559dfd4ad8c0) split_at: snaprealm(0x10000000013 seq 0 lc 0 cr 0 cps 1 snaps={} last_modified 0.000000 change_attr 0 0x559e1cca1d40) on [inode 0x10000000013 [...5,head] /tmp.RIUAaU5wuE/ auth v10499 ap=2 snaprealm=0x559e1cca1d40 f(v0 m2024-02-27T01:16:04.611198+0000 1=0+1) n(v122 rc2024-02-27T01:52:24.495465+0000 rs1 100031=0+100031) old_inodes=1 (isnap xlock x=1 by 0x559ef038a880) (inest lock) (ifile excl) (iversion lock w=1 last_client=4365) caps={4365=pAsLsXsFsx/-@11},l=4365 | dirtyscattered=0 request=1 lock=2 dirfrag=1 caps=1 dirty=1 waiter=0 authpin=1 0x559e0238c580]
    2024-02-27T01:52:24.500+0000 7ff8522cf700 10  mds.0.cache.snaprealm(0x1 seq 3 0x559dfd4ad8c0)  open_children are 0x559dfd4add40
    2024-02-27T01:52:25.338+0000 7ff8522cf700 10  mds.0.cache.snaprealm(0x1 seq 3 0x559dfd4ad8c0) split_at: split 100031 inodes

or about 840ms. This can be easily done by making a directory in one of the
trees created (see reproducer below).

Reproducing can be done with:

    for ((i =0; i < 10; i++)); do (pushd $(mktemp -d -p . ); for ((j = 0; j < 30; ++j)); do mkdir "$j"; pushd "$j"; done; for ((j = 0; j < 10; ++j)); do for ((k = 0; k < 10000; ++k)); do mkdir $j.$k; done & done) & done

to make 1M directories. We put the majority of directories in a 30-deep nesting
to exercise CInode::is_ancestor_of with some worst-case type scenario.

Make sure all debugging configs are disabled for the MDS/clients. Make sure the
client has a cache size to accomodate 1M caps. Make at least one snapshot:

    mkdir .snap/one

Then reproduction can be done with:

    $ mkdir tmp.qQNsTpxpvh/dir; mkdir .snap/$((++i)); rmdir tmp.qQNsTpxpvh/dir

It is not necessary to delete any snapshots to reproduce this behavior. It's
only necessary to have a lot of inodes_with_caps in a snaprealm and effect a
split.

Fixes: https://tracker.ceph.com/issues/53192
Signed-off-by: Patrick Donnelly <pdonnell@redhat.com>
(cherry picked from commit a0ccb79fa0806792c7ee666c667328a8aeb09e97)

mds: reduce move_to_realm verbosity

It can dominate logs when large splits occur.

Signed-off-by: Patrick Donnelly <pdonnell@redhat.com>
(cherry picked from commit 34cb6300b8c102d4804e6a143393e048d71b69a9)

mds: indicate when split_at is complete for analysis

Signed-off-by: Patrick Donnelly <pdonnell@redhat.com>
(cherry picked from commit 54c20f5505a989c8d7d3d42fa29d48d63240b9a2)

mds: increase debug lvl for inode listing at sr split

This can print a ludicrous number of lines for large cache sizes.

Signed-off-by: Patrick Donnelly <pdonnell@redhat.com>
(cherry picked from commit 681169cb94bf990c41135251f984b3d161808ca6)

mds: refactor debug print of func name

Signed-off-by: Patrick Donnelly <pdonnell@redhat.com>
(cherry picked from commit 2f937772c9d3493f020cd7be0480ee550f4f791d)

mds: skip print of empty_children if empty

Signed-off-by: Patrick Donnelly <pdonnell@redhat.com>
(cherry picked from commit 7c1823ae5e04b283ed1ca0a02977549469a7845b)

Merge pull request #56343 from cbodley/wip-65007-squid

squid: RGW: allow user disabling presigned urls in rgw configuration

Reviewed-by: Daniel Gryniewicz <dang@redhat.com>

Merge pull request #56344 from cbodley/wip-65004-squid

squid: rgw: Add missing empty checks to the split string in is_string_in_set().

Reviewed-by: Daniel Gryniewicz <dang@redhat.com>

Merge pull request #56345 from cbodley/wip-65009-squid

squid: rgw_file: fix mv/rename cases broken by zipper integration

Reviewed-by: Daniel Gryniewicz <dang@redhat.com>

Merge pull request #56342 from cbodley/wip-qa-rgw-lua-pool-application-squid

squid: qa/rgw: ignore POOL_APP_NOT_ENABLED in rgw/lua subsuite

Reviewed-by: Daniel Gryniewicz <dang@redhat.com>

Merge pull request #56320 from adk3798/wip-64636-squid

squid: cephadm/nvmeof: scrape nvmeof prometheus endpoint

Reviewed-by: John Mulligan <jmulligan@redhat.com>

Merge pull request #56306 from adk3798/squid-timemaster

squid: cephadm.py: add timemaster to timesync services list

Reviewed-by: John Mulligan <jmulligan@redhat.com>

Merge pull request #56316 from adk3798/wip-64626-squid

squid: cephadm: create ceph-exporter sock dir if it's not present

Reviewed-by: John Mulligan <jmulligan@redhat.com>

Merge PR #56571 into squid

* refs/pull/56571/head:
doc: add releases links to toc
doc: remove releases docs

Reviewed-by: Ilya Dryomov <idryomov@redhat.com>
Reviewed-by: Anthony D Atri <anthony.datri@gmail.com>

Merge pull request #56630 from zdover23/wip-doc-2024-04-02-backport-56614-to-squid

squid: doc/mgr: update zabbix information

Merge pull request #56007 from cbodley/wip-64754-squid

squid: rpm: disable system_qat for non-x86_64 arch

Reviewed-by: Rongqi Sun <sunrongqi@huawei.com>

Merge pull request #55685 from rhcs-dashboard/wip-64515-squid

squid: mgr/dashboard: nvmeof api batch fixes

Reviewed-by: Ernesto Puerta <epuertat@redhat.com>

doc/mgr: update zabbix information

Include information from John Jasen about how to install Zabbix.

Signed-off-by: Zac Dover <zac.dover@proton.me>
(cherry picked from commit ebe7651dd85ae1f1570d8c34479b9bdd1249d83c)

Merge pull request #56021 from vshankar/wip-64762-squid

squid: qa/cephfs: add more ignorelist entries

Reviewed-by: Yuri Weinstein <yweinste@redhat.com>

qa/cephfs: add `MON_DOWN' and `deprecated feature inline_data' to ignorelist

Fixes: http://tracker.ceph.com/issues/64746
Signed-off-by: Venky Shankar <vshankar@redhat.com>
(cherry picked from commit f5a23d5811829d0f43831740ec3dced6a3b725f3)

Merge pull request #56601 from zdover23/wip-doc-2024-04-01-backport-56600-to-squid

squid: doc/dev: update leads list

doc/dev: update leads list

Remove Joao Luis from the list of component leads.

Signed-off-by: Zac Dover <zac.dover@proton.me>
(cherry picked from commit 158b0403bd66cdf6c4b456146705f42d69f56730)

Merge pull request #56593 from zdover23/wip-doc-2024-03-31-backport-56592-to-squid

squid: doc/rados/operations: Improve crush_location docs

doc/rados/operations: Improve crush_location docs

* Fix incorrect syntax
* Use underscores for config options, like other ceph docs did
* Fix incorrect statement that crush_location_hook adds fiels; it replaces
* Explain `root=default host=HOSTNAME` is not set if `crush_location` is given
* Remove duplication across sections
* Point out that `root=default` is important

Signed-off-by: Niklas Hambüchen <mail@nh2.me>
(cherry picked from commit d91e75e1e92b73bf967740575b3c27a86ef844d5)

Merge pull request #56588 from zdover23/wip-doc-2024-03-30-backport-56581-to-squid

squid: doc/dev: update leads list

doc/dev: update leads list

Update the list of component leads in
doc/dev/developer_guide/essentials.rst.

Signed-off-by: Zac Dover <zac.dover@proton.me>
(cherry picked from commit 57e9427eac08b4057999f5afc44cf0fc77a3068f)

Merge pull request #56547 from rhcs-dashboard/wip-65193-squid

squid: mgr/dashboard: fix rgw display name validation

Reviewed-by: Avan Thakkar <athakkar@redhat.com>
Reviewed-by: Ankush Behl <cloudbehl@gmail.com>

Merge pull request #56556 from afreen23/wip-65204-squid

squid: mgr/dashboard: make ceph logo redirect to dashboard

Reviewed-by: Nizamudeen A <nia@redhat.com>

Merge pull request #56559 from afreen23/wip-64829-squid

squid: mgr/dashboard: Locking improvements in bucket create form

Reviewed-by: Nizamudeen A <nia@redhat.com>

Merge pull request #56522 from zdover23/wip-doc-2024-03-27-backport-56173-to-squid

squid: doc/dev: osd_internals/snaps.rst: add clone_overlap doc

Reviewed-by: Anthony D'Atri <anthony.datri@gmail.com>

Merge pull request #56505 from rhcs-dashboard/wip-65169-squid

squid: mgr/dashboard: bump follow-redirects from 1.15.3 to 1.15.6 in /src/pybind/mgr/dashboard/frontend

Reviewed-by: afreen23 <NOT@FOUND>

Merge pull request #56545 from rhcs-dashboard/wip-65191-squid

squid: mgr/dashboard: s/active_mds/active_nfs in fs attach form

Reviewed-by: Ankush Behl <cloudbehl@gmail.com>

Merge pull request #56549 from rhcs-dashboard/wip-65195-squid

squid: mgr/dashboard: fix clone unique validator for name validation

Reviewed-by: Ankush Behl <cloudbehl@gmail.com>

doc: add releases links to toc

Signed-off-by: Patrick Donnelly <pdonnell@redhat.com>
(cherry picked from commit 8cf9ad62949516666ad0f2c0bb7726ef68e4d666)

doc: remove releases docs

So that redirects to the version in the main branch work again.

This should have been part of the release checklist.

Signed-off-by: Patrick Donnelly <pdonnell@redhat.com>

mgr/dashboard: Locking improvements in bucket create form

Fixes https://tracker.ceph.com/issues/64658
- Addition of help texts
- Addition of info/warnings related to modes and versioning
- change of Locking section layout
- renaming locking to 'Object Locking'
- changes default retention period to 10
- edit bucket only shows lock when its enabled

Signed-off-by: Afreen <afreen23.git@gmail.com>
(cherry picked from commit 014d4468fce5aadfbc63bd9651c0c66db0bf7f49)

Conflicts:
src/pybind/mgr/dashboard/frontend/src/app/shared/components/components.module.ts

mgr/dashboard: make ceph logo redirect to dashboard

Fixes https://tracker.ceph.com/issues/64734

Clicking on ceph logo in navigation takes back to overview dashboard.

Signed-off-by: Afreen <afreen23.git@gmail.com>
(cherry picked from commit 44e7bb336c26da77f49fb027578509975b5b2633)

mgr/dashboard: fix clone unique validator for name validation

Fixes: https://tracker.ceph.com/issues/65145
Signed-off-by: Nizamudeen A <nia@redhat.com>
(cherry picked from commit 8070dfd80be9de15d2234fafa78a25569fde30a7)

mgr/dashboard: fix rgw display name validation

the dot(.) character is allowed in full name

Fixes: https://tracker.ceph.com/issues/65146
Signed-off-by: Nizamudeen A <nia@redhat.com>
(cherry picked from commit 8118a32ec578455b6c2cb4000f2bbee234ae9117)

mgr/dashboard: s/active_mds/active_nfs in fs attach form

Fixes: https://tracker.ceph.com/issues/65173
Signed-off-by: Nizamudeen A <nia@redhat.com>
(cherry picked from commit 5f97e4eaed3ff25cc01fdaed39f73542e8196677)

Merge pull request #56502 from rhcs-dashboard/wip-65166-squid

squid: mgr/dashboard: fix cephfs name validation

Reviewed-by: afreen23 <NOT@FOUND>

Merge pull request #56500 from Svelar/wip-65127-squid

squid: crimson: add crimson-osd rpm and deb runtime dependencies for protobuf inherited from seastar

Merge pull request #56314 from adk3798/wip-64621-squid

squid: cephadm: Add nvmeof to autotuner calculation

Reviewed-by: John Mulligan <jmulligan@redhat.com>

Merge pull request #56324 from adk3798/wip-64993-squid

squid: mgr/cephadm: refresh public_network for config checks before checking

Reviewed-by: John Mulligan <jmulligan@redhat.com>

Merge pull request #56321 from adk3798/wip-64687-squid

squid: mgr/cephadm: fix placement with label and host pattern

Reviewed-by: John Mulligan <jmulligan@redhat.com>

Merge pull request #56319 from adk3798/wip-64633-squid

squid: cephadm: rm podman-auth.json if removing last cluster

Reviewed-by: John Mulligan <jmulligan@redhat.com>

Merge pull request #56317 from adk3798/wip-64628-squid

squid: mgr/cephadm: catch CancelledError in asyncio timeout handler

Reviewed-by: John Mulligan <jmulligan@redhat.com>

cephadm: create ceph-exporter sock dir if it's not present

Since this is usually /var/run/ceph/ which ends up getting
created by other daemons as well, it was common to see
ceph-exporter fail to deploy and then deploy fine after
once other daemons were down on the host. I don't see any
reason we can't just try to make the directory here instead
of bailing out.

Fixes: https://tracker.ceph.com/issues/64491wq
Signed-off-by: Adam King <adking@redhat.com>
(cherry picked from commit 862fca945f5bf48144b6a589f1d3cd971444daf7)

cephadm: call container daemon form prepare_data_dir

Instead of always climbing through an "if ladder" based on daemon type
variables we will have the option of using the common method provided
by container daemon form classes. This will initially be used by the
smb daemon. I don't have the energy to refactor all the existing stuff
at the moment.

Signed-off-by: John Mulligan <jmulligan@redhat.com>
(cherry picked from commit 0f6a18a09cba35515e100f457e224537ad1e5608)
(cherry picked from commit bf7e40b4d1fee439a4a7f48cf033d4a0885890d0)

cephadm: add a prepare_data_dir method to container daemon form

The prepare_data_dir method is a general way for classes to prepare the
data dir (e.g. `/var/lib/ceph/$FSID/$DAEMON_TYPE.$DAEMON_ID`) before
containers will use it.

Signed-off-by: John Mulligan <jmulligan@redhat.com>
(cherry picked from commit 044e4d64790d3c06cbf67a6c783c19edcfcf2d51)
(cherry picked from commit f73c0665f2be46b6aef535a988e5550a92669cc1)

cephadm: allow passing pathlib.Path objects to file_utils.makedirs

Update the type annotations to allow passing pathlib.Path objects to the
makedirs function. All the calls makedirs uses already can accept Path
objects. This causes mypy to accept calling makedirs with a Path
argument and Paths are nice.

Signed-off-by: John Mulligan <jmulligan@redhat.com>
(cherry picked from commit 21a16007e4e578e04907775aa4e96febf02d862e)
(cherry picked from commit 512154fa8d8fb58aefe5ddcedad865ad37a1634a)

Merge pull request #56315 from adk3798/wip-64623-squid

squid: mgr/cephadm is not defining haproxy tcp healthchecks for Ganesha

Reviewed-by: John Mulligan <jmulligan@redhat.com>

Merge pull request #56313 from adk3798/squid-cephadm-sudo-cmd-auditing

squid: cephadm: sudo cmd auditing

Reviewed-by: John Mulligan <jmulligan@redhat.com>

Merge pull request #56309 from adk3798/squid-bootstrap-no-container-engine

squid: cephadm: bootstrap fails if no container engine installed

Reviewed-by: John Mulligan <jmulligan@redhat.com>

Merge pull request #56305 from adk3798/squid-enable-black-cephadm

squid: cephadm: enforce black formatting for cephadmlib

Reviewed-by: John Mulligan <jmulligan@redhat.com>

Merge pull request #56303 from adk3798/squid-ingress-haproxy-bind-ipv4v6

squid: mgr/cephadm: make HAProxy to listen on IPv4 and IPv6 by default

Reviewed-by: John Mulligan <jmulligan@redhat.com>

Merge pull request #56289 from adk3798/squid-cephadm-pull-usage

squid: cephadm: improve cephadm pull usage message

Reviewed-by: John Mulligan <jmulligan@redhat.com>

Merge pull request #56288 from adk3798/squid-grafana-mount-dashboards

squid: mgr/cephadm: mount grafana dashboards from the path

Reviewed-by: Nizamudeen A <nia@redhat.com>

Merge pull request #56285 from adk3798/squid-haproxy-healthcheck-interval

squid: cephadm: adjust the ingress ha proxy health check interval

Reviewed-by: John Mulligan <jmulligan@redhat.com>

Merge pull request #56038 from asm0deuz/wip-64697-squid

squid: mgr/cephadm: Allow idmap overrides in nfs-ganesha configuration

Reviewed-by: Adam King <adking@redhat.com>

Merge pull request #55839 from adk3798/squid-cephadm-device-class

squid: cephadm: remove restriction for crush device classes

Reviewed-by: John Mulligan <jmulligan@redhat.com>

Merge pull request #55821 from adk3798/squid-no-agent-workunits

squid: qa/cephadm: don't test certain workunits with agent

Reviewed-by: John Mulligan <jmulligan@redhat.com>

Merge pull request #55818 from adk3798/squid-nvmeof-log-file-mount

squid: cephadm: Add mount for nvmeof log location

Reviewed-by: John Mulligan <jmulligan@redhat.com>

Merge pull request #55814 from adk3798/squid-debian/postint

squid: debian/*.postinst: add adduser as a dependency and specify --home when adduser

Reviewed-by: Kefu Chai <tchaikov@gmail.com>

doc/dev: osd_internals/snaps.rst: add clone_overlap doc

snapdir concept was removed in: https://github.com/ceph/ceph/pull/17579

Co-authored-by: Zac Dover <zac.dover@proton.me>
Signed-off-by: Matan Breizman <mbreizma@redhat.com>
(cherry picked from commit 6a7f2b0fda74aedb213067abe5c0a64b68fbbdc7)

Merge pull request #56494 from zdover23/wip-doc-2024-03-27-backport-56450-to-squid

squid: docs/rados: remove incorrect ceph command

Reviewed-by: Anthony D'Atri <anthony.datri@gmail.com>

Merge pull request #56442 from rhcs-dashboard/wip-65102-squid

squid: mgr/dashboard: rm warning/error threshold for cpu usage

Reviewed-by: afreen23 <NOT@FOUND>

mgr/dashboard: bump follow-redirects

Bumps [follow-redirects](https://github.com/follow-redirects/follow-redirects) from 1.15.3 to 1.15.6.
- [Release notes](https://github.com/follow-redirects/follow-redirects/releases)
- [Commits](https://github.com/follow-redirects/follow-redirects/compare/v1.15.3...v1.15.6)

---
updated-dependencies:
- dependency-name: follow-redirects
  dependency-type: indirect
...

Signed-off-by: dependabot[bot] <support@github.com>
(cherry picked from commit b0275929c07ebcfba3e7877020f182c6d8b74435)

Merge pull request #56464 from aaSharma14/wip-64608-squid

squid: mgr/dashboard: replace piechart plugin charts with native pie chart panel

Reviewed-by: Nizamudeen A <nia@redhat.com>

mgr/dashboard: fix cephfs name validation

allow volume name to start with dot (.)

Fixes: https://tracker.ceph.com/issues/65143
Signed-off-by: Nizamudeen A <nia@redhat.com>
(cherry picked from commit 242318452c8111717e49b896c7f9cf0ec5f5b262)

debian/control: add runtime protobuf dependency for crimson-osd inherited from seastar

Signed-off-by: Samuel Just <sjust@redhat.com>
(cherry picked from commit ab4c5daead7f26d41028625453d50bb58d3b02be)

ceph.spec.in: add runtime protobuf dependency for crimson-osd inherited from seastar

Signed-off-by: Samuel Just <sjust@redhat.com>
(cherry picked from commit 57602aad351b21dde06db8632a9c8fdc2ab541d6)

docs/rados: remove incorrect ceph command

The removed line was (incorrectly changed) output of the previous command.

Signed-off-by: Taha Jahangir <mtjahangir@gmail.com>
(cherry picked from commit 3cd39e3582ed830f86c55d2203ece72fa0f9426b)

Merge pull request #56226 from cbodley/wip-64949-squid

squid: rgw/multisite: add x-rgw-replicated-at header to replicated objects

Reviewed-by: Shilpa Jagannath <smanjara@redhat.com>

Merge pull request #55625 from rzarzynski/wip-end2end-tracing-squid

squid: tracer/osd/librados/build/rgw: rgw and osd end2end tracing using open…

Reviewed-by: Casey Bodley <cbodley@redhat.com>

Merge pull request #56358 from Svelar/wip-65027-squid

squid: mgr/dashboard/frontend:Ceph dashboard supports multiple languages

Reviewed-by: Nizamudeen A <nia@redhat.com>

Merge pull request #56386 from rhcs-dashboard/wip-65069-squid

squid: mgr/dashboard: fix subvolume group edit size

Reviewed-by: Nizamudeen A <nia@redhat.com>

Merge pull request #56473 from rhcs-dashboard/wip-65138-squid

squid: mgr/dashboard: add system users to rgw user form

Reviewed-by: Pedro Gonzalez Gomez <pegonzal@redhat.com>
Reviewed-by: afreen23 <NOT@FOUND>

Merge pull request #56465 from zdover23/wip-doc-2024-03-26-backport-56436-to-squid

squid: doc/start: improve MDS explanation

Merge pull request #56258 from guits/wip-64945-squid

squid: ceph-volume: add missing import

Merge pull request #56035 from vshankar/wip-64779-squid

squid: mds,cephfs_mirror: add labelled per-client and replication metrics

Reviewed-by: Yuri Weinstein <yuriw@redhat.com>

mgr/dashboard: add system users to rgw user form

Fixes: https://tracker.ceph.com/issues/65074
Signed-off-by: Pedro Gonzalez Gomez <pegonzal@redhat.com>
(cherry picked from commit b658bb9c32ad31608921e77603003c004ab0f15b)

doc/start: improve MDS explanation

Improve the explanation of MDS as requested by Anthony D'Atri here:

https://github.com/ceph/ceph/pull/56367#discussion_r1536667249

Signed-off-by: Zac Dover <zac.dover@proton.me>
(cherry picked from commit e7eff3cf8738ddd378c2fd70075ac61dbac3cf55)

Merge pull request #56434 from zdover23/wip-doc-2024-03-25-backport-56287-to-squid

squid: mon, doc: overriding ec profile requires --yes-i-really-mean-it

Reviewed-by: Anthony D'Atri <anthony.datri@gmail.com>

mgr/dashboard: replace piechart plugin charts with native pie chart
panel

Fixes: https://tracker.ceph.com/issues/64579
Signed-off-by: Aashish Sharma <aasharma@redhat.com>
(cherry picked from commit 6e5efb626f4b3503a12371a8f609fdb5175a3ebe)

Merge pull request #56451 from rhcs-dashboard/wip-65112-squid

squid: mgr/dashboard: sanitize dashboard user creation

Reviewed-by: Pedro Gonzalez Gomez <pegonzal@redhat.com>
Reviewed-by: afreen23 <NOT@FOUND>

Merge pull request #56123 from xhernandez/wip-64738-squid

squid: client: fix leak of file handles

Reviewed-by: Venky Shankar <vshankar@redhat.com>

Merge PR #56391 into squid

* refs/pull/56391/head:
qa/suites/fs/nfs: use standard health ignorelist

Reviewed-by: Leonid Usov <leonid.usov@ibm.com>

Merge PR #56395 into squid

* refs/pull/56395/head:
qa: change log-whitelist to log-ignorelist

Reviewed-by: Leonid Usov <leonid.usov@ibm.com>

Merge PR #56397 into squid

* refs/pull/56397/head:
mds: ensure snapclient is synced before corruption check

Reviewed-by: Leonid Usov <leonid.usov@ibm.com>

Merge PR #56405 into squid

* refs/pull/56405/head:
qa: test fuse/kclient for mds upgrade seq
qa: ignore OSD_DOWN during cephadm upgrades
qa: ignore warning "Replacing daemon"
qa: ignore MDS_INSUFFICIENT_STANDBY
qa: remove ignorelist error parenthesis
mds: update comment on kclient decoding of MDSMap
qa: do upgrades from quincy and older reef minor releases
mds: reverse MDSMap encoding of max_xattr_size/bal_rank_mask

Reviewed-by: Leonid Usov <leonid.usov@ibm.com>

Merge PR #56406 into squid

* refs/pull/56406/head:
doc/dev: update quiesce developer document
qa: wrap quiesce verification to dump debugging on error
qa: update quiesce tests for control via locallock
qa: set archive path in vstart_runner
qa: refactor CephFSMount.kill_background to optionally kill all background jobs
qa: use kwarg for rank parameter
qa: simplify calls to (rank|mds)_(tell|asok)
Revert "pybind/mgr/volumes: block quiesce for critical .meta file"
mds: remove is_root indication on quiesce_inode op
mds: prevent new lock cache cons when invalidating an existing one
mds: use XLOCK_WAIT For local lock xlockers
mds: prevent new wrlocks on LocalLock if there exists any xlock waiter
mds: block import discover when parent directory inode is quiesced
mds: avoid issuing exclusive caps to clients lacking w caps
mds: print lock cache during invalidation
mds: use inodeno_t to track quiesce requests
mds: dispatch quiesce_inode ops after dir traversal
mds: remove quiescelock handling for SimpleLock type
mds: quiescelock as local lock + cap masking
qa: run quiesce unit tests in fs:functional
qa: add quiesce protocol unit tests
qa: detect partial migrations during large config of dist epin
qa: use stdin-killer to timeout run_shell_payload
qa: simplify run_shell argument processing
doc: add dev docs for quiesce protocol
pybind/mgr/volumes: block quiesce for critical .meta file
mds: add vxattr to block quiesce on an inode
mds: convert encoded ephemeral dist pin to flags
mds: add counter to throttle quiesce
mds: add quiesce set feature flag
mds: skip non-head inodes for quiesce
mds: add quiesce op
mds: print all SimpleLock flags in debug output
mds: pretty print mutation when dumping lock
mds: add new inode quiescelock
mds: use 128 bits for waiters on MDSCacheObject
mds: provide mechanism to authpin while freezing
mds: add command to get specific op
mds: finish request before completing internal req
mds: complete internal op if killed
mds: avoid killing dead requests
mds: add command to kill request
mds: add path argument to `ops` and `dump tree` to stream result to local file
mds: print internal_request filepaths if present
mds: add more information to debug message
mds: remove redundant parenthesis
mds: implement Mutation::dump method
mds: make LockType fields const
mds: annotate mdr with try_rdlock_snap_layout failure
mds: refactor if into switch
mds: call Locker method using this
mds: simplify assert
mds: dump locks passed to Locker::acquire_locks
mds: add LockOp::print method for debugging
mds: use new insert template via print
mds: add request result to mutation for analysis by tests
mds: add comment on locking order rules
mds: allow specifying rdlock position
mds: remove dead method
common: provide a template for object dumps
common: support long running ops without slow warnings
common: simplify loop
common: add JSONFormatterFile class
common: use more efficient vector for stack
include: use larger int for large gathers

Reviewed-by: Leonid Usov <leonid.usov@ibm.com>

Merge PR #56407 into squid

* refs/pull/56407/head:
qa/cephfs: stop ignoring MON_DOWN globally
qa: extend mon timeout coming up after mondb creation
qa: update dashboard schema for mon_status
mon: do not log MON_DOWN if monitor uptime is less than threshold

Reviewed-by: Leonid Usov <leonid.usov@ibm.com>

Merge PR #56416 into squid

* refs/pull/56416/head:
qa/cephfs: add mgr debugging

Reviewed-by: Leonid Usov <leonid.usov@ibm.com>

mgr/dashboard: sanitize dashboard user creation

Fixes: https://tracker.ceph.com/issues/65030
Signed-off-by: Pedro Gonzalez Gomez <pegonzal@redhat.com>
(cherry picked from commit 9951a3a7f314c7cd1eb147fb1b398ac6c5212806)

Merge pull request #56440 from rhcs-dashboard/wip-65109-squid

squid: mgr/dashboard: fix empty tags

Reviewed-by: Pedro Gonzalez Gomez <pegonzal@redhat.com>
Reviewed-by: afreen23 <NOT@FOUND>

mgr/dashboard: rm warning/error threshold for cpu usage

for multi-core cpu's the value can be more than 100% so it doesn't make
sense to show warning/error when the usage is at or more than 100%.
hence removing it

Fixes: https://tracker.ceph.com/issues/58838
Signed-off-by: Nizamudeen A <nia@redhat.com>
(cherry picked from commit 131a70754a6bfbbb2d1481ba74436953c6ecc226)

mgr/dashboard: fix empty tags

Fixes: https://tracker.ceph.com/issues/64911
Signed-off-by: Pedro Gonzalez Gomez <pegonzal@redhat.com>
(cherry picked from commit a60f82566551e731987b4a02d1bb2bf4cfb9a9ce)

mgr/dashboard: fix NVMeoF API

* Update NVMe-oF gRPC Proto to 1.0.0
* Error handling,
* Missing PATCH for certain namespace ops (resize, set QoS, set balance
  groups),
* Stop bypassing gRPC payloads and validate those in the back-end,
* Fix incorrect HTTP 1.1 semantics for some POST/DELETE and URIs.
* Catch errors/exceptions.
* Clean-up EndpointDoc Params
* Run Black linter.
* Remove most of NVMeoFClient glue code between gRPC and controller.
* Fix namespace delete endpoint by exposing trsvcid
* nvmeof io_stats support

Fixes: https://tracker.ceph.com/issues/64890
Signed-off-by: Ernesto Puerta <epuertat@redhat.com>
(cherry picked from commit 4adf48998d97f8199bcb86c8d8994bb5989c198a)