]> git.apps.os.sepia.ceph.com Git - ceph.git/commit
rgw multisite: resharding scales up shard counts 4x faster
authorCasey Bodley <cbodley@redhat.com>
Fri, 25 Mar 2022 21:14:05 +0000 (17:14 -0400)
committerAdam C. Emerson <aemerson@redhat.com>
Thu, 28 Apr 2022 20:39:56 +0000 (16:39 -0400)
commit15c687f8b5fe8f7844f701276430dab25f876a7a
treea53d5af14946920d2d6df38b8995fcc3217d805d
parentfe42c165559170f57956df8dd2b80b5efb81909e
rgw multisite: resharding scales up shard counts 4x faster

in multisite reshard, we need to keep the old index shards around until
other zones finishing syncing from them. we don't want to allow a
bunch of reshards in a row, because we have to duplicate that many
sets of index objects. so we impose a limit of 4 bilog generations (or 3
reshards), and refuse to reshard again until bilog trimming catches up/
trims the oldest generation

under a sustained write workload, a bucket can fill quickly and need
successive reshards. if we have a limit of 3, we should make them count!
so instead of doubling the shard count at each step, multiply by 8
instead when we're in a multisite configuration

Signed-off-by: Casey Bodley <cbodley@redhat.com>
src/rgw/rgw_quota.cc
src/rgw/rgw_quota.h
src/rgw/rgw_rados.cc