]> git-server-git.apps.pok.os.sepia.ceph.com Git - ceph.git/commit
rgw: radosgw-admin should paginate internally when listing bucket 37511/head
authorJ. Eric Ivancich <ivancich@redhat.com>
Thu, 1 Oct 2020 17:33:01 +0000 (13:33 -0400)
committerJ. Eric Ivancich <ivancich@redhat.com>
Thu, 1 Oct 2020 17:44:31 +0000 (13:44 -0400)
commit6d033061bf9eaebf3dab37b9ed45de22ce6fa6b7
tree3ec78be7622ed00e92c325d6ab016358cca4abf8
parent116283abac1d68cc3b3e7b4a6bdef7cfd2176c78
rgw: radosgw-admin should paginate internally when listing bucket

Currently `radosgw-admin bucket list ...`, when listing a bucket, asks
for the value of "--max-entries" internally. To list a large bucket
entirely the user would have to set "--max-entries" to a large value
(e.g., 10000000). Internally this doesn't paginate, so it will try to
produce the entire list at once. This can consume a lot of memory, and
there are known cases where this induces an out-of-memory crash.

So now we'll set a maximum pagination size of 10,000. So even with
large values of "--max-entries" it will still be able to produce the
full listing without stressing memory, because it will ask for at most
10,000 entries at a time.

Signed-off-by: J. Eric Ivancich <ivancich@redhat.com>
src/rgw/rgw_admin.cc