]> git-server-git.apps.pok.os.sepia.ceph.com Git - radosgw-agent.git/commit
worker: process all bucket instance log entries at once
authorJosh Durgin <josh.durgin@inktank.com>
Sat, 8 Feb 2014 00:04:05 +0000 (16:04 -0800)
committerJosh Durgin <josh.durgin@inktank.com>
Mon, 3 Mar 2014 14:08:42 +0000 (06:08 -0800)
commitde85c9a66a916f19e2ede3b736be9e14200de45f
treef3922fb54e7a092a4ffbabba3e5e5060963188a8
parenta4b8fd83f04d8125edc00af88a210f3d929d60fc
worker: process all bucket instance log entries at once

Currently if there are more than max_entries in a single bucket
instance's log, only max_entries of those will be processed, and the
bucket instance will not be examined again until it is modified again.

To keep it simple, get the entire log of entries to be updated and
process them all at once. This means one busy shard may block others
from syncing, but multiple instances of radosgw-agent can be run to
circumvent that issue. With only one instance, users can be sure
everything is synced when an incremental sync completes with no
errors.

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>
radosgw_agent/worker.py