client: remove replica log entries using purge-all

After we converted the old replica log entry we now purge it using purge-all,
so that next time we're not going to hit it.

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

client: convert bucket replica log if needed

Fixes: #8251
If replica log entries for bucket does not exist, try to access it through
the old interface (not indexed by instance id). If this works then update
the new one (indexed by instance id), and remove the old one.

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

sync: add missing parameter to log statement

Fixes http://tracker.ceph.com/issues/7741
Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

worker: convert list to tuple so addition to set works

Without this, an error like: TypeError: unhashable type: 'list' would
occur when metadata was retried.

Fixes: #7526
Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

worker: process all bucket instance log entries at once

Currently if there are more than max_entries in a single bucket
instance's log, only max_entries of those will be processed, and the
bucket instance will not be examined again until it is modified again.

To keep it simple, get the entire log of entries to be updated and
process them all at once. This means one busy shard may block others
from syncing, but multiple instances of radosgw-agent can be run to
circumvent that issue. With only one instance, users can be sure
everything is synced when an incremental sync completes with no
errors.

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

Merge pull request #8 from clewis/respect-max-entries

Respect max_entries.

Reviewed-by: Josh Durgin <josh.durgin@inktank.com>

Use the object attribute max_entries, and get rid of the argument.

cli: need to import submodule of logging to use it

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

cli: use WatchedFileHandler to cooperate with logrotate

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

v1.1

Include exception information in warnings

This will provide more detail when an error occurs without requiring
logging at the debug level.

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

worker: don't try to remove opstate for deletes

Only the copy operation creates an op state. If the object does not
exist, there is no op state to delete.

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

requirements: set lower bound for requests

1.2.1 includes url-encoding headers, which we rely on.

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

Merge pull request #6 from ceph/wip-fixes

Wip fixes
Reviewed-by: Josh Durgin <josh.durgin@inktank.com>

normalize indentation to 4 spaces

Signed-off-by: Alfredo Deza <alfredo.deza@inktank.com>

do not mix tabs and spaces

Signed-off-by: Alfredo Deza <alfredo.deza@inktank.com>

remove semicolons from statements

Signed-off-by: Alfredo Deza <alfredo.deza@inktank.com>

sync: handle modified (meta)data log api

It now returns the last marker in addition to the log entries, which
are now in a separate field.

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

worker: treat 404 as an empty marker

If the log does not exist at all, since no operations have been completed
on that bucket, we get a 404.

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

worker: use the full op_id when waiting

self.op_id is just the last part of it. Get it from the caller
instead.

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

client: fix url_safe for non-unicode

Actually use urllib.quote() in both cases.

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

worker: only wait for existing objects

Copy operations are long running and use a state log, but deletes do
not.

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

client: don't escape copy source header

Requests takes care of this for us.

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

reduce default logging level for boto

Log messages about each new connection aren't very useful.

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

Handle errors preparing for an incremental sync

Log the issue, but keep retrying with a delay.
Move continuous incremental sync and preparing retry into
helpers in sync.py.

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

Merge pull request #5 from kri5/wip-datasync

Rename variable to match option parsing variable name (again)

Reviewed-by: Josh Durgin <josh.durgin@inktank.com>

Rename variable to match option parsing variable name (again)

The object_timeout variable was renamed object_sync_timeout
in the option parser, but not elsewhere.

This patch fixes it.

Signed-off-by: Christophe Courtaut <christophe.courtaut@gmail.com>

Merge pull request #4 from kri5/wip-datasync

Rename variable to match option parsing variable name

Reviewed-by: Josh Durgin <josh.durgin@inktank.com>

Rename variable to match option parsing variable name

The data_log_window variable was renamed rgw_data_log_window
in the option parser, but not elsewhere.

This patch fixes it.

Signed-off-by: Christophe Courtaut <christophe.courtaut@gmail.com>

Merge pull request #3 from kri5/wip-datasync

Fix option parsing for destination arg

Reviewed-by: Josh Durgin <josh.durgin@inktank.com>

Forgot to add unit tests dir as well

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

Fix option parsing for destination arg

As mentionned at http://docs.python.org/3.4/library/argparse.html#nargs,
nargs=1 will not provide the default behaviour, but instead will produce
a list of args, and that is not what we want.

This patch uses nargs=None to provide default behaviour instead.

As it is a positionnal argument, we can't use required option.

Signed-off-by: Christophe Courtaut <christophe.courtaut@gmail.com>

Add forgotten files for running tests

Implement data sync and several other changes that should be separate commits

The larger changes are:
- metadata sync uses the replica log for retrying after errors
- command line usage is simpler, and requires fewer options
- source and destination are gotten from / validated against
  the region map, with unit tests

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

Merge pull request #1 from kri5/wip-datasync

Reviewed-by: Josh Durgin <josh.durgin@inktank.com>

Adds data sync capabilities to test server

Fix cli to match obj/method names according to sync.py

Signed-off-by: Christophe Courtaut <christophe.courtaut@gmail.com>

Set up full data sync

Get data log markers and store them after all buckets are synced. Also
get bucket-index markers for each bucket, and update them in the
bucket index replica log once syncing is complete. The bucket-index
replica log updates should be moved to happend after each bucket once
the actual object copying is implemented.

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

Refactor sync and fix errors found by pyflakes

Instead of 4 copies of queue and worker creation
and results gathering, just have one, with subclasses
that can add special behavior at the beginning or end.

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

client: escape bucket and object names used in urls

Convert to utf8 since urllib doesn't handle unicode well in python 2.

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

client: fix spacing

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

sync: remove extraneous error checking

These loops all end once a result of any sort is received for a child
process. It will already complete if every worked has a connection
error.

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

Getting code readh for handoff

Signed-off-by: Joe Buck <jbbuck@gmail.com>

Improve exception handling

Catch exceptions and continue syncing items
in that shard but do NOT update the worker
bounds. This will result in redundant work
but prevents an error from stopping
the syncing of objects 'after' that object
in the same shard.

Signed-off-by: Joe Buck <jbbuck@gmail.com>
Reviewd-by: Josh Durgin <josh.durgin@inktank.com>

setup.py:  Add a version range to the python-boto dependency.

Signed-off-by: Gary Lowell <gary.lowell@inktank.com>

setup.cfg:  Dependencies for rpm builds.

These should track the dependencies listed in setup.py and
requirements.txt.

Signed-off-by: Gary Lowell <gary.lowell@inktank.com>

debian:  Initial version debian control files

Signed-off-by: Gary Lowell <gary.lowell@inktank.com>

rename partial sync to incremental sync

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

set bounds on the dest zone, not on the source zone

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

test api: init response to empty

This way len() etc works on it.

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

Add a quick and dirty http serving mode for testing

POST to --test-server-host:--test-server-port/metadata/[partial|full]
to do a partial or full metadata sync. The server will respond
when the sync is complete.

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

cli: use new name for partial sync delay

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>