Forgot to add unit tests dir as well

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

Add forgotten files for running tests

Implement data sync and several other changes that should be separate commits

The larger changes are:
- metadata sync uses the replica log for retrying after errors
- command line usage is simpler, and requires fewer options
- source and destination are gotten from / validated against
  the region map, with unit tests

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

Merge pull request #1 from kri5/wip-datasync

Reviewed-by: Josh Durgin <josh.durgin@inktank.com>

Adds data sync capabilities to test server

Fix cli to match obj/method names according to sync.py

Signed-off-by: Christophe Courtaut <christophe.courtaut@gmail.com>

Set up full data sync

Get data log markers and store them after all buckets are synced. Also
get bucket-index markers for each bucket, and update them in the
bucket index replica log once syncing is complete. The bucket-index
replica log updates should be moved to happend after each bucket once
the actual object copying is implemented.

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

Refactor sync and fix errors found by pyflakes

Instead of 4 copies of queue and worker creation
and results gathering, just have one, with subclasses
that can add special behavior at the beginning or end.

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

client: escape bucket and object names used in urls

Convert to utf8 since urllib doesn't handle unicode well in python 2.

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

client: fix spacing

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

sync: remove extraneous error checking

These loops all end once a result of any sort is received for a child
process. It will already complete if every worked has a connection
error.

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

Getting code readh for handoff

Signed-off-by: Joe Buck <jbbuck@gmail.com>

Improve exception handling

Catch exceptions and continue syncing items
in that shard but do NOT update the worker
bounds. This will result in redundant work
but prevents an error from stopping
the syncing of objects 'after' that object
in the same shard.

Signed-off-by: Joe Buck <jbbuck@gmail.com>
Reviewd-by: Josh Durgin <josh.durgin@inktank.com>

setup.py:  Add a version range to the python-boto dependency.

Signed-off-by: Gary Lowell <gary.lowell@inktank.com>

setup.cfg:  Dependencies for rpm builds.

These should track the dependencies listed in setup.py and
requirements.txt.

Signed-off-by: Gary Lowell <gary.lowell@inktank.com>

debian:  Initial version debian control files

Signed-off-by: Gary Lowell <gary.lowell@inktank.com>

rename partial sync to incremental sync

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

set bounds on the dest zone, not on the source zone

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

test api: init response to empty

This way len() etc works on it.

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

Add a quick and dirty http serving mode for testing

POST to --test-server-host:--test-server-port/metadata/[partial|full]
to do a partial or full metadata sync. The server will respond
when the sync is complete.

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

cli: use new name for partial sync delay

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>