rgw: get multipart list marker to work

rgw: some multipart cleanups, fixes

rgw: implement list multiparts

doesn't work completely, getting there

rgw: fix abort multipart upload

rgw: remove required indexes when modifying user info

rgw: remove clutter

rgw: fix user anonymous permissions

rgw: can specify alternative remote addr http header param

rgw: skeleton for list multipart uploads

rgw: implement abort multipart upload

(not tested yet)

rgw: implement namespace, use it in complete multipart

rgw: set locator on all required rados calls

rgw: put locator key in rgw_obj

rgw: refactor rgw backend interface

rgw: remove parts after multi-part upload

rgw: calc etag for multipart upload

rgw: silence gitbuilder (hopefully)

osd: use osd_op.soid in call

osd: allow src_oids to be snapped

Signed-off-by: Sage Weil <sage@newdream.net>

osd: src oid is in OSDOp now

Signed-off-by: Sage Weil <sage@newdream.net>

osd: don't crash on malformed clone_range (now really)

osd: don't crash on invalid encoded clone_range

objecter: set src oid on clone_range properly

Signed-off-by: Sage Weil <sage@newdream.net>

messages: fix missing bit

messages: fix test for multi op

rgw: multipart complete upload

librados: remove useless reference holding

osd: make CLONERANGE src oid encoding more sane

Encode the src_oid in the OSDOp data space, but put it in a separate easy
to access member.  This avoids changing the overall MOSDOp encoding, and
seems cleaner overall.

Signed-off-by: Sage Weil <sage@newdream.net>

osd: src src_oids oloc check

We need to ensure that the src and dst objects are always in the same pg.
That is true if
 - both oloc.keys match, or
 - the (src,dst) oloc.key matches the (dst,src) object name

Signed-off-by: Sage Weil <sage@newdream.net>

librados: get reference to the io context for the pending async ops

rgw: use clone_range for multi upload completion

librados: support clone_range

Merge branch 'osd_clonerange' into rgw-multipart

rgw: multipart: use locator on created parts

rgw: multipart additions and fixes

rgw: some more multipard upload list

rgw: extend multipart list parts response

osd: implement clonerange

Clone ranges of bytes between objects, provided

 - src object locators match dest object
 - src objects are not missing
 - src objects are all head (CEPH_NOSNAP)
 -

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

osd: give obc refs to RepGather

Just give the ref to RepGather instead of doing a get and put.

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

rgw: more cleanup

rgw: some cleanup

rgw: multipart upload parser test util

rgw: fix multipart upload complete parser

rgw: multipart complete fix

filestore: allow clone_range to different offsets

The old OP_CLONERANGE would only clone a range of bytes at the same offset
in both objects.  Add an OP_CLONERANGE2 op code that adds a dst offset.
Continue to support the old op code so that we can decode old transactions.

Signed-off-by: Sage Weil <sage@newdream.net>

filestore: fix fallback/slow do_clone_range

We need to seek to the appropriate offsets on the src and destination
fd's for this to do the right thing.

Signed-off-by: Sage Weil <sage@newdream.net>

rgw: implement list multipart

still partially implemented

rgw: handle multipart completion

still wip

rgw: parser for multi upload completion

rgw: some more xml reshuffling

rgw: move generic xml parsing code to some shared location

objecter, osd: clonerange operation

Add a src_oids field to MOSDOp, referenced by a new CLONERANGE osd op type
that will clone data from one object to another.

- The src_oids will need to have the same locator as the destination object
  type to ensure this operation can succeed.
- The OSD is going to have to do extra work to ensure the src object(s)
  are readable, etc., at the time of the clone.

Signed-off-by: Sage Weil <sage@newdream.net>

librados: implement aio_flush

Implement a per-ioctx flush that blocks until all previously submitted
aio operations on the ioctx are safe.  Each aio gets a sequence number and
is put on a linked list attached to the ioctx.  The flush operation waits
for it to drain to the watermark set when flush is first called.

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

crushtool: error out if uniform weights vary

Fixes: #1075
Signed-off-by: Sage Weil <sage@newdream.net>

osd: fix ScrubFinalizeWQ::_clear condition

Signed-off-by: Josh Durgin <josh.durgin@dreamhost.com>

debian: depend on libboost-dev >= 1.34

for statechart.  Partially fixes #1124.

Signed-off-by: Sage Weil <sage@newdream.net>

osd: don't leak Connection reference

Signed-off-by: Sage Weil <sage@newdream.net>

osd: ignore old/stale heartbeat messages

If we get heartbeat messages from old epochs from peers that are not
current, drop them and mark the connection down.  Even if they are peers
we _should_ have (because we haven't gotten a notify yet to learn about
a pg we should have but don't yet) we have a newer map epoch and will learn
about them shortly, reopening the connection.

Fixes: #1107
Signed-off-by: Sage Weil <sage@newdream.net>

osd: fix map sharing due to heartbeats

- share the map with the cluster addr
- use the new {note,get}_peer_epoch helpers to do it sanely
- don't share if we're booting; see 818fa33a661

Signed-off-by: Sage Weil <sage@newdream.net>

crushtool: add -v verbose for --test mode

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

hadoop: track Hadoop API changes

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

rgw: generate random upload id

SimpleMessenger: allow multiple calls to shutdown

Fixes a case where radostool crashed on an error shutdown.

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

common/Thread.h: const cleanup

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

rgw: fix signing for some requests

rgw: serve multipard init upload

still needs to generate a random hidden object, and use rados locator
for accessing it.

Merge branch 'wip-obsync'

mkcephfs: pass config to osdmaptool

This lets OSDMap::create_simple() see g_conf.osd_pool_default_size when
creating the initial data, metadata, and rbd pools.

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

drop useless cm.txt

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

osdmap: take default pool size from config

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

rgw: handle POST requests for s3

crushtool: update help

Signed-off-by: Sage Weil <sage@newdream.net>

obysnc: rgw target: validate all users

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

Merge branch 'wip-obsync'

mon: remove pg_temp mappings when we delete pools

Signed-off-by: Sage Weil <sage@newdream.net>

test-obsync: test sync directly from s3->rgw

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

crushtool: fix --add-item weight being zero when parent bucket(s) created

Signed-off-by: Sage Weil <sage@newdream.net>

obsync: fix bucket creation through rgw target

The rgw: target can now create buckets. Add a test.

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

Merge branch 'stable'

test-obsync: test big objects, user-defined xattr

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

mkcephfs: set rdir for local mon setup

Fixes: #1113
Reported-by: Bernard Grymonpon <bernard@openminds.be>
Signed-off-by: Sage Weil <sage@newdream.net>

init-ceph: ssh

Another bell/whistle.

Signed-off-by: Sage Weil <sage@newdream.net>

obysnc: fix content-type on RGWStore

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

test-obsync: compare_directory now compares xattrs

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

ceph-pybind-test: test embedded NULLs in data

Test embedded nulls in rados data. Fix a bug in rados.Object.__str__

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

obsync: more fixes for RgwStore

* Fix content-type handling

* add vvprint and use it in Object::equals.

* support RgwStore::prefix

* more tests

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

pybind/rados: correctly return data with NULLs

Correctly handle returning data with embedded NULLs in it.

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

pybind/rados.py: throw NoData on ENODATA

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

mds: fix canceled lock attempt

If client tries to lock a file, has to wait, and then cancels the attempt,
the client will send an unlock request to unwind its state.

 - the unlock now removes the waiting lock attempt from the wait list
 - when the lock request retries and finds it is no longer on the wait
   list it will fail.

Signed-off-by: Sage Weil <sage@newdream.net>

pybind/rados.py: rados.Object.key should be string

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

obysnc: RgwStore: make sure destination users exist

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

obsync: fix DST_OWNER

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

rgw: return EACCES if acl xattr doesn't exist

obsync: Add boto_retries, remove rgw_store.prefix

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

rados python bindings: handle xattrs with NULL

Handle extended attributes that contain NULL bytes correctly, rather
than treating everything as zero-terminated C strings.

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

PG: fix race in _activate_committed

Previously, _activate_committed would access the osdmap epoch racing
with handle_osd_map's osdmap update.  This would allow a message to be
sent from a replica to the primary tagged with the same epoch as
last_warm_restart, though the event actually occured before
last_warm_restart.  Thus the primary would fail to ignore the event and
transition to crashed.

Signed-off-by: Samuel Just <samuel.just@dreamhost.com>

RgwStore: fix some ACL issues

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

test-obysnc.py: support librgw testing

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

Rename RadosStore to RgwStore

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

test-obsync: refactor a little bit

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>