rgw: implement list multiparts

doesn't work completely, getting there

rgw: fix abort multipart upload

rgw: remove required indexes when modifying user info

rgw: remove clutter

rgw: fix user anonymous permissions

rgw: can specify alternative remote addr http header param

rgw: skeleton for list multipart uploads

rgw: implement abort multipart upload

(not tested yet)

rgw: implement namespace, use it in complete multipart

rgw: set locator on all required rados calls

rgw: put locator key in rgw_obj

rgw: refactor rgw backend interface

rgw: remove parts after multi-part upload

rgw: calc etag for multipart upload

rgw: silence gitbuilder (hopefully)

osd: use osd_op.soid in call

osd: allow src_oids to be snapped

Signed-off-by: Sage Weil <sage@newdream.net>

osd: src oid is in OSDOp now

Signed-off-by: Sage Weil <sage@newdream.net>

osd: don't crash on malformed clone_range (now really)

osd: don't crash on invalid encoded clone_range

objecter: set src oid on clone_range properly

Signed-off-by: Sage Weil <sage@newdream.net>

messages: fix missing bit

messages: fix test for multi op

rgw: multipart complete upload

librados: remove useless reference holding

osd: make CLONERANGE src oid encoding more sane

Encode the src_oid in the OSDOp data space, but put it in a separate easy
to access member.  This avoids changing the overall MOSDOp encoding, and
seems cleaner overall.

Signed-off-by: Sage Weil <sage@newdream.net>

osd: src src_oids oloc check

We need to ensure that the src and dst objects are always in the same pg.
That is true if
 - both oloc.keys match, or
 - the (src,dst) oloc.key matches the (dst,src) object name

Signed-off-by: Sage Weil <sage@newdream.net>

librados: get reference to the io context for the pending async ops

rgw: use clone_range for multi upload completion

librados: support clone_range

Merge branch 'osd_clonerange' into rgw-multipart

rgw: multipart: use locator on created parts

rgw: multipart additions and fixes

rgw: some more multipard upload list

rgw: extend multipart list parts response

osd: implement clonerange

Clone ranges of bytes between objects, provided

 - src object locators match dest object
 - src objects are not missing
 - src objects are all head (CEPH_NOSNAP)
 -

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

osd: give obc refs to RepGather

Just give the ref to RepGather instead of doing a get and put.

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

rgw: more cleanup

rgw: some cleanup

rgw: multipart upload parser test util

rgw: fix multipart upload complete parser

rgw: multipart complete fix

filestore: allow clone_range to different offsets

The old OP_CLONERANGE would only clone a range of bytes at the same offset
in both objects.  Add an OP_CLONERANGE2 op code that adds a dst offset.
Continue to support the old op code so that we can decode old transactions.

Signed-off-by: Sage Weil <sage@newdream.net>

filestore: fix fallback/slow do_clone_range

We need to seek to the appropriate offsets on the src and destination
fd's for this to do the right thing.

Signed-off-by: Sage Weil <sage@newdream.net>

rgw: implement list multipart

still partially implemented

rgw: handle multipart completion

still wip

rgw: parser for multi upload completion

rgw: some more xml reshuffling

rgw: move generic xml parsing code to some shared location

objecter, osd: clonerange operation

Add a src_oids field to MOSDOp, referenced by a new CLONERANGE osd op type
that will clone data from one object to another.

- The src_oids will need to have the same locator as the destination object
  type to ensure this operation can succeed.
- The OSD is going to have to do extra work to ensure the src object(s)
  are readable, etc., at the time of the clone.

Signed-off-by: Sage Weil <sage@newdream.net>

librados: implement aio_flush

Implement a per-ioctx flush that blocks until all previously submitted
aio operations on the ioctx are safe.  Each aio gets a sequence number and
is put on a linked list attached to the ioctx.  The flush operation waits
for it to drain to the watermark set when flush is first called.

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

crushtool: error out if uniform weights vary

Fixes: #1075
Signed-off-by: Sage Weil <sage@newdream.net>

osd: fix ScrubFinalizeWQ::_clear condition

Signed-off-by: Josh Durgin <josh.durgin@dreamhost.com>

debian: depend on libboost-dev >= 1.34

for statechart.  Partially fixes #1124.

Signed-off-by: Sage Weil <sage@newdream.net>

osd: don't leak Connection reference

Signed-off-by: Sage Weil <sage@newdream.net>

osd: ignore old/stale heartbeat messages

If we get heartbeat messages from old epochs from peers that are not
current, drop them and mark the connection down.  Even if they are peers
we _should_ have (because we haven't gotten a notify yet to learn about
a pg we should have but don't yet) we have a newer map epoch and will learn
about them shortly, reopening the connection.

Fixes: #1107
Signed-off-by: Sage Weil <sage@newdream.net>

osd: fix map sharing due to heartbeats

- share the map with the cluster addr
- use the new {note,get}_peer_epoch helpers to do it sanely
- don't share if we're booting; see 818fa33a661

Signed-off-by: Sage Weil <sage@newdream.net>

crushtool: add -v verbose for --test mode

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

hadoop: track Hadoop API changes

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

rgw: generate random upload id

SimpleMessenger: allow multiple calls to shutdown

Fixes a case where radostool crashed on an error shutdown.

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

common/Thread.h: const cleanup

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

rgw: fix signing for some requests

rgw: serve multipard init upload

still needs to generate a random hidden object, and use rados locator
for accessing it.

Merge branch 'wip-obsync'

mkcephfs: pass config to osdmaptool

This lets OSDMap::create_simple() see g_conf.osd_pool_default_size when
creating the initial data, metadata, and rbd pools.

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

drop useless cm.txt

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

osdmap: take default pool size from config

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

rgw: handle POST requests for s3

crushtool: update help

Signed-off-by: Sage Weil <sage@newdream.net>

obysnc: rgw target: validate all users

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

Merge branch 'wip-obsync'

mon: remove pg_temp mappings when we delete pools

Signed-off-by: Sage Weil <sage@newdream.net>

test-obsync: test sync directly from s3->rgw

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

crushtool: fix --add-item weight being zero when parent bucket(s) created

Signed-off-by: Sage Weil <sage@newdream.net>

obsync: fix bucket creation through rgw target

The rgw: target can now create buckets. Add a test.

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

Merge branch 'stable'

test-obsync: test big objects, user-defined xattr

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

mkcephfs: set rdir for local mon setup

Fixes: #1113
Reported-by: Bernard Grymonpon <bernard@openminds.be>
Signed-off-by: Sage Weil <sage@newdream.net>

init-ceph: ssh

Another bell/whistle.

Signed-off-by: Sage Weil <sage@newdream.net>

obysnc: fix content-type on RGWStore

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

test-obsync: compare_directory now compares xattrs

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

ceph-pybind-test: test embedded NULLs in data

Test embedded nulls in rados data. Fix a bug in rados.Object.__str__

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

obsync: more fixes for RgwStore

* Fix content-type handling

* add vvprint and use it in Object::equals.

* support RgwStore::prefix

* more tests

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

pybind/rados: correctly return data with NULLs

Correctly handle returning data with embedded NULLs in it.

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

pybind/rados.py: throw NoData on ENODATA

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

mds: fix canceled lock attempt

If client tries to lock a file, has to wait, and then cancels the attempt,
the client will send an unlock request to unwind its state.

 - the unlock now removes the waiting lock attempt from the wait list
 - when the lock request retries and finds it is no longer on the wait
   list it will fail.

Signed-off-by: Sage Weil <sage@newdream.net>

pybind/rados.py: rados.Object.key should be string

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

obysnc: RgwStore: make sure destination users exist

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

obsync: fix DST_OWNER

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

rgw: return EACCES if acl xattr doesn't exist

obsync: Add boto_retries, remove rgw_store.prefix

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

rados python bindings: handle xattrs with NULL

Handle extended attributes that contain NULL bytes correctly, rather
than treating everything as zero-terminated C strings.

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

PG: fix race in _activate_committed

Previously, _activate_committed would access the osdmap epoch racing
with handle_osd_map's osdmap update.  This would allow a message to be
sent from a replica to the primary tagged with the same epoch as
last_warm_restart, though the event actually occured before
last_warm_restart.  Thus the primary would fail to ignore the event and
transition to crashed.

Signed-off-by: Samuel Just <samuel.just@dreamhost.com>

RgwStore: fix some ACL issues

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

test-obysnc.py: support librgw testing

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

Rename RadosStore to RgwStore

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

test-obsync: refactor a little bit

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

Proper ACL support for rados targets

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

mds: do not shift to EXCL or MIX while rdlocked

There was an old change in file_eval() that was allowing us to switch from
SYNC to MIX or EXCL while there were rdlocks, which either caused lots of
lock thrashing or could (I think) hang things up completely.  This was
from ea10a672, an ancient fix for something related that appears to have
taken out the rdlocked check by accident.

In my tests (one writer, one stat-er), this took things from long stalls
(up to 20 seconds) to very responsive stats.  Yay!

Fixes: #791
Signed-off-by: Sage Weil <sage.weil@dreamhost.com>