rgw: multipart additions and fixes

rgw: some more multipard upload list

rgw: extend multipart list parts response

rgw: more cleanup

rgw: some cleanup

rgw: multipart upload parser test util

rgw: fix multipart upload complete parser

rgw: multipart complete fix

rgw: implement list multipart

still partially implemented

rgw: handle multipart completion

still wip

rgw: parser for multi upload completion

rgw: some more xml reshuffling

rgw: move generic xml parsing code to some shared location

rgw: generate random upload id

rgw: fix signing for some requests

rgw: serve multipard init upload

still needs to generate a random hidden object, and use rados locator
for accessing it.

rgw: handle POST requests for s3

rgw: return EACCES if acl xattr doesn't exist

crushtool: clean up add-item a bit; don't add item to same bucket twice

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

crushtool: fix remove-item

Scan all buckets instead of doing a tree traverse.

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

radosgw_admin: update clitest

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

mkcephfs.in: print out usage if no actions given

If the user didn't specify any actions, print out a usage message rather
than silently exiting.

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

rgw: Fix RGWAccess::init_storage_provider

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

mkcephfs: error out on bad usage

Signed-off-by: Sage Weil <sage@newdream.net>

make: fix build for rgw

rgw_admin: clean warning

Merge commit 'origin/master' into rgw-multiuser

rgw_admin: add key create

rgw_admin: subuser and key removal

test_common.sh: skip rm before put

The rm before the put is unecessary and actually incorrect now.

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

radostool: rados put should use write_full

If "rados put" uses write instead of write_full, the resulting object on
the server may be a mismash of old and new objects, if the old object
was longer than the new one. This is fairly counterintuitive behavior
for radostool, so remove it.

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

Merge branch 'wip_ceph_context'

Create a libcommon service thread

Create a libcommon service thread. Use it to handle SIGHUP.

Handle it by means of a flag that gets set. Using a queue would raise
the complicated question of what to do when the queue was full.

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

librados: len should be size_t

Unsigned, and size_t because it's a buffer size.

Fixes signedness warning in testrados.

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

mds: clean up get_or_create_stray

Signed-off-by: Sage Weil <sage@newdream.net>

Merge branch 'stable'

v0.28.1

librads, libceph: store CephContext

Don't use the global g_ceph_context. Instead, store the CephContext in
the structures provided by the library user.

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

Add CephContext

A CephContext represents the context held by a single library user.
There can be multiple CephContexts in the same process.

For daemons and utility programs, there will be only one CephContext.
The CephContext contains the configuration, the dout object, and
anything else that you might want to pass to libcommon with every
function call.

Move some non-config things out of md_config_t and into CephContext.

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

Split common_init_daemonize from common_init_finish

Split off common_init_daemonize from common_init_finish. cfuse is a
daemon that calls common_init_finish, but handles daemonization itself.
This fixes cfuse.

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

rgw_admin: make interface a bit more explicit

rgw: subuser permissions

mon: verify that crush max does not exceed osd max

- when injecting a new crushmap
- when adjusting osdmap max_osd

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

crushtool: add --reweight-item <name> <weight>

Reweight and individual item via crushtool.

Signed-off-by: Sage Weil <sage@newdream.net>

osdmaptool: fail --import-crush if crush max_devices > osdmap max_osd

Crush will spew non-deterministic badness if it walks off the end of
the osd_weight vector.

Signed-off-by: Sage Weil <sage@newdream.net>

common_init: don't init crypto until after fork

Get rid of the initialize-then-shutdown-crypto hack. We just initialize
crypto once, after it is safe to do so. There is now a single callback,
common_init_finish, which does the final stage of initialization,
including starting crypto and daemonization (if required.)

common_init_finish needs to be done before messenger::start().

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

ceph_crypto: add assert_init

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

config: delete after new

Signed-off-by: Sage Weil <sage@newdream.net>

crush: fix signedness warnings

Signed-off-by: Sage Weil <sage@newdream.net>

rgw_admin: able to create multiple keys/subusers

crushtool: --remove-item name

Signed-off-by: Sage Weil <sage@newdream.net>

crush: fix tree bucket encoding

I wonder how long this has been broken!

Signed-off-by: Sage Weil <sage@newdream.net>

crush: fix tree weight accessor, decompile

Signed-off-by: Sage Weil <sage@newdream.net>

crushtool: default to hash 0 (rjenkins1)

Otherwise we get 255 which is undefined and get bad results!

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

rgw: user info structure supports multiple subusers and keys

osd: update last_epoch_clean in PG::Info::History::merge()

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

osd: small cleanup

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

osd: merge history when primary sends replica new pg info

This, among other things, lets us update last_epoch_started and
last_epoch_clean.

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

osd: more heartbeat rework

A few things:
 - track Connection* instead of entity_inst_t for hb peers
 - we can only send maps over the cluster_messenger
   - if peer is still alive, do that
   - if peer is not, send dying MOSDPing ping with YOU_DIED flag

msgr: don't close close_on_empty until outgoing messages are acked

Otherwise, if we close the socket, we may lose in-flight data.

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

osd: only forget peer epochs if they are down AND no longer heartbeat peers

If we forget the peer epoch when we see them go down, we won't share the
map later in update_heartbeat_peers() to tell them they're down.

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

osd: show last_epoch_clean in PG::Info::History printer

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

osd: rework peer map epoch caching

We try to keep track of which epochs our peers have so that we can be
semi-intelligent about which map incrementals we send preceeding any
messages.  Since this is useful from the heartbeat and cluster channels/
threads, protect the data with an inner lock and clean up the callers.

Be smarter about when we forget.

Make note of peer epoch when we receive a ping.

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

mon: fix parsing of 'osd foo N ...' commands with multiple ids

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

dout: reopen log files on SIGHUP

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

dout: reopen log files on SIGHUP

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

Add SignalSafeQueue

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

osd: clean up old _from target cleanup; fix one case; share map

Clean up the code to mirror the _to case.

Previously we would not mark down an old _from that is still a _to but with
a new address.  Now we do.

Share a map while we're at it, just to be nice!

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

osd: mark down old _to targets

If a peer remains a _to target but their address changes, we still want
to mark down the old connection.

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

osd: share map with old _to peers

Use new msgr hooks to do this cleanly.

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

osd: clean up handle_osd_ping output

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

osd: ignore stale requests for heartbeats

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

osd: don't prioritize heartbeat requests

This could conceivably screw up ordering, and priority doesn't matter
anyway when this is the first message we send to this peer.

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

osd: do not clobber explicitly requested heartbeat_to target addresss

Consider peer P.

- P does down in, say, epoch 60, and back up in epoch 70
- P and requests a heartbeat, as_of 70
- We update to map 50, and coincidentally add the same peer as a target
- We set the heartbeat_to[P] = 50 and start sending to the _old_ address
- P marks us down because we stop sending to the new addr
- We eventually get map 70, but it's too late!

Make sure we preserve any _to targets _and_ their epoch+inst.

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

osd: request proper log extent for missing

We can't blinding ask for everything since last_epoch_started because that
may mean we get some fragment of a backlog.  Look at the peer's log
ranges and request the correct thing.  Also, in fulfill_log, infer what
the primary should have asked for if they make a bad request.

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

osd: fix log bounds check

We weren't accounting for the case where we have

 (foo,foo]+backlog

i.e., everything is backlog, and rbegin().version != log.head.

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

osd: osd# is in log entry header/prefix

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

osd: log broken pg state to monitor on startup, activate

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

osd: fix proc_replica_log when peer log is empty

If the peer log is empty, and we break out of the loop on the first pass,
then clearly last_update has not been adjusted.

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

osd: encode keyring as plaintext after --mkkey

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

keyring: make encode_plaintext method

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

Merge branch 'wip_choose_acting' into stable

osd: take remote log when it is clearly superior

I'm hitting a case where the primary is compensating for a replica's
last_complete < log.tail by sending a log+backlog, but the replica
isn't smart enough to take advantage.  In this case,

      replica: log(781'26629,781'26631]
 from primary: log(781'26629,781'26631]+backlog
       result: log(781'26629,781'26631]

Doh!

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

osd: fix compensation for bad last_complete

If the peer has a last_complete below their tail, we can get by with our
log (without backlog) if our tail if _before_ their last_complete, not
after.  Otherwise, we need a backlog!

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

osd: remove some build_prior stringstream cruft

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

osd: remove useless debug print

We dump this (and more) at the end of the PgPriorSet constructor.

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

osd: include past acting osds if they were up

This fixes a bug where we were excluding up (but not acting) nodes from
past intervals, which in turn was triggering a nasty choose_acting loop
(because we _do_ already include acting but !up from the current
interval).

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

osd: do not exclude me during build_prior

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

osd: show final build_prior result

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

mon: log mkfs as INFO with fs

The [ERR] log level is misleading.

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

OSD, PG: ignore peering messages from before the last peering restart

Check them before entering the state machine so we can
safely enter the Crashed state on unexpected messages
from the current interval.

Signed-off-by: Josh Durgin <josh.durgin@dreamhost.com>

OSD: decrement message refcount before returning

Signed-off-by: Josh Durgin <josh.durgin@dreamhost.com>

mds: kick linklock on revoke_stale_caps

Also use the eval() method and issue caps instead of calling the individual
eval methods.

Signed-off-by: Sage Weil <sage@newdream.net>

debian: no shlibs:Depends for obsync either

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

debian: no shlibs:Depends for -dev packages

So says dpkg-gencontrol, at least:

warning: dpkg-gencontrol: Depends field of package librados-dev: unknown substitution variable ${shlibs:Depends}
...

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

librbd: don't need to link against crypto libs

All that is done by librados.

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

PG: add_event, add_next_event: ignore prior_version on backlog events

We would not have the previous version if we are merging backlog events.

Signed-off-by: Samuel Just <samuel.just@dreamhost.com>

expanding testceph to test open/readdir/telldir

Signed-off-by: Brian Chrisman <brchrisman@gmail.com>
Signed-off-by: Sage Weil <sage@newdream.net>

add ceph_readdir() to libceph

Signed-off-by: Brian Chrisman <brchrisman@gmail.com>
Signed-off-by: Sage Weil <sage@newdream.net>

librados: add python bindings for getxattrs

Add python bindings for getxattrs. Test getxattr, getxattrs, and
setxattr.

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>