pybind/rados.py: rados.Object.key should be string

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

obysnc: RgwStore: make sure destination users exist

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

obsync: fix DST_OWNER

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

obsync: Add boto_retries, remove rgw_store.prefix

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

rados python bindings: handle xattrs with NULL

Handle extended attributes that contain NULL bytes correctly, rather
than treating everything as zero-terminated C strings.

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

RgwStore: fix some ACL issues

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

test-obysnc.py: support librgw testing

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

Rename RadosStore to RgwStore

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

test-obsync: refactor a little bit

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

Proper ACL support for rados targets

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

crushtool: clean up add-item a bit; don't add item to same bucket twice

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

crushtool: fix remove-item

Scan all buckets instead of doing a tree traverse.

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

radosgw_admin: update clitest

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

mkcephfs.in: print out usage if no actions given

If the user didn't specify any actions, print out a usage message rather
than silently exiting.

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

rgw: Fix RGWAccess::init_storage_provider

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

mkcephfs: error out on bad usage

Signed-off-by: Sage Weil <sage@newdream.net>

make: fix build for rgw

rgw_admin: clean warning

Merge commit 'origin/master' into rgw-multiuser

rgw_admin: add key create

rgw_admin: subuser and key removal

test_common.sh: skip rm before put

The rm before the put is unecessary and actually incorrect now.

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

radostool: rados put should use write_full

If "rados put" uses write instead of write_full, the resulting object on
the server may be a mismash of old and new objects, if the old object
was longer than the new one. This is fairly counterintuitive behavior
for radostool, so remove it.

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

Merge branch 'wip_ceph_context'

Create a libcommon service thread

Create a libcommon service thread. Use it to handle SIGHUP.

Handle it by means of a flag that gets set. Using a queue would raise
the complicated question of what to do when the queue was full.

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

librados: len should be size_t

Unsigned, and size_t because it's a buffer size.

Fixes signedness warning in testrados.

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

mds: clean up get_or_create_stray

Signed-off-by: Sage Weil <sage@newdream.net>

Merge branch 'stable'

v0.28.1

librads, libceph: store CephContext

Don't use the global g_ceph_context. Instead, store the CephContext in
the structures provided by the library user.

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

Add CephContext

A CephContext represents the context held by a single library user.
There can be multiple CephContexts in the same process.

For daemons and utility programs, there will be only one CephContext.
The CephContext contains the configuration, the dout object, and
anything else that you might want to pass to libcommon with every
function call.

Move some non-config things out of md_config_t and into CephContext.

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

Split common_init_daemonize from common_init_finish

Split off common_init_daemonize from common_init_finish. cfuse is a
daemon that calls common_init_finish, but handles daemonization itself.
This fixes cfuse.

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

rgw_admin: make interface a bit more explicit

rgw: subuser permissions

mon: verify that crush max does not exceed osd max

- when injecting a new crushmap
- when adjusting osdmap max_osd

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

crushtool: add --reweight-item <name> <weight>

Reweight and individual item via crushtool.

Signed-off-by: Sage Weil <sage@newdream.net>

osdmaptool: fail --import-crush if crush max_devices > osdmap max_osd

Crush will spew non-deterministic badness if it walks off the end of
the osd_weight vector.

Signed-off-by: Sage Weil <sage@newdream.net>

common_init: don't init crypto until after fork

Get rid of the initialize-then-shutdown-crypto hack. We just initialize
crypto once, after it is safe to do so. There is now a single callback,
common_init_finish, which does the final stage of initialization,
including starting crypto and daemonization (if required.)

common_init_finish needs to be done before messenger::start().

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

ceph_crypto: add assert_init

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

config: delete after new

Signed-off-by: Sage Weil <sage@newdream.net>

crush: fix signedness warnings

Signed-off-by: Sage Weil <sage@newdream.net>

rgw_admin: able to create multiple keys/subusers

crushtool: --remove-item name

Signed-off-by: Sage Weil <sage@newdream.net>

crush: fix tree bucket encoding

I wonder how long this has been broken!

Signed-off-by: Sage Weil <sage@newdream.net>

crush: fix tree weight accessor, decompile

Signed-off-by: Sage Weil <sage@newdream.net>

crushtool: default to hash 0 (rjenkins1)

Otherwise we get 255 which is undefined and get bad results!

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

rgw: user info structure supports multiple subusers and keys

osd: update last_epoch_clean in PG::Info::History::merge()

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

osd: small cleanup

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

osd: merge history when primary sends replica new pg info

This, among other things, lets us update last_epoch_started and
last_epoch_clean.

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

osd: more heartbeat rework

A few things:
 - track Connection* instead of entity_inst_t for hb peers
 - we can only send maps over the cluster_messenger
   - if peer is still alive, do that
   - if peer is not, send dying MOSDPing ping with YOU_DIED flag

msgr: don't close close_on_empty until outgoing messages are acked

Otherwise, if we close the socket, we may lose in-flight data.

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

osd: only forget peer epochs if they are down AND no longer heartbeat peers

If we forget the peer epoch when we see them go down, we won't share the
map later in update_heartbeat_peers() to tell them they're down.

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

osd: show last_epoch_clean in PG::Info::History printer

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

osd: rework peer map epoch caching

We try to keep track of which epochs our peers have so that we can be
semi-intelligent about which map incrementals we send preceeding any
messages.  Since this is useful from the heartbeat and cluster channels/
threads, protect the data with an inner lock and clean up the callers.

Be smarter about when we forget.

Make note of peer epoch when we receive a ping.

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

mon: fix parsing of 'osd foo N ...' commands with multiple ids

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

dout: reopen log files on SIGHUP

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

dout: reopen log files on SIGHUP

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

Add SignalSafeQueue

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

osd: clean up old _from target cleanup; fix one case; share map

Clean up the code to mirror the _to case.

Previously we would not mark down an old _from that is still a _to but with
a new address.  Now we do.

Share a map while we're at it, just to be nice!

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

osd: mark down old _to targets

If a peer remains a _to target but their address changes, we still want
to mark down the old connection.

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

osd: share map with old _to peers

Use new msgr hooks to do this cleanly.

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

osd: clean up handle_osd_ping output

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

osd: ignore stale requests for heartbeats

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

osd: don't prioritize heartbeat requests

This could conceivably screw up ordering, and priority doesn't matter
anyway when this is the first message we send to this peer.

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

osd: do not clobber explicitly requested heartbeat_to target addresss

Consider peer P.

- P does down in, say, epoch 60, and back up in epoch 70
- P and requests a heartbeat, as_of 70
- We update to map 50, and coincidentally add the same peer as a target
- We set the heartbeat_to[P] = 50 and start sending to the _old_ address
- P marks us down because we stop sending to the new addr
- We eventually get map 70, but it's too late!

Make sure we preserve any _to targets _and_ their epoch+inst.

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

osd: request proper log extent for missing

We can't blinding ask for everything since last_epoch_started because that
may mean we get some fragment of a backlog.  Look at the peer's log
ranges and request the correct thing.  Also, in fulfill_log, infer what
the primary should have asked for if they make a bad request.

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

osd: fix log bounds check

We weren't accounting for the case where we have

 (foo,foo]+backlog

i.e., everything is backlog, and rbegin().version != log.head.

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

osd: osd# is in log entry header/prefix

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

osd: log broken pg state to monitor on startup, activate

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

osd: fix proc_replica_log when peer log is empty

If the peer log is empty, and we break out of the loop on the first pass,
then clearly last_update has not been adjusted.

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

osd: encode keyring as plaintext after --mkkey

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

keyring: make encode_plaintext method

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

Merge branch 'wip_choose_acting' into stable

osd: take remote log when it is clearly superior

I'm hitting a case where the primary is compensating for a replica's
last_complete < log.tail by sending a log+backlog, but the replica
isn't smart enough to take advantage.  In this case,

      replica: log(781'26629,781'26631]
 from primary: log(781'26629,781'26631]+backlog
       result: log(781'26629,781'26631]

Doh!

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

osd: fix compensation for bad last_complete

If the peer has a last_complete below their tail, we can get by with our
log (without backlog) if our tail if _before_ their last_complete, not
after.  Otherwise, we need a backlog!

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

osd: remove some build_prior stringstream cruft

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

osd: remove useless debug print

We dump this (and more) at the end of the PgPriorSet constructor.

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

osd: include past acting osds if they were up

This fixes a bug where we were excluding up (but not acting) nodes from
past intervals, which in turn was triggering a nasty choose_acting loop
(because we _do_ already include acting but !up from the current
interval).

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

osd: do not exclude me during build_prior

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

osd: show final build_prior result

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

mon: log mkfs as INFO with fs

The [ERR] log level is misleading.

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

OSD, PG: ignore peering messages from before the last peering restart

Check them before entering the state machine so we can
safely enter the Crashed state on unexpected messages
from the current interval.

Signed-off-by: Josh Durgin <josh.durgin@dreamhost.com>

OSD: decrement message refcount before returning

Signed-off-by: Josh Durgin <josh.durgin@dreamhost.com>

mds: kick linklock on revoke_stale_caps

Also use the eval() method and issue caps instead of calling the individual
eval methods.

Signed-off-by: Sage Weil <sage@newdream.net>

debian: no shlibs:Depends for obsync either

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

debian: no shlibs:Depends for -dev packages

So says dpkg-gencontrol, at least:

warning: dpkg-gencontrol: Depends field of package librados-dev: unknown substitution variable ${shlibs:Depends}
...

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

librbd: don't need to link against crypto libs

All that is done by librados.

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

PG: add_event, add_next_event: ignore prior_version on backlog events

We would not have the previous version if we are merging backlog events.

Signed-off-by: Samuel Just <samuel.just@dreamhost.com>

expanding testceph to test open/readdir/telldir

Signed-off-by: Brian Chrisman <brchrisman@gmail.com>
Signed-off-by: Sage Weil <sage@newdream.net>

add ceph_readdir() to libceph

Signed-off-by: Brian Chrisman <brchrisman@gmail.com>
Signed-off-by: Sage Weil <sage@newdream.net>

librados: add python bindings for getxattrs

Add python bindings for getxattrs. Test getxattr, getxattrs, and
setxattr.

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

client: hold FILE_BUFFER ref while waiting for dirty throttle

We may block in the write path because we've reached out dirty data limit.
Hold a reference to the FILE_BUFFER cap during that interval so we don't
lose the cap and put new dirty buffers into the objectcacher out of turn.

(We could also recheck our ability to take the ref after blocking, but I
think this is cleaner.)

Signed-off-by: Sage Weil <sage@newdream.net>

client: clean up _flush callers

Have _flush return true if there are no dirty buffers.  Clean up some
redundant conditionals in the callers

Signed-off-by: Sage Weil <sage@newdream.net>

client: assert(in) on _flush

We should never arrive in _flush() and not have a reference to the inode
in question, because the presence of dirty buffers pins the inode.  This
condition was introduced forever ago; clean it out.

Signed-off-by: Sage Weil <sage@newdream.net>

client: be more careful with FILE_BUFFER cap refs

We should either hold a ref or not; whether we release one can't depend on
whether one is held because we can't assume the ref belongs to us.

This changes the fix in cf6b1de4 so that the ObjectCacher just calls the
flush callback if it happens to trim all dirty buffers.

We also drop the (bogus) assert about the number of refs held.

Signed-off-by: Sage Weil <sage@newdream.net>

client: _flush should no-op if nothing to flush

If there are no FILE_BUFFER cap_refs, then we can bail out early.
Otherwise we will end up dropping refs we don't have.

Signed-off-by: Sage Weil <sage@newdream.net>

Merge remote branch 'origin/stable'

PG: choose_log_location: prefer OSDs with a backlog

Without preferring an OSD with a backlog, PGs would get stuck in the
active state when acting != up and the backlog was on an OSD with the
same last_update but a lower number or log_tail.

Signed-off-by: Josh Durgin <josh.durgin@dreamhost.com>

OSD: send a log in response to a log query when the pg dne

Signed-off-by: Josh Durgin <josh.durgin@dreamhost.com>