mds: fix cdir head/snap items/null accounting

We were mixing up primary vs remote, partly due to the weird placement of
the counter adjustments.  Make those sane and clean things up a bit.

osd: make clean_up_local remove hardlinks from collection dirs

osd: don't requeue null OSDOp on apply_and_flush_repops

(this triggers during snap trimming)

osd: fix snap_trimmer AccessMode interaction

Recheck access mode every time we retake the pg lock (each object). Sleep
if necessary.

filejournal: log if journal item is larger than journal

osd: warn when failing to mount journal on ENOTTY

suggest that the problem was due to journal size not configured

conf: can specify environment variables for substitution

conf: fix buffer initalization

This fixes a bug where we didn't initialize the variable
post processing buffer, which would sometimes lead to
garbage data.

osd: error out when failing to read journal header

This fixes bug #201.

osd: mkfs failures are colored red

mon: make send_reply always consume reply ref (even if not sent); fix caller hackery

mds: add force_wrlock to lock states; use for filemax changes

This lets us write out a max_size change when we revoke caps from a client
(thus excl->sync) and the client releases dirty caps.

rgw: put_obj uses write_full

testradospp: add a test for librados trunc

librados: add trunc operation

testradospp: update test, use write_full

librados: implement write_full

osd: fix null dereference in dout

mds: be extra careful

Probably implied by the refs == 0, but be explicit anyway.

mds: fix another instance of bad stray trimming code to use proper helper

mds: remove erroneous return statement

mds: a checker function like _is_dir_nonempty should only report results.

Remove the call to reply_request and fix up the callers that need it.

mds: handle dup anchorclient ACKs gracefully

One recovery scenario sees crisscrossing 'agree' and 'commit':

 C->S --> commit1
 S->C --> agree

 C<-S <== agree
  C->S --> commit2   .. client resends commit!

 S<-C <== commit1
  S->C --> ack      .. server resends ack!
 S<-C <== commit2
  S->C --> ack      .. server resends ack!

 C<-S <== commit1
  client journals ack
 C<-S <== commit2
  client should ignore dup ack  ***

*** but doesn't, because the 'remove from committing list' bit above was
never in the code, even as far back as v0.4 (just the comment).  Instead,
the map was getting fixed up in the _logged_ack() completion.  Move it
up here instead, where it belongs!

Signed-off-by: Sage Weil <sage@newdream.net>

mds: fix export caps

Don't mangle sessionmap version by incrementing twice; pv is returned by
prepare_force_open_sessions().

mds: allow import caps pin from multiple replicas at once

e.g. on dentry unlink, replicas send their caps to the auth.  There may
be multiple replicas.

osd: return EINVAL when snapc is invalid and trying to write

osd: don't clobber racing pg_info on active pg

Wido saw a pg go active, but an activate log+info update crossed paths with
a pg_notify info, and the primary overwrote it's updated shiny new info
with the stale old info from the replica.  Don't do that.  It causes
problems down the line.  In this case, we got

osd/OSD.cc: In function 'void OSD::generate_backlog(PG*)':
osd/OSD.cc:3863: FAILED assert(!pg->is_active())
 1: (ThreadPool::worker()+0x28f) [0x5b08ff]
 2: (ThreadPool::WorkThread::entry()+0xd) [0x4edb8d]
 3: (Thread::_entry_func(void*)+0xa) [0x46892a]
 4: (()+0x69ca) [0x7f889ff249ca]
 5: (clone()+0x6d) [0x7f889f1446cd]

on the replica because it was active but the primary was restarting peering
due to the bad info.

osd: refine SnapContext::is_valid()

osd: implement SnapContext::is_valid()

init-ceph: don't fail if we fail to umount

It may not be mounted to begin with.

osd: add --dump-pg-log command

osd: clear newly_removed_snaps on osdmap update if unchanged

We only want to apply _newly_ removed snaps once, or else we try to trim
the same snaps multiple times, and crash like so

./include/interval_set.h: In function 'void interval_set<T>::insert(T, T) [with T = snapid_t]':
./include/interval_set.h:202: FAILED assert(0)
 1: (interval_set<snapid_t>::insert(snapid_t, snapid_t)+0x12c) [0x6b1728]
 2: (interval_set<snapid_t>::insert(snapid_t)+0x2f) [0x6b195d]
 3: (ReplicatedPG::snap_trimmer()+0x1c02) [0x66d5d6]
 4: (OSD::SnapTrimWQ::_process(PG*)+0x24) [0x6dc2ac]
 5: (ThreadPool::WorkQueue<PG>::_void_process(void*)+0x28) [0x6fa28a]
 6: (ThreadPool::worker()+0x23a) [0x7f57a4]
 7: (ThreadPool::WorkThread::entry()+0x19) [0x73e9b1]
 8: (Thread::_entry_func(void*)+0x20) [0x6508a4]
 9: /lib/libpthread.so.0 [0x7fa2707dc73a]
 10: (clone()+0x6d) [0x7fa26fa0669d]

Signed-off-by: Sage Weil <sage@newdream.net>

mds: use helper to send message to client; fix send to null connection

Sometimes session->connection is NULL; use session->inst in that case.

mds: remove erroneous bracket

add checks for being a snapshot root to dir_is_nonempty

throttle: allow take(0)

mds: fix stale lease trimming xlist iterator abuse

mon: fix memory-leaked messages

buffer: fix padding distances

osd: init auid to CEPH_AUTH_UID_DEFAULT in case authorizer doesn't set it.

We should probably also require the authorizer to set it for us.

mds: scan stray dir, eval strays on mds startup

mon: make mon lease clock check protocol change backward compatible

qa: add untar_snap_rm.sh

osd: print rollback osd_op nicely

mds: wire Connection to Session when Session already exists on connect

mds: funnel mds->client messages through single Session* helper

Simplify callers where possible.

mon: simplify clock drift checks

Ignore lease sent vs lease_ack receive times bc multiple lease msgs may
be in flight and the ack may be from a previous one.  This was causing
spurious

 [WRN] : lease_ack from follower sent at time(10.06.07_15:07:11.441391), before lease extend was sent (10.06.07_15:07:11.826340)! Clocks not synchronized.

messages.

It is sufficient to just check for messages received from the future.  To
avoid cruftiness trying to do that when the only stamp is the lease
timeout, add a sent_timestamp to the message and use that instead.  This
simplifies things quite a bit, at the expense of not being backward
compatible.

monc: behave in ms_handle_reset if cur_mon is < 0

msgr: don't throttle.get 0

throttle: allow put(0)

Still returns a consistent value for the count.

msgr: don't thottle.put 0

Merge remote branch 'origin/msgr' into unstable

mds: use cap on head if there is none on the snapped inode

This is needed, in particular, when we're flushing snap data on an inode
that already got COWed.

osd: use low-level helper getting obc in sub_op_push

find_object_context does all sorts of stuff we don't need here: we know
which object the context is for.  Just set it up.

throtle: add asserts on max and change parameters where appropriate

throttle: fix assert count to actually use count

crypto: don't clean up EVP table on every decrypt()

Don't think that's appropriate?  And certainly doesn't happen for the
encrypt() case.

crypto: don't leak memory in CryptoAES::encrypt()

mon: don't leak MAuth

throttle: use signed counters and assert that count never drops below 0

msgr: Fix uses of get_[data, payload, middle] to use throttling-aware functions.

msgr: put throttler usage on Message destruct

osd: fix compile issues

msgr: switch to get/set functions for Message:throttler

osd: add osd_client_message_size_cap option to config; default 500MB

And change the name in cosd to be that

objectcacher: add verify_stats() debugging helper

objectcacher: fix stat accounting when resizing bufferheads

Must keep stats in mind when adjusting bufferheads!

objectcacher: cleanup formatting

objectcacher: fix use of  invalid iterator in map_write()

The p points to bh, which is removed by merge_left.  Move it back to final,
so we can advance to the new next a few lines down.

objectcacher: match states before merging in map_write

The caller is going to set us to dirty, so we don't care what state we
have, so long as the left and right bits we're merging match all is ok.

osd: fix rollback when head points at the rolled back snapshot

msg: remove copy_payload and copy_data functions; change set to use throttler

Merge branch 'rbd' into unstable

osd: clean up rollback debug output

uclient: handle inode with no caps from mds

This happens when you readdir and some inodes are in a different snaprealm.

osd: filter_xattrs on a rollback op

osd: fix naughty iterator usage after invalidating it

osd: _make_clone now properly duplicates xattrs

osd: add filter_xattrs function to remove non-user xattrs from a map of them

progress

mds: fix straydn->first part deux

9ed0c30ecf6611193db52e1facc1f46b37f04bc4 forgot to remove the old code.

debugging output

rados: print out pool instead of object

mds: only purge dentries with no extra refs (besides dirty)

Signed-off-by: Sage Weil <sage@newdream.net>

mds: set straydn first to match inode on unlink

mds: don't export stray (~mdsfoo/stray), and ignore in balancer

We _must_ keep mdsdir and stray on local mds for normal operations.

Signed-off-by: Sage Weil <sage@newdream.net>

mds: make discover work for multiversion inodes (e.g. dirs)

If we don't have the specific snap, look up the head and see if it's
multiversion.

This doesn't give us a "range" lookup like we get with dentries because
the inode_map is a hash, not a map.  However, we shouldn't need it,
because we always have a specific snapped inode we're looking for (because
it is refered to by a dentry) or we are looking at a multiversion head.

mds: fix CDir::take_sub_waiting vs dnwaiter pin

Signed-off-by: Sage Weil <sage@newdream.net>

mds: kill open_foreign_stray; but open remote mdsdirs instead

Signed-off-by: Sage Weil <sage@newdream.net>

mds: fix cap clone logic to look at matching first, not last

The cap->client_follows is set to follows+1 by flushsnap, since the real
follows value isn't convenient.  But it is enough to know that it is more
than the old version's follows, so do that.

libatomic: fix assert.h compilation

msgr: add Throttle pointer to Policy

Merge branch 'unstable' into msgr

osd: make sure we don't return EAGAIN to client

mds: open past snap parents at end of rejoin phase

We really need past parents open before we go active or else anything
that needs to build a snap context will fail.

mdsmap: show individual mds states in summary

osd: improve snap_trimmer debug output

mds: another cap_exports message/mdcache encoding fix

Signed-off-by: Sage Weil <sage@newdream.net>

mds: only adjust dn->first on lock msg if !multiversion

The multiversion dn->first references a range of inode versions; don't
drag it forward.  Fixes 38cb2403c043e6676b563197d086edeb11b71ddf.

Signed-off-by: Sage Weil <sage@newdream.net>

mds: more fix cap_exports typing