mds: fix MDSTableClient ack double journaling

Do not journal ack unless the tid is registered in the LogSegment.  Once
we journal it, we remove it from the LogSegment list, and once it's
journaled, we remove the pending_commit[tid] entry.

This fixes a bug where the mds got two acks, journaled both of them, and
crashed in the completion for the second because pending_commit[tid] was
gone.  The second ack should have been ignored.

mds: start file recovery after sending rejoin ack

The rejoin ack intializes replica lock states correctly; we can't send any
lock messages before that.  This fixes both the check max size call (which
sends lock messages taking the wrlock) and the file_recover() call
(which does the same).

Instead, we make two lists, files to recover and those to fix up.  The lock
states for both are set to PRE_SCAN (LOCK on replica).  After the rejoin
acks go out, we either check_inode_max_size or file_recover.

If file_recover someday grows another caller, this may need something a bit
more sophisticated.

mds: delay check_inode_max_size if frozen

mds: less noisy about snaprealm siblings

This can get _very_ large for the stray dir.

mds: migrate frag/nest scatterlock info on bounding frags during export

This ensures that the auth inode continues to maintain accurate scatterlock
info about open frags.  We include info on export if it is a bounding frag.
On import, we only take it if we are !auth.  This mirrors the scatterlock
scatter/gather logic in CInode::{encode,decode}_lock_state.

mds: make rdlock waiter wait on STABLE | RD, not just RD, when lock is unstable

mds: use 32 bits for MDSCacheObject::ref count

16 is not enough!  :)

Merge branch 'unstable' into mds

Conflicts:
src/TODO

mkcephf: behave when user is not defined

mds: skip purge_stray when stray pins are present

Otherwise we can get into a loop:

 eval_stray
 purge_stray
 _purge_stray_purged
  journal truncate
 eval_stray
 ...

This doesn't explain what the stray pin was that I saw, but it at least
avoids the looping.

mds: drop unused CInode::PIN_PURGING

auth: fix a few memory leaks, uninit vars

Courtesy of cppcheck

Makefile: add missing MDentryLink.h

src/README is required

filestore: less noisy about OpSequencer queue

mds: drop obsolete hack for base inodes

We used to skip base inodes for scatter_writebehind.  But we can
journal these just like anything else, and it potentially breaks
try_to_expire if a base inode's lock is dirty, because the
completion queued on WAIT_STABLE by scatter_nudge never gets
completed.

mds: fix lost completion in scatter_nudge (broke log trimming)

rados_bencher: Don't re-initialize passed-in pool, it breaks stuff

osd: Fix up OSDCaps::get_pool_cap to work/make more sense

rados: add interface to change pool owners

librados: add change_pool_auid functions

objecter: add change_pool_auid function.

I'm reluctant to stick this in the objecter since it doesn't quite fit, but
it's a pool management function and putting it here makes it easy to use
elsewhere while maintaining librados' standard function flow.

mds: allow rdlock on replica to request sync from auth

This fixes a ping-pong readdir between inode and dirfrag auth.

mon: Set MForward::client_caps explicitly; this fixes a bad connection deref.

Previously the decoded PaxosServiceMessage would attempt to follow an
uninitialized Connection* and segfault the system.

mon: set mon_caps with authenticated monitor check instead of claimed one.

mon: Fix all uses of Session and get_caps.
They now use MonSession and get_service()->caps, respectively.

mon: Change name of Session to MonSession.

msg: Add get_session function to PaxosServiceMessage

Revert "msg: PaxosServiceMessage includes a MonCap*"

This reverts commit 167b28a0d4cb2977f237be1972e40e04aed24207.

mon: MonCaps default initializes more variables

osd: drop useless ENOMEM check

'new' will throw an exception if it fails, not return NULL.

vstart.sh: include mon secret during mkfs

mon: fix up authorizer generation/validation

Only generate authorizer for other mons. Only require authorizer for other
mons when CEPHX is enabled.  Check it properly (before we were letting
mons connect without any authorizer!).

mds: fix bug in handle_discover on mdsdir

mds: check myin, not stray, in rejoin_send_acks

mon: change forwarding behavior somewhat

mon: initialize routed_request_tid

msgr: set m->connection for messages sent to self

osd: detect TMAPUP no-op and do no work

debug: include timestamp + thread in _all_ debug output

qa: fix loopall.sh mode

todo

todo mds bug

mon: Hack in setting monitor caps

fix up READMEs

mds: fix up client session importing

Keep import counter for each session, for overlapping imports.

Prevent a session close or kill during an import.

mon: Fix initialization-crossing goto jump

mds: importing, ugh

mds: clean up kill_session()

mds: possible session 'importing' state

mds: drop purge step when closing client sessions

The purge step when closing client sessions is pointless.  If the
MDS is alive, we know which inos were used and which weren't.  It
is only the _journal_ that doesn't necessarily know which have
been recently allocated: any cleanup needs to happen on journal
replay during mds recovery.

Also clean up session states some more.

mon: Removing dead code; been commented out for 5 months

mon: remove dead 'magic' code

todo

mds: fix bug in handle_discover on mdsdir

mds: check myin, not stray, in rejoin_send_acks

mds: fix eval_gather for sync->mix(2) and mix->sync(2)

These states never move to next state on the client on their own.
The auth mds needs to tell them to switch states.

mds: encode fnode when replicating CDir

mon: addition to MonCaps docs mentioning how perms are used

mon: remove unused label out, which was causing compiler warning

mon: remove now-unused macros.

mon: MRoutes are now checked by check_privileges instead of a macro

mon: MForwards are handled by check_privileges instead of a macro.

mon: handling MSG_CLASS now uses caps->check_privileges instead of macros.

Also, delete a leaked message.

mon: use check_privileges instead of macro for MSG_MON_ELECTION

mon: MSG_MON_OBSERVE handled in-function instead of with macro, sends response

mon: don't use macros in evaluating MSG_MON_PAXOS messages

mon: MSG_LOG uses an in-handler cap check instead of a macro

mon: Pool ops are already cap-checked by the handler; remove macro

mon: add mon_caps used for unconnected monitor messages

mon: stat requests use caps->check_privileges instead of a macro

mon: the MDS messages use caps->check_privileges instead of the macro

mon: MRemoveSnaps uses caps->check_privileges

mon: OSD handling messages use caps->check_privileges instead of macros

mon: Use MonCaps::check_privileges instead of a macro for MSG_MON_COMMANDs.

mds: combine new, closed states; few small fixes

Still need to audit all state changes.

mds: style fixes (from cppcheck)

osd: warn on no osd journal

mds: don't kick clients if we've been laggy ourselves

mds: no early complete from scatter_nudge after partial work

Do not complete the Context if we only accomplish partial work.
Instead, keep going until we block.

todo fixed some bugs

msgr: no more forward_message()

mds: re-send, do not forward, mds messages

mds: encode source mds in MDirUpdate

Not that it's actually used, but just in case.

mds: encode source mds in MExportDirDiscover explicitly

This removes any dependency on the message 'source', which will
let us remove the forward hackery.

mds: rev mds internal protocol

We're changing the way cluster-internal messages are forward

mon: Fix resend_routed_requests.
Stuff was left over from when forwards came in as a standard
PaxosServiceMessage, which is now removed.

mon: another forwarding fix for resend_routed_requests

mon: Forwarding fixes.

forward_request_leader now uses messenger->send_message because it's created
a new message to forward.
resend_routed_requests properly decodes forwards to an MForward* rather than
a PaxosServiceMessage*.

msg: Remove dead code MSG_OSD_IN/OUT

mon: x has little meaning for a mon, let's not confuse things for pool ops

mon: use our standard indicator for locked/unlocked in ms_dispatch:
ms_dispatch locks and calls _ms_dispatch.

objecter: don't lose reply codes when we wait_for_new_map

rados: add undocumented option to specify auid when making pools

mon: msg: Better output/debugging

objecter: always fill in auid

msg: MPoolOp now encodes its auid, prints more.

mon: handle_subscribe now uses check_privileges instead of get_caps.

mon: Pretty sure MDS BEACON messages should only come from MDSes

osdc: fix truncation of multiple extents of the same object