mds: check myin, not stray, in rejoin_send_acks

todo mds bug

mds: fix up client session importing

Keep import counter for each session, for overlapping imports.

Prevent a session close or kill during an import.

mds: importing, ugh

mds: clean up kill_session()

mds: possible session 'importing' state

mds: drop purge step when closing client sessions

The purge step when closing client sessions is pointless.  If the
MDS is alive, we know which inos were used and which weren't.  It
is only the _journal_ that doesn't necessarily know which have
been recently allocated: any cleanup needs to happen on journal
replay during mds recovery.

Also clean up session states some more.

mds: combine new, closed states; few small fixes

Still need to audit all state changes.

mds: style fixes (from cppcheck)

osd: warn on no osd journal

mds: don't kick clients if we've been laggy ourselves

mds: no early complete from scatter_nudge after partial work

Do not complete the Context if we only accomplish partial work.
Instead, keep going until we block.

todo fixed some bugs

msgr: no more forward_message()

mds: re-send, do not forward, mds messages

mds: encode source mds in MDirUpdate

Not that it's actually used, but just in case.

mds: encode source mds in MExportDirDiscover explicitly

This removes any dependency on the message 'source', which will
let us remove the forward hackery.

mds: rev mds internal protocol

We're changing the way cluster-internal messages are forward

mon: Fix resend_routed_requests.
Stuff was left over from when forwards came in as a standard
PaxosServiceMessage, which is now removed.

mon: another forwarding fix for resend_routed_requests

mon: Forwarding fixes.

forward_request_leader now uses messenger->send_message because it's created
a new message to forward.
resend_routed_requests properly decodes forwards to an MForward* rather than
a PaxosServiceMessage*.

msg: Remove dead code MSG_OSD_IN/OUT

mon: x has little meaning for a mon, let's not confuse things for pool ops

mon: use our standard indicator for locked/unlocked in ms_dispatch:
ms_dispatch locks and calls _ms_dispatch.

objecter: don't lose reply codes when we wait_for_new_map

rados: add undocumented option to specify auid when making pools

mon: msg: Better output/debugging

objecter: always fill in auid

msg: MPoolOp now encodes its auid, prints more.

mon: handle_subscribe now uses check_privileges instead of get_caps.

mon: Pretty sure MDS BEACON messages should only come from MDSes

osdc: fix truncation of multiple extents of the same object

mds: fix resolve stage

This was recently broken by b818f5bc.

mds: drop gather if it's empty

This can happen from scatter_nudge, which may add a sub and then
complete it, emptying out the C_Gather.

context: don't complete C_Gather until finisher is set

We often create a C_Gather, add a bunch of subs, and set a
finisher at the end.  Occasionally we create a sub and it gets
finished immediately, in which case we don't want the gather to
get finished and deleted already.  So don't 'complete' the gather
until it's by activated by setting the finisher.

init-ceph: do already running check early to avoid extra work

todo

mds: session is always defined in handle_client_reconnect

qa: make pjd test behave when run twice in same dir

mds: acknowledge reconnect success with a session open message

qa: add fsx workunit

mon: msg: better output

mon: don't use get_priv() without put!

mon: forwarded messages should use the same connection as their carrier message

mon: when possible, fill PaxosServiceMap::caps before exiting ms_dispatch

mon: let ms_dispatch be non-locking for forwards

mon: Encapsulate forwarded PaxosServiceMessages into MForward with their caps

mon: Use PaxosServiceMessage::caps instead of Session::caps where applicable

msg: Add a new MForward message for encapsulating client caps and messages

qa: add loopall.sh

mds: fix up root/base inode special cases

todo: more kclient bugs

qa: runallonce.sh each workunit in a clean directory

filestore: fix CLONE_RANGE detection

todo kclient osd_client bug

mds: fix SimpleLock::try_clear_more()

We were dropping gather state on the floor, which resulted in
general confusion and errors like this

10.03.16 14:17:17.622280 mds0.locker handle_simple_lock lock(a=lockack dn 1000000019c/NEWS1_1B.PRN snap head) on (dn xlock x=1 by 0x307c050) [dentry #1/clients/client2/~dmtmp/WORDPRO/NEWS1_1B.PRN [2,head] auth{1=1} (dn xlock x=1 by 0x307c050) v=90 inode=0x7f2fe90a7980 | nref=5 0x7f2fe0349b80]
mds/Locker.cc: In function 'void Locker::handle_simple_lock(SimpleLock*, MLock*)':
mds/Locker.cc:2424: FAILED assert(lock->get_state() == 7 || lock->get_state() == 12)
 1: (Locker::handle_simple_lock(SimpleLock*, MLock*)+0x374) [0x8607bc]
 2: (Locker::handle_lock(MLock*)+0x18b) [0x861b91]
 3: (Locker::dispatch(Message*)+0x41) [0x86470b]
 4: (MDS::_dispatch(Message*)+0x1b42) [0x72ce68]
 5: (MDS::ms_dispatch(Message*)+0x2f) [0x72e1e9]
 6: (Messenger::ms_deliver_dispatch(Message*)+0x55) [0x72086b]
 7: (SimpleMessenger::dispatch_entry()+0x4f4) [0x70d50e]
 8: (SimpleMessenger::DispatchThread::entry()+0x29) [0x7095bd]
 9: (Thread::_entry_func(void*)+0x20) [0x71a9e1]
 10: /lib/libpthread.so.0 [0x7f2fe8d6573a]
 11: (clone()+0x6d) [0x7f2fe7f906dd]
 NOTE: a copy of the executable, or `objdump -rdS <executable>` is needed to interpret this.

mds: fix add_replica_dir to use is_base() helper for adjusting subtree auth

mds: fix SimpleLock state encode/decode

This was broken when we changed the size of SimpleLock::state
to __u16.

Merge branch 'unstable' into mds

mds: remove unlinked metadata after replay

We can get unlink metadata after replay:

 create some auth metadata (possibly a whole tree)
 export to another mds
 other mds deletes it
 reimport tree, original link to root is broken by EImportStart
-> entire tree is unlinked

Find any unlinked metadata (that's not a base inode) and remove
it (recursively) after journal replay.

mds: do not add null dentry to frozen dir

Otherwise we get confused when we unfreeze:

mds/mdstypes.h:1193: FAILED assert(ref_set.count(by) > 0)
 1: (MDSCacheObject::bad_put(int)+0x3e) [0x79acfc]
 2: (MDSCacheObject::put(int)+0x5a) [0x79e332]
 3: (CDentry::finish_export()+0x52) [0x8874ba]
 4: (Migrator::finish_export_dir(CDir*, std::list<Context*, std::allocator<Context*> >&, utime_t)+0x1a4) [0x8751fc]
 5: (Migrator::finish_export_dir(CDir*, std::list<Context*, std::allocator<Context*> >&, utime_t)+0x243) [0x87529b]

mon: declare class MonCaps in PaxosServiceMessage

osd: do no index reqid for CLONE ops (or BACKLOG ops)

We don't want to index the Log::Entry reqid for CLONE ops because
each CLONE is followed by a real op with the same reqid.. that's
the one that should get indexed.  Introduce a helper to keep
the logic consistent.

ceph: drop (broken) poll mode (use -w instead)

It wasn't working anyway.

ceph: add -s|--status command

Print one-shot summary of each paxos service.

Revert "mon: PaxosServiceMessages now routed through paxos_dispatch and get caps set"

This reverts commit 0c688f94bef805ce6c6a777885406e3e43b90b65.

Revert "mon: Use PaxosServiceMessage::caps instead of Session::caps where applicable"

This reverts commit e33e17ec2f8994527d23fbc6bd1d064e90c7fce8.

This needs to be reworked slightly to handle inter-mon communication better.

mon: handle_route uses lazy_send_message for unknown MRoutes

mon: add encode/decode functions to MonCaps

mds: adjust rdlock forwarding on replicas

Include LOCK, MIX, and associated gather states.  An EXCL on the
auth (which is not temporary) is a LOCK on the replica, so fw.
(Otherwise we'd need another state.)  MIX should fw too, since
it is also stable and the replcia can't rdlock.

Include leading states because rdlock waits for WAIT_RD, not
stable.

mds: send resolve to resolve_set

Not RESOLVE|REJOIN|CLIENTREPLAY|ACTIVE|STOPPING, according to
the current MDSMap.

Fixes problem where the resolve_set is empty, but we send
resolves out, and got != needed because got is a superset.

mds: fix replica dentry linkage updates

Previously we have a broken hack that would drop a replicated
null dentry if it got new linkage.  We already get an explicit
message if it was unlinked, that unlinks it cleanly.  Do the
same for links, and replicate the newly linked inode as
needed.  This is much cleaner and more correct.

Specifically, this fixes a problem where a create (link) and
unlink are pipelined by the same client under the same xlock,
so that the previous hack (in the handle_lock handler) never
triggers because the lock state doesn't toggle between the link
and unlink.

send_dentry_link sends current, not projected, linkage

osd: only insert non-zero intervals into interval_set

qa: fix snaptest1.sh

mds: add array bounds check for null dentry lease

mon: Use PaxosServiceMessage::caps instead of Session::caps where applicable

mon: PaxosServiceMessages now routed through paxos_dispatch and get caps set

msg: PaxosServiceMessage includes a MonCap*

mon: Add a Session operator<<, use it in OSDMonitor

mds: avoid null deref of SimpleLock::_unstable

mds: use CDir::item_new for LogSegment::new_dirfrags elist

auth: update documentation on caps

mon: return error codes from prepare_new_pool

mon: add warning/debugging prints to prepare_new_pool

Merge branch 'mds_mem' into unstable

mds: be consistent about list<>::item naming (item_foo)

dlist: fix pop_front/back

xlist: clean up interface

dlist: clean up interface

mds: use elist instead of dlist

elist: simpler embedded list

This is more or less equivalent to the linux kernel list_head:
each embedded item struct has only a next and prev pointer. As
long as the same member item is always used, at a fixed offset
from the containing class, we can go from an item to a contained
class.

The offset can either be passed to the list (head) constructor,
or to the begin(), front(), back() members explicitly.

Iterator has 3 modes.. current (list_for_each), cache_next
(list_for_each_safe), and magic (uses cached next iff current is
empty).  Magic will work most of the time... as long as we don't
re-add ourselves to a different list inside the iterator loop.
(Note that if we do, we will iterator up to the other list's
head, not detect it is a head, an get an invalid pointer and
crash.)

elist: add to makefile

elist: require offset for cosntructor

elist: fix pop_front/back

rgw: remove unused refcount data member from XMLObj. Also clears up ctor

rgw: Add documentation

Merge branch 'mds_mem' into unstable

cephx: initialize values

synclient: print mount error

xlist: clean up users

mds: use dlist instead of xlist for main cache objects

dlist: simpler version of xlist without _list pointer

mds: reduce MDSCacheObject footprint a bit

Save 8 bytes.  Whoop.

mds: replica_nonce can wrap; fix asserts