mds: drop gather if it's empty

This can happen from scatter_nudge, which may add a sub and then
complete it, emptying out the C_Gather.

context: don't complete C_Gather until finisher is set

We often create a C_Gather, add a bunch of subs, and set a
finisher at the end.  Occasionally we create a sub and it gets
finished immediately, in which case we don't want the gather to
get finished and deleted already.  So don't 'complete' the gather
until it's by activated by setting the finisher.

init-ceph: do already running check early to avoid extra work

todo

mds: session is always defined in handle_client_reconnect

qa: make pjd test behave when run twice in same dir

mds: acknowledge reconnect success with a session open message

qa: add fsx workunit

mon: msg: better output

mon: don't use get_priv() without put!

mon: forwarded messages should use the same connection as their carrier message

mon: when possible, fill PaxosServiceMap::caps before exiting ms_dispatch

mon: let ms_dispatch be non-locking for forwards

mon: Encapsulate forwarded PaxosServiceMessages into MForward with their caps

mon: Use PaxosServiceMessage::caps instead of Session::caps where applicable

msg: Add a new MForward message for encapsulating client caps and messages

qa: add loopall.sh

mds: fix up root/base inode special cases

todo: more kclient bugs

qa: runallonce.sh each workunit in a clean directory

filestore: fix CLONE_RANGE detection

todo kclient osd_client bug

mds: fix SimpleLock::try_clear_more()

We were dropping gather state on the floor, which resulted in
general confusion and errors like this

10.03.16 14:17:17.622280 mds0.locker handle_simple_lock lock(a=lockack dn 1000000019c/NEWS1_1B.PRN snap head) on (dn xlock x=1 by 0x307c050) [dentry #1/clients/client2/~dmtmp/WORDPRO/NEWS1_1B.PRN [2,head] auth{1=1} (dn xlock x=1 by 0x307c050) v=90 inode=0x7f2fe90a7980 | nref=5 0x7f2fe0349b80]
mds/Locker.cc: In function 'void Locker::handle_simple_lock(SimpleLock*, MLock*)':
mds/Locker.cc:2424: FAILED assert(lock->get_state() == 7 || lock->get_state() == 12)
 1: (Locker::handle_simple_lock(SimpleLock*, MLock*)+0x374) [0x8607bc]
 2: (Locker::handle_lock(MLock*)+0x18b) [0x861b91]
 3: (Locker::dispatch(Message*)+0x41) [0x86470b]
 4: (MDS::_dispatch(Message*)+0x1b42) [0x72ce68]
 5: (MDS::ms_dispatch(Message*)+0x2f) [0x72e1e9]
 6: (Messenger::ms_deliver_dispatch(Message*)+0x55) [0x72086b]
 7: (SimpleMessenger::dispatch_entry()+0x4f4) [0x70d50e]
 8: (SimpleMessenger::DispatchThread::entry()+0x29) [0x7095bd]
 9: (Thread::_entry_func(void*)+0x20) [0x71a9e1]
 10: /lib/libpthread.so.0 [0x7f2fe8d6573a]
 11: (clone()+0x6d) [0x7f2fe7f906dd]
 NOTE: a copy of the executable, or `objdump -rdS <executable>` is needed to interpret this.

mds: fix add_replica_dir to use is_base() helper for adjusting subtree auth

mds: fix SimpleLock state encode/decode

This was broken when we changed the size of SimpleLock::state
to __u16.

Merge branch 'unstable' into mds

mds: remove unlinked metadata after replay

We can get unlink metadata after replay:

 create some auth metadata (possibly a whole tree)
 export to another mds
 other mds deletes it
 reimport tree, original link to root is broken by EImportStart
-> entire tree is unlinked

Find any unlinked metadata (that's not a base inode) and remove
it (recursively) after journal replay.

mds: do not add null dentry to frozen dir

Otherwise we get confused when we unfreeze:

mds/mdstypes.h:1193: FAILED assert(ref_set.count(by) > 0)
 1: (MDSCacheObject::bad_put(int)+0x3e) [0x79acfc]
 2: (MDSCacheObject::put(int)+0x5a) [0x79e332]
 3: (CDentry::finish_export()+0x52) [0x8874ba]
 4: (Migrator::finish_export_dir(CDir*, std::list<Context*, std::allocator<Context*> >&, utime_t)+0x1a4) [0x8751fc]
 5: (Migrator::finish_export_dir(CDir*, std::list<Context*, std::allocator<Context*> >&, utime_t)+0x243) [0x87529b]

mon: declare class MonCaps in PaxosServiceMessage

osd: do no index reqid for CLONE ops (or BACKLOG ops)

We don't want to index the Log::Entry reqid for CLONE ops because
each CLONE is followed by a real op with the same reqid.. that's
the one that should get indexed.  Introduce a helper to keep
the logic consistent.

ceph: drop (broken) poll mode (use -w instead)

It wasn't working anyway.

ceph: add -s|--status command

Print one-shot summary of each paxos service.

Revert "mon: PaxosServiceMessages now routed through paxos_dispatch and get caps set"

This reverts commit 0c688f94bef805ce6c6a777885406e3e43b90b65.

Revert "mon: Use PaxosServiceMessage::caps instead of Session::caps where applicable"

This reverts commit e33e17ec2f8994527d23fbc6bd1d064e90c7fce8.

This needs to be reworked slightly to handle inter-mon communication better.

mon: handle_route uses lazy_send_message for unknown MRoutes

mon: add encode/decode functions to MonCaps

mds: adjust rdlock forwarding on replicas

Include LOCK, MIX, and associated gather states.  An EXCL on the
auth (which is not temporary) is a LOCK on the replica, so fw.
(Otherwise we'd need another state.)  MIX should fw too, since
it is also stable and the replcia can't rdlock.

Include leading states because rdlock waits for WAIT_RD, not
stable.

mds: send resolve to resolve_set

Not RESOLVE|REJOIN|CLIENTREPLAY|ACTIVE|STOPPING, according to
the current MDSMap.

Fixes problem where the resolve_set is empty, but we send
resolves out, and got != needed because got is a superset.

mds: fix replica dentry linkage updates

Previously we have a broken hack that would drop a replicated
null dentry if it got new linkage.  We already get an explicit
message if it was unlinked, that unlinks it cleanly.  Do the
same for links, and replicate the newly linked inode as
needed.  This is much cleaner and more correct.

Specifically, this fixes a problem where a create (link) and
unlink are pipelined by the same client under the same xlock,
so that the previous hack (in the handle_lock handler) never
triggers because the lock state doesn't toggle between the link
and unlink.

send_dentry_link sends current, not projected, linkage

osd: only insert non-zero intervals into interval_set

qa: fix snaptest1.sh

mds: add array bounds check for null dentry lease

mon: Use PaxosServiceMessage::caps instead of Session::caps where applicable

mon: PaxosServiceMessages now routed through paxos_dispatch and get caps set

msg: PaxosServiceMessage includes a MonCap*

mon: Add a Session operator<<, use it in OSDMonitor

mds: avoid null deref of SimpleLock::_unstable

mds: use CDir::item_new for LogSegment::new_dirfrags elist

auth: update documentation on caps

mon: return error codes from prepare_new_pool

mon: add warning/debugging prints to prepare_new_pool

Merge branch 'mds_mem' into unstable

mds: be consistent about list<>::item naming (item_foo)

dlist: fix pop_front/back

xlist: clean up interface

dlist: clean up interface

mds: use elist instead of dlist

elist: simpler embedded list

This is more or less equivalent to the linux kernel list_head:
each embedded item struct has only a next and prev pointer. As
long as the same member item is always used, at a fixed offset
from the containing class, we can go from an item to a contained
class.

The offset can either be passed to the list (head) constructor,
or to the begin(), front(), back() members explicitly.

Iterator has 3 modes.. current (list_for_each), cache_next
(list_for_each_safe), and magic (uses cached next iff current is
empty).  Magic will work most of the time... as long as we don't
re-add ourselves to a different list inside the iterator loop.
(Note that if we do, we will iterator up to the other list's
head, not detect it is a head, an get an invalid pointer and
crash.)

elist: add to makefile

elist: require offset for cosntructor

elist: fix pop_front/back

rgw: remove unused refcount data member from XMLObj. Also clears up ctor

rgw: Add documentation

Merge branch 'mds_mem' into unstable

cephx: initialize values

synclient: print mount error

xlist: clean up users

mds: use dlist instead of xlist for main cache objects

dlist: simpler version of xlist without _list pointer

mds: reduce MDSCacheObject footprint a bit

Save 8 bytes.  Whoop.

mds: replica_nonce can wrap; fix asserts

mds: put rare state in more_bits_t in ScatterLock

Saves 48 bytes per ScatterLock, 144 bytes per CInode.

mds: show xlist overhead

mds: move unstable SimpleLock state into separate struct

Allocated as needed, freed when lock returns to stable state.

Also make remaining int fields a bit smaller.

debian: specify mirror explicitly when creating pbuilder image

mds: make mds stopping work (with new mdsdir changes)

mds: don't do_cap_update() if not inode auth

I'm surprised this one didn't bite sooner.

mds: detach mdsdir inode from hierarchy

Attaching mdsdir to the root hierarchy means that random mds X
can't push replicas of everything needed for mds Y to reach a
stray item, because Y may not have the /.ceph/mds# dentries and
inode.  So detach myin from the hierarchy.

This simplifies startup/mkfs somewhat because non-root mds's
don't have to traverse through /.ceph.

We can still make it reachable via /.ceph/mds# with a remote
dentry (although we haven't done that yet).

MDS stopping is currently broken, since we can't export the stray
dir any more (it's auth mds fixed).

mds: don't assume lock parent is inode in eval_gather

mds: notify replica on XLOCKDONE -> SYNC transition

mds: simplify LocalLock wrlock methods

mds: add locallock statemachine

This is just for consistency; it's trivial.  We lost the get_sm()
pointer test, though.

synclient: print mount error

mds: create abstract LockType that includes numeric type and state machine

This eliminates 1 field in each SimpleLock.

debian: build binary-arch debs only from builddebs.sh

Otherwise we rebuild the source .dsc, which isn't what we want.

debian: clean out unused debhelper rules steps

debian: put debian/ in .diff.gz, not release tarball

msgr: remove dead kill_after code bits

todo multi-mds issue

mon: users can now change pool owners.

This requires them to have write permission on both the current
and the new auid.

osd: Check auid permissions in get_pool_cap

mon: use MonCaps::check_privileges in prepare_new_pool

Revert "mon: add check_privileges function to OSDMon."
Deprecated by the existence of MonCaps::check_privileges

This reverts commit 07df67f3948e50a24365e0936bd0de3c7dc1a1f2.

mon: add check_privileges function to MonCaps

vstart: use 'allow *' notation instead of 'allow rwx'

osd: accept 'allow *' as an admin flag that sets allow_all
in the OSDCap.

osd: OSDCaps parses and stores auid permissions

mon: AuthMonitor doesn't overwrite allow_all bit
on incoming messages, only on initial connect.

mon: Add basic operator<< to MonCaps

mon: Accept 'allow *' as an admin flag that sets allow_all
in MonCaps.

mon: MonCaps parses and stores auid permissions

Also, rename MonServiceCap -> MonCap

thread: mask all signals on child threads

Mask all signals on any threads we create.  Since we don't use
signals for anything, this leaves the signal behavior to the
original parent thread or process linking in librados or
libceph.

timer: kill unused g_timer

mds: create mds.$id debug log symlink

...in addition to the current mds$num