osd: track recovery sources independently of missing list

Fixes pull() to choose an osd that isn't down.

mds: debug session ref in EMetaBlob during replay

mds: match last snap exactly on replay, add_*_dentry

In general, we add new snapped dentries and THEN the new live dentry
to the metablob.  That means that during replay, we see [2,2] followed
by [3,head], replacing [2,head].  The [2,2] dentry should be added
anew, without paying heed to [2,head], and then the [3,head] should
replace/update [2,head].

It was mainly just the assertions in add_*_dentry that were getting
in the way.. but the lookup_exact_snap is also slightly faster.

Merge branch 'unstable' of ssh://ceph.newdream.net/git/ceph into unstable

kclient: when going down, release caps anyway

mon: avoid updating pg_map when osd_stat is unchanged

cmonctl: -w or --watch to watch (and print) mds/osd/pg stat changes

mds: don't cow a null dentry

kclient: sparse warnings

vstart.sh: add usage of $CEPH_BIN

osd: don't repeer an active pg just because the prior_set was affected

We only want to restart peering due to prior_set changes if it hasn't completed
yet.

mds: check dn->last when finding existing dentries during replay

We can't simply search for an existing dentry based on the name and end
snap, as that may turn up the wrong item.  For example, if we have
[2,head] and the replaying operations cowed that to [2,2] and [3,head], then
if we replay the [2,2] item first we'll find [2,head] (the _wrong_ dentry)
and throw an assertion.

So just check for dn->last != p->dnlast.

todos

ebofs: another recursive lock bug

osd: turn up debug on any shutdown, not just SIGINT/SIGTERM, for now

msgr: fix problem with forced stop of pipe

ebofs: fix lock recursion

mon: handle invalid commands to pgmon

osd: add degraded pg state bit

osd: improve build_prior logic

If, during some interval since the pg last went active, we may have gone
rw, but none of the osds survived, then we include all of those osds
in the prior_set (even tho they're down), because they may have written data
that we want.

The prior logic appears to have been broken.  It was only looking at the
primary osd.

osd: turn up debugging on SIGINT/TERM

osd: fix osd_lock recursion in wake_snap_trimmer

kclient: bookkeeper detects buffer overrun

kclient: frag_make_child fix (sage)

osd: don't pull if source osd is down

kclient: ran checkpatch

todos

synclient: fix debug prefix

cfuse: fix symlink call

vstart.sh

fix env parsing

streamtest: fix debug

vstartnew.sh: clean out gmon

journal: debugging journal full

dstart.sh: -d flag

config: parse CEPH_ARGS env var too

client: fix client_lock recursion

rewrite debug macros, infrastructure

try to chdir on exit to avoid clobbering ./gmon.out

osd: fix prior_set_up_thru condition

If an OSD's up_thru affects the membership of the prior_set, take note.
Then, if the osd's up_thru changes later, we know to rebuild it.

osd: fix PG::Info::History::same_since adjustment in advance_map

...now that we may reach this code even when the acting set is unchanged.

osd: repeer osd if prior set may be affected

Previously we only repeered if the active set changed.  However, changes
in the up/down state of the prior set (or prior set candidates) or the
primary osd's up_thru can also affect the prior set and peering.

This fixes the problem where PGs get stuck in a "crashed" state without
moving to "crashed+replay".  We sit and wait for info from a peer who
we thought was up but is now down, or vice-versa.

osd: shutdown cleanly on SIGINT, too

osd: clean up shutdown sequence

osd: shutdown cleanly on SIGTERM

filestore: lock fsid file to avoid multiple users

journal: fix recursive locking when queueing commit callback; simplify

lockdep: separate from Mutex; include checks for RWLock

osd: remove odd divergent log assertion

The divergent log handling is still broken in the face of backlogs, as we
can't really know if an item is really divergent or if it was deleted.
Since we can only diverge with administrator intervention, this is at least
not something we need to worry about _too_ much for now...

osd: put pg logs in collection 0, not the pg itself

This avoids having to special case the log object when generating backlog,
etc.

osd: fix recovery deferral

dstart.sh: debug journal

osd: mention pgs that do not change during advance_map()

I was seeing a missed clear_primary_state() for some pgs... not sure why
advance_map() missed them.  Having trouble reproducing.

journal: ensure we see a clean sequence of entries on read/replay

Only lightly tested, but so far so good.

msgr: reorder locking in mark_down()

There was a strange series of crashes when retaking Pipe::lock inside
stop().  Not exactly sure why, but this simplifies locking slightly, and
behaves.

dstart.sh: enable lockdep

osd: fix recursive lock on remove_list_lock

queue_for_removal() takes the lock inside the loop.

msgr: fix recursive locking in mark_down()

pipe::stop() takes the rank lock when it needs it.

osd: avoid locking multiple pgs at once

This is just to satisfy lockdep.

lockdep: error out on recursive locks

There is no checking between instances, here.. this currently just
assumes that if you take two locks of the same type that that is bad.
(In practice, the caller could do this safely with some care.)

mutex: non-recursive by default

mutex: remove nlock assertions

These do not work when we cond.Wait(lock), because the lock drop via the
Cond wait does not decrement nlock.  Just remove them, they're obvious
anyway.

/bin/bash, not /bin/sh

lockdep: faster

crun: no let

lockdep: use static array for dependency map

fakemsgr: missing mutex annotation

lockdep: assign numeric ids to each lock type

lockdep: only track/show held lock backtraces if --lockdep 2

reopen log files on usespace daemons when getting a HUP signal

lockdep: BackTrace.h

vstartnew.sh: enable lockdep

msgr: fix lock ordering on accept()

lockdep: fix include

ebofs: avoid taking mutex recursively

lockdep: disable on _dout_lock

lockdep: include Mutex.cc

lockdep: disable on per-mutex basis (and do so for atomic_t)

You should disable it if you _know_ you are an inner mutex, and
will never try to acquire another lock while you are held.

lockdep: enable with '--lockdep 1', off by default.

lockdep: make it work

lockdep: annotate Mutex declarations

msgr: set lossy flag on connect attempt

kclient: style, tabs

crush: no debug output

crush: dprintk lameness

crush todos

crush: fall back to a linear search if pseudorandom mapping isn't finding anything

crush todo

dstart.sh: use chooseleaf for data, cas crush rules

crush: fix list bucket, chooseleaf behavior

osdmaptool: test pg mapping

makefile: make --with-debug work, fix build errors

osd: report pg osds, osd peers to pgmonitor; include in pg dump

kclient: keep a pointer to the current snap context in the inode

kclient: use current snap context if not found

kclient: don't register a new bdi for the same client

osd: do all recovery operations in dedicated recovery thread

dstart.sh: 2x rep only

dstop.sh: stop crun too

kclient: override rdcache invalidation time when going down