dstart.sh: larger cluster

mds: fix replay lookup of snapshotted null dentries

Look up replayed dentry by dnLAST, not dnfirst, as we do with
primary and remote dentries, because that is how we identify
dentry instances in the timeline.

objecter: fix read scatter/gather

osd: pass at_version by reference, so that cloning works

mds: remove spurious warning

osd: ignore logs i don't expect without freaking out

We may get a log we didn't think we requested if the prior_set gets rebuilt
or our peering is restarted for some other reason.  Just ignore it, instead
of asserting.

osd: assert length on write, zero

objecter: whoops, do DELETE, not ZERO

osd: fix typo/bug when picking osd to pull missing object from

osd: fix missing vs lost counting idiocy

filestore: cope with zero-length attribute values

ebofs: cope with zero-length attribute values

osd: use modify flag to decide whether to take read fast path

kclient: fix up writes, reads for new op structure

Make sure osdc_readpages still returns bytes read, even though the
overall message result does not (pull it from the op.length).

Set MODIFY flag.

osd: MODIFY is a flag; fix up op_read

osd: simple higher-order append mutation

kclient: fix osd reply handler sanity check

objecter: destructively take ops[], bufferlist passed to read(), modify().

Small optimization.

mds: set path attr on directory objects

osd: object attr operations

objecter: tweaking interface

objecter: simplify objecter (no scatter/gather, generic ops vector)

osdc: avoid using objecter readx/writex

osd: compound osd operations

client: adjust objecter locking

We want to unlock client_lock before claling into objecter, mainly because the callbacks
rely on SafeCond that take a lock to signal a Cond and that gets awkward without mutex
recursion (see _write()'s sync case).

osd: track recovery sources independently of missing list

Fixes pull() to choose an osd that isn't down.

mds: debug session ref in EMetaBlob during replay

mds: match last snap exactly on replay, add_*_dentry

In general, we add new snapped dentries and THEN the new live dentry
to the metablob.  That means that during replay, we see [2,2] followed
by [3,head], replacing [2,head].  The [2,2] dentry should be added
anew, without paying heed to [2,head], and then the [3,head] should
replace/update [2,head].

It was mainly just the assertions in add_*_dentry that were getting
in the way.. but the lookup_exact_snap is also slightly faster.

Merge branch 'unstable' of ssh://ceph.newdream.net/git/ceph into unstable

kclient: when going down, release caps anyway

mon: avoid updating pg_map when osd_stat is unchanged

cmonctl: -w or --watch to watch (and print) mds/osd/pg stat changes

mds: don't cow a null dentry

kclient: sparse warnings

vstart.sh: add usage of $CEPH_BIN

osd: don't repeer an active pg just because the prior_set was affected

We only want to restart peering due to prior_set changes if it hasn't completed
yet.

mds: check dn->last when finding existing dentries during replay

We can't simply search for an existing dentry based on the name and end
snap, as that may turn up the wrong item.  For example, if we have
[2,head] and the replaying operations cowed that to [2,2] and [3,head], then
if we replay the [2,2] item first we'll find [2,head] (the _wrong_ dentry)
and throw an assertion.

So just check for dn->last != p->dnlast.

todos

ebofs: another recursive lock bug

osd: turn up debug on any shutdown, not just SIGINT/SIGTERM, for now

msgr: fix problem with forced stop of pipe

ebofs: fix lock recursion

mon: handle invalid commands to pgmon

osd: add degraded pg state bit

osd: improve build_prior logic

If, during some interval since the pg last went active, we may have gone
rw, but none of the osds survived, then we include all of those osds
in the prior_set (even tho they're down), because they may have written data
that we want.

The prior logic appears to have been broken.  It was only looking at the
primary osd.

osd: turn up debugging on SIGINT/TERM

osd: fix osd_lock recursion in wake_snap_trimmer

kclient: bookkeeper detects buffer overrun

kclient: frag_make_child fix (sage)

osd: don't pull if source osd is down

kclient: ran checkpatch

todos

synclient: fix debug prefix

cfuse: fix symlink call

vstart.sh

fix env parsing

streamtest: fix debug

vstartnew.sh: clean out gmon

journal: debugging journal full

dstart.sh: -d flag

config: parse CEPH_ARGS env var too

client: fix client_lock recursion

rewrite debug macros, infrastructure

try to chdir on exit to avoid clobbering ./gmon.out

osd: fix prior_set_up_thru condition

If an OSD's up_thru affects the membership of the prior_set, take note.
Then, if the osd's up_thru changes later, we know to rebuild it.

osd: fix PG::Info::History::same_since adjustment in advance_map

...now that we may reach this code even when the acting set is unchanged.

osd: repeer osd if prior set may be affected

Previously we only repeered if the active set changed.  However, changes
in the up/down state of the prior set (or prior set candidates) or the
primary osd's up_thru can also affect the prior set and peering.

This fixes the problem where PGs get stuck in a "crashed" state without
moving to "crashed+replay".  We sit and wait for info from a peer who
we thought was up but is now down, or vice-versa.

osd: shutdown cleanly on SIGINT, too

osd: clean up shutdown sequence

osd: shutdown cleanly on SIGTERM

filestore: lock fsid file to avoid multiple users

journal: fix recursive locking when queueing commit callback; simplify

lockdep: separate from Mutex; include checks for RWLock

osd: remove odd divergent log assertion

The divergent log handling is still broken in the face of backlogs, as we
can't really know if an item is really divergent or if it was deleted.
Since we can only diverge with administrator intervention, this is at least
not something we need to worry about _too_ much for now...

osd: put pg logs in collection 0, not the pg itself

This avoids having to special case the log object when generating backlog,
etc.

osd: fix recovery deferral

dstart.sh: debug journal

osd: mention pgs that do not change during advance_map()

I was seeing a missed clear_primary_state() for some pgs... not sure why
advance_map() missed them.  Having trouble reproducing.

journal: ensure we see a clean sequence of entries on read/replay

Only lightly tested, but so far so good.

msgr: reorder locking in mark_down()

There was a strange series of crashes when retaking Pipe::lock inside
stop().  Not exactly sure why, but this simplifies locking slightly, and
behaves.

dstart.sh: enable lockdep

osd: fix recursive lock on remove_list_lock

queue_for_removal() takes the lock inside the loop.

msgr: fix recursive locking in mark_down()

pipe::stop() takes the rank lock when it needs it.

osd: avoid locking multiple pgs at once

This is just to satisfy lockdep.

lockdep: error out on recursive locks

There is no checking between instances, here.. this currently just
assumes that if you take two locks of the same type that that is bad.
(In practice, the caller could do this safely with some care.)

mutex: non-recursive by default

mutex: remove nlock assertions

These do not work when we cond.Wait(lock), because the lock drop via the
Cond wait does not decrement nlock.  Just remove them, they're obvious
anyway.

/bin/bash, not /bin/sh

lockdep: faster

crun: no let

lockdep: use static array for dependency map

fakemsgr: missing mutex annotation

lockdep: assign numeric ids to each lock type

lockdep: only track/show held lock backtraces if --lockdep 2

reopen log files on usespace daemons when getting a HUP signal

lockdep: BackTrace.h

vstartnew.sh: enable lockdep

msgr: fix lock ordering on accept()

lockdep: fix include

ebofs: avoid taking mutex recursively