mon: 'pg map <pgid>' command

To see current pg -> osd mapping

mon: 'osd dump' command; refactor sstream->bufferlist code a bit

osdmap: use print method from osdmaptool

osd: pause scrub wq async

The scrub _process() worker may be waiting on a message from a replica, so
we can't pause it synchronously.  Instead, pause_new() to just prevent
new workers from starting.

osd: lock pg before calling on_shutdown

osd: fix degraded figure calculation typo

cmonctl: resend command if monitor is not responsive

cmonctl: interactive mode using libedit

osd: log scrub ok

mon: rename out to log, log.type files

mon: notify PaxosService of any paxos state changes

mon: dump full pgmap on each state change (for debugging)

osd: don't die on stray sub op acks

If a replica drops out of the pg, we force and ack in on_change(), but
may still get it later.  Don't freak out.

osd: generate_backlog sanity check

If item is on disk and log, then log entry shouldn't be a delete.

osd: fix merge_log divergent item detection

An item in our log isn't divergent if it is below the bottom of
olog.  Using the last_kept item isn't helpful here because
last_kept is in olog, and may be below that log's bottom.

osd: clean on ondisklog a bit

Express as extent, not interval.

osd: make read_log output a bit more informative

vstart: only sudo if -e dev/sudo

osd: revise missing map adjustment

Rewrite helpers in terms of how they are actually used.

osd: mark backlog events as BACKLOG

This is purely to make the logs easier to read.

osd: generate_backlog fixes

Generate backlog records even if the object appears in the log if
the existing entry's prior_version in non-zero and isn't also
in the log.  This allows us to accurately generate the .have field
when we are building the missing map.

crush: add include

kclient: reduce stack usage

mon: 'osd scrub \*' to scrub all osds

filestore: fix up listxattr buffer management a bit

dstart: put debug output on local disk

debug: allow output and output symlinks to go in different directories

logmonitor: append all notifications in a single file

set/check subprotocol versions

mon: clean up paxos service registration a bit.  rev disk format.

cleanup, whitespace

log: use of cascading dispatcher for log messages

dispatcher: cascading dispatch infrastructure

mon: keep pgmap consistent

We were cutting corners and updating the live map before it
committed to paxos, since pg stats aren't system critical.  This
can lead to problems due to the way "latest" is saved out, though,
and it can be confusing to see things jump backward in time.

osd: make replica scrub_map generation a subop

This puts build_scrub_map in a worker thread, _and_ ensures it is
serialized wrt any in-progress writes.

logclient: always print log messages to debug output

osd: fix up scrub error log formatting

logclient: optionally take a stringstream

osd: some scrub fixes

Don't drop locks just yet; atm this leaves the dout() prefix
exposed to concurrent modifications of pg state.

Don't requeue for scrub if already scrubbing.

Fix missing object detection bugs.

osd: fix pg_stats.reported value

osd: drop lock during most of scrub; only disallow concurrent writes

Make the PG go read-only during a scrub.  Only take the pg lock
when absolutely necessary.  Wait for any pending writes to
complete before starting the scrub.

osd: ignore dup scrub maps

osd: take pg ref on scrub_wq

osd: make scrub verify replica object attrs match

osd: fix pg stat acking in osd

log: logclient uses log types instead of log level

osd: check for missing clones in pick_read_snap

We may need to wait from op_read if we are missing a specific
clone.

osd: clear waiting_for_head when we pull the head; set skipped if we do

Need to ++skipped if we skip because we're waiting for the head
or else we'll incorrectly advanced requested_to.

Clear waiting_for_head entry when we pull a head we're waiting for.

osd: fix missing.add_event

We only should set have to prior_version if we aren't missing the
prior_version too!

kclient: fix NULL dereferencing oops

osd: version pg_stats_t with <epoch,version> pair; clean up pgmon a bit

osd: keep projected info on in-progress object modifications in memory

Since the primary delays its writes until after replicas ack, we need to
keep projected object info in memory for the duration, because the
semantics very much depend on whether the object exists and what its size
is (well, mainly the pg_stats do).

This can avoid re-parsing SnapSet et al for certain workloads hitting
the same objects repeatedly (e.g., mds journal objects).

osd: fix problems with propagation of info.stats during recovery

merge_log() is called on replicas, do don't use peer_info (which
is primary-only)!

osd: keep tabs on total object copies vs missing/degraded

Define degraded as an object copy that is not present in the
proper location.

osd: fix uninitialized var use

add missing header file declaration

osd: move logging messages to a common infrastructure

mon: clean up pg dump

osd: update stats on primary pull

osd: fix stupid no-op typo

Everything was showing up as a no-op.

osd: log scrub errors to central log

Merge branch 'diskformat' into unstable

mon: include last_scrub info in pg dump

osd: remove pg from recovery_wq with clear_primary_state

osd: make pg refcounting vs work queues constent

Either refcount items in queue, or don't.

osd: do clone scrub based on our generated scrub map

osd: scrub info in pg_stat_t.  scrub states.

osd: fix small quirk read_log missing generation

The missing entry .have field was probably wrong due to the use
of missing.add_event (which assumes missing is up to date wrt
the previous log entry).  Use the prior version we just pulled off
disk instead.

Also, be a bit more verbose.

mon: always discard pending on election completion

Previously we tried to save the pending if we were still the
leader.  The problem is that while we were not leader, we may have
missed out on some updates, in which case the pending may no longer
be based on the current state.

In the future, we could make the commit waiters smart about callback
return codes so that they try to reapply.  For now, don't worry
about it.

mds: update segment on ETableServer replay

Otherwise we may forget to flush table changes to disk before
trimming.

Also, clean up code a bit to use update_segment() whenever
possible (instead of duplicating the specific LogSegment update).

mds: print table version loaded during log replay

osd: default 2x pg only for now

osd: distributed scrub compares primary vs replica contents

The checks are still pretty trivial at this point.

osd: do not clear ops vector to indicate noop (protocol change)

The reply needs to include the full ops vector.  Use a separate
flag to indicate a noop.

osd: rewrite pg_stats queueing

Use an xlist instead of a separate map.  Avoid inefficient
requeueing and external map overhead.

osd: remove useless raid4pg from build

kclient: fix oops in case written size doesn't match request

kclient: some logs revision

osd: don't forget about skipped clones during recover_primary

Only advance requested_to if we haven't skipped any items.

always print snapids in hex

osd: log scrub errors to system log

mon: system-wide log

Pretty rudimentary still.

mds: pick_inode_snap should consider follows==0 valid

I suspect a larger audit of 'follows' semantics may be necessary..
but this fixes the bug I was seeing with:

echo asdf > a
mkdir .snap/1
echo qwer > b
mkdir .snap/2
echo zxcv > a
mkdir .snap/3
sync
cat .snap/1/a   # empty
ll .snap/*      # hangs

kclient: initialize some protocol fields

osd: log stats for push and pull bytes

mds: avoid overlapping release attempts

If the first release attempt is waiting for the log to flush, we
should avoid sending any RELEASED ack until all releases have
flushed.  That is, only the last release will ack.  Keep a counter
in Capability to do this.

Otherwise, we may close out a capability from under a release
that is flushing, and our seq # will be meaningless later in
_finish_release_cap() when we're trying to decide what to do.

kclient: avoid queueing cap_snap when nothing is dirty or writing

Save ourselves the trouble when there is nothing to flush

osd: send old_version to replicas

Otherwise CLONE entries in the PG log on replicas have 0'0 for
prior_version, and everything goes to hell.

osd: always get old_version; include in debug output

osd: show prior_version in log dump, output recovery_primary debug output

mds: suspend instead of suicide on beacon timeout

If we don't hear from the monitor, suspend doing any useful work instead
of just committing suicide.  If the monitor comes back and hasn't killed
us off, then we're fine.  If we've been marked as failed, we will shut
down as before.

filestore: show return codes in debug output

object: print snapid in hex

osd: allow admin to mark osd lost to kickstart recovery (disk format change)

This is important when an osd (or osds) may contain modifications
but is offline.  If the data is truly lost, we can kickstart
recovery.

Note that if the osd was storing metadata, this could be
especially dangerous!

osd: clean up pg_stat, osd_stat summation, fields a bit

kclient: no page cache for write without wrbuf cap

Merge branch 'unstable' of ssh://ceph.newdream.net/git/ceph into unstable

kclient: sync writes use page cache

kclient: clean out old BACKOFF bit flag, comments

osdmaptool: print new osd_info fields

down_at, last_clean interval, etc.