dstart: put debug output on local disk

debug: allow output and output symlinks to go in different directories

logmonitor: append all notifications in a single file

set/check subprotocol versions

mon: clean up paxos service registration a bit.  rev disk format.

cleanup, whitespace

log: use of cascading dispatcher for log messages

dispatcher: cascading dispatch infrastructure

mon: keep pgmap consistent

We were cutting corners and updating the live map before it
committed to paxos, since pg stats aren't system critical.  This
can lead to problems due to the way "latest" is saved out, though,
and it can be confusing to see things jump backward in time.

osd: make replica scrub_map generation a subop

This puts build_scrub_map in a worker thread, _and_ ensures it is
serialized wrt any in-progress writes.

logclient: always print log messages to debug output

osd: fix up scrub error log formatting

logclient: optionally take a stringstream

osd: some scrub fixes

Don't drop locks just yet; atm this leaves the dout() prefix
exposed to concurrent modifications of pg state.

Don't requeue for scrub if already scrubbing.

Fix missing object detection bugs.

osd: fix pg_stats.reported value

osd: drop lock during most of scrub; only disallow concurrent writes

Make the PG go read-only during a scrub.  Only take the pg lock
when absolutely necessary.  Wait for any pending writes to
complete before starting the scrub.

osd: ignore dup scrub maps

osd: take pg ref on scrub_wq

osd: make scrub verify replica object attrs match

osd: fix pg stat acking in osd

log: logclient uses log types instead of log level

osd: check for missing clones in pick_read_snap

We may need to wait from op_read if we are missing a specific
clone.

osd: clear waiting_for_head when we pull the head; set skipped if we do

Need to ++skipped if we skip because we're waiting for the head
or else we'll incorrectly advanced requested_to.

Clear waiting_for_head entry when we pull a head we're waiting for.

osd: fix missing.add_event

We only should set have to prior_version if we aren't missing the
prior_version too!

kclient: fix NULL dereferencing oops

osd: version pg_stats_t with <epoch,version> pair; clean up pgmon a bit

osd: keep projected info on in-progress object modifications in memory

Since the primary delays its writes until after replicas ack, we need to
keep projected object info in memory for the duration, because the
semantics very much depend on whether the object exists and what its size
is (well, mainly the pg_stats do).

This can avoid re-parsing SnapSet et al for certain workloads hitting
the same objects repeatedly (e.g., mds journal objects).

osd: fix problems with propagation of info.stats during recovery

merge_log() is called on replicas, do don't use peer_info (which
is primary-only)!

osd: keep tabs on total object copies vs missing/degraded

Define degraded as an object copy that is not present in the
proper location.

osd: fix uninitialized var use

add missing header file declaration

osd: move logging messages to a common infrastructure

mon: clean up pg dump

osd: update stats on primary pull

osd: fix stupid no-op typo

Everything was showing up as a no-op.

osd: log scrub errors to central log

Merge branch 'diskformat' into unstable

mon: include last_scrub info in pg dump

osd: remove pg from recovery_wq with clear_primary_state

osd: make pg refcounting vs work queues constent

Either refcount items in queue, or don't.

osd: do clone scrub based on our generated scrub map

osd: scrub info in pg_stat_t.  scrub states.

osd: fix small quirk read_log missing generation

The missing entry .have field was probably wrong due to the use
of missing.add_event (which assumes missing is up to date wrt
the previous log entry).  Use the prior version we just pulled off
disk instead.

Also, be a bit more verbose.

mon: always discard pending on election completion

Previously we tried to save the pending if we were still the
leader.  The problem is that while we were not leader, we may have
missed out on some updates, in which case the pending may no longer
be based on the current state.

In the future, we could make the commit waiters smart about callback
return codes so that they try to reapply.  For now, don't worry
about it.

mds: update segment on ETableServer replay

Otherwise we may forget to flush table changes to disk before
trimming.

Also, clean up code a bit to use update_segment() whenever
possible (instead of duplicating the specific LogSegment update).

mds: print table version loaded during log replay

osd: default 2x pg only for now

osd: distributed scrub compares primary vs replica contents

The checks are still pretty trivial at this point.

osd: do not clear ops vector to indicate noop (protocol change)

The reply needs to include the full ops vector.  Use a separate
flag to indicate a noop.

osd: rewrite pg_stats queueing

Use an xlist instead of a separate map.  Avoid inefficient
requeueing and external map overhead.

osd: remove useless raid4pg from build

kclient: fix oops in case written size doesn't match request

kclient: some logs revision

osd: don't forget about skipped clones during recover_primary

Only advance requested_to if we haven't skipped any items.

always print snapids in hex

osd: log scrub errors to system log

mon: system-wide log

Pretty rudimentary still.

mds: pick_inode_snap should consider follows==0 valid

I suspect a larger audit of 'follows' semantics may be necessary..
but this fixes the bug I was seeing with:

echo asdf > a
mkdir .snap/1
echo qwer > b
mkdir .snap/2
echo zxcv > a
mkdir .snap/3
sync
cat .snap/1/a   # empty
ll .snap/*      # hangs

kclient: initialize some protocol fields

osd: log stats for push and pull bytes

mds: avoid overlapping release attempts

If the first release attempt is waiting for the log to flush, we
should avoid sending any RELEASED ack until all releases have
flushed.  That is, only the last release will ack.  Keep a counter
in Capability to do this.

Otherwise, we may close out a capability from under a release
that is flushing, and our seq # will be meaningless later in
_finish_release_cap() when we're trying to decide what to do.

kclient: avoid queueing cap_snap when nothing is dirty or writing

Save ourselves the trouble when there is nothing to flush

osd: send old_version to replicas

Otherwise CLONE entries in the PG log on replicas have 0'0 for
prior_version, and everything goes to hell.

osd: always get old_version; include in debug output

osd: show prior_version in log dump, output recovery_primary debug output

mds: suspend instead of suicide on beacon timeout

If we don't hear from the monitor, suspend doing any useful work instead
of just committing suicide.  If the monitor comes back and hasn't killed
us off, then we're fine.  If we've been marked as failed, we will shut
down as before.

filestore: show return codes in debug output

object: print snapid in hex

osd: allow admin to mark osd lost to kickstart recovery (disk format change)

This is important when an osd (or osds) may contain modifications
but is offline.  If the data is truly lost, we can kickstart
recovery.

Note that if the osd was storing metadata, this could be
especially dangerous!

osd: clean up pg_stat, osd_stat summation, fields a bit

kclient: no page cache for write without wrbuf cap

Merge branch 'unstable' of ssh://ceph.newdream.net/git/ceph into unstable

kclient: sync writes use page cache

kclient: clean out old BACKOFF bit flag, comments

osdmaptool: print new osd_info fields

down_at, last_clean interval, etc.

osd: make pg log dump obey debug levels

osd: rebuild past intervals when needed; tolerate partial info

Tolerate missing past_intervals attr.

Also, if only some past intervals are missing, rebuild them all; don't
assume that if any are there then all are there.

osd: send and process heartbeats in separate thread, channel

Use a separate dispatch thread to process heartbeats.  Use a
separate thread to send them.  This ensures something slow
(e.g. a map update) does not make an osd appear to be down.

This also means a spearate entity_addr for heartbeats, which puts
them over a separate TCP stream.

mds: do not purge until leases expire

lockdep: lockdep_dump_locks()

Handy for dumping held locks in gdb w/ 'p lockdep_dump_lock()'

rwlock: try_get_read, try_get_write

osd: optionally avoid zeroing trimmed log on disk

This is a half-hearted attempt to keep old PG log content around.  It'll
still be lost if a PG moves to another node or the entire log is written
to disk for some other reason.

kclient: fix bad check

kclient: slient down some log message

osd: skip peer_info on down osds

We don't clean old/down OSDs out of peer_info map, since we may not
restart peering when strays go up/down.  That's fine... just make sure
we ignore them later.

osd: remove bad PG::put() assertion

osd: fix lock inversion on workqueue shutdown

Simplify PG get/put vs lock/unlock.  Since we are reference counting with
an atomic_t, we don't need to re-use PG::lock to protect the reference
count.

todo

workqueue: deliberately leak string with lock name

Lockdep assumes strings are statically allocated.

Merge branch 'unstable' of ssh://yehudasa@ceph.newdream.net/git/ceph into unstable

wireshark: update for win32

osd: fix bad sub_op_push assertion; only write data we need

We adjust the pushed buffer so that we only write the portions
of it that we can't clone.

objectcacher: only call flushed callback if there are also no dirty buffers

Otherwise we call the flushed_callback too soon.

mds: fix up loner_cap whenever we manually change filelock state

This is kind of a pain.

osd: clean up touch() calls to use exists bool

We only need to touch of the head object itself doesn't exist.
Do so far all ops.  This works cleanly despite any op munging
above.

objectstore: fix touch()

Wrong opcode meant skewed args, and all kinds of badness.

mon: instruct individual pgs to scrub

Factor out pg parsing into pg_t.

osd: debug write_info a bit, clean up Transaction cruft

osd: initiate scrub via monitor message

objecter: scan_pgs even on original full map

We may have queued ops before getting _any_ map; those still need to
be kicked.