Merge branch 'diskformat' into unstable

mon: include last_scrub info in pg dump

osd: remove pg from recovery_wq with clear_primary_state

osd: make pg refcounting vs work queues constent

Either refcount items in queue, or don't.

osd: do clone scrub based on our generated scrub map

osd: scrub info in pg_stat_t.  scrub states.

osd: fix small quirk read_log missing generation

The missing entry .have field was probably wrong due to the use
of missing.add_event (which assumes missing is up to date wrt
the previous log entry).  Use the prior version we just pulled off
disk instead.

Also, be a bit more verbose.

mon: always discard pending on election completion

Previously we tried to save the pending if we were still the
leader.  The problem is that while we were not leader, we may have
missed out on some updates, in which case the pending may no longer
be based on the current state.

In the future, we could make the commit waiters smart about callback
return codes so that they try to reapply.  For now, don't worry
about it.

mds: update segment on ETableServer replay

Otherwise we may forget to flush table changes to disk before
trimming.

Also, clean up code a bit to use update_segment() whenever
possible (instead of duplicating the specific LogSegment update).

mds: print table version loaded during log replay

osd: default 2x pg only for now

osd: distributed scrub compares primary vs replica contents

The checks are still pretty trivial at this point.

osd: do not clear ops vector to indicate noop (protocol change)

The reply needs to include the full ops vector.  Use a separate
flag to indicate a noop.

osd: rewrite pg_stats queueing

Use an xlist instead of a separate map.  Avoid inefficient
requeueing and external map overhead.

osd: remove useless raid4pg from build

kclient: fix oops in case written size doesn't match request

kclient: some logs revision

osd: don't forget about skipped clones during recover_primary

Only advance requested_to if we haven't skipped any items.

always print snapids in hex

osd: log scrub errors to system log

mon: system-wide log

Pretty rudimentary still.

mds: pick_inode_snap should consider follows==0 valid

I suspect a larger audit of 'follows' semantics may be necessary..
but this fixes the bug I was seeing with:

echo asdf > a
mkdir .snap/1
echo qwer > b
mkdir .snap/2
echo zxcv > a
mkdir .snap/3
sync
cat .snap/1/a   # empty
ll .snap/*      # hangs

kclient: initialize some protocol fields

osd: log stats for push and pull bytes

mds: avoid overlapping release attempts

If the first release attempt is waiting for the log to flush, we
should avoid sending any RELEASED ack until all releases have
flushed.  That is, only the last release will ack.  Keep a counter
in Capability to do this.

Otherwise, we may close out a capability from under a release
that is flushing, and our seq # will be meaningless later in
_finish_release_cap() when we're trying to decide what to do.

kclient: avoid queueing cap_snap when nothing is dirty or writing

Save ourselves the trouble when there is nothing to flush

osd: send old_version to replicas

Otherwise CLONE entries in the PG log on replicas have 0'0 for
prior_version, and everything goes to hell.

osd: always get old_version; include in debug output

osd: show prior_version in log dump, output recovery_primary debug output

mds: suspend instead of suicide on beacon timeout

If we don't hear from the monitor, suspend doing any useful work instead
of just committing suicide.  If the monitor comes back and hasn't killed
us off, then we're fine.  If we've been marked as failed, we will shut
down as before.

filestore: show return codes in debug output

object: print snapid in hex

osd: allow admin to mark osd lost to kickstart recovery (disk format change)

This is important when an osd (or osds) may contain modifications
but is offline.  If the data is truly lost, we can kickstart
recovery.

Note that if the osd was storing metadata, this could be
especially dangerous!

osd: clean up pg_stat, osd_stat summation, fields a bit

kclient: no page cache for write without wrbuf cap

Merge branch 'unstable' of ssh://ceph.newdream.net/git/ceph into unstable

kclient: sync writes use page cache

kclient: clean out old BACKOFF bit flag, comments

osdmaptool: print new osd_info fields

down_at, last_clean interval, etc.

osd: make pg log dump obey debug levels

osd: rebuild past intervals when needed; tolerate partial info

Tolerate missing past_intervals attr.

Also, if only some past intervals are missing, rebuild them all; don't
assume that if any are there then all are there.

osd: send and process heartbeats in separate thread, channel

Use a separate dispatch thread to process heartbeats.  Use a
separate thread to send them.  This ensures something slow
(e.g. a map update) does not make an osd appear to be down.

This also means a spearate entity_addr for heartbeats, which puts
them over a separate TCP stream.

mds: do not purge until leases expire

lockdep: lockdep_dump_locks()

Handy for dumping held locks in gdb w/ 'p lockdep_dump_lock()'

rwlock: try_get_read, try_get_write

osd: optionally avoid zeroing trimmed log on disk

This is a half-hearted attempt to keep old PG log content around.  It'll
still be lost if a PG moves to another node or the entire log is written
to disk for some other reason.

kclient: fix bad check

kclient: slient down some log message

osd: skip peer_info on down osds

We don't clean old/down OSDs out of peer_info map, since we may not
restart peering when strays go up/down.  That's fine... just make sure
we ignore them later.

osd: remove bad PG::put() assertion

osd: fix lock inversion on workqueue shutdown

Simplify PG get/put vs lock/unlock.  Since we are reference counting with
an atomic_t, we don't need to re-use PG::lock to protect the reference
count.

todo

workqueue: deliberately leak string with lock name

Lockdep assumes strings are statically allocated.

Merge branch 'unstable' of ssh://yehudasa@ceph.newdream.net/git/ceph into unstable

wireshark: update for win32

osd: fix bad sub_op_push assertion; only write data we need

We adjust the pushed buffer so that we only write the portions
of it that we can't clone.

objectcacher: only call flushed callback if there are also no dirty buffers

Otherwise we call the flushed_callback too soon.

mds: fix up loner_cap whenever we manually change filelock state

This is kind of a pain.

osd: clean up touch() calls to use exists bool

We only need to touch of the head object itself doesn't exist.
Do so far all ops.  This works cleanly despite any op munging
above.

objectstore: fix touch()

Wrong opcode meant skewed args, and all kinds of badness.

mon: instruct individual pgs to scrub

Factor out pg parsing into pg_t.

osd: debug write_info a bit, clean up Transaction cruft

osd: initiate scrub via monitor message

objecter: scan_pgs even on original full map

We may have queued ops before getting _any_ map; those still need to
be kicked.

osd: ensure target osd is still up when sending MPGRemoves

osd: move stats into PG::Info (disk format change)

We want the pg stats to propagate along with last_update.  Do so
in merge_log.

Also, stop doing delayed stats update on primary; we always update
the in-core copy of Info, and only delay applying the transaction
to disk.  At least currently.

osd: (re)set degraded flag on activate

This ensures the bit is properly set on newly created PGs..

timer: discard unfired events on shutdown

Mostly this just cleans up valgrind leak check output.

client: fix use-after-free

put_node at the end.

msgr: discard queued messages when closing pipe

These were leaking whenever we, say, did mark_down().

objectcacher: do callbacks _last_ to avoid a use-after-free

The callback may call back into release_set, so do not assume any pointers
will remain valid after the callback.

mds: initialize CInode::loner_cap when twiddling filelock states after reconnect

loner_cap must either be defined or not defined to match the lock states.

objecter: use full osdmap to get started

Previously we requested and then decoded the full history of incrementals,
a big waste of time during startup.

osd: ensure 0-byte object created by push

Specifically, a zero-length HEAD object whose snapset we care
about.

osd: mark repops aborteds in on_shutdown

Otherwise the op_modify_ondisk() completion gets confused.

dstart: show filestore ops

osd: clear out workqueue queues on shutdown

mon: show both user data and actual disk space used

debug: rotate old courtesy symlinks to .0, .1, etc.

This will make it much easier to find the next-oldest instantiation of
osd foo.

osd: remove bad assertion in op_modify_ondisk

We may not be in waitfor_disk if we are marked failed and
on_osd_failure acked and removed us from the set.

osd: fix clone push when head is correct old version

If the replica's head is the clone source version, our push should instruct
the replica to clone its contents.

mds: remove anchors when destroy stray inodes

purge_stray() is now the sole caller of anchor_destroy, so we can still
avoid any locking considerations.

mds: clean up request write condition, can_forward logic a bit

osd: fix rare memory leak

cmonctl: print summary every 20 lines when in watch mode

osd: fix up recovery pointers a bit

wireshark: wireshark ceph plugin patch

osd: be a bit more verbose in push_to_replica

osd: lots of fixes

todos

osd: clean up repop code

osd: fix up repop_ack

osd: ack type in osd sub ops

osd: infrastructure for ack vs nvram vs disk osd_op ack types

NVRAM ack not generated, yet.  The completion callbacks from the store
need some work first.

os: separate onjournal, ondisk callbacks for apply_transaction

context: all C_Gather to OR instead of AND subs.

That is, call completion when first sub completes.

osd: remove snap collection after it is trimmed

We can still end up with empty collections for existing snaps but no
local objects.  However, they'll eventually go away when the snap is
deleted, so who cares.

os: add collection_empty method

todos

osd: reply with EBLACKLISTED if sender is blacklisted

Move reply_op_error helper into OSD.cc.