osd: make pg refcounting vs work queues constent

Either refcount items in queue, or don't.

osd: do clone scrub based on our generated scrub map

osd: scrub info in pg_stat_t.  scrub states.

osd: distributed scrub compares primary vs replica contents

The checks are still pretty trivial at this point.

osd: log scrub errors to system log

mon: system-wide log

Pretty rudimentary still.

osd: allow admin to mark osd lost to kickstart recovery (disk format change)

This is important when an osd (or osds) may contain modifications
but is offline.  If the data is truly lost, we can kickstart
recovery.

Note that if the osd was storing metadata, this could be
especially dangerous!

osd: clean up pg_stat, osd_stat summation, fields a bit

Merge branch 'unstable' of ssh://ceph.newdream.net/git/ceph into unstable

kclient: sync writes use page cache

kclient: clean out old BACKOFF bit flag, comments

osdmaptool: print new osd_info fields

down_at, last_clean interval, etc.

osd: make pg log dump obey debug levels

osd: rebuild past intervals when needed; tolerate partial info

Tolerate missing past_intervals attr.

Also, if only some past intervals are missing, rebuild them all; don't
assume that if any are there then all are there.

osd: send and process heartbeats in separate thread, channel

Use a separate dispatch thread to process heartbeats.  Use a
separate thread to send them.  This ensures something slow
(e.g. a map update) does not make an osd appear to be down.

This also means a spearate entity_addr for heartbeats, which puts
them over a separate TCP stream.

mds: do not purge until leases expire

lockdep: lockdep_dump_locks()

Handy for dumping held locks in gdb w/ 'p lockdep_dump_lock()'

rwlock: try_get_read, try_get_write

osd: optionally avoid zeroing trimmed log on disk

This is a half-hearted attempt to keep old PG log content around.  It'll
still be lost if a PG moves to another node or the entire log is written
to disk for some other reason.

kclient: fix bad check

kclient: slient down some log message

osd: skip peer_info on down osds

We don't clean old/down OSDs out of peer_info map, since we may not
restart peering when strays go up/down.  That's fine... just make sure
we ignore them later.

osd: remove bad PG::put() assertion

osd: fix lock inversion on workqueue shutdown

Simplify PG get/put vs lock/unlock.  Since we are reference counting with
an atomic_t, we don't need to re-use PG::lock to protect the reference
count.

todo

workqueue: deliberately leak string with lock name

Lockdep assumes strings are statically allocated.

Merge branch 'unstable' of ssh://yehudasa@ceph.newdream.net/git/ceph into unstable

wireshark: update for win32

osd: fix bad sub_op_push assertion; only write data we need

We adjust the pushed buffer so that we only write the portions
of it that we can't clone.

objectcacher: only call flushed callback if there are also no dirty buffers

Otherwise we call the flushed_callback too soon.

mds: fix up loner_cap whenever we manually change filelock state

This is kind of a pain.

osd: clean up touch() calls to use exists bool

We only need to touch of the head object itself doesn't exist.
Do so far all ops.  This works cleanly despite any op munging
above.

objectstore: fix touch()

Wrong opcode meant skewed args, and all kinds of badness.

mon: instruct individual pgs to scrub

Factor out pg parsing into pg_t.

osd: debug write_info a bit, clean up Transaction cruft

osd: initiate scrub via monitor message

objecter: scan_pgs even on original full map

We may have queued ops before getting _any_ map; those still need to
be kicked.

osd: ensure target osd is still up when sending MPGRemoves

osd: move stats into PG::Info (disk format change)

We want the pg stats to propagate along with last_update.  Do so
in merge_log.

Also, stop doing delayed stats update on primary; we always update
the in-core copy of Info, and only delay applying the transaction
to disk.  At least currently.

osd: (re)set degraded flag on activate

This ensures the bit is properly set on newly created PGs..

timer: discard unfired events on shutdown

Mostly this just cleans up valgrind leak check output.

client: fix use-after-free

put_node at the end.

msgr: discard queued messages when closing pipe

These were leaking whenever we, say, did mark_down().

objectcacher: do callbacks _last_ to avoid a use-after-free

The callback may call back into release_set, so do not assume any pointers
will remain valid after the callback.

mds: initialize CInode::loner_cap when twiddling filelock states after reconnect

loner_cap must either be defined or not defined to match the lock states.

objecter: use full osdmap to get started

Previously we requested and then decoded the full history of incrementals,
a big waste of time during startup.

osd: ensure 0-byte object created by push

Specifically, a zero-length HEAD object whose snapset we care
about.

osd: mark repops aborteds in on_shutdown

Otherwise the op_modify_ondisk() completion gets confused.

dstart: show filestore ops

osd: clear out workqueue queues on shutdown

mon: show both user data and actual disk space used

debug: rotate old courtesy symlinks to .0, .1, etc.

This will make it much easier to find the next-oldest instantiation of
osd foo.

osd: remove bad assertion in op_modify_ondisk

We may not be in waitfor_disk if we are marked failed and
on_osd_failure acked and removed us from the set.

osd: fix clone push when head is correct old version

If the replica's head is the clone source version, our push should instruct
the replica to clone its contents.

mds: remove anchors when destroy stray inodes

purge_stray() is now the sole caller of anchor_destroy, so we can still
avoid any locking considerations.

mds: clean up request write condition, can_forward logic a bit

osd: fix rare memory leak

cmonctl: print summary every 20 lines when in watch mode

osd: fix up recovery pointers a bit

wireshark: wireshark ceph plugin patch

osd: be a bit more verbose in push_to_replica

osd: lots of fixes

todos

osd: clean up repop code

osd: fix up repop_ack

osd: ack type in osd sub ops

osd: infrastructure for ack vs nvram vs disk osd_op ack types

NVRAM ack not generated, yet.  The completion callbacks from the store
need some work first.

os: separate onjournal, ondisk callbacks for apply_transaction

context: all C_Gather to OR instead of AND subs.

That is, call completion when first sub completes.

osd: remove snap collection after it is trimmed

We can still end up with empty collections for existing snaps but no
local objects.  However, they'll eventually go away when the snap is
deleted, so who cares.

os: add collection_empty method

todos

osd: reply with EBLACKLISTED if sender is blacklisted

Move reply_op_error helper into OSD.cc.

osd: include a blacklist in the OSDMap

osd: comment

rev wire, disk formats

osdmap encoding changed.

osd: ignore intervals prior to last_epoch_started in build_prior

We may have raised last_epoch_started without trimming past_intervals.

osd: simplify osdmap tracking of osd up/down epochs; fix pg build_prior logic

Use a single struct to track all of our osd up/down info.  Include
down_at, the epoch we last marked the osd down.

Fix PG::build_prior to require that the osd was clean through the _entire_
interval in question.

In monitor, adjust new clean interval foward to down_at-1 if the up_from
matches the interval we mounted.  That is, if the OSD shut down cleanly,
it obviously remained clean at least until we marked it down in the map.

mds: move filelock to lock state if we can't wrlock but lock is stable

For example, lock may be sync c=1 when we're trying to reset
max_size to 0.  We need to make sure the lock will change state
before we wait on WAIT_STABLE.

mds: rejournal using EUpdate instead of EOpen if no caps in check_inode_max_size

Using EOpen on non-open files is imprecise.  More importantly, if
it is a snapped inode, the EOpen replay code won't be able to
look up the ino and will throw an assertion.

So, use EUpdate instead to record the new info when necessary.

mds: use vector for EOpen

make assertion output look more like gcc

mds: remove bad assertion

remove_inode should do the asserting, here, as it may do some
cleanup.

osd: use last_clean_interval in build_prior logic

We now mark a PG crashed if any of the OSDs during a given interval
is not either still alive or cleanly shut down during the interval.  If
those two conditions are not yet, it may have crashed.

It isn't a perfect set of criteria, since last_clean_interval is only
clean shutdowns of an OSD.  We could, for example, track another interval
generated via old osd_up_thru, but the conditions for that are different,
since that requires survival past the end of the interval, not a clean
shutdown during the interval.  This should capture the common case, though,
of a clean unmount.
to

osd: track last_clean_interval in osdmap; simplify encoding/decoding a bit

Break osdmap into "base" and "extended" portions, so that clients can
ignore the extended portions completely.

Track last_clean_interval in the osdmap so we know when the osd last
cleanly shut down.

Disk and wire format changes.

osd: track last_clean_interval in superblock

osd: add a few getattr assertions

Ensure we got the snapset attr before we decode it.

osd: log a delete only if the head object is deleted

Whether the head logically exists is not relevant to our logging.
Do not look at snapset.head_exists.

osd: remove bad assertion in pick_read_snap

The clone oid.snap does not necessary correspond to the newest
snap, since snaps may be deleted, or because the snap the snap is
named based on the snap context seq and not the oldest snap it
contains.

mds: remove capless inodes from logsegment open_file lists after reconnect

Inodes get added during replay of EOpen events.  We remove capless inodes
after reconnect restores from clients.

We only want inodes with caps on those lists.  Add an assertion to
enforce constraint.

Also, remove ourselves explicitly in remove_inode(), since that may happen
during replay when an inode is destroyed.

mds: fix up completed_request handling during journal replay

The completed_requests is handled separately from the session table
itself, in that we may add completed requests to the table even when
we may have loaded newer info.  But the handling was a bit wrong.
We make sure we only add completed requests if the session is already
open... and remove the unnecessary trim (if the sessionmap is newer, the
session is already closed, and thus we have no request info).

osd: clean up info setattrs, such that write_info is called once per map update

Use pg dirty flags, and do the final write_info and/or write_log right
before we apply the advance/activate_map transaction.

PG.cc still calls the methods directly in methods that are not in the
advance/activate paths.

filestore: clean up debug output

10 ops
15 commits
20 waits

osd: minor append_log cleanup

filestore: only commit if changes are pending

Avoid needlessly scribbling all over the superblocks.

filestore: fix truncate argument, subsequent Transaction fuggering

dstart: modprobe btrfs

mds: assert ref count is 0 on inode deletion

mds: mark dirty inode clean before dropping

This has the effect of removing the inode from the dirty xlist.

mds: exclude BADREMOTEINO dentriess in readdir