objecter: scan_pgs even on original full map

We may have queued ops before getting _any_ map; those still need to
be kicked.

osd: ensure target osd is still up when sending MPGRemoves

osd: move stats into PG::Info (disk format change)

We want the pg stats to propagate along with last_update.  Do so
in merge_log.

Also, stop doing delayed stats update on primary; we always update
the in-core copy of Info, and only delay applying the transaction
to disk.  At least currently.

osd: (re)set degraded flag on activate

This ensures the bit is properly set on newly created PGs..

timer: discard unfired events on shutdown

Mostly this just cleans up valgrind leak check output.

client: fix use-after-free

put_node at the end.

msgr: discard queued messages when closing pipe

These were leaking whenever we, say, did mark_down().

objectcacher: do callbacks _last_ to avoid a use-after-free

The callback may call back into release_set, so do not assume any pointers
will remain valid after the callback.

mds: initialize CInode::loner_cap when twiddling filelock states after reconnect

loner_cap must either be defined or not defined to match the lock states.

objecter: use full osdmap to get started

Previously we requested and then decoded the full history of incrementals,
a big waste of time during startup.

osd: ensure 0-byte object created by push

Specifically, a zero-length HEAD object whose snapset we care
about.

osd: mark repops aborteds in on_shutdown

Otherwise the op_modify_ondisk() completion gets confused.

dstart: show filestore ops

osd: clear out workqueue queues on shutdown

mon: show both user data and actual disk space used

debug: rotate old courtesy symlinks to .0, .1, etc.

This will make it much easier to find the next-oldest instantiation of
osd foo.

osd: remove bad assertion in op_modify_ondisk

We may not be in waitfor_disk if we are marked failed and
on_osd_failure acked and removed us from the set.

osd: fix clone push when head is correct old version

If the replica's head is the clone source version, our push should instruct
the replica to clone its contents.

mds: remove anchors when destroy stray inodes

purge_stray() is now the sole caller of anchor_destroy, so we can still
avoid any locking considerations.

mds: clean up request write condition, can_forward logic a bit

osd: fix rare memory leak

cmonctl: print summary every 20 lines when in watch mode

osd: fix up recovery pointers a bit

wireshark: wireshark ceph plugin patch

osd: be a bit more verbose in push_to_replica

osd: lots of fixes

todos

osd: clean up repop code

osd: fix up repop_ack

osd: ack type in osd sub ops

osd: infrastructure for ack vs nvram vs disk osd_op ack types

NVRAM ack not generated, yet.  The completion callbacks from the store
need some work first.

os: separate onjournal, ondisk callbacks for apply_transaction

context: all C_Gather to OR instead of AND subs.

That is, call completion when first sub completes.

osd: remove snap collection after it is trimmed

We can still end up with empty collections for existing snaps but no
local objects.  However, they'll eventually go away when the snap is
deleted, so who cares.

os: add collection_empty method

todos

osd: reply with EBLACKLISTED if sender is blacklisted

Move reply_op_error helper into OSD.cc.

osd: include a blacklist in the OSDMap

osd: comment

rev wire, disk formats

osdmap encoding changed.

osd: ignore intervals prior to last_epoch_started in build_prior

We may have raised last_epoch_started without trimming past_intervals.

osd: simplify osdmap tracking of osd up/down epochs; fix pg build_prior logic

Use a single struct to track all of our osd up/down info.  Include
down_at, the epoch we last marked the osd down.

Fix PG::build_prior to require that the osd was clean through the _entire_
interval in question.

In monitor, adjust new clean interval foward to down_at-1 if the up_from
matches the interval we mounted.  That is, if the OSD shut down cleanly,
it obviously remained clean at least until we marked it down in the map.

mds: move filelock to lock state if we can't wrlock but lock is stable

For example, lock may be sync c=1 when we're trying to reset
max_size to 0.  We need to make sure the lock will change state
before we wait on WAIT_STABLE.

mds: rejournal using EUpdate instead of EOpen if no caps in check_inode_max_size

Using EOpen on non-open files is imprecise.  More importantly, if
it is a snapped inode, the EOpen replay code won't be able to
look up the ino and will throw an assertion.

So, use EUpdate instead to record the new info when necessary.

mds: use vector for EOpen

make assertion output look more like gcc

mds: remove bad assertion

remove_inode should do the asserting, here, as it may do some
cleanup.

osd: use last_clean_interval in build_prior logic

We now mark a PG crashed if any of the OSDs during a given interval
is not either still alive or cleanly shut down during the interval.  If
those two conditions are not yet, it may have crashed.

It isn't a perfect set of criteria, since last_clean_interval is only
clean shutdowns of an OSD.  We could, for example, track another interval
generated via old osd_up_thru, but the conditions for that are different,
since that requires survival past the end of the interval, not a clean
shutdown during the interval.  This should capture the common case, though,
of a clean unmount.
to

osd: track last_clean_interval in osdmap; simplify encoding/decoding a bit

Break osdmap into "base" and "extended" portions, so that clients can
ignore the extended portions completely.

Track last_clean_interval in the osdmap so we know when the osd last
cleanly shut down.

Disk and wire format changes.

osd: track last_clean_interval in superblock

osd: add a few getattr assertions

Ensure we got the snapset attr before we decode it.

osd: log a delete only if the head object is deleted

Whether the head logically exists is not relevant to our logging.
Do not look at snapset.head_exists.

osd: remove bad assertion in pick_read_snap

The clone oid.snap does not necessary correspond to the newest
snap, since snaps may be deleted, or because the snap the snap is
named based on the snap context seq and not the oldest snap it
contains.

mds: remove capless inodes from logsegment open_file lists after reconnect

Inodes get added during replay of EOpen events.  We remove capless inodes
after reconnect restores from clients.

We only want inodes with caps on those lists.  Add an assertion to
enforce constraint.

Also, remove ourselves explicitly in remove_inode(), since that may happen
during replay when an inode is destroyed.

mds: fix up completed_request handling during journal replay

The completed_requests is handled separately from the session table
itself, in that we may add completed requests to the table even when
we may have loaded newer info.  But the handling was a bit wrong.
We make sure we only add completed requests if the session is already
open... and remove the unnecessary trim (if the sessionmap is newer, the
session is already closed, and thus we have no request info).

osd: clean up info setattrs, such that write_info is called once per map update

Use pg dirty flags, and do the final write_info and/or write_log right
before we apply the advance/activate_map transaction.

PG.cc still calls the methods directly in methods that are not in the
advance/activate paths.

filestore: clean up debug output

10 ops
15 commits
20 waits

osd: minor append_log cleanup

filestore: only commit if changes are pending

Avoid needlessly scribbling all over the superblocks.

filestore: fix truncate argument, subsequent Transaction fuggering

dstart: modprobe btrfs

mds: assert ref count is 0 on inode deletion

mds: mark dirty inode clean before dropping

This has the effect of removing the inode from the dirty xlist.

mds: exclude BADREMOTEINO dentriess in readdir

mds: make open_remote_ino terminate if the anchortrace refers to a non-existent ino

Since anchor lookup is racy, we may have to do multiple lookups
(in the case of a concurrent anchor table update).  If we don't
find the ino in the anchor, remember the anchor version when we
try again.  If we fail again at the same point, and the anchor
has not changed, fail.

Create an open_remote_dentry helper that does this.  If we fail,
set the CDentry::STATE_BADREMOTEINO state bit.

mds: fix cdentry states

Also add BADREMOTEINO, which we'll use shortly.

mds: add version to anchor; avoid looping in open_remote_ino

If we do not find the item referenced by teh anchor trace, we
try again, but keep track of the anchor version we ended on.  If
we hit a dead end at the same point next time and the anchor
hasn't changed, we give up.

mon: send osdmap to _original_ PGStats source

..not the most recent sender, which may be another monitor.

msgr: fix replace_connection bucket list manipulation

kclient: increase max data and front sizes to 16MB

kclient: preserve peer_name across connection replacement

osd: factor out add_log_entry into a helper that adjusts pg info accordingly

We want to keep log.top, info.last_update etc. in sync.

osd: use old acting set when noting past intervals

dstart: only clean up old output on mkfs

client: ignore dropped messages

pg: fix build_prior debug output

client: fix ms_handle_failure

osd: only trim past intervals that _fully_ preceed last epoch started

osd: ignore pushes if stray

We need to verify a push is coming from the current primary if we are
any non-primary, including a stray.  Fixes bad assertion

osd/ReplicatedPG.cc:2322: FAILED assert in 'void ReplicatedPG::sub_op_push(MOSDSubOp*)': log.complete_to != log.log.end()

mon: send osdmap updates if pg_stats indicates an old map for a long time

osd: fix read_superblock

mds: mark dn clean before removing

This ensures we clean up the xlist_dirty xlist::item.

kclient: debug info for connections and crc errors

osd: fix read_superblock

dstart: fix crush map typo

osd: fix default crush map rules

crush: introduce crush magic

This is a disk format change.

crush: make recurse_to_leaf slightly less fragile

osd: don't fail assertion on out empty ops list (i.e. no-op)

osd: include magic in osd volumes

osd: get rid of snaptrimming/snaptrimqueue pg states

These aren't helpful, since we only report pg states from the
primary osd, and snaptrimming occurs on replicas as well.

mon: include magic in mondata

osdmap: use chooseleaf in default crush map

osd: fix transaction argument order

The order of evaluation is ambiguous, apparently!

OSD: pg ref count debugging

osd: use map_lock to avoid osdmap update race in _finish_recovery

osd: convert recovery to a work queue

wq: use a single lock

osd: clean up mkfs vs peek_super

osd: fix peek_whoami