mds: rejournal using EUpdate instead of EOpen if no caps in check_inode_max_size

Using EOpen on non-open files is imprecise.  More importantly, if
it is a snapped inode, the EOpen replay code won't be able to
look up the ino and will throw an assertion.

So, use EUpdate instead to record the new info when necessary.

mds: use vector for EOpen

make assertion output look more like gcc

mds: remove bad assertion

remove_inode should do the asserting, here, as it may do some
cleanup.

osd: use last_clean_interval in build_prior logic

We now mark a PG crashed if any of the OSDs during a given interval
is not either still alive or cleanly shut down during the interval.  If
those two conditions are not yet, it may have crashed.

It isn't a perfect set of criteria, since last_clean_interval is only
clean shutdowns of an OSD.  We could, for example, track another interval
generated via old osd_up_thru, but the conditions for that are different,
since that requires survival past the end of the interval, not a clean
shutdown during the interval.  This should capture the common case, though,
of a clean unmount.
to

osd: track last_clean_interval in osdmap; simplify encoding/decoding a bit

Break osdmap into "base" and "extended" portions, so that clients can
ignore the extended portions completely.

Track last_clean_interval in the osdmap so we know when the osd last
cleanly shut down.

Disk and wire format changes.

osd: track last_clean_interval in superblock

osd: add a few getattr assertions

Ensure we got the snapset attr before we decode it.

osd: log a delete only if the head object is deleted

Whether the head logically exists is not relevant to our logging.
Do not look at snapset.head_exists.

osd: remove bad assertion in pick_read_snap

The clone oid.snap does not necessary correspond to the newest
snap, since snaps may be deleted, or because the snap the snap is
named based on the snap context seq and not the oldest snap it
contains.

mds: remove capless inodes from logsegment open_file lists after reconnect

Inodes get added during replay of EOpen events.  We remove capless inodes
after reconnect restores from clients.

We only want inodes with caps on those lists.  Add an assertion to
enforce constraint.

Also, remove ourselves explicitly in remove_inode(), since that may happen
during replay when an inode is destroyed.

mds: fix up completed_request handling during journal replay

The completed_requests is handled separately from the session table
itself, in that we may add completed requests to the table even when
we may have loaded newer info.  But the handling was a bit wrong.
We make sure we only add completed requests if the session is already
open... and remove the unnecessary trim (if the sessionmap is newer, the
session is already closed, and thus we have no request info).

osd: clean up info setattrs, such that write_info is called once per map update

Use pg dirty flags, and do the final write_info and/or write_log right
before we apply the advance/activate_map transaction.

PG.cc still calls the methods directly in methods that are not in the
advance/activate paths.

filestore: clean up debug output

10 ops
15 commits
20 waits

osd: minor append_log cleanup

filestore: only commit if changes are pending

Avoid needlessly scribbling all over the superblocks.

filestore: fix truncate argument, subsequent Transaction fuggering

dstart: modprobe btrfs

mds: assert ref count is 0 on inode deletion

mds: mark dirty inode clean before dropping

This has the effect of removing the inode from the dirty xlist.

mds: exclude BADREMOTEINO dentriess in readdir

mds: make open_remote_ino terminate if the anchortrace refers to a non-existent ino

Since anchor lookup is racy, we may have to do multiple lookups
(in the case of a concurrent anchor table update).  If we don't
find the ino in the anchor, remember the anchor version when we
try again.  If we fail again at the same point, and the anchor
has not changed, fail.

Create an open_remote_dentry helper that does this.  If we fail,
set the CDentry::STATE_BADREMOTEINO state bit.

mds: fix cdentry states

Also add BADREMOTEINO, which we'll use shortly.

mds: add version to anchor; avoid looping in open_remote_ino

If we do not find the item referenced by teh anchor trace, we
try again, but keep track of the anchor version we ended on.  If
we hit a dead end at the same point next time and the anchor
hasn't changed, we give up.

mon: send osdmap to _original_ PGStats source

..not the most recent sender, which may be another monitor.

msgr: fix replace_connection bucket list manipulation

kclient: increase max data and front sizes to 16MB

kclient: preserve peer_name across connection replacement

osd: factor out add_log_entry into a helper that adjusts pg info accordingly

We want to keep log.top, info.last_update etc. in sync.

osd: use old acting set when noting past intervals

dstart: only clean up old output on mkfs

client: ignore dropped messages

pg: fix build_prior debug output

client: fix ms_handle_failure

osd: only trim past intervals that _fully_ preceed last epoch started

osd: ignore pushes if stray

We need to verify a push is coming from the current primary if we are
any non-primary, including a stray.  Fixes bad assertion

osd/ReplicatedPG.cc:2322: FAILED assert in 'void ReplicatedPG::sub_op_push(MOSDSubOp*)': log.complete_to != log.log.end()

mon: send osdmap updates if pg_stats indicates an old map for a long time

osd: fix read_superblock

mds: mark dn clean before removing

This ensures we clean up the xlist_dirty xlist::item.

kclient: debug info for connections and crc errors

osd: fix read_superblock

dstart: fix crush map typo

osd: fix default crush map rules

crush: introduce crush magic

This is a disk format change.

crush: make recurse_to_leaf slightly less fragile

osd: don't fail assertion on out empty ops list (i.e. no-op)

osd: include magic in osd volumes

osd: get rid of snaptrimming/snaptrimqueue pg states

These aren't helpful, since we only report pg states from the
primary osd, and snaptrimming occurs on replicas as well.

mon: include magic in mondata

osdmap: use chooseleaf in default crush map

osd: fix transaction argument order

The order of evaluation is ambiguous, apparently!

OSD: pg ref count debugging

osd: use map_lock to avoid osdmap update race in _finish_recovery

osd: convert recovery to a work queue

wq: use a single lock

osd: clean up mkfs vs peek_super

osd: fix peek_whoami

osd: make peek_whoami verify fsid

osd: decode superblock properly

vstart: 3 osds

cstring: pre-terminate even if content unspecified

osd: feed type name into workqueue

osd: convert snap trimming to snap_trim_wq

osd: basic scrub works

osd: update stats when op is applied

osd: add scrub wq

os: use nstring instead of string for attrsets

ebofs: fix occasional bdev shutdown hang

osd: adjust merge_log

Object should only be marked missing if new entry is newer.  If
they are the same, it may or may not be missing (depending on
whether it was before merge_log).

msgr: ref count message while they are owned by the messenger

Users still assume they hold the only reference, at least until
they call send_message.

One caveat is that ms_handle_failure is passed a message with an
unknown number of refs.  The method should not try to free or
re-use the message.

msgr: reference count messenger

We want an explicit destroy() method, because the SimpleMessenger
needs to join the dispatch thread, and that can't happen just on
the last reference drop because that may happen in the dispatch
thread itself.

vstart: launch valgrind with --valgrind

just for cosd atm

msgr todo

Makefile: adjust link order (libcommon first _and_ last)

ebofs: add new objects to main collection

mds: remove session from xlist before deleting

client: remove xlist items before deleting

mds: remove Capability from session list before deleting

mds: pull scatterlock of xlist in destructor

Really, this should happen sooner, but for now this is equivalent to the
old xlist::item destructor.

os: clean up ObjectStore::Transaction interface

Also, fix attrset * thing.. that doesn't look safe!

msg: initialize footer

lockdep: turn lockdep off during shutdown

We can't function after the static items in lockdep.cc destruct.  Disable
lockdep before that happens.

osd: fix osd_reqid_t hash

blobhash is only safe on packed types.

filestore: pad with zeroed buffer

Shut up valgrind

xlist: enforce removal from xlist

We want to ensure that removal takes place in the correct locking context,
not whatever context the ::item is destroyed in.

mds: fix uninit value

osd: adjust missing in merge_old_entry

Our "old" entry may have been newer, and missing.. remove from missing, and re-add
"new" entry to ensure missing reflects the correct object version.

osd: type cleanup

osd: more merge_log updates

monclient: dont free messenger until races there are fixed

cmonctl: fix busy loop

mon: ignore 0-byte latest

osd: merge_log fix when logs abut but do not overlap

kclient: different handling of EIO, bad crc

dstart: smaller cluster

osd: track bytes/kb usage over clones too

osd: track per-pg bytes, kb utilization

For non-clones only.

osd: fix update_stats

osd: verify monmap.fsid matches superblock on startup

osd: include fsid in OSDPing, and verify