osd: add scrub wq

os: use nstring instead of string for attrsets

ebofs: fix occasional bdev shutdown hang

osd: adjust merge_log

Object should only be marked missing if new entry is newer.  If
they are the same, it may or may not be missing (depending on
whether it was before merge_log).

msgr: ref count message while they are owned by the messenger

Users still assume they hold the only reference, at least until
they call send_message.

One caveat is that ms_handle_failure is passed a message with an
unknown number of refs.  The method should not try to free or
re-use the message.

msgr: reference count messenger

We want an explicit destroy() method, because the SimpleMessenger
needs to join the dispatch thread, and that can't happen just on
the last reference drop because that may happen in the dispatch
thread itself.

vstart: launch valgrind with --valgrind

just for cosd atm

msgr todo

Makefile: adjust link order (libcommon first _and_ last)

ebofs: add new objects to main collection

mds: remove session from xlist before deleting

client: remove xlist items before deleting

mds: remove Capability from session list before deleting

mds: pull scatterlock of xlist in destructor

Really, this should happen sooner, but for now this is equivalent to the
old xlist::item destructor.

os: clean up ObjectStore::Transaction interface

Also, fix attrset * thing.. that doesn't look safe!

msg: initialize footer

lockdep: turn lockdep off during shutdown

We can't function after the static items in lockdep.cc destruct.  Disable
lockdep before that happens.

osd: fix osd_reqid_t hash

blobhash is only safe on packed types.

filestore: pad with zeroed buffer

Shut up valgrind

xlist: enforce removal from xlist

We want to ensure that removal takes place in the correct locking context,
not whatever context the ::item is destroyed in.

mds: fix uninit value

osd: adjust missing in merge_old_entry

Our "old" entry may have been newer, and missing.. remove from missing, and re-add
"new" entry to ensure missing reflects the correct object version.

osd: type cleanup

osd: more merge_log updates

monclient: dont free messenger until races there are fixed

cmonctl: fix busy loop

mon: ignore 0-byte latest

osd: merge_log fix when logs abut but do not overlap

kclient: different handling of EIO, bad crc

dstart: smaller cluster

osd: track bytes/kb usage over clones too

osd: track per-pg bytes, kb utilization

For non-clones only.

osd: fix update_stats

osd: verify monmap.fsid matches superblock on startup

osd: include fsid in OSDPing, and verify

osd: maintain some per-pg stats (object counts, for now)

We'll add disk usage soon.

dstart: larger cluster

msgr: fix reconnect after error

Items in sent queue weren't being moved back to out queue, and
in_seq/out_seq weren't being set properly after an incoming
connection replaced an existing connection.

mount: typo

mds: add new directory to new_dirfrags list

This ensures the directory gets committed before the mkdir event
is trimmed from the journal.  Fixes the failed assertion in
CDir::_fetched seen on mds recovery (due to a missing directory object).

mds: unqueue recovery on purging inodes

If an inode is queued for file size recovery when it is purged,
unqueue it.  This catches the log replay case where client
reconnect queues up the inode.

Also, in eval_stray, skip inodes that are queued.  This should
avoid a recovery running concurrently with the purge (which could
be problematic, as it would carry a pointer to *in).

kclient: fix unmount (broken by 01a33259dbbeb380104d185073f8802eee743f98)

kclient: limit incoming messages size

mount: remove extra log

Merge branch 'unstable' of ssh://ceph.newdream.net/git/ceph into unstable

created mount helper, can resolve mount addresses

osd: rewrite merge_log

cmonctl: include original command in command reply to avoid weirdness

osd: fix build_prior any_up logic again

last_epoch_started may be anywhere in the interval.

filestore: fix btrfs detection based on latest btrfs-unstable

Look for working CLONE_RANGE ioctl.

todos

cmonctl: pick new mon on timeout

mon: fix get_latest

msg: non-destructively copy data buffers in set_data()

mds: use last_sent (not last_open) to untangle cap release races

If we use last_open, the client has to be smart about ignoring
MDS revocations after it sends a release request.  (Or, the MDS has
to somehow know the ack is for an old cap.)  Instead, just
serialize release over all cap messages sent to the client.  It may
make for a slightly chattier cap release in some cases, but those
cases should be very rare, and this is simpler.

mds: be more forgiving on EPurgeFinish

Inode may not be in cache because of purge_stray() avoiding
journaling it's intent to purge.  If that changes down the line,
add the assertion back.

osd: adjust build_prior any_up logic

We mark the pg 'down' unless there is at least one osd alive specifically
from the last epoch started.

kclient: silence down some warning

mds: fix an erroneous assertion (sage)

osd todos

osd: fix deadlock on map_lock vs peer_stat_lock

osd: remember past intervals instead of recalculating each time

This _vastly_ improves the speed of build_prior (and thus activate_map).
There is no need to recalculate this information each time as it is fully
dependent on _old_ OSDMaps, not current cluster state.

msgr: adjust mark_down locking to avoid possible race

cmonctl: reprobe every second

osd: clear_map_cache at end of activate_map

after we're done with it

osd: introduce map_lock RWLock, take read lock during heartbeat

This prevents a race between handle_osd_map updating the map while
heartbeat() is using it to ping peers.

Currently we take a write ref over the entirely to handle_osd_map; we may
be able to push that down a bit.

msgr: small cleanup

lockdep: force backtraces on specific mutexes

Maintaining backtraces is expensive to do for every acquisition.  Make a
per-mutex flag so that specific deadlocks can be tracked down.

osd: maintain a cache of past osd maps during repeering

It's expensive and stupid to load and reparse them for each PG.

osd: pause/unpause recovery thread while processing map

Otherwise bad things happen (everyone assumes *osdmap is static and
readable).

mds: journal updates _after_ predirty_parents (which adds parent context)

This ensures the dirlumps occur in an order that can be replayed
to reconstruct the hierarchy (ancestors first).

mds: remove bad assertion

Inode may still be dirty.  bah.

mds: mark inode clean only when purge is complete

Otherwise we confuse CDir dirty vs commit rules.

mds: only mark clean if dirty

mds: adjust purge_stray sequence; include explicit ino destroy

First purge the inode content.  Don't bother journaling our intent,
as that's implied by the fact that it's an unused stray.

Once purged, journal an event that destroys the inode and unlinks
the dentry.  Don't remove null dentry itself, as we still need to
update the stray dir... it will get removed when that is committed.

mds: avoid unnecessary issue_caps in file_eval

mds: fix placement of eval_stray call on caps release

mds: restructure purge_stray to remove inode objects, _then_ dentry

This ensures that any inode we are purging is referenced in the
hierarchy, since we do not destroy the stray dentry until it is
completely gone.

mds: mark and pin dentries while purging, so they don't get trimmed out from under us

Aslo avoid purging more than once.

Previously it was possible to drop the dentry from the cache while
it was being purged.

mon: commit large numbers of state values quickly

Write them all, then sync once at the end.

Also include some infrastructure for using the latest stashed value
to recover.  Don't use it yet, though.  The interaction with
keeping last_committed and latest stashed values in sync wrt a
failure between the two is a bit tricky.

mon: use generic stash mechism to manage latest version of paxos-managed object

kclient: use generic timeout/retry code for various monitor request types

kclient: pick new mon if statfs is unresponsive; clean up other retry code

streamtest: fix recursive locking

journal: detect size of raw block devices properly

osd: only trim pg log if pg contains complete set of osds

Eventually we may want to also impose some maximum pg log size.  At
some point the cost of the long log will approach the cost of
building a backlog...

osdmap: fix type conversions

crush: mention license.  minor cleanup

be quiet

Merge branch 'unstable' of ssh://ceph.newdream.net/git/ceph into unstable

kclient: fix small resource leak when mds is down on mount

csyn: fix msgr startup

kclient: whitespace

mon: standardize storage of monmap revisions

mon: indicate last_consumed state after writing "latest" full maps

Until then, we may need old incremental states.  This way paxos
won't discard them.

paxos: only trim old states if they've been "consumed" by PaxosService

Higher level state may depend on these items.  Only remove them
when its clear they are unneeded.

mon: fix mon injectargs

cmonctl: seed random number generator so we pick a truly random mds

mds: treat open requests as non-idempotent

The problem is that the reply contains a capability, and as such
is statefull and can't be lost.  Forwards by the MDS on behalf of
the client, however, introduce the possibility of multiple copies
or a request in flight if one of the MDSs fails, and the client
will drop any duplicate replies it receives.

Alternatively, the client could _also_ parse duplicate responses
(i.e. call fill_trace).  I'm not sure if that's a good idea.  In
any case, MDS forwarded requests are only really important for
dealing with flash flood scenarios on extremely large clusters,
so let's just set this aside for now.

mds todo