class: osd can request and receive class data

Merge branch 'c3' into rados

testrados: C, not C++

librados: fix up #includes; use C for testrados

rados: build librados, libcrush using libtool

Finally?

librados: drop librados/ dir.

librados: build the .so

librados: rename c3 -> librados

c3: remove unnecessary include

class: partial implementation of class osd mon messages

class: remove redundant fields from the class library

class: add class name to the library list

class: fix class decoding

class: add a class monitor for the paxos services

c3: exec op string

c3: handle unhandled message

c3: rados merges issues

c3: implement exec poc

c3: fix rank

c3: fix rank static allocation

osd: add an exec op

c3: create a very simple interface

c3: mount through MonClient

c3: add mount/umount to mon client

s3: add read to unitest

c3: ceph simple interface

osd: based reported eversion in pg_stat_t on same_primary_since

This ensures the value increases when the primary changes.

osd: skip initial bit of peering if already have_master_log

Once we have settled on the master log, we want to skip that
step of peer().  Namely because peer() can be called on an
active PG if an osd shows up with stray content.  We still want
to peer() in that case in case there are missing objects to be
found.

todo

Merge branch 'unstable' into rados

mon: check for osd exists before up/down

osd: maintain up_epoch AND boot_epoch; revise OSDSuperblock accordingly

In order to make the superblock clean interval meaningful after we
are marked down and then up again (over the life of a single
cosd process insance), we track both boot_epoch and up_epoch,
and keep [boot_epoch,clean_thru] in the superblock.

This avoids seeing crashed pgs when and osd is wrongly marked down
and the osd marks itself up again.

osd: add back in support for unversioned sobject_t (.snap=0)

osd: use / in sobject_t output

osd: adjust heartbeat peer lock

Need it to protect heartbeat_from_stamp.

osd: reset heartbeat peer set on osd down

This clears out the timers.

buffer: add malloc raw buffer type

osd: adjust snap collection memberships during pg split

osd: adjust pg_stats during pg split

osd: generate correct child pg when doing pg split

ceph: don't choke on unexpected MMonMap

osd: factor out clear_recovery_state from {cancel,finish}_recovery

Also kill OSD::num_pulling counter, which is wrong anyway,
lacking locking, and probably not needed anyway with the more
general recovery_op accounting.

osd: make sure _finish_recovery only completes when it's supposed to

Because the finish_recovery does a sync, the final cleanup is
deferred, and we have to make sure we are still done (and we
haven't, say, repeered or something).

In this case, we thus make sure we don't clear out pg
recovery_ops when we actually have ops in progress.

filestore: fix object filename parsing

cosd: debug filestore

mon: don't send mdsmap on client mount

Client can request it on first mds op.

kclient: don't wait for mdsmap on mount

We just need the monmap.  And osdmap, since osd_client doesn't like a
null pointer atm.

osd: set snapid in read requests

uclient: use MonClient for mount + unmount

monc: add mount/umount to mon client

objecter: fix osdmap requesting

osd: fix pg splits vs lockdep

PG splits create+lock the child while the parent is still locked.
Disable lockdep in that case only so that we don't crash and burn.

mon: 'osd pool create foo'

todo

osd: move .snap out of object_t

This makes the snap versioning completely orthogonal to the logical
object name (object_t).  This is key since eventually object_t
won't be structured.  And the old way made for an awkward interface
anyway.

Also killed the .snap = 0 special casing, which AFAICS was
useless.

osd: do not use ebofs

Don't compile or use ebofs.

ceph: break up ceph_fs.h header into msgr.h, rados.h

kclient: recalculate pgid each time request is sent

The pg calculation depends on osdmap parameters that are transient.  In
contrast, the rest of calc_layout is concerned with file striping, which
is fixed (at least over the lifetime of the request).

mds: include CAP_PIN in caps_liked()

Among other things, this prevents confusion in the uclient.

osd: fix bug in recovery ops accounting

Adjust osd global counter too!

kclient: a few sparse fixes

mds: only issue sensible caps on directories

mds: make eval take a mask; kill try_*_eval

This will eventually help us deal with all locks as a group.

Also, simplify the eval_subtree_root bits.

start v0.8

msgr: kill static instance 'rank' of SimpleMessenger

msgr: clean up refs to static 'rank'

uclient: clean up mount wrt osdmap, mdsmap

journaler: store layout in journal header

This means we won't fall over if the 'default' layout changes.  Specify
the layout during journal creation, as you'd expect.

mds: clean up layouts

osd: more pg_pool, pg changes

Remove 'type' from pg_t.  It's implied based on the pool.

Clean out file_layout.  The pool implies a type and namespace.

kclient: fix page_mkwrite for 2.6.30

This will change again soon when Nick's other fix gets merged.  Also, we
probably need to stop doing write_begin/end due to some differences in
behavior (e.g., no extending file size? see btrfs as a reference).

osd: typo

config: fix pg pools in default file layouts

osd: fix up recovery op accounting

Fix varous rop accounting bugs.  Add assertions.  Log recovery
ops.

todo

kclient: retry 2x on ESTALE; fix up mds reply error paths

Also fix error paths, which weren't handling the snap_rwsem
properly.

kclient: fix symbol names without 'ceph_' prefix

kclient: add missing parameter

conf: added missing allocations

mon: track per-pg_pool usage

config: make uninit var warning go away

osd: push pg_num etc into pg_pool

osd: clean up assemble_backlog

kclient: don't allow to pass max file size

todo

osd: make osd mark itself back up if it is marked down

We may still want a way to tell an osd to exit.

mon: optionally dump specific osdmap epoch

uclient: update dir inode, cap from reply

vstart: --nodaemon to run via crun and -f (so that gprof works)

uclient: take inode ref when dirtying inode

initscript: default btrfs mount options notreelog,flushoncommit

cosd: use \ in dev list in .conf

osd: fix merge_log split point

Look at full eversion, not just .version (part 2).

mon: order log entries as they're committed

This doesn't fully order them (across commits), but it helps.

mon: adjust log levels

todo

assert: turn off tls in assert macro

About 3% cpu time

kclient: mark caps sync in check_caps writeback path too

We are already doing so in try_flush_caps().

kclient: added missing include

todo