osd: skip initial bit of peering if already have_master_log

Once we have settled on the master log, we want to skip that
step of peer().  Namely because peer() can be called on an
active PG if an osd shows up with stray content.  We still want
to peer() in that case in case there are missing objects to be
found.

todo

Merge branch 'unstable' into rados

mon: check for osd exists before up/down

osd: maintain up_epoch AND boot_epoch; revise OSDSuperblock accordingly

In order to make the superblock clean interval meaningful after we
are marked down and then up again (over the life of a single
cosd process insance), we track both boot_epoch and up_epoch,
and keep [boot_epoch,clean_thru] in the superblock.

This avoids seeing crashed pgs when and osd is wrongly marked down
and the osd marks itself up again.

osd: add back in support for unversioned sobject_t (.snap=0)

osd: use / in sobject_t output

osd: adjust heartbeat peer lock

Need it to protect heartbeat_from_stamp.

osd: reset heartbeat peer set on osd down

This clears out the timers.

buffer: add malloc raw buffer type

osd: adjust snap collection memberships during pg split

osd: adjust pg_stats during pg split

osd: generate correct child pg when doing pg split

ceph: don't choke on unexpected MMonMap

osd: factor out clear_recovery_state from {cancel,finish}_recovery

Also kill OSD::num_pulling counter, which is wrong anyway,
lacking locking, and probably not needed anyway with the more
general recovery_op accounting.

osd: make sure _finish_recovery only completes when it's supposed to

Because the finish_recovery does a sync, the final cleanup is
deferred, and we have to make sure we are still done (and we
haven't, say, repeered or something).

In this case, we thus make sure we don't clear out pg
recovery_ops when we actually have ops in progress.

filestore: fix object filename parsing

cosd: debug filestore

mon: don't send mdsmap on client mount

Client can request it on first mds op.

kclient: don't wait for mdsmap on mount

We just need the monmap.  And osdmap, since osd_client doesn't like a
null pointer atm.

osd: set snapid in read requests

uclient: use MonClient for mount + unmount

monc: add mount/umount to mon client

objecter: fix osdmap requesting

osd: fix pg splits vs lockdep

PG splits create+lock the child while the parent is still locked.
Disable lockdep in that case only so that we don't crash and burn.

mon: 'osd pool create foo'

todo

osd: move .snap out of object_t

This makes the snap versioning completely orthogonal to the logical
object name (object_t).  This is key since eventually object_t
won't be structured.  And the old way made for an awkward interface
anyway.

Also killed the .snap = 0 special casing, which AFAICS was
useless.

osd: do not use ebofs

Don't compile or use ebofs.

ceph: break up ceph_fs.h header into msgr.h, rados.h

kclient: recalculate pgid each time request is sent

The pg calculation depends on osdmap parameters that are transient.  In
contrast, the rest of calc_layout is concerned with file striping, which
is fixed (at least over the lifetime of the request).

mds: include CAP_PIN in caps_liked()

Among other things, this prevents confusion in the uclient.

osd: fix bug in recovery ops accounting

Adjust osd global counter too!

kclient: a few sparse fixes

mds: only issue sensible caps on directories

mds: make eval take a mask; kill try_*_eval

This will eventually help us deal with all locks as a group.

Also, simplify the eval_subtree_root bits.

start v0.8

msgr: kill static instance 'rank' of SimpleMessenger

msgr: clean up refs to static 'rank'

uclient: clean up mount wrt osdmap, mdsmap

journaler: store layout in journal header

This means we won't fall over if the 'default' layout changes.  Specify
the layout during journal creation, as you'd expect.

mds: clean up layouts

osd: more pg_pool, pg changes

Remove 'type' from pg_t.  It's implied based on the pool.

Clean out file_layout.  The pool implies a type and namespace.

kclient: fix page_mkwrite for 2.6.30

This will change again soon when Nick's other fix gets merged.  Also, we
probably need to stop doing write_begin/end due to some differences in
behavior (e.g., no extending file size? see btrfs as a reference).

osd: typo

config: fix pg pools in default file layouts

osd: fix up recovery op accounting

Fix varous rop accounting bugs.  Add assertions.  Log recovery
ops.

todo

kclient: retry 2x on ESTALE; fix up mds reply error paths

Also fix error paths, which weren't handling the snap_rwsem
properly.

kclient: fix symbol names without 'ceph_' prefix

kclient: add missing parameter

conf: added missing allocations

mon: track per-pg_pool usage

config: make uninit var warning go away

osd: push pg_num etc into pg_pool

osd: clean up assemble_backlog

kclient: don't allow to pass max file size

todo

osd: make osd mark itself back up if it is marked down

We may still want a way to tell an osd to exit.

mon: optionally dump specific osdmap epoch

uclient: update dir inode, cap from reply

vstart: --nodaemon to run via crun and -f (so that gprof works)

uclient: take inode ref when dirtying inode

initscript: default btrfs mount options notreelog,flushoncommit

cosd: use \ in dev list in .conf

osd: fix merge_log split point

Look at full eversion, not just .version (part 2).

mon: order log entries as they're committed

This doesn't fully order them (across commits), but it helps.

mon: adjust log levels

todo

assert: turn off tls in assert macro

About 3% cpu time

kclient: mark caps sync in check_caps writeback path too

We are already doing so in try_flush_caps().

kclient: added missing include

todo

osd: make pg pools resizeable

Move the pg size from the pgid to the pg_pool descriptor, so that
entire pools of pgs can be resized.

todo

config: -v or --version to print version info

mon: make down->out osd occur despite mon restarts

Also add a bit more sanity checking to make sure we don't do the
wrong thing.

cosd: no valgrind for now

common: add some colors on startup (errors, warnings)

conf: fix allocation

auth: some leaks fixes

conf: some more leak fixes

conf: some more leak fixes

cmon: redo remove backslash from end of line

conf: remove backslash from the end of line

conf: add backslash line continuation

todo

mds: use interval_set for ino allocation

This avoids long ino lists.  Changes ondisk format, unfortunately.

mon: only log osd boot once

osd: fix merge_log when split point is divergent

Need to compare full eversion (including epoch).

kclient: avoid spinlock recursion

conf: remove some memory leaks, still have some more

updated sample ceph.conf

initscript: cleanup debug

osd: fix pg missing updates

We may be missing a divergent copy of the same object.

osd: do not advance past split point if it is not shared

initscript: run valgrind with specified options

osd: reformat osd map dump

osd: set mtime in backlog log entries

initscript: modprobe btrfs and btrfsctl -a before mount