class: some fixes

class: some api implementation

osd: fix compilation issue

class: add register/unregister

class: remove initial test class

Merge branch 'unstable' into rados

class: typedef method, use C style naming

class: rename ClassEntry.h -> ClassLibrary.h

mds: kill fugly arg to rdlock_path_pin_ref

The caller (readdir, in this case) can do it now, since it now does the
acquire_locks() call.

mds: rdlock filelock during readdir

This ensures any uncommitted creates/whatevers in the directory flush
(and we see them!).

mds: no rdlock in filelock LOCK state

Otherwise we get wrlocks AND rdlocks at the same time, which is clearly
problematic.  Der.

Also fix _rdlock_kick to not simple_lock, since that won't help us.

mds: drain wrlocks before going from LOCK->SYNC in file_eval

This avoids excessive waits for the journal to flush on lock->sync
when a client request holds a wrlock.  There's no reason to hurry.. if
someone needs it sync we can to the transition then; otherwise, it'll
happen when the wrlock is dropped.

class: basic api for class, call class_init when class loads

rados: define rdcall, wrcall on arbitrary class, method

osd: make classhandler requests async

Handle deferred request queues in OSD, class loading and state
in ClassHandler.

class: rename ClassList -> ClassLibrary

class: rename ClassLibrary -> ClassInfo

rados: only export rados_* from librados.so

.gitignore update

mds: break CAP_RDCACHE into CAP_SHARED, CAP_CACHE

FILE_CAP_RDCACHE was being used to mean both read access to the
file attributes (size, mtime) and permission to retain cached
data.  That lead to an incorrect definition of the filelock in the
mds, and in turn bugs with multiple client access.  These are now
CAP_*_SHARED (all locks) and CAP_FILE_CACHE (filelock only).

The main observed symptom was a client creating files in a
directory and a second client not seeing them, due to RDCACHE not
being revoked and rdcache_gen thus not incrementing, allowing a
dcache readdir to proceed.

kclient: don't skip EXPIREABLE caps

EXPIREABLE is obsolete.  We need to reconnect _all_ caps!

class: can use ceph utility to add classes

e.g. ./ceph class add foo 1 --in-data=foo.so

kclient: fix crush decoding for recent changes

rev osd protocol, disk format to reflect crush changes

crush: fix crush_perm_choose; optimize r=0 case.

This was misbehaving for x=0, among other things.

Avoid filling in perm array for the initial (p)r=0 call.  We only
need to do a full permutation for subsequent r.

class: handle class_set messages

class: osd loads class

class: osd can request and receive class data

psim: count result set sizes

crush: fall back to exhaustive bucket search for any bucket type

If we don't get a bucket-specific choice in 5 tries, do an
exhaustive search (based on a random permutation).  Only then give
up on the bucket and retry descent.

Note that the search-based fallback does not honor weighting at
all.

crush: ditch prime number theorem; generate random permutation on the fly

crush: improve uniform selection a bit

Shift to a new prime (and thus permutation) every few r.

Merge branch 'c3' into rados

testrados: C, not C++

librados: fix up #includes; use C for testrados

rados: build librados, libcrush using libtool

Finally?

librados: drop librados/ dir.

librados: build the .so

librados: rename c3 -> librados

c3: remove unnecessary include

class: partial implementation of class osd mon messages

class: remove redundant fields from the class library

class: add class name to the library list

class: fix class decoding

class: add a class monitor for the paxos services

c3: exec op string

c3: handle unhandled message

c3: rados merges issues

c3: implement exec poc

c3: fix rank

c3: fix rank static allocation

osd: add an exec op

c3: create a very simple interface

c3: mount through MonClient

c3: add mount/umount to mon client

s3: add read to unitest

c3: ceph simple interface

mds todo

kclient: fail connection when s_addr==0 and port/nonce don't match

Even if s_addr is 0, the port and nonce should match.  We were
previously going ahead with the connection when we shouldn't have
been.

mds: maintain capid across mds restart and client reconnect

mon: don't replace standby mds

mds: handle MMonMap

journaler: fix replay

Broken by commit 497ade3b90.

Use objecter to write header (not just to read it).

Also reset the prefetch values each time the layout is set.

osd: based reported eversion in pg_stat_t on same_primary_since

This ensures the value increases when the primary changes.

osd: skip initial bit of peering if already have_master_log

Once we have settled on the master log, we want to skip that
step of peer().  Namely because peer() can be called on an
active PG if an osd shows up with stray content.  We still want
to peer() in that case in case there are missing objects to be
found.

mds: fix loner drops

This was broken way back by commit 0c3becdf.

Only drop loner in eval().

rev protocols

Just for good measure, since I missed a few changes earlier.

debian: new rules file.  don't strip.

osd: fix accounting .snap thing

todo

conf: improved sample

Merge branch 'unstable' into rados

mon: check for osd exists before up/down

osd: maintain up_epoch AND boot_epoch; revise OSDSuperblock accordingly

In order to make the superblock clean interval meaningful after we
are marked down and then up again (over the life of a single
cosd process insance), we track both boot_epoch and up_epoch,
and keep [boot_epoch,clean_thru] in the superblock.

This avoids seeing crashed pgs when and osd is wrongly marked down
and the osd marks itself up again.

osd: add back in support for unversioned sobject_t (.snap=0)

osd: use / in sobject_t output

osd: adjust heartbeat peer lock

Need it to protect heartbeat_from_stamp.

osd: reset heartbeat peer set on osd down

This clears out the timers.

buffer: add malloc raw buffer type

osd: adjust snap collection memberships during pg split

osd: adjust pg_stats during pg split

osd: generate correct child pg when doing pg split

ceph: don't choke on unexpected MMonMap

osd: factor out clear_recovery_state from {cancel,finish}_recovery

Also kill OSD::num_pulling counter, which is wrong anyway,
lacking locking, and probably not needed anyway with the more
general recovery_op accounting.

osd: make sure _finish_recovery only completes when it's supposed to

Because the finish_recovery does a sync, the final cleanup is
deferred, and we have to make sure we are still done (and we
haven't, say, repeered or something).

In this case, we thus make sure we don't clear out pg
recovery_ops when we actually have ops in progress.

filestore: fix object filename parsing

cosd: debug filestore

mon: don't send mdsmap on client mount

Client can request it on first mds op.

kclient: don't wait for mdsmap on mount

We just need the monmap.  And osdmap, since osd_client doesn't like a
null pointer atm.

osd: set snapid in read requests

uclient: use MonClient for mount + unmount

monc: add mount/umount to mon client

objecter: fix osdmap requesting

osd: fix pg splits vs lockdep

PG splits create+lock the child while the parent is still locked.
Disable lockdep in that case only so that we don't crash and burn.

mon: 'osd pool create foo'

todo

osd: move .snap out of object_t

This makes the snap versioning completely orthogonal to the logical
object name (object_t).  This is key since eventually object_t
won't be structured.  And the old way made for an awkward interface
anyway.

Also killed the .snap = 0 special casing, which AFAICS was
useless.

osd: do not use ebofs

Don't compile or use ebofs.

ceph: break up ceph_fs.h header into msgr.h, rados.h

kclient: recalculate pgid each time request is sent

The pg calculation depends on osdmap parameters that are transient.  In
contrast, the rest of calc_layout is concerned with file striping, which
is fixed (at least over the lifetime of the request).