kclient: specify incoming message allocation function

kclient: use ceph_msg_new to allocate incoming msgs

Read header into a temp buffer, and delay msg allocation until we
know how big it will be.

osd: der, prior_set may contain down osds

Incorrectly cleaned this up a few commits back.

osd: fixed up some debug output

osd: fix osdmap decoding typo/crash for old versions

mon: include pool op in MPoolOp msg print

kclient: GFP_NOFS for vmalloc; vmalloc large incoming msgs too

osd: pg removal in a work queue

osd: ignore info racing with PGRemove

We may get multiple infos during peering, because we explicitly
query priors AND osds with existing pg data send them (thus we
may get 2).

The second info can race with a PGRemove.  When we get it, we have
to realize it's not _new_ stray content.. it's old content we're
already purging.

osd: rev protocols

elector: off by one check

osd: exclude lagging peers during backlog generation

osd: use same_acting_since instead of same_primary_since in most cases

osd: track same_up_since, same_acting_since, same_primary_since

osd: use pg_temp to limit acting set to nodes who don't need backlog

We still need to do something intelligent about it (namely, generate
backlogs for up-but-not-acting nodes, and then clear the pg_temp)..

rados: statically allocate time

rados: change command line arg

mon: handle MOSDPGTemp

Used to instruct monitor to set temporary mapping of an osd pg.

osd: track both up and acting sets in PG, PG::Interval

osd: decode old maps

osdmap: add pg_temp mapping

Hadoop: Added setTimes to CephFileSystem and CephFSInterface.

Hadoop: Cleanup for readability;
removed warnings by typing a Vector.

Hadoop: CephFSInterface cleanup:
better error catching on JNI function use;
removed a few unused functions;
now takes advantage of implicit typecasting for clearer code
(no more manually creating j_ints and storing results to make a 1-line
function into 3+ lines; no more if statements returning JNI_TRUE/FALSE);
modified the getDir function as it wasn't very robust
about checking for . and .. entries and the Java code does that;
modified the Java code listPaths as it wasn't necessarily filling
the array and didn't compact it!

Hadoop: Added in initialization checks and
limited use of Progressables.

Hadoop: Changed back to isDirectory as that
method was un-deprecated.

Hadoop: Throws IOException -> return null; interface requirement.
setReplicationRaw is an old method name, and it doesn't need to be overridden.
getReplication was deprecated and no longer exists.

radosgw: static linkage

radosgw: rename symbols, use generic name for rgw

radosgw: rename files to use the generic name

Merge commit 'origin/unstable' into rados

Conflicts:

src/Makefile.am

todo

debian: fix typo in build script

Hadoop: libhadoopcephfs now links against libceph
rather than incorporating it; the Java code accounts for this and
loads based on a configuration setting -- no more worries
about java.library.path.

uClient: now cleans up open files on shutdown.
Doesn't crash on a failed assert!

Hadoop: Implements getFileBlockLocations;
adds ceph_close to CephFileSystem.

uClient/libceph: initial implementation of get_file_stripe_address

Hadoop: Makes use of newly-available replication reporting.

uClient/libceph: implement get_file_replication
add it to libceph.

uClient: Change file data function names for clarity;
add function stubs for Hadoop use.

Hadoop: time conversion between Ceph and Hadoop;
ditch filling in the uid/gid since it's meaningless.

uClient: fill_stat now fills times properly

v0.12

Makefile: add missing header to noinst_HEADERS

Makefile: remove java hadoop _SOURCES dep

osdmap: kill unused/useless get_num_osds()

mds: show journal entry lengths in debug output

kclient: cleanup unused label

kclient: revamp fsync

Be smarter about when we write back caps on fsync, and when we
wait.  Also, wait only for those caps to write back, not for all
caps to be clean, avoiding starvation.

mds: include mds # in table names

Silly us, we were using the same object names for multiple mds's.
That doesn't work so well.

Renamed like so:

mdstable_snaptable   -> mds_snaptable
mdstable_inotable    -> mds0_inotable
sessionmap           -> mds0_sessionmap
mdstable_anchortable -> mds_anchortable

mds: wait for rejoin_gather_finish to complete before finishing

To do that we add ourselves to the rejoin_ack_gather.  Otherwise
we end up in up:active before we've even finished our
parallel_fetch or finished up our caps!

mds: set primary lock state to LOCK from strong replica when appropriate

This is needed only because we identify_files_to_recover() before
sending the rejoin acks, and that may twiddle the lock state, so
we need to be in a compatible state.

Makefile: reorg

mds: fix lock state assert on sync->excl

mds: set up root inode properly on replay

mds: fix reversed conditional on simplelock ->excl transition

Makefile: no fakefuse

psim: calc stddev

osdmap: only use domains if ndom > 1

crush: fix grammar so we can recompile what we decompiled

mds: start resolve with root as UNKNOWN (if it's not ours)

Anything that's not ours should be unknown, including the root dir frag,
which normally starts out as mds0.

If we leave it as 0, then when mds0 claims a subset of /, its bounds are
left as 0 as well instead of being set to unknown.  Which leads to
incorrect resolve stage results.

mds: fix typo (C_Locker_Eval crash)

kclient: fix locking snafu in ESTALE handling

kclient: choose mds based on dentry parent, if needed

mds: adjust mds state asserts to include clientreplay

mds: twiddle missing locks on export

mds: open_root only after up:active

Otherwise our lock states get totally out of whack.

mds: issue caps on non-auth inodes

Not sure how that && is_auth() snuck in there.

kclient: use caps, fragtree only to choose mds (not hierarchy)

Since we require caps for all inodes in our cache, no need to consider
parents when identifying where to sent a request.  Just look at fragtree
(for fragmented dirs) or caps.

kclient: remove stray ; in dout macro

Hadoop: Replaced some unclean file references.
Hey cool, it can do a map-reduce now!

uClient: chmod now protects unchangeable bits.

uClient: _rename doesn't remove nodes from cache.
Sage says this is unnecessary.

Hadoop: Added a setPermissions method.

Hadoop: CephFSInterface cleans up memory better on errors.

Hadoop: Is much more careful with filepath sanitizing in BOTH directions.
Also has a minor interface change allowing it to build in Hadoop .20

uClient: Unmounting now waits on mds_requests.

Hadoop: All configuration is now done through Hadoop's config mechanism.

This includes debug on CephFileSystem/n, passing it to ceph's Client,
and the monitor address.

Hadoop: Now does a proper stat.

kclient: less noisy about mds session timeouts

In particular, we don't want to print this multiple times.  Use
state to note when session appears to be hung, and pr_info on
transitions.

msgr: avoid closing fd twice

Set fd to -1 after so we don't close it again later.  Otherwise
we get EBADF in random other places and are unhappy.

todo

kclient: debug peer_reset thing

I saw ceph_peer_reset with a bad entity_name.. wtf.

kclient: maintain per-cap-bit tid map to fix pipelined cap updates

We want to allow pipelined cap updates, like

 client->mds  writeback Fw 1
dirty FwAx
 client->mds  writeback FwAx 2
dirty Ax
 client->mds  writeback Ax 3
 mds->client  ack 1
 mds->client  ack 2
 mds->client  ack 3

We need to make sure that the Fw bit is only cleaned after ack 2,
and Ax after ack 3.  A single tid for the inode isn't sufficient,
since that would e.g. ignore ack 2... we need a tid per cap bit so
we can pipeline writeback of different caps.

Note that we can't simply write back dirty | flushing caps every
time, since the write may also be releasing the cap.  And it would
gum up the MDS locking.

Move the last_tid to the inode, and only pay attention to 16 bits
per cap bit.. that's 17*2 bytes, vs the old 16.  Could be worse.
An 8 bit tid is probably also sufficient (that's 256 pipelined
writes) if we're concerned about inode size down the road.

kclient: maintain list of flushing snaps; reflush after reconnect

kclient: fix queue_cap_snap refs, calls in handle_snap

Call on correct ci.  Skip past dropping inodes without dropping
our spinlock.  Hold ref on prior inode until we traverse to the
next one.  (We can't iput while holding our spinlock.)

Hadoop: Moved ceph debug level set into Java code; disabled CephIOStream debugs.

uClient: Whoops! Made Inode get/put dout at a lower importance.

Hadoop: Much cleanup of methods.

Many no-longer-required methods are now private and renamed; overrides and deprecated methods are clearly marked and mostly justified.

Hadoop: This method no longer exists in the FileSystem API.

Hadoop: No good reason to overwrite these copy/move functions that I can see

Hadoop: Since Client is behaving, put back in the close.

uclient: Fixes refcounting bug when you chdir to cwd.

Hadoop: More work with deprecated and inappropriately-overridden functions.

Hadoop: Removed deprecated functions

Hadoop: moveFromLocalFile uses copyFromLocalFile; is more robust.

Hadoop: More debugging output changes.

Hadoop: getFileStatus behaves better with folders.

uclient: removed cout debug statement

kclient: don't croak on mds request will NULL r_request