osd: track both up and acting sets in PG, PG::Interval

osd: decode old maps

osdmap: add pg_temp mapping

Hadoop: Added setTimes to CephFileSystem and CephFSInterface.

Hadoop: Cleanup for readability;
removed warnings by typing a Vector.

Hadoop: CephFSInterface cleanup:
better error catching on JNI function use;
removed a few unused functions;
now takes advantage of implicit typecasting for clearer code
(no more manually creating j_ints and storing results to make a 1-line
function into 3+ lines; no more if statements returning JNI_TRUE/FALSE);
modified the getDir function as it wasn't very robust
about checking for . and .. entries and the Java code does that;
modified the Java code listPaths as it wasn't necessarily filling
the array and didn't compact it!

Hadoop: Added in initialization checks and
limited use of Progressables.

Hadoop: Changed back to isDirectory as that
method was un-deprecated.

Hadoop: Throws IOException -> return null; interface requirement.
setReplicationRaw is an old method name, and it doesn't need to be overridden.
getReplication was deprecated and no longer exists.

radosgw: static linkage

radosgw: rename symbols, use generic name for rgw

radosgw: rename files to use the generic name

Merge commit 'origin/unstable' into rados

Conflicts:

src/Makefile.am

todo

debian: fix typo in build script

Hadoop: libhadoopcephfs now links against libceph
rather than incorporating it; the Java code accounts for this and
loads based on a configuration setting -- no more worries
about java.library.path.

uClient: now cleans up open files on shutdown.
Doesn't crash on a failed assert!

Hadoop: Implements getFileBlockLocations;
adds ceph_close to CephFileSystem.

uClient/libceph: initial implementation of get_file_stripe_address

Hadoop: Makes use of newly-available replication reporting.

uClient/libceph: implement get_file_replication
add it to libceph.

uClient: Change file data function names for clarity;
add function stubs for Hadoop use.

Hadoop: time conversion between Ceph and Hadoop;
ditch filling in the uid/gid since it's meaningless.

uClient: fill_stat now fills times properly

v0.12

Makefile: add missing header to noinst_HEADERS

Makefile: remove java hadoop _SOURCES dep

osdmap: kill unused/useless get_num_osds()

mds: show journal entry lengths in debug output

kclient: cleanup unused label

kclient: revamp fsync

Be smarter about when we write back caps on fsync, and when we
wait.  Also, wait only for those caps to write back, not for all
caps to be clean, avoiding starvation.

mds: include mds # in table names

Silly us, we were using the same object names for multiple mds's.
That doesn't work so well.

Renamed like so:

mdstable_snaptable   -> mds_snaptable
mdstable_inotable    -> mds0_inotable
sessionmap           -> mds0_sessionmap
mdstable_anchortable -> mds_anchortable

mds: wait for rejoin_gather_finish to complete before finishing

To do that we add ourselves to the rejoin_ack_gather.  Otherwise
we end up in up:active before we've even finished our
parallel_fetch or finished up our caps!

mds: set primary lock state to LOCK from strong replica when appropriate

This is needed only because we identify_files_to_recover() before
sending the rejoin acks, and that may twiddle the lock state, so
we need to be in a compatible state.

Makefile: reorg

mds: fix lock state assert on sync->excl

mds: set up root inode properly on replay

mds: fix reversed conditional on simplelock ->excl transition

Makefile: no fakefuse

psim: calc stddev

osdmap: only use domains if ndom > 1

crush: fix grammar so we can recompile what we decompiled

mds: start resolve with root as UNKNOWN (if it's not ours)

Anything that's not ours should be unknown, including the root dir frag,
which normally starts out as mds0.

If we leave it as 0, then when mds0 claims a subset of /, its bounds are
left as 0 as well instead of being set to unknown.  Which leads to
incorrect resolve stage results.

mds: fix typo (C_Locker_Eval crash)

kclient: fix locking snafu in ESTALE handling

kclient: choose mds based on dentry parent, if needed

mds: adjust mds state asserts to include clientreplay

mds: twiddle missing locks on export

mds: open_root only after up:active

Otherwise our lock states get totally out of whack.

mds: issue caps on non-auth inodes

Not sure how that && is_auth() snuck in there.

kclient: use caps, fragtree only to choose mds (not hierarchy)

Since we require caps for all inodes in our cache, no need to consider
parents when identifying where to sent a request.  Just look at fragtree
(for fragmented dirs) or caps.

kclient: remove stray ; in dout macro

Hadoop: Replaced some unclean file references.
Hey cool, it can do a map-reduce now!

uClient: chmod now protects unchangeable bits.

uClient: _rename doesn't remove nodes from cache.
Sage says this is unnecessary.

Hadoop: Added a setPermissions method.

Hadoop: CephFSInterface cleans up memory better on errors.

Hadoop: Is much more careful with filepath sanitizing in BOTH directions.
Also has a minor interface change allowing it to build in Hadoop .20

uClient: Unmounting now waits on mds_requests.

Hadoop: All configuration is now done through Hadoop's config mechanism.

This includes debug on CephFileSystem/n, passing it to ceph's Client,
and the monitor address.

Hadoop: Now does a proper stat.

kclient: less noisy about mds session timeouts

In particular, we don't want to print this multiple times.  Use
state to note when session appears to be hung, and pr_info on
transitions.

msgr: avoid closing fd twice

Set fd to -1 after so we don't close it again later.  Otherwise
we get EBADF in random other places and are unhappy.

todo

kclient: debug peer_reset thing

I saw ceph_peer_reset with a bad entity_name.. wtf.

kclient: maintain per-cap-bit tid map to fix pipelined cap updates

We want to allow pipelined cap updates, like

 client->mds  writeback Fw 1
dirty FwAx
 client->mds  writeback FwAx 2
dirty Ax
 client->mds  writeback Ax 3
 mds->client  ack 1
 mds->client  ack 2
 mds->client  ack 3

We need to make sure that the Fw bit is only cleaned after ack 2,
and Ax after ack 3.  A single tid for the inode isn't sufficient,
since that would e.g. ignore ack 2... we need a tid per cap bit so
we can pipeline writeback of different caps.

Note that we can't simply write back dirty | flushing caps every
time, since the write may also be releasing the cap.  And it would
gum up the MDS locking.

Move the last_tid to the inode, and only pay attention to 16 bits
per cap bit.. that's 17*2 bytes, vs the old 16.  Could be worse.
An 8 bit tid is probably also sufficient (that's 256 pipelined
writes) if we're concerned about inode size down the road.

kclient: maintain list of flushing snaps; reflush after reconnect

kclient: fix queue_cap_snap refs, calls in handle_snap

Call on correct ci.  Skip past dropping inodes without dropping
our spinlock.  Hold ref on prior inode until we traverse to the
next one.  (We can't iput while holding our spinlock.)

Hadoop: Moved ceph debug level set into Java code; disabled CephIOStream debugs.

uClient: Whoops! Made Inode get/put dout at a lower importance.

Hadoop: Much cleanup of methods.

Many no-longer-required methods are now private and renamed; overrides and deprecated methods are clearly marked and mostly justified.

Hadoop: This method no longer exists in the FileSystem API.

Hadoop: No good reason to overwrite these copy/move functions that I can see

Hadoop: Since Client is behaving, put back in the close.

uclient: Fixes refcounting bug when you chdir to cwd.

Hadoop: More work with deprecated and inappropriately-overridden functions.

Hadoop: Removed deprecated functions

Hadoop: moveFromLocalFile uses copyFromLocalFile; is more robust.

Hadoop: More debugging output changes.

Hadoop: getFileStatus behaves better with folders.

uclient: removed cout debug statement

kclient: don't croak on mds request will NULL r_request

mds: process session msgs during clientreplay

mds: no need to take mds_lock in truncate callback

It's already held when the Objecter message handler is called.

mds: defer caps msgs until clientreplay or active

osd: adjust debug output

mds: tolerate a missing directory object

Including error in log, mark dir complete.  Some metadata may
be missing!

kclient: release unused caps, but keep some reserve

Release unused caps.  Keep some reserve so we can do a readdir
(which reserves lots of caps) quickly, without reallocating a
zillion new caps.

kclient: nofail mode for osd writes

If nofail is specified, allocate request from mempool, and do not
return error on message send failure.  Instead, mark the request,
and periodically retry.

This isn't perfect: we can still starve indefinitely trying to
send the write, but it'll do until we have a better way to reserve
resources for writeback messages.

kclient: use mempool for osd req in writeback paths

Only in writeback path.  For reads and sync writes, avoid the
mempool.

Hadoop: Removed unnecessary reload of hadoopcephfs.

Hadoop: More debugging statements, converted to use a method we can flag off.

libceph: add a check in ceph_deinitialize to prevent badness on multiple calls.

uclient: getcwd fixes

kclient: bug on back kmap

osd: fail gracefully when problems reading /proc/loadavg

auth: compat with old struct

initscript: skip if auto start = no/false/0 and nothing or type specified

kclient: avoid overflow in mds reconnect msg size calc

mon: allow osd down->out interval to be 0 (i.e., manual)