kclient: fix locking snafu in ESTALE handling

kclient: choose mds based on dentry parent, if needed

mds: adjust mds state asserts to include clientreplay

mds: twiddle missing locks on export

mds: open_root only after up:active

Otherwise our lock states get totally out of whack.

mds: issue caps on non-auth inodes

Not sure how that && is_auth() snuck in there.

kclient: use caps, fragtree only to choose mds (not hierarchy)

Since we require caps for all inodes in our cache, no need to consider
parents when identifying where to sent a request.  Just look at fragtree
(for fragmented dirs) or caps.

kclient: remove stray ; in dout macro

Hadoop: Replaced some unclean file references.
Hey cool, it can do a map-reduce now!

uClient: chmod now protects unchangeable bits.

uClient: _rename doesn't remove nodes from cache.
Sage says this is unnecessary.

Hadoop: Added a setPermissions method.

Hadoop: CephFSInterface cleans up memory better on errors.

Hadoop: Is much more careful with filepath sanitizing in BOTH directions.
Also has a minor interface change allowing it to build in Hadoop .20

uClient: Unmounting now waits on mds_requests.

Hadoop: All configuration is now done through Hadoop's config mechanism.

This includes debug on CephFileSystem/n, passing it to ceph's Client,
and the monitor address.

Hadoop: Now does a proper stat.

kclient: less noisy about mds session timeouts

In particular, we don't want to print this multiple times.  Use
state to note when session appears to be hung, and pr_info on
transitions.

msgr: avoid closing fd twice

Set fd to -1 after so we don't close it again later.  Otherwise
we get EBADF in random other places and are unhappy.

todo

kclient: debug peer_reset thing

I saw ceph_peer_reset with a bad entity_name.. wtf.

kclient: maintain per-cap-bit tid map to fix pipelined cap updates

We want to allow pipelined cap updates, like

 client->mds  writeback Fw 1
dirty FwAx
 client->mds  writeback FwAx 2
dirty Ax
 client->mds  writeback Ax 3
 mds->client  ack 1
 mds->client  ack 2
 mds->client  ack 3

We need to make sure that the Fw bit is only cleaned after ack 2,
and Ax after ack 3.  A single tid for the inode isn't sufficient,
since that would e.g. ignore ack 2... we need a tid per cap bit so
we can pipeline writeback of different caps.

Note that we can't simply write back dirty | flushing caps every
time, since the write may also be releasing the cap.  And it would
gum up the MDS locking.

Move the last_tid to the inode, and only pay attention to 16 bits
per cap bit.. that's 17*2 bytes, vs the old 16.  Could be worse.
An 8 bit tid is probably also sufficient (that's 256 pipelined
writes) if we're concerned about inode size down the road.

kclient: maintain list of flushing snaps; reflush after reconnect

kclient: fix queue_cap_snap refs, calls in handle_snap

Call on correct ci.  Skip past dropping inodes without dropping
our spinlock.  Hold ref on prior inode until we traverse to the
next one.  (We can't iput while holding our spinlock.)

Hadoop: Moved ceph debug level set into Java code; disabled CephIOStream debugs.

uClient: Whoops! Made Inode get/put dout at a lower importance.

Hadoop: Much cleanup of methods.

Many no-longer-required methods are now private and renamed; overrides and deprecated methods are clearly marked and mostly justified.

Hadoop: This method no longer exists in the FileSystem API.

Hadoop: No good reason to overwrite these copy/move functions that I can see

Hadoop: Since Client is behaving, put back in the close.

uclient: Fixes refcounting bug when you chdir to cwd.

Hadoop: More work with deprecated and inappropriately-overridden functions.

Hadoop: Removed deprecated functions

Hadoop: moveFromLocalFile uses copyFromLocalFile; is more robust.

Hadoop: More debugging output changes.

Hadoop: getFileStatus behaves better with folders.

uclient: removed cout debug statement

kclient: don't croak on mds request will NULL r_request

mds: process session msgs during clientreplay

mds: no need to take mds_lock in truncate callback

It's already held when the Objecter message handler is called.

mds: defer caps msgs until clientreplay or active

osd: adjust debug output

mds: tolerate a missing directory object

Including error in log, mark dir complete.  Some metadata may
be missing!

kclient: release unused caps, but keep some reserve

Release unused caps.  Keep some reserve so we can do a readdir
(which reserves lots of caps) quickly, without reallocating a
zillion new caps.

kclient: nofail mode for osd writes

If nofail is specified, allocate request from mempool, and do not
return error on message send failure.  Instead, mark the request,
and periodically retry.

This isn't perfect: we can still starve indefinitely trying to
send the write, but it'll do until we have a better way to reserve
resources for writeback messages.

kclient: use mempool for osd req in writeback paths

Only in writeback path.  For reads and sync writes, avoid the
mempool.

Hadoop: Removed unnecessary reload of hadoopcephfs.

Hadoop: More debugging statements, converted to use a method we can flag off.

libceph: add a check in ceph_deinitialize to prevent badness on multiple calls.

uclient: getcwd fixes

kclient: bug on back kmap

osd: fail gracefully when problems reading /proc/loadavg

auth: compat with old struct

initscript: skip if auto start = no/false/0 and nothing or type specified

kclient: avoid overflow in mds reconnect msg size calc

mon: allow osd down->out interval to be 0 (i.e., manual)

osd: remove bad osdmap access

osd may not exist

auth: add ClientTicket

uclient: use lookup parent in getcwd()

mds: add lookup parent op

Hadoop: Many silly debug statements.

Hadoop: Minor fixes to the still-unworking Hadoop code.

Hadoop: hadoopcephfs is now self-contained instead of requiring other libs.

uclient/libceph: add a getcwd function

kclient: replace osdc request_tree with rbtree

This avoids a possible memory allocation in writeout path.

auth: remove ceph_client_ticket struct

Ticket is generally opaque to client anyway.

osd: generate primary backlog independent of master log

We may have the master log (i.e. know the correct pg state), but
still need a backlog to recover some peers.

kclient: set mapping error on writepage error

kclient: debugfs mounts on /sys/kernel/debug

Makefile: skip hadoop client if jni.h not present

kclient: use a mempool for page vector in writepages

kclient: put writepages pagevec on the stack

debian: upload packages as sage

kclient: fix bad kmalloc

kclient: rewrite layout ioctls

mds: only set striping component of file layout, for now.

fix compat

kclient: define compat_ioctl too

osd: actually adjust rd/wr accounting values

osd: add rd/wr ops/bytes stats to pgs, pools

Hadoop: Compiles now. Stupid macros.

Hadoop: Converted CephFSInterface.cc to use libceph.

libceph: Added get_stripe_unit method; used by Hadoop.

Hadoop:Remove the clientPointer convention from the C headers.

Hadoop: Remove the silly clientPointer convention from the Java.

Since we're using libceph now it's unneeded and a waste of space.

Hadoop: Created new and modified old CephFSInterface.cc methods

Hadoop: Newly-generated JNI files into CephFSInterface.h

Hadoop: Adding JNI header files to repository.

Will combine next.

v0.11

kclient: simple dout macro by default

todo

kclient: msgr cleanup

kclient: caps.c cleanup

Hadoop: CephInputStream seekNewSource done. That was easy.

Hadoop: CephOutputStream retabbed, and it's an OutputStream now.

Hadoop: CephInputStream retabbing and add seekToNewSource stub.

Hadoop: Renamed listPathsRaw as listPaths

to indicate that listPaths now strips out . and ..

Fixed bad reference to deleteRaw.

Hadoop: Continued cleanup work.

Hadoop:Stubs for new append method

Hadoop: Minor changes to most of the methods.