v0.12

Makefile: add missing header to noinst_HEADERS

Makefile: remove java hadoop _SOURCES dep

osdmap: kill unused/useless get_num_osds()

mds: show journal entry lengths in debug output

kclient: cleanup unused label

kclient: revamp fsync

Be smarter about when we write back caps on fsync, and when we
wait.  Also, wait only for those caps to write back, not for all
caps to be clean, avoiding starvation.

mds: include mds # in table names

Silly us, we were using the same object names for multiple mds's.
That doesn't work so well.

Renamed like so:

mdstable_snaptable   -> mds_snaptable
mdstable_inotable    -> mds0_inotable
sessionmap           -> mds0_sessionmap
mdstable_anchortable -> mds_anchortable

mds: wait for rejoin_gather_finish to complete before finishing

To do that we add ourselves to the rejoin_ack_gather.  Otherwise
we end up in up:active before we've even finished our
parallel_fetch or finished up our caps!

mds: set primary lock state to LOCK from strong replica when appropriate

This is needed only because we identify_files_to_recover() before
sending the rejoin acks, and that may twiddle the lock state, so
we need to be in a compatible state.

Makefile: reorg

mds: fix lock state assert on sync->excl

mds: set up root inode properly on replay

mds: fix reversed conditional on simplelock ->excl transition

Makefile: no fakefuse

psim: calc stddev

osdmap: only use domains if ndom > 1

crush: fix grammar so we can recompile what we decompiled

mds: start resolve with root as UNKNOWN (if it's not ours)

Anything that's not ours should be unknown, including the root dir frag,
which normally starts out as mds0.

If we leave it as 0, then when mds0 claims a subset of /, its bounds are
left as 0 as well instead of being set to unknown.  Which leads to
incorrect resolve stage results.

mds: fix typo (C_Locker_Eval crash)

kclient: fix locking snafu in ESTALE handling

kclient: choose mds based on dentry parent, if needed

mds: adjust mds state asserts to include clientreplay

mds: twiddle missing locks on export

mds: open_root only after up:active

Otherwise our lock states get totally out of whack.

mds: issue caps on non-auth inodes

Not sure how that && is_auth() snuck in there.

kclient: use caps, fragtree only to choose mds (not hierarchy)

Since we require caps for all inodes in our cache, no need to consider
parents when identifying where to sent a request.  Just look at fragtree
(for fragmented dirs) or caps.

kclient: remove stray ; in dout macro

Hadoop: Replaced some unclean file references.
Hey cool, it can do a map-reduce now!

uClient: chmod now protects unchangeable bits.

uClient: _rename doesn't remove nodes from cache.
Sage says this is unnecessary.

Hadoop: Added a setPermissions method.

Hadoop: CephFSInterface cleans up memory better on errors.

Hadoop: Is much more careful with filepath sanitizing in BOTH directions.
Also has a minor interface change allowing it to build in Hadoop .20

uClient: Unmounting now waits on mds_requests.

Hadoop: All configuration is now done through Hadoop's config mechanism.

This includes debug on CephFileSystem/n, passing it to ceph's Client,
and the monitor address.

Hadoop: Now does a proper stat.

kclient: less noisy about mds session timeouts

In particular, we don't want to print this multiple times.  Use
state to note when session appears to be hung, and pr_info on
transitions.

msgr: avoid closing fd twice

Set fd to -1 after so we don't close it again later.  Otherwise
we get EBADF in random other places and are unhappy.

todo

kclient: debug peer_reset thing

I saw ceph_peer_reset with a bad entity_name.. wtf.

kclient: maintain per-cap-bit tid map to fix pipelined cap updates

We want to allow pipelined cap updates, like

 client->mds  writeback Fw 1
dirty FwAx
 client->mds  writeback FwAx 2
dirty Ax
 client->mds  writeback Ax 3
 mds->client  ack 1
 mds->client  ack 2
 mds->client  ack 3

We need to make sure that the Fw bit is only cleaned after ack 2,
and Ax after ack 3.  A single tid for the inode isn't sufficient,
since that would e.g. ignore ack 2... we need a tid per cap bit so
we can pipeline writeback of different caps.

Note that we can't simply write back dirty | flushing caps every
time, since the write may also be releasing the cap.  And it would
gum up the MDS locking.

Move the last_tid to the inode, and only pay attention to 16 bits
per cap bit.. that's 17*2 bytes, vs the old 16.  Could be worse.
An 8 bit tid is probably also sufficient (that's 256 pipelined
writes) if we're concerned about inode size down the road.

kclient: maintain list of flushing snaps; reflush after reconnect

kclient: fix queue_cap_snap refs, calls in handle_snap

Call on correct ci.  Skip past dropping inodes without dropping
our spinlock.  Hold ref on prior inode until we traverse to the
next one.  (We can't iput while holding our spinlock.)

Hadoop: Moved ceph debug level set into Java code; disabled CephIOStream debugs.

uClient: Whoops! Made Inode get/put dout at a lower importance.

Hadoop: Much cleanup of methods.

Many no-longer-required methods are now private and renamed; overrides and deprecated methods are clearly marked and mostly justified.

Hadoop: This method no longer exists in the FileSystem API.

Hadoop: No good reason to overwrite these copy/move functions that I can see

Hadoop: Since Client is behaving, put back in the close.

uclient: Fixes refcounting bug when you chdir to cwd.

Hadoop: More work with deprecated and inappropriately-overridden functions.

Hadoop: Removed deprecated functions

Hadoop: moveFromLocalFile uses copyFromLocalFile; is more robust.

Hadoop: More debugging output changes.

Hadoop: getFileStatus behaves better with folders.

uclient: removed cout debug statement

kclient: don't croak on mds request will NULL r_request

mds: process session msgs during clientreplay

mds: no need to take mds_lock in truncate callback

It's already held when the Objecter message handler is called.

mds: defer caps msgs until clientreplay or active

osd: adjust debug output

mds: tolerate a missing directory object

Including error in log, mark dir complete.  Some metadata may
be missing!

kclient: release unused caps, but keep some reserve

Release unused caps.  Keep some reserve so we can do a readdir
(which reserves lots of caps) quickly, without reallocating a
zillion new caps.

kclient: nofail mode for osd writes

If nofail is specified, allocate request from mempool, and do not
return error on message send failure.  Instead, mark the request,
and periodically retry.

This isn't perfect: we can still starve indefinitely trying to
send the write, but it'll do until we have a better way to reserve
resources for writeback messages.

kclient: use mempool for osd req in writeback paths

Only in writeback path.  For reads and sync writes, avoid the
mempool.

Hadoop: Removed unnecessary reload of hadoopcephfs.

Hadoop: More debugging statements, converted to use a method we can flag off.

libceph: add a check in ceph_deinitialize to prevent badness on multiple calls.

uclient: getcwd fixes

kclient: bug on back kmap

osd: fail gracefully when problems reading /proc/loadavg

auth: compat with old struct

initscript: skip if auto start = no/false/0 and nothing or type specified

kclient: avoid overflow in mds reconnect msg size calc

mon: allow osd down->out interval to be 0 (i.e., manual)

osd: remove bad osdmap access

osd may not exist

auth: add ClientTicket

uclient: use lookup parent in getcwd()

mds: add lookup parent op

Hadoop: Many silly debug statements.

Hadoop: Minor fixes to the still-unworking Hadoop code.

Hadoop: hadoopcephfs is now self-contained instead of requiring other libs.

uclient/libceph: add a getcwd function

kclient: replace osdc request_tree with rbtree

This avoids a possible memory allocation in writeout path.

auth: remove ceph_client_ticket struct

Ticket is generally opaque to client anyway.

osd: generate primary backlog independent of master log

We may have the master log (i.e. know the correct pg state), but
still need a backlog to recover some peers.

kclient: set mapping error on writepage error

kclient: debugfs mounts on /sys/kernel/debug

Makefile: skip hadoop client if jni.h not present

kclient: use a mempool for page vector in writepages

kclient: put writepages pagevec on the stack

debian: upload packages as sage

kclient: fix bad kmalloc

kclient: rewrite layout ioctls

mds: only set striping component of file layout, for now.

fix compat

kclient: define compat_ioctl too

osd: actually adjust rd/wr accounting values

osd: add rd/wr ops/bytes stats to pgs, pools