kclient: fail con->ops->get() if ref count is zero, and avoid requeueing work

This fixes a bug where a socket status change races with con_destroy:

ref 1 -> 0
con_destroy()
sock state change, requeue
destroy socket
kfree(con)
...do work and crash...

kclient: handle osd resets, timeouts, etc.

kclient: remove connection tracking from msgr

kclient: use a per-connection ops vector

kclient: use per-connectino peer_reset callback

kclient: use connection api for osdc (almost, no kick or timeout)

msgr: handle keepalive

kclient: use connection msgr api for mon client

kclient: use connection msgr api for mds

kclient: add explicit connection-based api

msgr: fix policy setting

kclient: factor out connection creation; add con_send, con_keepalive

Mmm, much cleaner so far!

kclient: periodically ping mds's

kclient: do not accept connections in messager (client only!)

This rips out a lot of code, yay!

msgr: server flag to avoid connecting to peer

If we have a message and no socket and server=true, just queue it
up.  When they connect to us they'll get it.

mds: handle ping

kclient: fix bad kfree on kmem_cache cap

mds: update dir parent pointer on rename

Maintain per-segment list and inode flag for this purpose.
Flush out changes on log segment trim.

Also remove from renamed list if we commit first frag (which also
writes a parent pointer each time).

mds: factor inode parent pointer encoding out of CDir commit

We'll use it to adjust the xattr when a file is renamed, too.

uclient: don't croak on flush_set_callback on nonexistant ino

Not sure where this is happening exactly.. :/

mds: propagate scatterlock data w/o changing lock state in scatter_nudge

If we can take the wrlock already, there's no need to adjust the
lock state... just call scatter_writebehind.

mds: avoid propagating nestlock more frequently than mds_dirstat_min_interval

Instead, add the lock to the update_scatterlock list, as usual.

mds: kill SimpleLock::wait_shift

It's a function of lock type.

todo

uclient: warn about stat_precise struct changes

libceph: no need for frag_info_t

msgr: add ms_die_on_bad_msg option, make assert(0) conditional

Hadoop: Style fixes.

Hadoop: Move the . and .. elimination
from Java to C++ for less copying.

uclient: _getdents should *always* return the number of bytes written
at end of dir, not just assume it's zero!

Hadoop: Use the new ceph_getdnames instead of getdir
Hypertable: fix a nasty not-closing-the-dir bug

libceph: Change the C++-only functions to be C-compatible.
Hypertable: Change to use ceph_getdnames instead of getdir.

Hadoop: Minor updates to use the new C-style functions in libceph.

Hadoop: Fix a nasty IO bug.
CephInputStream.read() needs to return an int between 0 and 255,
but bytes are signed and casting preserves that. Adjust if needed.

Hadoop: Clean up ceph_delete code as it's redundant.

Hadoop: Fixed time modification in getFileStatus.
No wonder I hadn't noticed an issue with statting!

Hadoop: Add package.html;
fix a NULL instead of null error (Java)

Hadoop: Put guards up to prevent
a nasty bug in case of unspecified preferences, and the unlikely case
that initialize is called twice.

upload tarball with 'stable' deb

v0.13

todo

kclient: cleanup msgpool pr_err

kclient: update ctime on 'no-op' ->setattr(.., ATTR_CTIME)

If kernel wants ctime updated but nothing else, pick a cap to
dirty, or set a no-op setattr req to the mds.

With this patch, we pass the full pjd fstest with mode ext3.

kclient tests: fix dir names

uclient: small _getdents cleanup

uclient: let's do getdents() too, while we're at it

crush: put temp arrays on the stack

40 ints on the stack.. not too much I hope?

uclient: remove readdirplus, readdirlite cruft

Ancient!

uclient: add getdnames()

kclient: better info in cap msg debug prints

mds: debug show cap issued/pending/wanted or issued/wanted, depending

mds: clean out old revocation history on racing release

If a release and revoke are racing, we need to make sure the MDS
behaves even though the revoke msg will be ignored.  For example:

mds                    client
1 pAs                  pAs
                       release(last_issue 1)
2 p                    p (*** ignored ***)
3 pAs (issue)          pAs
4 p                    p
5 pXs (issue)          pXs
release(last_issue 1)  *** (was completely) ignored ***

We fix this by including both seq AND last_issue in revoke_info.
The cap state for the above is thus:

mds cap state:
 last_issue = 5
 _pending = pXs
 _revokes = [ p seq=2 li=1, p seq=4 li=3 ]

and the MDS will trim any old revokes for which li <= its
last_issue.  For anything after that, the client will have seen a
new issue and will have stopped ignoring cap messages.

mount.ceph: block same signals as /sbin/mount

mds: remove mdstable ino cruft; version all ondisk encoding

mds: do not save cap_push_seq on disk [disk format change]

The cap_push_seq is purely associated with the current instance
of the session.  On MDS restart and client reconnect, it resets
to zero.  Don't save it.

kclient: make msgpools blocking or non-blocking

kclient: stop using msgpools for incoming msgs

Even though we may only dispatch N messages at a time (if we
have N cores), we may have many more connections, and be
reading the same message types in parallel from multiple
peers.  Msgpool_alloc blocks when teh pool is empty, which
will make the messenger thread hang, and stall forward.

Badness.

There is no easy solution here.

kclient: be smarter about osd reply message refs

configure: check for expat for radosgw

Makefile: add missing MOSDPGTemp.h

mds: clean up loner set/drop logic

Track what loner we _want_ separately from what loner we have, so
that locks can move toward the right state.

Centralize loner set/drop call points.

Move out of EXCL in simple_eval if our target loner is -1(none).

kclient: don't keep reply ref in osd_request; just parse out the result

This requires a few new flags: r_prepared_pages, so we only do that
once, and r_got_reply, so we only parse the result once.

kclient: add iozone, kernel tar+compile tests

kclient: remove ancient crufty test code

kclient: use msgpool for client_caps

kclient: clean up msgr debug output a bit

kclient: fix data skip arithmetic

kclient: drop middle, data in ceph_msg_put

And not msgpool reclaim.

This fixes bug where a reused message has nr_pages != 0 and
gets confused.

auth: auth scheme notes

Merge branch 'unstable' of ssh://ceph.newdream.net/git/ceph into unstable

kclient: requeue cap if cap send fails

kclient: don't reuse message for revoke_ack

This is error prone (multiple paths for sending caps) and screws
up the msg pools.

mds: shut up cap sanity check

kclient: use reference counted ceph_buffer for xattr blob, msg middle

fix client caps encoding

uclient/hadoop: Implement lstat_precise.

libceph: Some functions were getting C bindings where it
didn't make sense (having string parameters. Fixed now.

uClient: Whoops, apparently I thought stat's atime was in millis, but it's in seconds.

msgr: handle 'middle' section of message

Hadoop: What's with all these unused variables?

Hadoop: Javadoc and cleanup in CephInput/OutputStream.

Hadoop: Javadoc and cleanup in CephInputStream.

kclient: alloc 'middle' section of messages via callback

kclient: fix up msgpool some

uclient: A Sage-given fix for something Sage broke.

msgr: add 'middle' section to msgs

kclient: use msgpools for some messages

Hadoop: cleanup compile bugs from previous cleanup work.

kclient: add msgpools

Hadoop: Remove an exists call by checking return codes on mkdirs

Hadoop: Remove references to uid and gid.

Hadoop: Remove unused getLength and supporting C stuff.

Hadoop: uses the new stat_precise.

uclient/libceph: setattr and _setattr now use a stat_precise struct
that handles both seconds and microseconds.
stat_precise has a stat_precise(struct stat) constructor.
ll_setattr still uses struct stat.

testceph: Clarify use of endl so it's non-ambiguous when the includes change.

Hadoop: More Javadoc, indentation fixes, etc.

Hadoop: Convert bytes to kb in statfs

Hadoop: Javadoc and consistency.

Hadoop: Adds the getStatus method introduced by Hadoop .21;
currently commented out since it doesn't compile in .20, but it's tested.

kclient: zero pages we did readahead on

If we get -ENOENT or a short read on readahead, we should still
zero the pages and add them to the page cache, to avoid a future
readpage on each one.

kclient: zero page on ->readpage() ENOENT

kclient: fix bad up_read(snap_rwsem) on readpage failure in write_begin