Hadoop: Style fixes.

Hadoop: Move the . and .. elimination
from Java to C++ for less copying.

uclient: _getdents should *always* return the number of bytes written
at end of dir, not just assume it's zero!

Hadoop: Use the new ceph_getdnames instead of getdir
Hypertable: fix a nasty not-closing-the-dir bug

libceph: Change the C++-only functions to be C-compatible.
Hypertable: Change to use ceph_getdnames instead of getdir.

Hadoop: Minor updates to use the new C-style functions in libceph.

Hadoop: Fix a nasty IO bug.
CephInputStream.read() needs to return an int between 0 and 255,
but bytes are signed and casting preserves that. Adjust if needed.

Hadoop: Clean up ceph_delete code as it's redundant.

Hadoop: Fixed time modification in getFileStatus.
No wonder I hadn't noticed an issue with statting!

Hadoop: Add package.html;
fix a NULL instead of null error (Java)

Hadoop: Put guards up to prevent
a nasty bug in case of unspecified preferences, and the unlikely case
that initialize is called twice.

upload tarball with 'stable' deb

v0.13

todo

kclient: cleanup msgpool pr_err

kclient: update ctime on 'no-op' ->setattr(.., ATTR_CTIME)

If kernel wants ctime updated but nothing else, pick a cap to
dirty, or set a no-op setattr req to the mds.

With this patch, we pass the full pjd fstest with mode ext3.

kclient tests: fix dir names

uclient: small _getdents cleanup

uclient: let's do getdents() too, while we're at it

crush: put temp arrays on the stack

40 ints on the stack.. not too much I hope?

uclient: remove readdirplus, readdirlite cruft

Ancient!

uclient: add getdnames()

kclient: better info in cap msg debug prints

mds: debug show cap issued/pending/wanted or issued/wanted, depending

mds: clean out old revocation history on racing release

If a release and revoke are racing, we need to make sure the MDS
behaves even though the revoke msg will be ignored.  For example:

mds                    client
1 pAs                  pAs
                       release(last_issue 1)
2 p                    p (*** ignored ***)
3 pAs (issue)          pAs
4 p                    p
5 pXs (issue)          pXs
release(last_issue 1)  *** (was completely) ignored ***

We fix this by including both seq AND last_issue in revoke_info.
The cap state for the above is thus:

mds cap state:
 last_issue = 5
 _pending = pXs
 _revokes = [ p seq=2 li=1, p seq=4 li=3 ]

and the MDS will trim any old revokes for which li <= its
last_issue.  For anything after that, the client will have seen a
new issue and will have stopped ignoring cap messages.

mount.ceph: block same signals as /sbin/mount

mds: remove mdstable ino cruft; version all ondisk encoding

mds: do not save cap_push_seq on disk [disk format change]

The cap_push_seq is purely associated with the current instance
of the session.  On MDS restart and client reconnect, it resets
to zero.  Don't save it.

kclient: make msgpools blocking or non-blocking

kclient: stop using msgpools for incoming msgs

Even though we may only dispatch N messages at a time (if we
have N cores), we may have many more connections, and be
reading the same message types in parallel from multiple
peers.  Msgpool_alloc blocks when teh pool is empty, which
will make the messenger thread hang, and stall forward.

Badness.

There is no easy solution here.

kclient: be smarter about osd reply message refs

configure: check for expat for radosgw

Makefile: add missing MOSDPGTemp.h

mds: clean up loner set/drop logic

Track what loner we _want_ separately from what loner we have, so
that locks can move toward the right state.

Centralize loner set/drop call points.

Move out of EXCL in simple_eval if our target loner is -1(none).

kclient: don't keep reply ref in osd_request; just parse out the result

This requires a few new flags: r_prepared_pages, so we only do that
once, and r_got_reply, so we only parse the result once.

kclient: add iozone, kernel tar+compile tests

kclient: remove ancient crufty test code

kclient: use msgpool for client_caps

kclient: clean up msgr debug output a bit

kclient: fix data skip arithmetic

kclient: drop middle, data in ceph_msg_put

And not msgpool reclaim.

This fixes bug where a reused message has nr_pages != 0 and
gets confused.

auth: auth scheme notes

Merge branch 'unstable' of ssh://ceph.newdream.net/git/ceph into unstable

kclient: requeue cap if cap send fails

kclient: don't reuse message for revoke_ack

This is error prone (multiple paths for sending caps) and screws
up the msg pools.

mds: shut up cap sanity check

kclient: use reference counted ceph_buffer for xattr blob, msg middle

fix client caps encoding

uclient/hadoop: Implement lstat_precise.

libceph: Some functions were getting C bindings where it
didn't make sense (having string parameters. Fixed now.

uClient: Whoops, apparently I thought stat's atime was in millis, but it's in seconds.

msgr: handle 'middle' section of message

Hadoop: What's with all these unused variables?

Hadoop: Javadoc and cleanup in CephInput/OutputStream.

Hadoop: Javadoc and cleanup in CephInputStream.

kclient: alloc 'middle' section of messages via callback

kclient: fix up msgpool some

uclient: A Sage-given fix for something Sage broke.

msgr: add 'middle' section to msgs

kclient: use msgpools for some messages

Hadoop: cleanup compile bugs from previous cleanup work.

kclient: add msgpools

Hadoop: Remove an exists call by checking return codes on mkdirs

Hadoop: Remove references to uid and gid.

Hadoop: Remove unused getLength and supporting C stuff.

Hadoop: uses the new stat_precise.

uclient/libceph: setattr and _setattr now use a stat_precise struct
that handles both seconds and microseconds.
stat_precise has a stat_precise(struct stat) constructor.
ll_setattr still uses struct stat.

testceph: Clarify use of endl so it's non-ambiguous when the includes change.

Hadoop: More Javadoc, indentation fixes, etc.

Hadoop: Convert bytes to kb in statfs

Hadoop: Javadoc and consistency.

Hadoop: Adds the getStatus method introduced by Hadoop .21;
currently commented out since it doesn't compile in .20, but it's tested.

kclient: zero pages we did readahead on

If we get -ENOENT or a short read on readahead, we should still
zero the pages and add them to the page cache, to avoid a future
readpage on each one.

kclient: zero page on ->readpage() ENOENT

kclient: fix bad up_read(snap_rwsem) on readpage failure in write_begin

mount.ceph: key -> secret

kclient: kill unused unsafe_writeback option

kclient: fix up snapdirname, secret mount options

mount: translate keyfile=file to key=thekey

By reading the first line from the file.

todo

mds: keep precalculated _issued instead of recalcing each time

mds: rewrite Capability issue/revoke tracking

Use a list.  Track everything.  Be smart about trimming the list.

kclient: set issue_seq in revoke ack

todo

uclient: clean up write path a bit; better max_size handling

kclient: check size on llseek(..., SEEK_END)

uclient: check size on lseek(..., SEEK_END)

uclient: remove dead code

todo

uclient: handle short sync reads vs eof

osd: reorder snapc setup and ORDERSNAP check

radosgw: remove unneeded INT_MAX

radosgw: list objects in chunks

kclient: zero tail of page in readpage, readpages after short read

ceph_osdc_readpages isn't zeroing for us anymore (as of commit
23b81b9082c987a6f8221eb81c77fd7701086c5b).

kclient: check EOF on sync read to do short result when appropriate

We only want to return a short read if we read the end of file.
Otherwise, a short object read means we hit a hole and need to
zero-fill.

configure: fix --with-radosgw

mds: track caps we release in requests, and reissue on request cleanup if needed

We may suppress cap issue when we release caps in a request.  A lock state
change may have changed the allowed caps and should normally have issued
caps, but we suppress that because the request will way to embed that
normally.  When we cleanup the request, if we haven't issued on that cap
for some reason (maybe the request errored out, or forwarded, etc.), force
an issue then.

mds: do not suppress cap msg if it is a revocation

This can cause things to hang, because the mds is waiting for a revocation
ack that is never going to arrive.

In contrast, an issue can be suppressed if we know we are going to issue
to the client later.

Hadoop: Added some checks for not-a-file paths;
changed what delete returns on not-a-file.

uClient: move last_flush_tid into Inodes,
make kick_flushing_caps faster by overwriting tids.

Makefile: include stop.sh in tarball

todo