auth: auth scheme notes

Merge branch 'unstable' of ssh://ceph.newdream.net/git/ceph into unstable

kclient: requeue cap if cap send fails

kclient: don't reuse message for revoke_ack

This is error prone (multiple paths for sending caps) and screws
up the msg pools.

mds: shut up cap sanity check

kclient: use reference counted ceph_buffer for xattr blob, msg middle

fix client caps encoding

uclient/hadoop: Implement lstat_precise.

libceph: Some functions were getting C bindings where it
didn't make sense (having string parameters. Fixed now.

uClient: Whoops, apparently I thought stat's atime was in millis, but it's in seconds.

msgr: handle 'middle' section of message

Hadoop: What's with all these unused variables?

Hadoop: Javadoc and cleanup in CephInput/OutputStream.

Hadoop: Javadoc and cleanup in CephInputStream.

kclient: alloc 'middle' section of messages via callback

kclient: fix up msgpool some

uclient: A Sage-given fix for something Sage broke.

msgr: add 'middle' section to msgs

kclient: use msgpools for some messages

Hadoop: cleanup compile bugs from previous cleanup work.

kclient: add msgpools

Hadoop: Remove an exists call by checking return codes on mkdirs

Hadoop: Remove references to uid and gid.

Hadoop: Remove unused getLength and supporting C stuff.

Hadoop: uses the new stat_precise.

uclient/libceph: setattr and _setattr now use a stat_precise struct
that handles both seconds and microseconds.
stat_precise has a stat_precise(struct stat) constructor.
ll_setattr still uses struct stat.

testceph: Clarify use of endl so it's non-ambiguous when the includes change.

Hadoop: More Javadoc, indentation fixes, etc.

Hadoop: Convert bytes to kb in statfs

Hadoop: Javadoc and consistency.

Hadoop: Adds the getStatus method introduced by Hadoop .21;
currently commented out since it doesn't compile in .20, but it's tested.

kclient: zero pages we did readahead on

If we get -ENOENT or a short read on readahead, we should still
zero the pages and add them to the page cache, to avoid a future
readpage on each one.

kclient: zero page on ->readpage() ENOENT

kclient: fix bad up_read(snap_rwsem) on readpage failure in write_begin

mount.ceph: key -> secret

kclient: kill unused unsafe_writeback option

kclient: fix up snapdirname, secret mount options

mount: translate keyfile=file to key=thekey

By reading the first line from the file.

todo

mds: keep precalculated _issued instead of recalcing each time

mds: rewrite Capability issue/revoke tracking

Use a list.  Track everything.  Be smart about trimming the list.

kclient: set issue_seq in revoke ack

todo

uclient: clean up write path a bit; better max_size handling

kclient: check size on llseek(..., SEEK_END)

uclient: check size on lseek(..., SEEK_END)

uclient: remove dead code

todo

uclient: handle short sync reads vs eof

osd: reorder snapc setup and ORDERSNAP check

radosgw: remove unneeded INT_MAX

radosgw: list objects in chunks

kclient: zero tail of page in readpage, readpages after short read

ceph_osdc_readpages isn't zeroing for us anymore (as of commit
23b81b9082c987a6f8221eb81c77fd7701086c5b).

kclient: check EOF on sync read to do short result when appropriate

We only want to return a short read if we read the end of file.
Otherwise, a short object read means we hit a hole and need to
zero-fill.

configure: fix --with-radosgw

mds: track caps we release in requests, and reissue on request cleanup if needed

We may suppress cap issue when we release caps in a request.  A lock state
change may have changed the allowed caps and should normally have issued
caps, but we suppress that because the request will way to embed that
normally.  When we cleanup the request, if we haven't issued on that cap
for some reason (maybe the request errored out, or forwarded, etc.), force
an issue then.

mds: do not suppress cap msg if it is a revocation

This can cause things to hang, because the mds is waiting for a revocation
ack that is never going to arrive.

In contrast, an issue can be suppressed if we know we are going to issue
to the client later.

Hadoop: Added some checks for not-a-file paths;
changed what delete returns on not-a-file.

uClient: move last_flush_tid into Inodes,
make kick_flushing_caps faster by overwriting tids.

Makefile: include stop.sh in tarball

todo

psim: ifdef out dead code

filestore: clean out old debug print

uclient: avoid cap release delay on revoke

rev ondisk versions

auth: add versioning to ClientTicket

kclient: print osdmap pgid info

kclient: refactor readpages, striping

Make zero filling conditional on whether we did a short read or
the caller wants zeroed pages (e.g. O_DIRECT).  Simply lowest level
osdc readpages to do a short read if it hits a stripe boundary;
that is sufficient for the ->readpages() aops.

kclient: fix msgr incoming msg allocation stupid

nstring: use correct hash function !!!!

This needs to match up with the hash used by the kernel when
hashing the object name for placement.

Use the better hash for all strings, while we're at it.

kclient: fix sync_read return value

Return total number of bytes read from ceph_sync_read.

mds: fix multiclient RD+WR loner logic

We want to go mix if there is a mix of RD and WR wanted, not
just multiple writers.

kclient: fix sync read, avoid unnecessary zeroing in readpages

For readpages and O_DIRECT, we want to zero out the full range
of pages we tried to read, even if the OSD does a short read,
because that implies those pages are full of zeroes.

For a regular sync read, though, we want to pass the OSD's short
read back to the application, and avoid wasting time zeroing
out pages we aren't going to look at.

osd: recover primary in version (not object) order

This should exhibit better disk (temporal) locality.

osd: avoid calling std::list.size() in PG print method

So slow!

kclient: allocate mempool prior to sget()

We hold a spinlock in ceph_set_super.  And it's not the time or
place.

uClient: Now pipelines cap flushes like the kclient.
Analagous to the kclient changes in f7e60edead6d025d167715372dad601b499fb5a4.
The kick_flushing_caps function does way too many comparisons, though.

uClient: debug output for inode issues.

Hadoop: CEPH_SETTATTR_ATIME -> CEPH_SETATTR_ATIME typo fix

todo

osd: wait for primary to build backlog when needed

This is still required in certain cases.. unfortunately..

kclient: decode, map osdmap pg_temp

kclient: specify incoming message allocation function

kclient: use ceph_msg_new to allocate incoming msgs

Read header into a temp buffer, and delay msg allocation until we
know how big it will be.

osd: der, prior_set may contain down osds

Incorrectly cleaned this up a few commits back.

osd: fixed up some debug output

osd: fix osdmap decoding typo/crash for old versions

mon: include pool op in MPoolOp msg print

kclient: GFP_NOFS for vmalloc; vmalloc large incoming msgs too

osd: pg removal in a work queue

osd: ignore info racing with PGRemove

We may get multiple infos during peering, because we explicitly
query priors AND osds with existing pg data send them (thus we
may get 2).

The second info can race with a PGRemove.  When we get it, we have
to realize it's not _new_ stray content.. it's old content we're
already purging.

osd: rev protocols

elector: off by one check

osd: exclude lagging peers during backlog generation

osd: use same_acting_since instead of same_primary_since in most cases

osd: track same_up_since, same_acting_since, same_primary_since

osd: use pg_temp to limit acting set to nodes who don't need backlog

We still need to do something intelligent about it (namely, generate
backlogs for up-but-not-acting nodes, and then clear the pg_temp)..

rados: statically allocate time

rados: change command line arg

mon: handle MOSDPGTemp

Used to instruct monitor to set temporary mapping of an osd pg.

osd: track both up and acting sets in PG, PG::Interval