kclient: simplify osd timeouts

Call handle_timeout N seconds after oldest request.  In
handle_timeout, reschedule N seconds in future.  Reschedule
with new oldest request when oldest requests completes.

Maintain a r_timeout_stamp value for each request.

cosd: fewer osds, with big btrfs devices

initscripts: allow vars with spaces

osdmap: build default crush maps out of mostly straw buckets

confutils: make max line very large

Merge branch 'unstable' of ssh://ceph.newdream.net/git/ceph into unstable

kclient: add sysfs directory per mds request

filepath: always prepend ino if it's nonzero

That means the only time we don't have an ino perfix is for fully
relative paths.

client: fix request paths

Use filepath, not bare string, whenever we can.

kclient: fix up replay after mds recovery

Do not kick unsafe requests in kick_requests (and in particular, do not
drop the session refs).

Set retry_attempt to MDS_REQUEST_REPLAY to indicate which requests are
replays.

mds: incorporate reconnect cap info after requests replay if ino originally missing

If the client reasserts caps from replayed requests, the inodes don't yet
exists during the reconnect (or even rejoin) stage.  So, if we don't find
the inode, keep the reconnect info around.  When processing a replayed
request in CInode::encode_inodestat, set wanted/issued appropriately.

This is incomplete.  We really need something to ensure we deal with
replayed requests before new requests are handled.. and on a cluster-wide
basis, since requests may involve slave requests to other mds's.

We also should clean up reconnects unclaimed after all replays are
complete.  And somehow inform the client when the cap is officially
nonexistent and EBADF.

mds: include path base ino in client reconnect paths

filepath: no more leading / weirdness

Get rid of weird leading '/' iff ino==1 semantic.  Clean up interface a bit.

kclient: drop unused redirty code from set_page_dirty

filestore: lower min_sync_interval

We mainly need something non-zero here to ensure we batch some
requests up when we get a stream of requests with 'startsync'.

kclient: some bookkeeper fixes

kclient: fix bookkeeper ifdef

kclient: patch series descriptions, updates

kclient: docs

kclient: rename ceph_tools -> bookkeeper

kclient: some caps.c cleanup

mon: tolerate stray victory message (restart the election)

No need to core dump.

kclient: BUG instead of WARN on wanted item on rdcaps list

kclient: cosmetic

kclient: wait for requests to be safe before tearing down dcache

We need to drop dentry refs in kill_sb _before_ kill_anon_super
tears down the dcache.  Wait for safe replies for a while, then
drop what's left on the floor.

kclient: don't fall over on !dirty page in invalidatepage

Spit out a warning, in case we end up with writeback accounting
errors.  I _think_ it's ok, though.

kclient: some documentation

Merge branch 'unstable' of ssh://ceph.newdream.net/git/ceph into unstable

kclient: fix osd timeout handling

kclient: more sanity checks in set_page_dirty

These don't fix anything, just make things break sooner...

kclient: only remember leases on regular dentries

...not for snapdir or snap dentries, which don't have matching
d_release methods.

kclient: fix snap creation/deletion, memory leak

This broke with the new mds request dentry pointers.

Also, clean up kmalloced snap.

kclient: fix snap_realm leak

Separate lookup/create from get (this is safe because we always
hold span_rwsem during these operations).

Merge branch 'unstable' of ssh://ceph.newdream.net/git/ceph into unstable

kclient: revise osd client timeout mechanism

kclient: simplify invalidatepage; strengthen assertions

kclient: writepages cleanup

synclient: optionally do a sync on object writes; wait for sync, not ack

filestore: enforce min and max sync interval

Ideally the min sync interval should be self-tuning (ala ext3, xfs),
but that can come later.

kclient: dosync in writepages if sync_mode is WB_SYNC_ALL

If we dosync if !pdflush, then we end up doing syncs from
balance_dirty_pages, wreaking havoc on the OSDs.

It's possible the current_is_pdflush() check isn't needed at all..

kclient: fix readpages zeroing bug

Move to the next page after zeroing the first partial page.

kclient: return 0 from readpage on success

kclient: addr debug, cleanup

kclient: fix readpages zeroing

kclient: reschedule timeout for timeout length if remaining is zero

kclient: merge conflict

Merge branch 'unstable' of ssh://ceph.newdream.net/git/ceph into unstable

Conflicts:

src/kernel/caps.c
src/kernel/super.h

kclient: sparse cleanup

kclient: small cleanup

kclient: fix readpages

do_sync_request returns an error code or bytes read; no need to do
the 0 -> bytes conversion in the caller.

kclient: use helper to clearly define which caps belond on rdcaps

Adjust list membership in ceph_add_cap, release, flush_ack, and
ceph_put_fmode paths.  Use a spinlock to protect list adjustments
because ceph_put_fmode does not have the session mutex.

Make __cap_is_valid() to check if we are on the rdcaps list or not.

Remove unneeded extra checks in rdcaps trimmer; replace with a
WARN.

Merge branch 'unstable' of ssh://ceph.newdream.net/git/ceph into unstable

kclient: adjust debug output

kclient: be more careful about putting cap on rdcaps in ceph_add_cap()

Namely, remove it if it doesn't belong there anymore.  This needs
to happen when we release caps, too...

kclient: some cleanup

kclient: do not drop rdcaps that are dirty or flushing

This screws up cap writeback.

kclient: remove unused code

kclient: user zero_user_segment helper

kclient: avoid zero_user_segment on old kernels

zero_user_segment appeared in 2.6.25.

kclient: fix __read_mostly attributes

kclient: zero trailing pages in readpage(s) on short read or ENOENT

Return number of bytes read + zeroed.

Tighten up assertions a bit.

kclient: mark debug vars __read_mostly

initscript: --btrfs flag

Optionally mount btrfs

mds: flush journal on truncate if readers/writers are waiting

kclient: include ceph_ver.h in kernel patch series, package

kclient: remove /sys/fs/ceph when doing cleanup

mds: logger typo

cosd: fixes

mkcephfs: bit more verbose

configure: remove some silly checks

makefile: include make_version in dist tarball

todo

mds: fix logger key id; call validate() for all logtypes

config: no more .ceph_monmap; parse cluster.conf for mon addrs

Look for cluster.conf in /etc/ceph/cluster.conf, then
./cluster.conf.  Make vstart.sh generate a cluster.conf.

No more .ceph_monmap default.. only look for monmap file is
specified on command line.

todo: cas notes

mds: small cleanups

mds: fix file_eval

Be more aggressive about shifting filelock state to something more
useful.  Mainly, do NOT stop everything if there are wrlocks!  This
causes all kinds of annoying stalls waiting for the log to flush.

ceph_ver: write log message whenever a new log is opened

ceph_ver: add ceph_ver.h to list of .h files

kclient: write ceph git version when module loads

ceph_ver: add unconditional rule

ceph_ver: uncomment important line

ceph_ver: show the git sha1 version in the logs

Merge branch 'unstable' of ssh://ceph.newdream.net/git/ceph into unstable

kclient: wakeup wq waiting on caps on write

kclient: some fmode cleanup

BUG instead of WARN.  Rename field.

kclient: fix fmode ref count buf

We weren't taking an fmode reference on the root dir.  This would
cause a WARN if our root caps were allowed to expire and we had
to ropen them.  Duplicated wonky r_fmode conditional from later
fill_inode() call in fill_trace().

kclient: wake up i_cap_wq in ceph_add_cap

We could a thread blocked on caps when we are issued a new cap in
another thread.  They need to be woken up.

kclient: check d_inode before clearing its COMPLETE flag.

mds: fix try_remove_unlinked_dn

Just because a dir is_complete() doesn't mean that we can safely
do away with a null dentry.  What matters is if the dentry existed
before the last commit.. and having everything in our cache isn't
relevant at all there.  If we are complete, a fetch() would be a
no-op, but since we can clear complete at any time, that's not
helpful.

kclient: do not return new null dentry from lookup

The VFS doesn't appear to like it when lookup returns a replacement
dentry that is null... it BUGs on unmount with a ref count that is
still 1.

So, if we get ENOENT and no trace, return ERR_PTR(-ENOENT) instead.

cfuse: fix startup

conf: some cleanup

conf: some more fixes (again)

conf: fix typo

mds: clean up auth_pin nesting code a bit

mkcephfs: take optional crush map on command line

conf: lockdep again

conf: fix some other errors

conf: the return of --lockdep, other fixes