mds: eval_caps on cap removal

journaler: fix flush bug

Fixes problem with aec1203d8502ad9b8583b53e55491f3a43309b97

Also uses decode for entry sizes (endian-safe!).

mon: avoid duplicate log entries

Also avoid dumping the whole log on 'ceph -w' startup.

kclient: some sparse fixes

kclient: stat -> getattr

mds: clean up mds args (rename stat -> getattr)

todo

mds: consolidate loner checks

We want to set the loner before eval'ing locks, and drop loner after
eval'ing (after each has a chance to move out of EXCL).  We also need to
drop loner in each eval so that an individual wrlock drop will do the
right thing.

Still not perfect, but better.

mds: fix get_caps_issued shift/mask bug

uclient: do local lookups if FILE_RDCACHE on dir and rdcache_gen matches

kclient: requeue inode whenever we dirty (use) EXCL|WR caps.

kclient: queue cap or delayed check if we get unwanted WR|EXCL caps

This ensures we eventually release unwanted WR|EXCL caps.

kclient: fix delayed counter in check_caps

Fix things so we are actually checking whether we delayed a release or
not, so we can act accordingly (by de- or re-scheduling the delayed
cap check).

journaler: write out objects as we complete them

No reason to delay the write (except maybe to debug log flush()
calls in the MDS).

todo

cosd: conf changes

mds: finish waiters for root (fixes mds recovery)

mds: only delete mds on clean shutdown

This avoids bad asserts on suicide, but still lets us find memory leaks
on clean shutdowns.

trivial cleanups

mon: replace mds even if state < 0

That conditional test was from before we redid the mds states

init: killall || true

config: set g_daemon flag; only create pid file is daemon (even if in foreground)

cosd.conf: more disks

mkcephfs: modprobe btrfs; create mount point earlier

spinlock: pass 0, not NULL

kclient: drop i_lock over dput in dcache_readdir

kclient: preserve dentry readdir offset during a rename

Move the overwritten dentry's readdir offset to the old (renamed,
d_moved) dentry.

todo

mds: avoid journal flush on max_size decrease; clean up some flush checks

mds: make is_waiter_for() efficient, maskable

mds: kill unused purging xlist

mds: move leases to dentry only; use map instead of hash_map

This lowers mds memory usage by about 20%

debug: fix memory leak

logger: fix memory leak (kill timer on shutdown)

kclient: move igrab, __mark_inode_dirty into __ceph_mark_dirty_caps

Also be sure to __mark_inode_dirty(inode, I_DIRTY_DATASYNC) when
we dirty FILE_WRBUFFER.

buffer: cleanups

atomic: use a spinlock instead of a mutex

spinlock: add support for pthread spinlocks

vstart: valgrind select components; make tool + args selectable

mds: kill unused cap updating field

It was used to avoid cap release from occuring while cap flush/writeback
is happening, bc there is a cap pointer in the completion.  But the client
shouldn't be releasing a cap that is being written back in the first place.

mds: delete mds on shutdown

Aids memory leak detection.

journaler: put magic in journal headers

mds: fix root fullbit memory leak

buffer: make hexdump non-inline

kclient: fix blob size initalization

mds: add/remove inodes to/from open file list based on wanted caps changes

We only want to track "open" files for things the client will have open
file handles for.  The rest we will recover opportunistically...

mds: fix file_excl() call preconditions

We could have filelock in LOCK_EXCL but no loner.. maybe..

mds: avoid dup locallock wrlocks

kclient: reorder setxattr to avoid race

kclient: removexattr marks inode dirty when required

kclient: break I_NODELAY into NODELAY and FLUSH

FLUSH indicates the inode should be flushed asap.  That is, we
should send a cap message with the dirty metadata.  It's set
by write_inode.

NODELAY means we shouldn't delay our cap/wanted release when we
do send a message.  It's set for unlinked files.

mds: rewrite scatter_tempsync

Recall caps, among other things.

vstart: selectively run mds through valgrind

mds: drop unused mdr->cap

mds: remove debug msg

kclient: helpers for mount options

kclient: fix dcache readdir bug; add mount option to turn it off

mds: init var

kclient: setxattr cleanups

Do dirty stuff inside i_lock.
Reuse retry label after successful allocation.

mds: issue all caps we can (except RD|WR on dirs)

Might as well.

Most importantly, it means we issue EXCL caps on directories that
clients are using.

mds: fix snap.c debug prefix

kclient: drop RD, WR caps on file lock setattr

The mds will move to LOCK state, which will revoke them anyway.

mds: use actual cap wanted, not requested

(The wanted update doesn't always succeed.)

mds: allow request_release to update wanted; do so if I_NODELAY

kclient: fix up cap timeouts

mds, kclient: fix issue_seq vs seq, limit dup cap messages

mds: consolidate calls to issue_caps

kclient: silence down log messages

kclient: add missing initialization

kclient: fix xattrs cap message

kclient: merge asyncxattr

kclient: refactor setxattr, listxattr

kclient: fix removexattr

kclient: fix some leaks

kclient: xattrs, selective rb erasing, fix tree tear down

kclient: make listxattr actually work

kclient: xattr name length fixes

kclient: initialize xattrs version

kclient: send xattr name on setxattr

kclient: verbose xattrs

kclient: list, get cached xattrs

kclient: don't copy null xattrs blob

kclient: send xattrs blob when dropping xattr rdcache

kclient: preallocated buffer for the xattr blob

kclient: xattrs cleanup, preallocate xattr structure

kclient: don't rebuild xattr rbtree if exists

kclient: fix some more xattr stuff, basic stuff works

kclient: some more xattr fixes

kclient: xattr initalization and bug fixes

kclient: xattr uses rbtree for indexing

mds: fix CInode::get_caps_wanted to do the shift on returned mask

mds: move simplelocks (auth, xattr) to EXCL in simple_eval

Also move xattr lock to EXCL state on mkdir, create.

kclient: assign meaningful readdir offset to client-created dentry

Set i_max_offset when I_COMPLETE flag is set.  Thereafter, and local
negative lookups will get the next unused offset.

Not coherent if we fall back to talking to the MDS.

mds: add mds_max_mem conf item, hook to check memory utilization

mds: trim cache during tick, not every request

More efficient

mds: put mds format magic in root inode, journal; check on start, replay

context: return error from C_Gather

mds: kill rdcaps code

Since caps no longer time out, we no longer need to maintain an rdcaps
lru.  Good riddance.

mds: count caps, inodes with caps

todo