mds: make scatterlock flush on mix <-> lock transitions, not just mix <-> sync

Among other things, this fixes up mds (>0) shutdown.

auth: fix uninitialized variable

mds: add MClientMountAck

config: clean up common_init a bit

initscripts: add default mount options

auth: advanced auth config options

kclient: remove renew_from from lease renew message

Keep it in the ceph_dentry_info instead (as is done with the cap
renewals).  Much cleaner.

protocol: add mount_ack to client mount protocol

cstring: don't fall over on null initialization

(like std::string does)

debian: description updates

Revert "mds: make CAP_FILE_RD expireable"

This reverts commit 05752278d46fe5776d54d3b58f8c8a88e67a2179.

Caused dbench performance regression.. everything got all slow!

ceph: ceph_client_ticket

debian: improve description a bit

mds: be sure to issue new caps _without revocation_ from encode_indoestat

Only explicit GRANT caps messages (via issue_caps) can revoke caps.
Thus, be sure to only _add_ bits to _pending.  Otherwise our
revocation logic (in issue_caps) gets confused, expecting to see
a revocation ack when a lock state changes.

mds: fix get_caps_liked()

We just want to exclude FILE_RD on directories.  ANY_RD includes
RDCACHE.. der.

mkcephfs: create osd_data if it dne

todo

auth: fix case when mount sections are not defined

conf: remove some junk

auth: added basic client ip authorization

mds: do not issue non-EXPIREABLE|wanted caps

The kclient doesn't currently reliably release unwanted caps, so
make sure we restrict it to EXPIREABLE rdcaps, or wanted bits.

Avoid special-casing extra caps issued to client.

kclient: always hit r_safe_callback, even if no callback

ceph_osdc_sync might be waiting on the request.

debian: fix changelog/version

osd: fix osdmap timestamp updates; rename

mds: add mdsmap modified stamp

mds: make scatter_nudge a bit more robust

We may have a dirty lock that is already LOCK.  That may not be
what we want in the first place :/, but to ensure we make progress,
we should SYNC the lock.  If it doesn't re-LOCK on it's own, the
next nudge should do it.

mds: add lookup mds op name

todo

mds: remember scatter requests

We want to make sure a REQSCATTER is remembered the next time we
reconsider the lock state, even if it arrives when the lock is
unstable (say, during EXCL->LOCK or some other transition that
won't affect the replica state and elicit a new REQSCATTER).

mds: don't automatically bump dir locks to loner if it's a subtree root

If it's a subtree root, we don't want to automatically bump the
filelock to loner.  That way the subtree auth can modify subtree
root dir without bouncing excl caps back and forth with the client.

mds: fix ->mix lock transition

Bcast to replicas if we have nothing to gather in file_mixed().

kclient: drop unused r_expected_cap

We should embed the first cap in the inode.  And preallocate
more aggressively for all ops?

mds: show laggy status in map summary

initscripts: remove bash-isms so they work with dash

(Ubuntu uses dash for /bin/sh.)

config: fix warnings

config.cc: In function 'int conf_read_key(const char*, const char*, opt_type_t, void*, void*)':
config.cc:893: warning: passing NULL to non-pointer argument 4 of 'int ConfFile::read(const char*, const char*, bool*, bool)'
config.cc:896: warning: passing NULL to non-pointer argument 4 of 'int ConfFile::read(const char*, const char*, int*, int)'
config.cc:899: warning: passing NULL to non-pointer argument 4 of 'int ConfFile::read(const char*, const char*, float*, float)'
config.cc:902: warning: passing NULL to non-pointer argument 4 of 'int ConfFile::read(const char*, const char*, double*, double)'

todo

mds: make CAP_FILE_RD expireable

kclient: handle cap renew message

kclient: renew old rdcaps when we use them

kclient: choose cap op in check_caps, no __send_cap

config: allow arithmetic in default conf values in config.cc

kclient: adjust rdcaps status in cap grant

kclient: shift some work out of __send_cap back to ceph_check_caps

mds: clean up rdcap list handling a bit, show rdcap status in debug

mds: process cap RENEW

kclient: factor out directory content lease/cap check

kclient: fix trim_session_rdcaps

It wasn't breaking out of the loop.

kclient: less noisy

mds: reverse rename arg order when migrating or reintegrating strays

Rename order was reverse back in
440a84fd876e1edfb71ee7d778248e1807f8c9c2.

kclient: use LOOKUP op for lookup

mds: create explicit LOOKUP operation

Functionally equivalent to LSTAT.

kclient: merge and simplify ceph_lookup, ceph_do_lookup

Ceph_lookup was the only remaining caller.

kclient: a bit more verbose about ?time changes

kclient: fix ceph_caps_issued_mask

It was checking for ANY caps, not ALL caps.

kclient: disentangle getattr from lookup

This simplifies callers (who otherwise have to juggle a dentry
splice).  And paves the way for a cleaner, more explicit
lookup-only path.

mds: return NXIO for open on special files

mds: flush mdlog for time sensitive ops

mds: flush log on talbeserver prepare, but not commit or server_update

kclient: fix file refs vs special files

Special inodes get their own fops, so we don't get a ceph_release
call.  Therefore, we need to drop any fmode refs we took in
ceph_init_file for those files (that is, any file where we don't
have i_fop->release set to ceph_release).

Add some BUG_ON's to ensure as much.

kclient: fix lookup open intent

Lookup is only called on a null dentry; no need to check for
special files here.

kclient: add osd sync that will flush all open osd requests

Important for flushing sync write uncommitted requests on syncfs
(or shutdown).

kclient: fix osd request kicking

Requests weren't getting kicked if the osd was the same but the
osd addr changed (i.e. osd restart).

filestore: allow commit interval to be adjusted at runtime

configure: check for histedit.h (libedit-dev)

kclient: fix statfs sysfs entries init/cleanup

todo: mds

mds: make mds_short_reply_trace tunable

kclient: fix out_more business

Put it in prepare_write_message_footer() where it belongs.

kclient: remove /sysfs/fs/ceph/debug*

kclient: add debugfs for debug control

filestore: add missing mode arg to open()

kclient: do not flush request stream on lease release

We only release leases this way when they are about to be followed
by a request.  Presumably to the same MDS..

kclient: make message stream flush optional

If we know another message is following, or the current message
isn't time sensitive, then we can let Nagle's algo do it's thing.

todo

kclient: rename listener -> unsafe; fix fsync; simplify dir_fsync

kclient: fix inode refcount leak

kclient: handle partial trace responses

kclient: refactor osdc write; handle dual ack/commit, and fsync on sync writes

For sync_writes that are not O_SYNC or O_DIRECT, we get two acks
back from the OSD, one signalling serialization and one when the
write is safe on disk.  The client needs to keep the request
message around until the commit in case the OSD fails and it needs
to be replayed.  However, the calling thread should continue after
the ACK.

Refactor the osdc interface so that sync_write() can do this for
non SYNC|DIRECT writes.

kclient: do filemap_write_and_wait

The _range variant isn't exported.

todo

kclient: drop unneeded current_is_pdflush() call

It's about to be killed upstream. And sync_mode tells us what we
need to know.

bump version to v0.7.2

mds: return only a single path segment in reply trace

This temporarily breaks the kernel client.

Merge commit '1e8073b75ad5172a1ef975e7c6c42406888f56ae'

Conflicts:

src/init-ceph
src/mkcephfs

kclient: fix uninitialized var warnings

Harmless, but this shuts up the warnings.

kclient: put_page O_DIRECT pages after read or write

We were leaking page refs.

vstart: only 1 mds

kclient: make O_DIRECT io flush or truncate page cache pages

This will make concurrent O_DIRECT and normal i/o slow as all hell, but it
means that normal i/o followed by O_DIRECT (or the other way around) will
behave as expected.

kclient: more cleanup

kclient: some sparse fixes

kclient: small cleanups

kclient: lease renewal fixes, cleanups

kclient: zero lease_renew_after ttl before requesting renewal

kclient: send lease renew message when passed ttl

kclient: refactoring of lease msg sending, add lease half-time accounting

kclient: update lease handler to cope with a renewal

mdsmap: fix find_standby_for

Ignore active mds' with old standby_for values.

mon: allow 'mds getmap [epoch]'

mon: allow 'mds dump [epoch]'

So we can examine old mdsmap epochs...

kclient: clean up setattr vs caps vs i_lock

We should carry i_lock over caps checks when doing setattr
updates locally.

Also, always direct setattr requests at the auth MDS.  Drop trivial
prepare_setattr helper.