msgr: fix race with signals vs select with pselect

Fixes hang where accepter thread misses the stop signal and
doesn't shut down.

mkcephfs: chown/chmod mount point if non-root

mds: reconnect caps added via replay+issue_new_caps

Also, set up the initial lock states after reconnecting them!

mds: check client ranges on mds restart

mds: adjust client range on open existing for write

mds: journal recovered mtime; cleanup

Also avoid using in->inode as that may fail with concurrent updates
(if that's even possible?).

mds: do not check_inode_max_size in eval() path

This is super dangerous, since we may journal something in the
middle of preparing another journal entry.  (This is notably a
problem with calls to issue_new_caps).

Kill fugly NO_SIZE_CHECK flag too, yay.

mds: set client_range on open O_TRUNC

Set client_ranges explicitly.  Move get_layout_size_inc into
inode_t.

mds: base client_ranges update on issued|wanted, not just issued

mds: use SCAN state for file recovery on mds restart

This ensures we revoke other caps before scanning for file
sizes.

Makefile: fix whitespace

initscript: fix 'reload'

initscripts: do what we can to run as user specified in the conf

initscripts: substitute in proper autoconf paths

Based on
http://www.gnu.org/software/hello/manual/autoconf/Installation-Directory-Variables.html

mds todos

kclient: simplify/fix cap delay timeouts

Do NOT reset timeouts at the top of ceph_check_caps.. that's just
wrong, and screws up cap release logic.

Reset timeouts when we requeue the cap, since that's what all the
callers do.

mds: on restart, only recover files affected by missing clients

mds: maintain per-client write ranges instead of single max_size

We need to track individual clients' ability to write to a file in
order to behave rationally when a client dies or fails to reconnect
after an mds restart.

There is also a behavior change hiding in here: before we were
adjusting max_size based on _wanted_ caps, but that was unsafe,
since a client may have the old max_size value and initiate a write
after informing the mds it no longer wants said caps.  There will
undoubtably be some fallout from that change...

Also clean up instances of memset() on inode_t and friends.  Define
and use constructors instead.

uclient: fix getdir() to use new readdir_r return value

uclient: stop using mds inode_t

mds: add SCAN, PRE_SCAN lock states

Also clean up state machine array sizes

osd: less hexdump on tmap updates

objecter: fix pool objects listing

kclient: fix uninitialized vars

todo

Revert "kclient: strip out kernel version compatibility cruft"

This reverts commit ac1cf5dc7343953462aa27dc3526dd5ccec9cb53.

Merge branch 'master' of ssh://ceph.newdream.net/git/ceph

s3gw: make compilation optional (./configure --with-s3gw)

uclient: include tid in cap flush, flushsnap

kclient: include tid in cap flush, flushsnap

This avoids (dirty 1, flush 1, dirty 2, flush 2, flush_ack 1 ->
mark clean) badness.

mds: add tid to cap flush/flushsnap ops

And include in the ACK.

kclient: assign seq to cap flush; avoid starvation on sync_fs

Assign a seq# to each cap flush.  When we sync_fs, wait only for
prior cap flushes to complete.

Also, fix wait_unsafe_requests.

kclient: debug output cleanup

uclient: assign sequence to cap flushes, avoiding sync_fs starvation

Order flushes, so we can wait for them without possibility of
starvation.

kclient: fix write_inode; force dirty cap flush by mdsc_sync

Adding flag to ceph_check_flags to flush any dirty data.  Pass
through from mdsc_sync.

Also, flush if i_ceph_flags & CEPH_I_FLUSH to avoid letting
write_inode calls similarly leak through.

Merged Makefile.am

libceph: SimpleMessenger usage bugfix, added testceph.cc, fixed dependencies

kclient: make sync_fs wait on unsafe mds requests

libceph: add dependencies to the Makefile

libceph: Added getdir to the C++ interface.

Used by hypertable

Hypertable:Completed initial Cephbroker. Requires testing.

hypertable: added skeleton .h and .cc CephBroker

These are meant to be built in Hypertable, obviously.

uclient: resend cap flushes on mds restart

Fuse doesn't implement sync_fs, so this is difficult to test. :/

uclient: change readdir_r return value

1 on success (got a dirent), 0 on end of dir, <0 on error.  This
isn't exactly posix, but is a little less silly.

mds: make clientreplay go faster

Queue up next op as soon as we submit the journal entry.  That maintains
ordering while avoiding any waiting for the journal to flush.

uclient: track issue_seq; reset on reconnect

kclient: reset issue_seq on reconnect

mds: ignore cap updates in replayed ops

We already have the caps they think they have; these releases are
obsolete.

mds: do not include trace with replayed replies

kclient: track and kick flushing caps per-mds

After an MDS restarts, we need to resend cap flush messages we
were trying to write back.  So, track flushing caps per-session,
with a global counter to make ceph_mdsc_sync simple.  When the
MDS goes active, re-flush anything that was flushing.

Also change old 'sync' terminology to more descriptive 'flushing'.

mds: adjust all lock states in process_reconnected_caps

The old code only adjusted the filelock, and didn't do it
correctly.

mds: set cap_id on caps reconnected after a delayed load

mds: replay client ops one at a time

Before we were assuming we could queue up all replayed ops and the locking
would ensure they'd occur in the proper order (and in so doing unwind
any dependencies).  Not so fast.  Instead, do one at a time and queue
the next up as each finishes.

mds: maybe eval instead of eval_gather on file recovery

This fixes an assertion failure, but not the underlying issues with the
current file recovery strategy.

mds: reissue all caps after recovery

This ensures that locks get kicked after recovery.  Otherwise we may have
a client who ends up with the caps they had before, waiting for the MDS to
issue say RD and no progress being made.

kclient: make mds map checks more robust

Look at state AND address to reliably determine when an MDS has failed
and restarted.  Otherwise we may skip from reconnect to (the next
incarnation's) reconnect and not 'notice'.

kclient: clean out caps that don't reconnect

We still need some additional work to turn these into EBADF.

kclient: request _next_ mdsmap epoch

We were off by.

kclient: send mds reconnect regardless of who we get the mdsmap from

Sure, the MDS will always send it to us, but if we've already seen it,
we'll ignore the message.  Make the reconnect check more robust.

kclient: don't skip most recent mds op

We were skipping the most recent.  last_tid is the last tid we used.

mds: add reconnected caps whose paths are loaded

We weren't calling in->reconnect_cap.  Do so via rejoin_import_cap(),
even tho the naming is a bit weird.

libceph: Split into .h and .cc files

And now builds as a library, if I did it right.

libceph: Now exists! client/libceph.h.

The automake magic may not be done though.

mon:Initialize rank to NULL to avoid warning.

osd: no need for RMW flags in op reply

In particular, they may not have even been calculated when we reply to
the message.

filer: remove bad memset

OSDOp has a proper constructor.  Also remove unnecessary
bufferlist instances.

msg: allow multiple dispatchers to chain together

mds: alloc cleanup, log recoverable journal errors

mds: fix session close ino release journaling

uclient: make_request returns int, not MClientReply

Simplifies callers.

uclient: insert_trace in reply handler

This will avoid the ugly kickback crap.

Also, after mds reconnect, we may get a safe reply (after we already
got an unsafe from the previous mds) that includes the new cap.

uclient: fix make_long_path, and thus reconnect

uclient: fix op replay

Clear msg payload so it gets reencoded with adjusted values.

uclient: Cleaned up resend_unsafe_requests; handle_client_reply; debugging.

mds: drop loner on gather before doing waiters

Otherwise we would reissue/use caps on loner in non-loner states, and go
back.

uclient: fix order of session cap removal

Remove caps and kick reqeusts before erasing session.

mds: refcount MDRequest so that timed out client sessions behave

We need to ref count MDRequest so that it will remain valid over the
(possibly extended) lifetime C_RetryRequest.

Give ownership of {client,slave}_request to MDRequest so that cleanup
is consistent.

uclient: use session->caps list an lru

Touch caps on use, via bool caps_issued_mask(mask)

osd: change log terminology: bottom..top -> tail..head

Hopefully less confusing.

uclient: fix kickback, reply handler logic

We kickback cond test used to look at the request map, but since the
reply handler removes that, it was never true.  Instead, clear the
dispatch_cond pointer.

Also fix up the reply handler logic.  Any reply implies unsafe.  If it
is the first, signal the calling thread.

uclient: fix MMDSGetMap 'have' epoch

This broke with the monitor changes last week.

Merge commit 'gregskinny/unstable' into unstable

Conflicts:

src/client/Client.cc

DON'T USE, BROKEN. uclient's MetaRequest extra ref counts removed.

BROKEN, DON'T USE.

uclient changes that somehow broke message delivery without changing anything in that process

mon: better warning with injectargs on non-up mds

osd: make write mode per-PG

We can't do it per-object because the access mode determines the order
we append to the log, and that has to be sequential.  It has to be per-PG,
unless a whole ton of other stuff is reworked.

This lets us capture the best access mode at least on a per-pool basis,
instead of imposing a global default.

uclient: support mds recall_state

Trim old caps.  Still need to make it an LRU.

uclient: remove debug print

uclient: DOESN'T WORK, but more ref counting stuff. Now attempts to resend unsafe ops on a reconnect.

uclient: MetaRequests go on the heap and are ref-counted; safe/unsafe replies dealt with better.

kclient: checkpatch fixes

kclient: use list_for_each_entry macro when possible

osd: fix hb down check

osd: fix failure report on already-down osd

We were potentially sending an osd failure on an osd that was already
down.  Double check before doing so.

osd: fix log msg after var name changes

mds: don't choke on path_traverse_to_dir that fully exists

osd: nicer scrub ok message

osd: rearrange make_writeable prints

osd: fix pg log trimming

We were zeroing out too much of the pg log!

initscripts: fix do_root_cmd

sudo bash -c "echo foo" works, sudo "echo foo" does not.