ceph.sh: can specify remote modules

ceph.sh: startup script that uses conf file

osd: rev internal osd protocol

osd: push wrlocks into object_info_t

osd: remove inc_lock

osd: combine all internal object state into single '_' object_info_t xattr

osd: replace version attr with oi (object_info_t) (disk format change)

Includes last reqid, mtime.  Makes backlog log entries include
a real reqid, which makes the client_reqs IndexedLog map meaningful.
Otherwise, the first backlog item we 'unindex' means the remaining
ops with reqid unknown0.0:0 aren't in the map.

This revs the osd ondisk format.

Merge branch 'unstable' of ssh://ceph.newdream.net/git/ceph into unstable

cconf: able to specify multiple sections

dstart: --ramjournal option

scripts: osd latency check script

kclient: start writeback without blocking

We just want to make sure writeback starts; we don't need/want
to wait for it to complete in the writeback thread.

cconf: set default conf filename

cconf: added utility to read configuration

mds: fix open file rejounal in try_to_expire

We were invalidating the iterator.

kclient: fix nocrc behavior

Only disable data crc.  Don't check crc if either we or the peer
didn't calculate it.

mds: shorten mds beacon grace to 15 seconds

todo

vstart: fix btrfs test

msgr: make nocrc only apply to data payload; and set flag if no crc

todo

mon: clean mon monmap cons

dstart: no preload gprof helper

config: avoid wonky times in g_config

mon: disable pgmap_dumps

This aren't trimmed!

mds: optimize EMetaBlob::fullbit, remotebit, nullbit encoding

Encode in constructor to avoid intermediate representation during
journaling.

buffer: optimize append()

Avoid repeatedly dereferencing list tail.

kclient: fix osd timeout merge error

dstart: less debug output

osd: throttle sub_ops too

osd: adjust pending_ops when requeuing opq

mds: show which segment trimming is blocked on

osd: locally requeue on repeer if still primary

kclient osd_client and Objecter need only resend when primary
changes.

kclient: fix RETRY_SESSION seq value

Should be existing session's seq, not new sessions.  Error causes
SimpleMessenger to throw an assertion

msg/SimpleMessenger.cc:1283: FAILED assert(reply.connect_seq > connect_seq)

kclient: only send one ping per laggy osd

mds: include xattr updates in cap messages; accept xattr cap updates

mds: adjust some debug levels

todo

osd: drop osd_lock while pausing/requeueing opq

An in-progress op may need to take osd_lock.

osd: fix merge_old_entry assertion

Object may not be missing if it was later deleted.

osd: fix up_thru_pending conditional

up_thru_pending only meaningful if non-zero.

osd: requeue instead of draining op_queue on map update

Also clean up waiter helpers.

osd: keep peer_info.last_{update,complete} up to date in case we get later stray

We need to be able to call peer() again after going active and get
meaningful results.

osd: bit more verbose in oldest_update calculation

osd: adjust generate_backlog assertions

We should never generate a backlog while active.

mds: clean up EUpdate output

mds: do not trim log during recovery

osd: only check replicas in recover_replicas

osd: clean up activate, peer recovery debug output

messenger: added a no-crc option

osd: fix pg log trimming

Log entries rarely ever fall on block boundaries.  Behave
accordingly.

Also, decide whether to trim on primary only, at a high level in
op_modify.

paxos: tolerate commits for older states

We may have races if paxos recovery restarts.

osd: fix repop cleanup in on_change, _shutdown

ceph: warn when we get message with wrong fsid

todos

paxos: ignore LAST message if pn is old

And old PN means that it's from a prior COLLECT attempt.

mds: increase ino prealloc limit to 1000

Ideally this should self-tune, somehow...

osd: remove RepGather::put() debug print

crush: remote list builder printf

dstart: mount btrfs with new options

kclient: statfs_request_tree alloc context is NOFS, not ATOMIC

config: added include, misc stuff

kclient: do sync writepages if FILE_WRBUFFER is being revoked

This doesn't capture the case where we already started writeout
and _then_ the MDS tries to revoke, but that's probably not worth
the complexity.

mds: fix max_size update

Force wrlock if client is issued WR cap; whether they are flushing
dirty data is irrelevant to whether we can safely force a wrlock.

kclient: initiate a sync when doing writepages for O_SYNC writers

Include 'startsync' osd op in write if there are any O_SYNC writers
pending on the inode.

We should eventually do the same if our WRBUFFER cap is being
revoked.

mds: set straydn.first properly for rename overwrite

Also reorder unlink_local a bit to match rename_prepare pattern.

mds: only update cap wanted if seq matches

kclient: fix osd writes

Fixes commit 9664adfcb293c18fa69febad550f6b98b9d2feb5.

mds: take straydn.first form inode.first during unlink

kclient: resend osd ops when pg membership changes

Previously we resent only when the primary OSD changed.  See
f49f78d03ba9786f4e8423c530f0e016a8d814fa.

config: read configuration file before parsing command line

also does not write configuration unless specified

mount.ceph: fix segfault when port is not specified

confutils: complete config.cc configuration and adjustments

confutils: cleanup, bug fixes

confutils: can flush config, preliminary config.cc integration

confutils: some cleanup

confutils: encoding/decoding using templates

confutils: going forward

confutils: adding missing file

confutils: some more

Signed-off-by: Yehuda Sadeh <yehuda@hq.newdream.net>

confutils: some more changes

Signed-off-by: Yehuda Sadeh <yehuda@hq.newdream.net>

config: some more changes

Signed-off-by: Yehuda Sadeh <yehuda@hq.newdream.net>

confutils: still not usable

config: remove some old cruft

osd: reset peering, in-flight repops on every pg change

Instead of complicated (and flawed) logic for letting in-progress rep ops
complete while the PG changes (but primary remains the same), reset the
pg state entirely.  Apply any ops we have in hand, but drop everything
else, including PUSH/PULL ops.

This vastly simplifies the logic in the OSD and makes it easy to reason
about things.

Fix clients (Objecter, osd_client) to resubmit ops when PG membership
changes (not just on primary change).

mds: eval_cap_gather in handle_client_caps even if no update

We may have recalled caps and journaled an update for some but
not all locks.  We should check for cap gathers even if something
(else) is journaled.

script: find high latency requests in mds log

mds: fix xattr projection

mds: drop rdlocks _after_ journaling; use new journal_and_reply helper

If we drop locks earlier we may run contexts that journal _other_
items out of order.  Badness.

mds: make cdentry debug print nicer

mds: unique (per mds) cap_id

A new cap_id is issued each time an MDS creates a new capability,
and is checked when releasing a capability to ensure it is the same
capability instance.  This specifically avoids a race like:

1- mds issues cap
2- mds sends cap message
3- mds and client time out cap
4- client receives cap message, sends release
5- mds reissues cap on same inode
6- mds receives release, doesn't realize the release is for the
   old capability

Checking seq numbers isn't enough because the MDS may reissue the
cap any number of times between 3 and 6.

mds: set straydn.first correctly during unlink

We need to do this in _unlink_local, not get_or_create_stray, just
as we set dn->first elsewhere in Server.cc.

mds: make straydn.first match the inode

uclient: flush/release buffered data on umount

uclient: update caps code to match kclient logic

kclient: some caps cleanup

kclient: improve snap locking scheme

Because snap_rwsem is taken for read on every write, we want to
minimize contention.  We:

- allow cap removal to occur without snap_rwsem (read or write)
- allow fill_trace and add_cap with snap_rwsem (read)
- require write really only for update_snap_trace and on snap
  updates from the mds.

Dropping realm references without snap_rwsem gets a bit tricky.  We
keep an empty (nref==0) realm list and purge it periodically to
avoid contention in the general case.

v0.6

Merge branch 'unstable'

kclient: rename lookup_mds_session get_mds_session

Since it bumps the ref count.