mon: clean mon monmap cons

dstart: no preload gprof helper

config: avoid wonky times in g_config

mon: disable pgmap_dumps

This aren't trimmed!

mds: optimize EMetaBlob::fullbit, remotebit, nullbit encoding

Encode in constructor to avoid intermediate representation during
journaling.

buffer: optimize append()

Avoid repeatedly dereferencing list tail.

kclient: fix osd timeout merge error

dstart: less debug output

osd: throttle sub_ops too

osd: adjust pending_ops when requeuing opq

mds: show which segment trimming is blocked on

osd: locally requeue on repeer if still primary

kclient osd_client and Objecter need only resend when primary
changes.

kclient: fix RETRY_SESSION seq value

Should be existing session's seq, not new sessions.  Error causes
SimpleMessenger to throw an assertion

msg/SimpleMessenger.cc:1283: FAILED assert(reply.connect_seq > connect_seq)

kclient: only send one ping per laggy osd

mds: include xattr updates in cap messages; accept xattr cap updates

mds: adjust some debug levels

todo

osd: drop osd_lock while pausing/requeueing opq

An in-progress op may need to take osd_lock.

osd: fix merge_old_entry assertion

Object may not be missing if it was later deleted.

osd: fix up_thru_pending conditional

up_thru_pending only meaningful if non-zero.

osd: requeue instead of draining op_queue on map update

Also clean up waiter helpers.

osd: keep peer_info.last_{update,complete} up to date in case we get later stray

We need to be able to call peer() again after going active and get
meaningful results.

osd: bit more verbose in oldest_update calculation

osd: adjust generate_backlog assertions

We should never generate a backlog while active.

mds: clean up EUpdate output

mds: do not trim log during recovery

osd: only check replicas in recover_replicas

osd: clean up activate, peer recovery debug output

messenger: added a no-crc option

osd: fix pg log trimming

Log entries rarely ever fall on block boundaries.  Behave
accordingly.

Also, decide whether to trim on primary only, at a high level in
op_modify.

paxos: tolerate commits for older states

We may have races if paxos recovery restarts.

osd: fix repop cleanup in on_change, _shutdown

ceph: warn when we get message with wrong fsid

todos

paxos: ignore LAST message if pn is old

And old PN means that it's from a prior COLLECT attempt.

mds: increase ino prealloc limit to 1000

Ideally this should self-tune, somehow...

osd: remove RepGather::put() debug print

crush: remote list builder printf

dstart: mount btrfs with new options

kclient: statfs_request_tree alloc context is NOFS, not ATOMIC

config: added include, misc stuff

kclient: do sync writepages if FILE_WRBUFFER is being revoked

This doesn't capture the case where we already started writeout
and _then_ the MDS tries to revoke, but that's probably not worth
the complexity.

mds: fix max_size update

Force wrlock if client is issued WR cap; whether they are flushing
dirty data is irrelevant to whether we can safely force a wrlock.

kclient: initiate a sync when doing writepages for O_SYNC writers

Include 'startsync' osd op in write if there are any O_SYNC writers
pending on the inode.

We should eventually do the same if our WRBUFFER cap is being
revoked.

mds: set straydn.first properly for rename overwrite

Also reorder unlink_local a bit to match rename_prepare pattern.

mds: only update cap wanted if seq matches

kclient: fix osd writes

Fixes commit 9664adfcb293c18fa69febad550f6b98b9d2feb5.

mds: take straydn.first form inode.first during unlink

kclient: resend osd ops when pg membership changes

Previously we resent only when the primary OSD changed.  See
f49f78d03ba9786f4e8423c530f0e016a8d814fa.

config: read configuration file before parsing command line

also does not write configuration unless specified

mount.ceph: fix segfault when port is not specified

confutils: complete config.cc configuration and adjustments

confutils: cleanup, bug fixes

confutils: can flush config, preliminary config.cc integration

confutils: some cleanup

confutils: encoding/decoding using templates

confutils: going forward

confutils: adding missing file

confutils: some more

Signed-off-by: Yehuda Sadeh <yehuda@hq.newdream.net>

confutils: some more changes

Signed-off-by: Yehuda Sadeh <yehuda@hq.newdream.net>

config: some more changes

Signed-off-by: Yehuda Sadeh <yehuda@hq.newdream.net>

confutils: still not usable

config: remove some old cruft

osd: reset peering, in-flight repops on every pg change

Instead of complicated (and flawed) logic for letting in-progress rep ops
complete while the PG changes (but primary remains the same), reset the
pg state entirely.  Apply any ops we have in hand, but drop everything
else, including PUSH/PULL ops.

This vastly simplifies the logic in the OSD and makes it easy to reason
about things.

Fix clients (Objecter, osd_client) to resubmit ops when PG membership
changes (not just on primary change).

mds: eval_cap_gather in handle_client_caps even if no update

We may have recalled caps and journaled an update for some but
not all locks.  We should check for cap gathers even if something
(else) is journaled.

script: find high latency requests in mds log

mds: fix xattr projection

mds: drop rdlocks _after_ journaling; use new journal_and_reply helper

If we drop locks earlier we may run contexts that journal _other_
items out of order.  Badness.

mds: make cdentry debug print nicer

mds: unique (per mds) cap_id

A new cap_id is issued each time an MDS creates a new capability,
and is checked when releasing a capability to ensure it is the same
capability instance.  This specifically avoids a race like:

1- mds issues cap
2- mds sends cap message
3- mds and client time out cap
4- client receives cap message, sends release
5- mds reissues cap on same inode
6- mds receives release, doesn't realize the release is for the
   old capability

Checking seq numbers isn't enough because the MDS may reissue the
cap any number of times between 3 and 6.

mds: set straydn.first correctly during unlink

We need to do this in _unlink_local, not get_or_create_stray, just
as we set dn->first elsewhere in Server.cc.

mds: make straydn.first match the inode

uclient: flush/release buffered data on umount

uclient: update caps code to match kclient logic

kclient: some caps cleanup

kclient: improve snap locking scheme

Because snap_rwsem is taken for read on every write, we want to
minimize contention.  We:

- allow cap removal to occur without snap_rwsem (read or write)
- allow fill_trace and add_cap with snap_rwsem (read)
- require write really only for update_snap_trace and on snap
  updates from the mds.

Dropping realm references without snap_rwsem gets a bit tricky.  We
keep an empty (nref==0) realm list and purge it periodically to
avoid contention in the general case.

v0.6

Merge branch 'unstable'

kclient: rename lookup_mds_session get_mds_session

Since it bumps the ref count.

kclient: realm create does not take a ref count

kclient: split get_snap_realm to lookup and create

objectcacher: fix object trimming

Do not trim object until it fully commits.

mds: count in-flight updates per cap, not release attempts.  do not expire if updating.

mds: drop rdlocks after early reply is sent

We will still hold wrlocks and xlocks until journal entry commits.

mds: properly close session when inodes are still being preallocated

kclient: set i_op for special inodes

todos

kclient: retain comments

kclient: zero out *implemented in __ceph_caps_issued()

Otherwise we can get garbage

kclient: don't retain unwanted RD cap

This will allow an open to succeed locally, without any mechanism
to update the MDS' wanted value.

mds: take srci lock during rename to ensure ctime change propagates

mds: expose projected fields via caps if locks permit

The new CInode::encode_caps_message() mirrors the logic in
CInode::encode_inodestat().

kclient: shouldn't lookup_open with special inode

kclient: considered _held_ caps when deciding what to ignore in fill_inode

If EXCL is being revoked, we still "hold" it and should ignore inode values
provided by the MDS in fill_inode.

kclient: don't require all inode fields when just doing a lookup

mds: check against client in rdlock_try

This affects our auth check in path_traverse.  No need to wait for that to
flush.. we can look at the projected version.  (Not that we're actually
checking permissions yet!)

kclient: fix cap writeback vs revocation

We need to reply to a revocation via check_caps and __send_cap if we are
writing back dirty metadata.

We also need to take care to look at issued|implemented (not just issued)
when deciding what to write back (since it may be being revoked).

mds: fix rmdir ENOTEMPTY checks

Look at projected inode's dirstat.size().

mon: include fsid in MMonObserveNotify

mds: fix forward truncation