Merge branch 'unstable' into filestore

Conflicts:

src/os/FileJournal.cc

mds: dump_cache even when debug_mds < 2

Make output more readable.

journal: allow journal seq #'s to jump

This happens when the regular store commits and we throw out now useless
journal entries.

journal: make wrapping simpler

Take out weirdness that tries to keep journal items contiguous.  No reason
not to split them across the end/beginning of the journal.  In the general
case, this is the same # of seeks because we have to rewrite the header
anyway.

osd: increase osdc protocol number

truncate: don't write beyong truncation with old trunc seq

In a scenario where a truncation that followed a write got to
the osd before the preceding write, we shouldn't write beyond
that truncation when the write is handled in the osd.

truncate: initialize truncate_seq, truncate_size

truncate: truncate information sent on each read/write op

This fixes cases in which preceding client read/write ops arrive the
osd after a later truncation that arrived through the mds

osd: quiet down about request perms

librados: guard against double-release; clean up ref counting

rados: fix delete[] vs delete

lockdep: fix use after free; avoid register in unlocked() path

uclient: fix uninitialized var

filestore: fix empty cond location

mount: fix compile errors

streamtest: do concurrent ios; async commit AND ack

osd: add mutual exclusion while writes are applied

journal: sync_file_range on bdev, fdatasync on file

journal: warn if we detect disk write cache is on

journal: align (by default) even when !directio; directio by default; log latency

journal: group entries into single io in directio mode

mon: fix auth restart decoding

mon: fix osd tell *

mount: fix compile errors

Merge commit 'origin/unstable' into filestore

TODO: mark bugs completed

mount: canonicalize path name for mtab

mon: possible fix for rare problem where osd boot messages are double-logged.
From Sage.

mon: don't delete all laggy mds beacons, just the one's you've replaced

mon: print out proper address in debug log

mds: unify two if blocks with identical checks

todo: Slightly out of date

journal: fix padding

osd: streamline writing new maps to disk, somewhat

There is still an apply_transaction that should be replaced with a queue
if/when we are smarter about map caching so that a call to get_map on the
prior epoch won't need to go to disk.  Until then, the implicit flush
in apply_transaction is needed.

osd: use flush, not sync_on_flush

filestore: flush() will wait for queued transactions to be readable

journal: add flags field to header, entry_header

journal: allow pre and post padding for journal payload

Replace the header.alignment fixups with an explicit post_pad.

debian: use bash for debian build script

journal: fix thread id printing

finisher: fix flushing, debug output

dout: print thread id hex (to match up with gdb)

filepath: add struct_v

common/include/rgw: Add versioning to structs without it.

mds: add v to encoded mds structs

mds: Begin auditing non-struct encodes

mds: add versioning to the events and Anchor.

mds fixes

rgw: struct_v in RGWObjEnt

journaler: struct_v in structs

mds: remove unused _pad variable

osd: add struct_v to most encoded structs that don't already have one

msg: add type to ceph_entity_addr

osd: set reqid for push/pull subops

This just makes tracking down requests in the debug output easier.

filestore: fix journal flush

osd: use queue_transaction throughout

Only apply_transaction in mkfs/mount/umount, and in handle_map.

filestore: queue onreadable _after_ starting journal item

The onreadable is allowed to delete the Transaction

filestore: queue_transaction and generic C_DeleteTransaction

osd: reply with ACK if client doesn't ask for a COMMIT

journal: include a version field in header

For future ondisk format changes

osd: simplify pg write mode transitions

There is no reason to track client on the per-pg AccessMode, since we only
care about read/write races on a per-object state, and need to track that
per-object anyway due to the new async commit/apply model.  (Though this
is semi-broken even without that...)

Currently we will move from delayed to rmw, but there is no rmw->delayed
transition, since the logic for that is a bit more complex.. it'll be
difficult to determine when it is really a win.

In general, though, RMW is probably a better all around policy!

osd: only use DELAYED if no journal or journal is writebehind

osd: make Transaction lifetime match RepModify (not stack)

dout: print thread id hex (to match up with gdb)

wip

finisher: wait_for_empty

filestore: add writeahead journal support

filejournal: optionally block on full journal

Note that there is deadlock potential here if the thing we're trying to
journal is just too big!

filestore: refactor applied/committed completions

osd: refactor op_applied logic

Behavior is still essentially unchanged (for now).

filestore: preliminary support for parallel journaling

- fixed issue with normal write-behind journal (op_seq wasn't updated
  inside the fs transaction)

- reworked journal interface to support write-behind, parallel, write-ahead
  (hopefully)

finish: support non-zero return values

osd: encode struct v for ceph_pg_pool

mon: add struct encoding v to ease future revisions

mds: make CEPH_MDS_OP_CREATE a write op [mds protocol change]

ceph: remove stray #include

librados: implement C versions of snap calls

Change CompatSet usage to be compatible with new struct

change CompatSet

mds: Revert CInode/Journaler changes as we'll move them into MDSMap later.

add versioning and awareness bla bla

mon: use CompatSet in disk format

mds: use CompatSet in disk format

osd: use CompatSet in the superblock. Only one 'feature' right now

include: new CompatSet.h

replace strcat with strncat

replace sprintf with snprintf all around

Also pass buffer size to relevant functions when required.

msgr: fix mark_down

Beware non-pure virtual methods in the abstract interface!

filestore: don't croak if current/ exists

todo

logger: use larger buffer, snprinf instead of sprintf

osd: use journal in peek_super

filestore: put data in current/, a btrfs subvol if possible

filestore: rip out usertrans experiment

filestore: rename _apply_transaction

Conflicts:

src/os/FileStore.h

mds: add 'dumpcache [filename]' mds command

mds: disable cache dump on rejoin by default

TODO

mon: properly clean up SessionMap on a shutdown.

This fixes failed asserts whenever you tried to do a clean monitor shutdown
instead of killing it.

csyn: properly use multiple clients

don't keep configs in git

todo

botched merge