osd: order rmdir in remove_collection after deleting dir contents

filestore: fix old clobbering of commit_op_seq

Update only at commit.  And add a newline.

osd: fix lock inversion with ondisk_write_unlock

Drop write lock before taking pg lock.

osd: wait for readable on primary after pulling an object

Otherwise our attempt to push it back out again fail.

Note that currently this disables the previous push-right-after-
pull behavior.  We should either optimize the common case (full,
non-snapped object), or at least requeue the object so it's at
the front of the recovery queue so the fs cache will be hot.

mkcephfs: misc cephx fixes

filestore: roll back to last clean snap on mount; clean up sanity checks

filestore: fix up commit_op_seq

Note that we now _only_ update commit_op_seq when doing a proper commit.
That means that any additional commit the fs does will be unknown to us. If
we have a journal, that's fine, we'll replay it.  If not, we're screwed.

So if there's no journal, we need to be using btrfs_snap mode, and roll
back to the last snap.

filestore: use WorkQueue for ops (so we can have >1 thread issueing fs ops)

Merge branch 'unstable' into filestore

Conflicts:

src/authtool.cc
src/config.cc

spinlock: make lockdep optional; off by default

Spinlock tend to be inner locks; not much value in lockdep checking on
them.

osd: add uid to ceph_pg_pool; move encoding versions of rados.h

monclient: return authetnication error

auth: tolerate bad authenticator replies (retry instead of crashing)

mkcephfs: no scp -v

auth: fix KeyStore interface

auth: simplify KeyRing map type, authmon add/importing

cephx: separate KeyRing and RotatingKeyRing

KeyRing stores keys (on disk).

RotatingKeyRing mediates access to the in-memory pool of rotating secrets
for a single service.

cephx: add struct_v throughout.  some cleanup.

mkcephfs: generate cephx keys during mkfs

auth: use KeyRing encode/decode

todo

mount: set flags when getting -o sync

mds: fix dumpcache

authtool: only create keyring if --create-keyring (or -c)

config: rename 'keys file' to 'keyring'

filestore: optionally checkpoint with snaps

journal: make sure max_size is multiple of block_size

mds: print setattr'd values with MClientRequest

mds: only set smaller flag in setattr completion if actually truncating

Otherwise we can erroneously trigger the truncation code when another
setattr overlaps with an in-progress truncate.

authtool: only create keyring if --create-keyring (or -c)

filestore: (try to) warn if not btrfs or ext3

This can't distinguish between ext3 and ext4, still, and ext4 won't
work (because fsync(whatever) doesn't flush the whole journal).  Bleh.

vstart: writeahead journal by default

filestore: adjust default sync intervals

filestore: warn on bad journaling, sync options

journal: throttle journal

filestore: throttle op queue

todo

osd: fix osd shutdown

journal: fix mis-merge

Merge branch 'unstable' into filestore

Conflicts:

src/os/FileJournal.cc

mds: dump_cache even when debug_mds < 2

Make output more readable.

journal: allow journal seq #'s to jump

This happens when the regular store commits and we throw out now useless
journal entries.

journal: make wrapping simpler

Take out weirdness that tries to keep journal items contiguous.  No reason
not to split them across the end/beginning of the journal.  In the general
case, this is the same # of seeks because we have to rewrite the header
anyway.

osd: increase osdc protocol number

truncate: don't write beyong truncation with old trunc seq

In a scenario where a truncation that followed a write got to
the osd before the preceding write, we shouldn't write beyond
that truncation when the write is handled in the osd.

truncate: initialize truncate_seq, truncate_size

truncate: truncate information sent on each read/write op

This fixes cases in which preceding client read/write ops arrive the
osd after a later truncation that arrived through the mds

osd: quiet down about request perms

librados: guard against double-release; clean up ref counting

rados: fix delete[] vs delete

lockdep: fix use after free; avoid register in unlocked() path

uclient: fix uninitialized var

filestore: fix empty cond location

mount: fix compile errors

streamtest: do concurrent ios; async commit AND ack

osd: add mutual exclusion while writes are applied

journal: sync_file_range on bdev, fdatasync on file

journal: warn if we detect disk write cache is on

journal: align (by default) even when !directio; directio by default; log latency

journal: group entries into single io in directio mode

mon: fix auth restart decoding

mon: fix osd tell *

mount: fix compile errors

Merge commit 'origin/unstable' into filestore

TODO: mark bugs completed

mount: canonicalize path name for mtab

mon: possible fix for rare problem where osd boot messages are double-logged.
From Sage.

mon: don't delete all laggy mds beacons, just the one's you've replaced

mon: print out proper address in debug log

mds: unify two if blocks with identical checks

todo: Slightly out of date

journal: fix padding

osd: streamline writing new maps to disk, somewhat

There is still an apply_transaction that should be replaced with a queue
if/when we are smarter about map caching so that a call to get_map on the
prior epoch won't need to go to disk.  Until then, the implicit flush
in apply_transaction is needed.

osd: use flush, not sync_on_flush

filestore: flush() will wait for queued transactions to be readable

journal: add flags field to header, entry_header

journal: allow pre and post padding for journal payload

Replace the header.alignment fixups with an explicit post_pad.

debian: use bash for debian build script

journal: fix thread id printing

finisher: fix flushing, debug output

dout: print thread id hex (to match up with gdb)

filepath: add struct_v

common/include/rgw: Add versioning to structs without it.

mds: add v to encoded mds structs

mds: Begin auditing non-struct encodes

mds: add versioning to the events and Anchor.

mds fixes

rgw: struct_v in RGWObjEnt

journaler: struct_v in structs

mds: remove unused _pad variable

osd: add struct_v to most encoded structs that don't already have one

msg: add type to ceph_entity_addr

osd: set reqid for push/pull subops

This just makes tracking down requests in the debug output easier.

filestore: fix journal flush

osd: use queue_transaction throughout

Only apply_transaction in mkfs/mount/umount, and in handle_map.

filestore: queue onreadable _after_ starting journal item

The onreadable is allowed to delete the Transaction

filestore: queue_transaction and generic C_DeleteTransaction

osd: reply with ACK if client doesn't ask for a COMMIT

journal: include a version field in header

For future ondisk format changes

osd: simplify pg write mode transitions

There is no reason to track client on the per-pg AccessMode, since we only
care about read/write races on a per-object state, and need to track that
per-object anyway due to the new async commit/apply model.  (Though this
is semi-broken even without that...)

Currently we will move from delayed to rmw, but there is no rmw->delayed
transition, since the logic for that is a bit more complex.. it'll be
difficult to determine when it is really a win.

In general, though, RMW is probably a better all around policy!

osd: only use DELAYED if no journal or journal is writebehind

osd: make Transaction lifetime match RepModify (not stack)

dout: print thread id hex (to match up with gdb)