filestore: return 0 for no-op transaction

Merge branch 'unstable' into filestore

osd: count objects degraded due to degraded pg

osd: prevent do_waiters() while _dispatch() is running

Fixes race between handle_osd_map and tick() requeuing ops.

ceph: wait for monmap

osd: btrfs_snap by default

osd: carry ondisk_read_lock if prepare_transaction may_read()

osd: order rmdir in remove_collection after deleting dir contents

filestore: fix old clobbering of commit_op_seq

Update only at commit.  And add a newline.

osd: fix lock inversion with ondisk_write_unlock

Drop write lock before taking pg lock.

osd: store local osd magic, whoami, and other static bits outside of ObjectStore

These values are immutable, and we also want to look at them prior to
forking and 'mounting' the ObjectStore.  Just keep them in separate files
for simplicity.

This avoids the double filestore startup cost paid on cosd startup.

osd: print truncate_size signed, and only print at all if _seq > 0

debian: updated debian build scripts, changelog

mkcephfs: warn on missing keyring for mds, osd

authtool: add -a/--add-key command

buffer: add decode_base64 method

cephx: pipe down about ticket renewals

osd, mds: don't time out authenticate()

Still need to fix wait_auth_rotating....

filejournal: make io contiguous in write_bl() for directio

Previously we were splitting the io for writing the header plus first
segment following a wrap.

ceph: error out on authentication failure

asdf

monc: fix authentication timeout

monclient: kill unused wait_authenticate()

objectstore: include struct_v for Transaction

osd: wait for readable on primary after pulling an object

Otherwise our attempt to push it back out again fail.

Note that currently this disables the previous push-right-after-
pull behavior.  We should either optimize the common case (full,
non-snapped object), or at least requeue the object so it's at
the front of the recovery queue so the fs cache will be hot.

authtool: only create keyring if --create-keyring (or -c)

mkcephfs: misc cephx fixes

debian: fix builder; add newish headers to Makefile.am

mkcephfs: misc cephx fixes

filestore: roll back to last clean snap on mount; clean up sanity checks

filestore: fix up commit_op_seq

Note that we now _only_ update commit_op_seq when doing a proper commit.
That means that any additional commit the fs does will be unknown to us. If
we have a journal, that's fine, we'll replay it.  If not, we're screwed.

So if there's no journal, we need to be using btrfs_snap mode, and roll
back to the last snap.

filestore: use WorkQueue for ops (so we can have >1 thread issueing fs ops)

Merge branch 'unstable' into filestore

Conflicts:

src/authtool.cc
src/config.cc

spinlock: make lockdep optional; off by default

Spinlock tend to be inner locks; not much value in lockdep checking on
them.

osd: add uid to ceph_pg_pool; move encoding versions of rados.h

monclient: return authetnication error

auth: tolerate bad authenticator replies (retry instead of crashing)

mkcephfs: no scp -v

auth: fix KeyStore interface

auth: simplify KeyRing map type, authmon add/importing

cephx: separate KeyRing and RotatingKeyRing

KeyRing stores keys (on disk).

RotatingKeyRing mediates access to the in-memory pool of rotating secrets
for a single service.

cephx: add struct_v throughout.  some cleanup.

mkcephfs: generate cephx keys during mkfs

auth: use KeyRing encode/decode

todo

mount: set flags when getting -o sync

mds: fix dumpcache

authtool: only create keyring if --create-keyring (or -c)

config: rename 'keys file' to 'keyring'

filestore: optionally checkpoint with snaps

journal: make sure max_size is multiple of block_size

mds: print setattr'd values with MClientRequest

mds: only set smaller flag in setattr completion if actually truncating

Otherwise we can erroneously trigger the truncation code when another
setattr overlaps with an in-progress truncate.

authtool: only create keyring if --create-keyring (or -c)

filestore: (try to) warn if not btrfs or ext3

This can't distinguish between ext3 and ext4, still, and ext4 won't
work (because fsync(whatever) doesn't flush the whole journal).  Bleh.

vstart: writeahead journal by default

filestore: adjust default sync intervals

filestore: warn on bad journaling, sync options

journal: throttle journal

filestore: throttle op queue

todo

osd: fix osd shutdown

journal: fix mis-merge

Merge branch 'unstable' into filestore

Conflicts:

src/os/FileJournal.cc

mds: dump_cache even when debug_mds < 2

Make output more readable.

journal: allow journal seq #'s to jump

This happens when the regular store commits and we throw out now useless
journal entries.

journal: make wrapping simpler

Take out weirdness that tries to keep journal items contiguous.  No reason
not to split them across the end/beginning of the journal.  In the general
case, this is the same # of seeks because we have to rewrite the header
anyway.

osd: increase osdc protocol number

truncate: don't write beyong truncation with old trunc seq

In a scenario where a truncation that followed a write got to
the osd before the preceding write, we shouldn't write beyond
that truncation when the write is handled in the osd.

truncate: initialize truncate_seq, truncate_size

truncate: truncate information sent on each read/write op

This fixes cases in which preceding client read/write ops arrive the
osd after a later truncation that arrived through the mds

osd: quiet down about request perms

librados: guard against double-release; clean up ref counting

rados: fix delete[] vs delete

lockdep: fix use after free; avoid register in unlocked() path

uclient: fix uninitialized var

filestore: fix empty cond location

mount: fix compile errors

streamtest: do concurrent ios; async commit AND ack

osd: add mutual exclusion while writes are applied

journal: sync_file_range on bdev, fdatasync on file

journal: warn if we detect disk write cache is on

journal: align (by default) even when !directio; directio by default; log latency

journal: group entries into single io in directio mode

mon: fix auth restart decoding

mon: fix osd tell *

mount: fix compile errors

Merge commit 'origin/unstable' into filestore

TODO: mark bugs completed

mount: canonicalize path name for mtab

mon: possible fix for rare problem where osd boot messages are double-logged.
From Sage.

mon: don't delete all laggy mds beacons, just the one's you've replaced

mon: print out proper address in debug log

mds: unify two if blocks with identical checks

todo: Slightly out of date

journal: fix padding

osd: streamline writing new maps to disk, somewhat

There is still an apply_transaction that should be replaced with a queue
if/when we are smarter about map caching so that a call to get_map on the
prior epoch won't need to go to disk.  Until then, the implicit flush
in apply_transaction is needed.

osd: use flush, not sync_on_flush

filestore: flush() will wait for queued transactions to be readable

journal: add flags field to header, entry_header

journal: allow pre and post padding for journal payload

Replace the header.alignment fixups with an explicit post_pad.