Merge branch 'testing' into unstable

filejournal: clean up journal initialization sequence, error codes, output

EOPNOTSUPP was getting returned to the user without much explanation.  This
should fix that!

mds: omit lock state in debug output when it's uninteresting (sync, no locks)

qa: rename snapmove -> snaptest-parents

osd: don't reply on missing class

Instead, we queue ourselves in the waiting_for_class list.  Broken by
f1eb9a8751d48.

mds: only wrlock filelock during max_size changes on the head

qa: add snaptest-dir-rename.sh

qa: add blogbench test to qa

debian: don't need to add .git_version in release script

makefile: include .git_version in tarball

mon: error out gracefully when we can't read the magic

mds: fix invalid comparison.

We just want the code in this if block to execute if the previous if block did.
But the previous if block unlinked destdnl, so the comparison always fails! Use
a bool and set it appropriately to fix.

client: don't improperly conclude COMPLETE on empty dir

We can't trust the MDS values when we hold FILE_EXCL.

qa: clean up snaptest-* suite a bit

client: don't print inode, it might be NULL.
This is especially bad because you can't start cfuse with debug level 20.

Revert "qa: remove random ordering from runallonce, for predictable resource matching"
This snuck in by mistake in the leaks merge.

This reverts commit 8778bacf3bee80e37a1898ba87fd7d2f37b56b8d.

client: only includee xattrs in caps msg if we are flushing that bit

client: queue capsnap on any dirty metadata

Merge branch 'unstable' of ssh://ceph.newdream.net/home/sage/ceph.newdream.net/git/ceph into unstable

Merge branch 'rootsnap' into unstable

Conflicts:
src/mds/Server.cc

mds: fix cow_old_inode to properly save xattrs

mds: fix snaprealm create split

Need to check if diri->snaprealm is set _before_ popping the dirty inode
(and new snaprealm!).

mds: no snaps in system dirs, but root is ok

mds: drop old debug output

mds: rename project_past_parent -> project_past_snaprealm_parent

mds: drop unused projected_srnode list

qa: snaptest-xattrwb.sh

qa: chmod +x snaptest-authwb.sh

mds: expose projected values for all locks to loner (not just filelock)

There is nothing special about filelock in this case.  If the client is
the loner, we should use the projected values.  This is important when
we are looking at a snapid on the head (see snaptest-authwb.sh).

mds: do null snapflush as soon as we have all file wr caps

The snapflush only gets delayed on the client by data writeback, so we can
do the null snapflush as soon as we have those bits.

mds: fix null deref of cap in do_cap_update when doing intermediate snap updates

mon: add clock sync backoff to handle_lease_ack

mon: Adjust lease time checks.

For some reason this fixes (apparently incorrect) warnings I saw
while running a 2-mon system on my dev server.

Merge branch 'leaks' into unstable

Conflicts:
src/mds/Locker.cc

Merge branch 'unstable' into leaks

Conflicts:
src/mds/Locker.cc

Merge branch 'auth_change_waiters' into unstable

mds: don't auth_pin non-auth wrlock targets

mds: don't auth_pin non-auth rdlock targets

This generates lots of lock traffic that is unneeded with the authchange
notification machinery.

mds: add wait on auth change machinery

Special wait mask is passed through lock wait mask to parent object.
Caller adds item to a list on the subtree root.
Removal of wait item automatically removes from said list.
Subtree topology changes adjust authchange wait lists.
Migrator auth change update waits waiters.  Import/export should be
protected by freeze/thaw or the blanket wakeups.

Revert librados portions of b0a8f6be815a03db36ef14e5006425c60951e396
and 6289b3e409acd050937bd23fba268f61e03ab30f.
These were never meant to occur, just a tool failure.

mon: ignore osd boot with bad addr

This sort of masks a bug in the msgr layer.

mds: only revoke client leases when there are leases in AC_LOCK handler

Fixes crash, bc the revoke func assumes it's a CDentry

mds: fix retry on discover_*

The discover_* methods can block on an ambiguous base auth, so we need to
retry in that case.

mds: ignore reqrdlock if frozen

mds: handle REQRDLOCK on simple locks too

Use a helper.

Merge remote branch 'origin/testing' into unstable

mds: eval inodes with caps after import

msgr: release dispatch_throttle on reset connection

Signed-off-by: Henry C Chang <henry_c_chang@tcloudcomputing.com>
Signed-off-by: Sage Weil <sage@newdream.net>

qa: add test for snapcap writeback of auth bits

qa: test xattr snap wb

osd: disable potentially dangerous dead code

Greg got a segfault accessing the OSDOP& first reference. Not clear why,
but this whole block is dead code.

backtrace: fix segfault in tcmalloc.
The print function is only called when we're about to crash anyway,
and the datamember 'foo' is allocated by ptmalloc, not tcmalloc. Freeing
it via tcmalloc causes its own crash which pollutes our debugging and
incorrectly sticks tcmalloc into the stack. So, just don't free.

mds: fix get_projected_srnode. We might have projected nodes without projected snaprealms

mds: remove compiler warning in CInode

mds: fix get_projected_srnode to actually find an srnode,
instead of returning the (possibly NULL) last projected_node has set

Also, add brief documentation.

mds: remove unnecessary silent fallout from add_primary_dentry.

mds: drop old thrash_exports time limit

osdmaptool: print useful error instead of crashing if osdmap is corrupt

crush: return error instead of BUGing on bad forcefed mapping

The forcefed mapping relies on a parent map.  However, the current
implementation assumes that the parent mapping is unique for all rules. If
that is not the case (i.e., some osd exists in multiple hierarchies) then
we cannot assert that the TAKE matches the calculated force_context.

For now, we can just fail the mapping in that case (we don't use forcefed
mappings yet).  The real solution is probably to define parent maps for
all possible hierarchies (i.e., starting at each unique TAKE starting
point).

Signed-off-by: Sage Weil <sage@newdream.net>

mds: return error to client on invalid mds op

e.g., if the client sends a filelock request and we don't support it :)

mds: fix ENOTEMPTY checking on rmdir/rename

We can't trust the inode rstat size without holding the locks.  We can
look at our auth frags and though without fear of a false positive
ENOTEMPTY, however.

Rename the function, introduce a helper for the locked check, update
comments, etc.

mds: drop projected_snaprealm_ptr

Can also get this from the projected_nodes list.

mds: drop projected_xattrs_ptr

We don't need these if we just look at the projected_nodes list, just like
get_projected_inode() and get_previous_projected_inode().

mds: allow you to DELETE snapshots in root directory too

Merge branch 'unstable' into rootsnap

osd: disable potentially dangerous dead code

Greg got a segfault accessing the OSDOP& first reference. Not clear why,
but this whole block is dead code.

backtrace: fix segfault in tcmalloc.
The print function is only called when we're about to crash anyway,
and the datamember 'foo' is allocated by ptmalloc, not tcmalloc. Freeing
it via tcmalloc causes its own crash which pollutes our debugging and
incorrectly sticks tcmalloc into the stack. So, just don't free.

mds: fix pick_inode_snap

Return when we find something.

mds: fix intermediate snapped inode updates

Pass head inode to pick_inode_snap!

osd: disable potentially dangerous dead code

Greg got a segfault accessing the OSDOP& first reference. Not clear why,
but this whole block is dead code.

utime: microsecond -> nanosecond resolution

Strictly speaking, this changes the encoding.  But, the encoding was
broken before, because ceph_timespec in ns but we were actually encoding
us.

But it's all subsecond resolution, so who cares.  Just change it!

backtrace: fix segfault in tcmalloc.
The print function is only called when we're about to crash anyway,
and the datamember 'foo' is allocated by ptmalloc, not tcmalloc. Freeing
it via tcmalloc causes its own crash which pollutes our debugging and
incorrectly sticks tcmalloc into the stack. So, just don't free.

mds: allow snaps in root dir. This may be too large a stick, though

mds: CInode should set projected_snaprealm_ptr to NULL if we pop the last one!

mds: project_snaprealm in project_and_dirty_inode. Fix users.

mds: journal snaprealm changes in MDCache::journal_cow_dentry,
if a new snapnode exists.

This means that you shouldn't journal them elsewhere if they go through
journal_cow_dentry, so remove from mksnap and rmsnap!

mds: implement get_previous_projected_xattrs; use in MDCache::cow_inode().

Fixes #351

mds: move snaprealm projection to operate cooperatively with inode projection.

mds: move inode and xattr projection into projected_nodes list.

start switching to use projected_nodes in projection and journaling code

mds: CInode: create new projection_node with pointers for
inode, xattrs, and snaprealm.

notes on snaprealm projection in project_inode situations

mds: CDentry. Remove needlessly redundant inline if-else.

qa: add simple snaprealm test script.

Merge branch 'testing' into unstable

mds: make null snapflush helper, and call on cap removal too

Move remove_client_cap() from MDCache->Locker while we're at it!

mds: simplify/fix early null snapflush check, clean up comment

osd: carry ondisk write lock for cloned objects

This fixes a race when reading and deleting objects, as evidenced by

 cp bigfile a
 mkdir .snap/foo
 rmdir a
 diff bigfile .snap/foo/a    <-- reads cloned object before it hits disk

Reproduced by snaptest-snap-rm-cmp.sh.

Signed-off-by: Sage Weil <sage@newdream.net>

mds: fix crash when REQSCATTER races with an actual scatter/MIX

mds: fix null snapflush logic

We only want to do a null snapflush if we _know_ there isn't another one
coming: that is, there aren't any outstanding issued excl/wr cap bits at
the client.  The old test has the bitwise NOT backwards.  We can also
limit the test to the bits we care about.

mds: don't send null ack in do_snap_update

(In this case, it's a null flushsnap.)

qa: add snaptest-snap-rm-cmp

This (usually) reproduced a bug where:

 - we write a big file
 - snap it
 - remove it.  this makes the mds cow it.
 - cp the snapped version.
   - mds syncs the head
   - client starts writeback
   - (sometimes!) client sends other caps back to the mds
     - mds does null flushsnap, not realizing a real one is still coming

mds: remove forward-on-nonauth-rdlock behavior

The problem is that we may be rdlocking items with a different auth than
the main item we are modifying, so forwarding based on lock state is
inconsistent with our requirement that we be on the modified item's auth.

Either we can somehow mark whether the locked item is the "main thing" we
are operating on, or we can drop the forward behavior from the locker and
put any forwarding heuristics elsewhere.  I'm opting for the latter.

auth: fix skipping of ~/ if $HOME subst fails

We were breaking out of the loop entirely, and failing to check the rest
of the items in the path list.  Doh!

mds: oops, fix null snapflush fix

mds: clean up {have,get}_inode() definitions

mds: fix null snapflush inode lookup

Don't use pick_inode_snap is totally wrong (it depends on the current set
of snaps, etc.).. look up the inode directly via the ino and last snapid,
which we have.  Fixes a failure at the assert.

Reported-by: Thomas Mueller <thomas@chaschperli.ch>
Signed-off-by: Sage Weil <sage@newdream.net>

rgw: fix commit warning.
size_t is a long unsigned, not a long long unsigned.

qa: add simple snaprealm test script.

mds: handle no flushsnap

We won't get a flushsnap when the client has EXCL/WR caps but no dirty
data.  The MDS needs to release the snapped inode's locks when it gets a
normal update but no FLUSHSNAP.