rgw: send status: 100 after auth code to signal fastcgi module

Shouldn't make any difference with older modules, and patched fastcgi
module should know how to handle it.

rgw: update the rgw_admin usage

class: fix adding of class library, when previously existed

mds: fix bad iterator usage in process_reconnected_caps()

We use p->second, so don't increment p++ early in the loop block.

mon: more useful class debug output

client: Make truncation work properly
The previous if block didn't work because inode->size was usually
changed well before handle_cap_trunc was ever invoked, so it never
did the truncation in the objectcacher! This was okay if you just truncated
a file and then closed it, but if you wrote a file, truncated part of it out,
and then wrote past the (new) end you would get reads that returned
the previously-truncated data out of what should have been a hole.

Now, we do the actual objectcacher truncation in update_inode_file_bits,
because all methods of truncation will move through there and this maintains
proper ordering.

osd: fix class timeouts

osd: clean up class loading code a bit

osdmap: whitespace

osd: use cluster msgr to share map with old hb peers

Merge branch 'testing' into unstable

osd: mark down old _from connections too; and fix old _from debug output

osd: don't mark down old _to peers that are still _from peers

It's harmless, but not ideal.

osd: always mark down old hb peers; send map update via cluster link

If we don't mark down the hb link immediately, we'll forget about it
because it won't be in the from or to set anymore, and if it does go down
later we'll end up with garbage in the logs.

Instead, always mark it down.  Since we want to share our map with old
peers that are still up, do that via the cluster link instead, which is
reliably marked down if/when the peer goes down.

Signed-off-by: Sage Weil <sage@newdream.net>

Merge branch 'testing' into unstable

filejournal: clean up journal initialization sequence, error codes, output

EOPNOTSUPP was getting returned to the user without much explanation.  This
should fix that!

mds: omit lock state in debug output when it's uninteresting (sync, no locks)

qa: rename snapmove -> snaptest-parents

osd: don't reply on missing class

Instead, we queue ourselves in the waiting_for_class list.  Broken by
f1eb9a8751d48.

mds: only wrlock filelock during max_size changes on the head

qa: add snaptest-dir-rename.sh

qa: add blogbench test to qa

debian: don't need to add .git_version in release script

makefile: include .git_version in tarball

mon: error out gracefully when we can't read the magic

mds: fix invalid comparison.

We just want the code in this if block to execute if the previous if block did.
But the previous if block unlinked destdnl, so the comparison always fails! Use
a bool and set it appropriately to fix.

client: don't improperly conclude COMPLETE on empty dir

We can't trust the MDS values when we hold FILE_EXCL.

qa: clean up snaptest-* suite a bit

client: don't print inode, it might be NULL.
This is especially bad because you can't start cfuse with debug level 20.

Revert "qa: remove random ordering from runallonce, for predictable resource matching"
This snuck in by mistake in the leaks merge.

This reverts commit 8778bacf3bee80e37a1898ba87fd7d2f37b56b8d.

client: only includee xattrs in caps msg if we are flushing that bit

client: queue capsnap on any dirty metadata

Merge branch 'unstable' of ssh://ceph.newdream.net/home/sage/ceph.newdream.net/git/ceph into unstable

Merge branch 'rootsnap' into unstable

Conflicts:
src/mds/Server.cc

mds: fix cow_old_inode to properly save xattrs

mds: fix snaprealm create split

Need to check if diri->snaprealm is set _before_ popping the dirty inode
(and new snaprealm!).

mds: no snaps in system dirs, but root is ok

mds: drop old debug output

mds: rename project_past_parent -> project_past_snaprealm_parent

mds: drop unused projected_srnode list

qa: snaptest-xattrwb.sh

qa: chmod +x snaptest-authwb.sh

mds: expose projected values for all locks to loner (not just filelock)

There is nothing special about filelock in this case.  If the client is
the loner, we should use the projected values.  This is important when
we are looking at a snapid on the head (see snaptest-authwb.sh).

mds: do null snapflush as soon as we have all file wr caps

The snapflush only gets delayed on the client by data writeback, so we can
do the null snapflush as soon as we have those bits.

mds: fix null deref of cap in do_cap_update when doing intermediate snap updates

mon: add clock sync backoff to handle_lease_ack

mon: Adjust lease time checks.

For some reason this fixes (apparently incorrect) warnings I saw
while running a 2-mon system on my dev server.

Merge branch 'leaks' into unstable

Conflicts:
src/mds/Locker.cc

Merge branch 'unstable' into leaks

Conflicts:
src/mds/Locker.cc

Merge branch 'auth_change_waiters' into unstable

mds: don't auth_pin non-auth wrlock targets

mds: don't auth_pin non-auth rdlock targets

This generates lots of lock traffic that is unneeded with the authchange
notification machinery.

mds: add wait on auth change machinery

Special wait mask is passed through lock wait mask to parent object.
Caller adds item to a list on the subtree root.
Removal of wait item automatically removes from said list.
Subtree topology changes adjust authchange wait lists.
Migrator auth change update waits waiters.  Import/export should be
protected by freeze/thaw or the blanket wakeups.

Revert librados portions of b0a8f6be815a03db36ef14e5006425c60951e396
and 6289b3e409acd050937bd23fba268f61e03ab30f.
These were never meant to occur, just a tool failure.

mon: ignore osd boot with bad addr

This sort of masks a bug in the msgr layer.

mds: only revoke client leases when there are leases in AC_LOCK handler

Fixes crash, bc the revoke func assumes it's a CDentry

mds: fix retry on discover_*

The discover_* methods can block on an ambiguous base auth, so we need to
retry in that case.

mds: ignore reqrdlock if frozen

mds: handle REQRDLOCK on simple locks too

Use a helper.

Merge remote branch 'origin/testing' into unstable

mds: eval inodes with caps after import

msgr: release dispatch_throttle on reset connection

Signed-off-by: Henry C Chang <henry_c_chang@tcloudcomputing.com>
Signed-off-by: Sage Weil <sage@newdream.net>

qa: add test for snapcap writeback of auth bits

qa: test xattr snap wb

osd: disable potentially dangerous dead code

Greg got a segfault accessing the OSDOP& first reference. Not clear why,
but this whole block is dead code.

backtrace: fix segfault in tcmalloc.
The print function is only called when we're about to crash anyway,
and the datamember 'foo' is allocated by ptmalloc, not tcmalloc. Freeing
it via tcmalloc causes its own crash which pollutes our debugging and
incorrectly sticks tcmalloc into the stack. So, just don't free.

mds: fix get_projected_srnode. We might have projected nodes without projected snaprealms

mds: remove compiler warning in CInode

mds: fix get_projected_srnode to actually find an srnode,
instead of returning the (possibly NULL) last projected_node has set

Also, add brief documentation.

mds: remove unnecessary silent fallout from add_primary_dentry.

mds: drop old thrash_exports time limit

osdmaptool: print useful error instead of crashing if osdmap is corrupt

crush: return error instead of BUGing on bad forcefed mapping

The forcefed mapping relies on a parent map.  However, the current
implementation assumes that the parent mapping is unique for all rules. If
that is not the case (i.e., some osd exists in multiple hierarchies) then
we cannot assert that the TAKE matches the calculated force_context.

For now, we can just fail the mapping in that case (we don't use forcefed
mappings yet).  The real solution is probably to define parent maps for
all possible hierarchies (i.e., starting at each unique TAKE starting
point).

Signed-off-by: Sage Weil <sage@newdream.net>

mds: return error to client on invalid mds op

e.g., if the client sends a filelock request and we don't support it :)

mds: fix ENOTEMPTY checking on rmdir/rename

We can't trust the inode rstat size without holding the locks.  We can
look at our auth frags and though without fear of a false positive
ENOTEMPTY, however.

Rename the function, introduce a helper for the locked check, update
comments, etc.

mds: drop projected_snaprealm_ptr

Can also get this from the projected_nodes list.

mds: drop projected_xattrs_ptr

We don't need these if we just look at the projected_nodes list, just like
get_projected_inode() and get_previous_projected_inode().

mds: allow you to DELETE snapshots in root directory too

Merge branch 'unstable' into rootsnap

osd: disable potentially dangerous dead code

Greg got a segfault accessing the OSDOP& first reference. Not clear why,
but this whole block is dead code.

backtrace: fix segfault in tcmalloc.
The print function is only called when we're about to crash anyway,
and the datamember 'foo' is allocated by ptmalloc, not tcmalloc. Freeing
it via tcmalloc causes its own crash which pollutes our debugging and
incorrectly sticks tcmalloc into the stack. So, just don't free.

mds: fix pick_inode_snap

Return when we find something.

mds: fix intermediate snapped inode updates

Pass head inode to pick_inode_snap!

osd: disable potentially dangerous dead code

Greg got a segfault accessing the OSDOP& first reference. Not clear why,
but this whole block is dead code.

utime: microsecond -> nanosecond resolution

Strictly speaking, this changes the encoding.  But, the encoding was
broken before, because ceph_timespec in ns but we were actually encoding
us.

But it's all subsecond resolution, so who cares.  Just change it!

backtrace: fix segfault in tcmalloc.
The print function is only called when we're about to crash anyway,
and the datamember 'foo' is allocated by ptmalloc, not tcmalloc. Freeing
it via tcmalloc causes its own crash which pollutes our debugging and
incorrectly sticks tcmalloc into the stack. So, just don't free.

mds: allow snaps in root dir. This may be too large a stick, though

mds: CInode should set projected_snaprealm_ptr to NULL if we pop the last one!

mds: project_snaprealm in project_and_dirty_inode. Fix users.

mds: journal snaprealm changes in MDCache::journal_cow_dentry,
if a new snapnode exists.

This means that you shouldn't journal them elsewhere if they go through
journal_cow_dentry, so remove from mksnap and rmsnap!

mds: implement get_previous_projected_xattrs; use in MDCache::cow_inode().

Fixes #351

mds: move snaprealm projection to operate cooperatively with inode projection.

mds: move inode and xattr projection into projected_nodes list.

start switching to use projected_nodes in projection and journaling code

mds: CInode: create new projection_node with pointers for
inode, xattrs, and snaprealm.

notes on snaprealm projection in project_inode situations

mds: CDentry. Remove needlessly redundant inline if-else.

qa: add simple snaprealm test script.

Merge branch 'testing' into unstable

mds: make null snapflush helper, and call on cap removal too

Move remove_client_cap() from MDCache->Locker while we're at it!