msgr: Let requeue_sent remove items completely, given a seq to remove from.

msgr: If one Connection/Pipe replaces an old one that faulted, fully replace.

We were previously losing messages because they were associated with an old
Connection that had lost its Pipe.

objecter: remove unused bufferlist

mds: sync replicas after finishing XLOCK gather

The replicas are in the LOCK state; sync them.  We had the XLOCKDONE but
not the XLOCK case.

mds: fix replica state for mix->sync

Should be mix->sync(2): the same as a replica who already go the first
SYNC message and is waiting in mix->sync(2) for the final SYNC to indicate
the gather is completed.

mds: don't export any system dirs

Skip dir if it is any system dir.

mds: authpin non-auth items we may need to REQSCATTER or REQRDLOCK for any lock type

We were doing just filelock, but this is needed for any lock.

Revert "Merge branch 'auth_change_waiters' into unstable"

This reverts commit 1d8770be2747c43a1aef05a6439b7e23a87f0419, reversing
changes made to 46bf806a774a3cd28b3a1da4ec79fb9e61124ba8.

mds: lock path, parent dir scatterlocks _after_ freezing

This fixes a ABBA deadlock between
  acquire_locks(): auth_pins items, then locks in order
  export_dir: locks paths, then freezes.

Instead, we check for lockability (but don't lock), do the freeze, and then
try to take the locks after.  If we can't do so atomically, we currently
just fail.  In theory this could wait for the distributed locks, but it's
probably not worth the complexity at this stage; export_dir is currently
still opportunistic and can bail out for a variety of reasons.

mds: can next state lockability checks in eval_gather

The can_* fields need to be ANY or AUTH.. not REQ or XCL (at least not
without trickier checks).  Otherwise we progress to the next state too
early and violate the locking rules.

mds: don't allow read in sync->mix2 state, request rdlock in sync->mix

Merge branch 'testing' into unstable

Conflicts:
configure.ac
src/mds/MDCache.cc

Merge branch 'mds_replay_lock_states' into testing

mds: rename process_reconnected_caps()

mds: make is_dirty() const in parent and child

Otherwise we're overriding the wrong method!  Der.

mds: choose lock states for nestlock and dftlock too

All scatterlocks need it, in case we replay dirty scatterlock data.

mds: choose lock states on all inodes, not just those with caps

This is necessary because we want to select lock states for inodes with
no caps that got replayed scatterlock dirty state from the journal.

mds: choose LOCK if !replicated and dirty scatterlock

mds: fix bad iterator usage in process_reconnected_caps()

We use p->second, so don't increment p++ early in the loop block.

mkcephfs: fix bad |

Reported-by: Jim Schutt <jaschut@sandia.gov>
Signed-off-by: Sage Weil <sage@newdream.net>

osd: log error instead of crashing on failed pull attempt

If peering screws up and the primary mistakenly tries to pull an object
from us we don't have, log an error instead of crashing.  This will still
throw off recovery (it will hang), but that's better than crashing
outright.

rgw: send status: 100 after auth code to signal fastcgi module

Shouldn't make any difference with older modules, and patched fastcgi
module should know how to handle it.

rgw: update the rgw_admin usage

class: fix adding of class library, when previously existed

mds: fix bad iterator usage in process_reconnected_caps()

We use p->second, so don't increment p++ early in the loop block.

mon: more useful class debug output

ceph v0.21.2

client: Make truncation work properly
The previous if block didn't work because inode->size was usually
changed well before handle_cap_trunc was ever invoked, so it never
did the truncation in the objectcacher! This was okay if you just truncated
a file and then closed it, but if you wrote a file, truncated part of it out,
and then wrote past the (new) end you would get reads that returned
the previously-truncated data out of what should have been a hole.

Now, we do the actual objectcacher truncation in update_inode_file_bits,
because all methods of truncation will move through there and this maintains
proper ordering.

osd: fix class timeouts

osd: clean up class loading code a bit

osd: less log noise

osdmap: whitespace

osd: use cluster msgr to share map with old hb peers

Merge branch 'testing' into unstable

osd: mark down old _from connections too; and fix old _from debug output

osd: don't mark down old _to peers that are still _from peers

It's harmless, but not ideal.

osd: always mark down old hb peers; send map update via cluster link

If we don't mark down the hb link immediately, we'll forget about it
because it won't be in the from or to set anymore, and if it does go down
later we'll end up with garbage in the logs.

Instead, always mark it down.  Since we want to share our map with old
peers that are still up, do that via the cluster link instead, which is
reliably marked down if/when the peer goes down.

Signed-off-by: Sage Weil <sage@newdream.net>

Merge branch 'testing' into unstable

filejournal: clean up journal initialization sequence, error codes, output

EOPNOTSUPP was getting returned to the user without much explanation.  This
should fix that!

mds: omit lock state in debug output when it's uninteresting (sync, no locks)

qa: rename snapmove -> snaptest-parents

osd: don't reply on missing class

Instead, we queue ourselves in the waiting_for_class list.  Broken by
f1eb9a8751d48.

mds: only wrlock filelock during max_size changes on the head

qa: add snaptest-dir-rename.sh

qa: add blogbench test to qa

debian: don't need to add .git_version in release script

makefile: include .git_version in tarball

mon: error out gracefully when we can't read the magic

mds: fix invalid comparison.

We just want the code in this if block to execute if the previous if block did.
But the previous if block unlinked destdnl, so the comparison always fails! Use
a bool and set it appropriately to fix.

client: don't improperly conclude COMPLETE on empty dir

We can't trust the MDS values when we hold FILE_EXCL.

qa: clean up snaptest-* suite a bit

client: don't print inode, it might be NULL.
This is especially bad because you can't start cfuse with debug level 20.

Revert "qa: remove random ordering from runallonce, for predictable resource matching"
This snuck in by mistake in the leaks merge.

This reverts commit 8778bacf3bee80e37a1898ba87fd7d2f37b56b8d.

client: only includee xattrs in caps msg if we are flushing that bit

client: queue capsnap on any dirty metadata

Merge branch 'unstable' of ssh://ceph.newdream.net/home/sage/ceph.newdream.net/git/ceph into unstable

Merge branch 'rootsnap' into unstable

Conflicts:
src/mds/Server.cc

mds: fix cow_old_inode to properly save xattrs

mds: fix snaprealm create split

Need to check if diri->snaprealm is set _before_ popping the dirty inode
(and new snaprealm!).

mds: no snaps in system dirs, but root is ok

mds: drop old debug output

mds: rename project_past_parent -> project_past_snaprealm_parent

mds: drop unused projected_srnode list

qa: snaptest-xattrwb.sh

qa: chmod +x snaptest-authwb.sh

mds: expose projected values for all locks to loner (not just filelock)

There is nothing special about filelock in this case.  If the client is
the loner, we should use the projected values.  This is important when
we are looking at a snapid on the head (see snaptest-authwb.sh).

mds: do null snapflush as soon as we have all file wr caps

The snapflush only gets delayed on the client by data writeback, so we can
do the null snapflush as soon as we have those bits.

mds: fix null deref of cap in do_cap_update when doing intermediate snap updates

mon: add clock sync backoff to handle_lease_ack

mon: Adjust lease time checks.

For some reason this fixes (apparently incorrect) warnings I saw
while running a 2-mon system on my dev server.

Merge branch 'leaks' into unstable

Conflicts:
src/mds/Locker.cc

Merge branch 'unstable' into leaks

Conflicts:
src/mds/Locker.cc

Merge branch 'auth_change_waiters' into unstable

mds: don't auth_pin non-auth wrlock targets

mds: don't auth_pin non-auth rdlock targets

This generates lots of lock traffic that is unneeded with the authchange
notification machinery.

mds: add wait on auth change machinery

Special wait mask is passed through lock wait mask to parent object.
Caller adds item to a list on the subtree root.
Removal of wait item automatically removes from said list.
Subtree topology changes adjust authchange wait lists.
Migrator auth change update waits waiters.  Import/export should be
protected by freeze/thaw or the blanket wakeups.

Revert librados portions of b0a8f6be815a03db36ef14e5006425c60951e396
and 6289b3e409acd050937bd23fba268f61e03ab30f.
These were never meant to occur, just a tool failure.

mon: ignore osd boot with bad addr

This sort of masks a bug in the msgr layer.

mds: only revoke client leases when there are leases in AC_LOCK handler

Fixes crash, bc the revoke func assumes it's a CDentry

mds: fix retry on discover_*

The discover_* methods can block on an ambiguous base auth, so we need to
retry in that case.

mds: ignore reqrdlock if frozen

mds: handle REQRDLOCK on simple locks too

Use a helper.

Merge remote branch 'origin/testing' into unstable

mds: eval inodes with caps after import

msgr: release dispatch_throttle on reset connection

Signed-off-by: Henry C Chang <henry_c_chang@tcloudcomputing.com>
Signed-off-by: Sage Weil <sage@newdream.net>

qa: add test for snapcap writeback of auth bits

qa: test xattr snap wb

osd: disable potentially dangerous dead code

Greg got a segfault accessing the OSDOP& first reference. Not clear why,
but this whole block is dead code.

backtrace: fix segfault in tcmalloc.
The print function is only called when we're about to crash anyway,
and the datamember 'foo' is allocated by ptmalloc, not tcmalloc. Freeing
it via tcmalloc causes its own crash which pollutes our debugging and
incorrectly sticks tcmalloc into the stack. So, just don't free.

mds: fix get_projected_srnode. We might have projected nodes without projected snaprealms

mds: remove compiler warning in CInode

mds: fix get_projected_srnode to actually find an srnode,
instead of returning the (possibly NULL) last projected_node has set

Also, add brief documentation.

mds: remove unnecessary silent fallout from add_primary_dentry.

mds: drop old thrash_exports time limit

osdmaptool: print useful error instead of crashing if osdmap is corrupt

crush: return error instead of BUGing on bad forcefed mapping

The forcefed mapping relies on a parent map.  However, the current
implementation assumes that the parent mapping is unique for all rules. If
that is not the case (i.e., some osd exists in multiple hierarchies) then
we cannot assert that the TAKE matches the calculated force_context.

For now, we can just fail the mapping in that case (we don't use forcefed
mappings yet).  The real solution is probably to define parent maps for
all possible hierarchies (i.e., starting at each unique TAKE starting
point).

Signed-off-by: Sage Weil <sage@newdream.net>

mds: return error to client on invalid mds op

e.g., if the client sends a filelock request and we don't support it :)

mds: fix ENOTEMPTY checking on rmdir/rename

We can't trust the inode rstat size without holding the locks.  We can
look at our auth frags and though without fear of a false positive
ENOTEMPTY, however.

Rename the function, introduce a helper for the locked check, update
comments, etc.

mds: drop projected_snaprealm_ptr

Can also get this from the projected_nodes list.

mds: drop projected_xattrs_ptr

We don't need these if we just look at the projected_nodes list, just like
get_projected_inode() and get_previous_projected_inode().