osd: don't create clone_obc on replica

We don't need the clone_obc on the replica, since we don't read from there.
We don't have head obc's either.

We do, however, keep the snapset_obc, since there are a few paths that
depend on whether it exists on disk (to clean it up) and that information
isn't currently fed through from the primary.

osd: don't leak map_in_progress_cond

init-ceph: mkdir log_sym_dir only if not default

mds: propagate accounted_* into dirfrags on scatterwriteback

The accounted_ updates need to propagate into the dirfrag fnodes in the
journal for auth frags during scatterwriteback.

mds: don't xlock and wrlock same dn->versionlock

We deadlock if we try to wrlock and xlock the same lock.  This was
happening during multi-mds rename when the versionlock was in the xlock
set.

Signed-off-by: Sage Weil <sage@newdream.net>

mds: drop useless virtual-ness for finish_scatter_gather_update

If/when we do this on dentries, _then_ we can use a virtual function, and
rewrite the single user (scatter_writebehind) to generalize to non-inodes.

mds: journal dirfrag accounted_{r,frag}stat on inode update

When the inode sucks in the dir's updated frag info, we need to journal
the dirfrag update as well.  This ensures that any subsequent changes in
the dirfrag will be reflected by the difference between rstat and
accounted_rstat from the perspective of the journal contents (in case we
fail/recover during that process).

mds: in cinode debug, only show nl= if != 1

init-ceph: mkdir log_dir and log_sym_dir

Signed-off-by: Sage Weil <sage@newdream.net>

mon: be a little more conservating in MOSDBoot handling

If we see the osd is being marked up, retry the message after commit,
don't just assume we're a dup and it's the same instance.

Merge branch 'testing' into unstable

mon: fix up variable names to be more clear this is an inclusive range

mon: fix osdmap subscribe range

Send incremental starting with the next map they want, not the one they
already have.

mon: fix send_incremental ranges; behave when sending just 1 inc.

The build_incremental range is inclusive.  And we should behave when
sending a single inc map to get up to date.

mon: handle subscribe to osdmap=1

We would send an incremental for anything >1, or the latest map, but not
osdmap e1 itself.  Fix the condition, and make send_incremental() smart
about starting with the full map at 1 as needed.

mds: fix journal replay of session close->open after reconnect

If the client reconnects, the journal 'close' replay doesn't remove the
session, which leaves the session state intact.  It needs to reset it in
that case, or else we get problems if the session is reopened and the
state doesn't match up.

Reported-by: Nat N <phenisha@gmail.com>
Signed-off-by: Sage Weil <sage@newdream.net>

objectcacher: fix use-after-free atomic_sync_readx

readx() releases rd; copy snapid so we can use it later.

mds: fix use-after-free

We copied the name, but forgot to use it.

mds: fix use-after-free in snaprealm_create_finish

We pass mut's log segment to snapclient->commit().

objectcacher: cleanup release(), just to be clear

objecter: add missing return in list_objects

This fixes a use-after-free, and generally bad behavior.

objectcacher: fix use-after-free

Move waiter check above close_object(ob) call.

mount: fix scope of secret[]

We use value pointer outside of this block; move declaration up to function
level.

crushtool: fix bucket type array bound check

rados: fix delete[] in aio_bencher

Merge branch 'uclient_readdir' into testing

client: move readdir code around

client: reimplement getdir() with readdir_r_cb()

More efficient.

client: reimplement readdir

Reimplement core readdir (readdir_r_cb), using kclient as a template.
Reimplement all other readdir variants in terms of readdir_r_cb.

Main change is support for frag chunking, and hopefully lots of subtle bugs
that have been fixed in the kclient code we're based on.

cfuse: use readdir_r_cb

uclient: implement readdir_r_cb (callback based readdir)

This lets us know whether the caller is able to consume an entry before
advancing our position.

mds: sync replicas after finishing XLOCK gather

The replicas are in the LOCK state; sync them.  We had the XLOCKDONE but
not the XLOCK case.

mds: fix replica state for mix->sync

Should be mix->sync(2): the same as a replica who already go the first
SYNC message and is waiting in mix->sync(2) for the final SYNC to indicate
the gather is completed.

mds: don't export any system dirs

Skip dir if it is any system dir.

mds: authpin non-auth items we may need to REQSCATTER or REQRDLOCK for any lock type

We were doing just filelock, but this is needed for any lock.

Revert "Merge branch 'auth_change_waiters' into unstable"

This reverts commit 1d8770be2747c43a1aef05a6439b7e23a87f0419, reversing
changes made to 46bf806a774a3cd28b3a1da4ec79fb9e61124ba8.

mds: lock path, parent dir scatterlocks _after_ freezing

This fixes a ABBA deadlock between
  acquire_locks(): auth_pins items, then locks in order
  export_dir: locks paths, then freezes.

Instead, we check for lockability (but don't lock), do the freeze, and then
try to take the locks after.  If we can't do so atomically, we currently
just fail.  In theory this could wait for the distributed locks, but it's
probably not worth the complexity at this stage; export_dir is currently
still opportunistic and can bail out for a variety of reasons.

mds: can next state lockability checks in eval_gather

The can_* fields need to be ANY or AUTH.. not REQ or XCL (at least not
without trickier checks).  Otherwise we progress to the next state too
early and violate the locking rules.

mds: don't allow read in sync->mix2 state, request rdlock in sync->mix

Merge branch 'testing' into unstable

Conflicts:
configure.ac
src/mds/MDCache.cc

Merge branch 'mds_replay_lock_states' into testing

mds: rename process_reconnected_caps()

mds: make is_dirty() const in parent and child

Otherwise we're overriding the wrong method!  Der.

mds: choose lock states for nestlock and dftlock too

All scatterlocks need it, in case we replay dirty scatterlock data.

mds: choose lock states on all inodes, not just those with caps

This is necessary because we want to select lock states for inodes with
no caps that got replayed scatterlock dirty state from the journal.

mds: choose LOCK if !replicated and dirty scatterlock

mds: fix bad iterator usage in process_reconnected_caps()

We use p->second, so don't increment p++ early in the loop block.

mkcephfs: fix bad |

Reported-by: Jim Schutt <jaschut@sandia.gov>
Signed-off-by: Sage Weil <sage@newdream.net>

osd: log error instead of crashing on failed pull attempt

If peering screws up and the primary mistakenly tries to pull an object
from us we don't have, log an error instead of crashing.  This will still
throw off recovery (it will hang), but that's better than crashing
outright.

rgw: send status: 100 after auth code to signal fastcgi module

Shouldn't make any difference with older modules, and patched fastcgi
module should know how to handle it.

rgw: update the rgw_admin usage

class: fix adding of class library, when previously existed

mds: fix bad iterator usage in process_reconnected_caps()

We use p->second, so don't increment p++ early in the loop block.

mon: more useful class debug output

ceph v0.21.2

client: Make truncation work properly
The previous if block didn't work because inode->size was usually
changed well before handle_cap_trunc was ever invoked, so it never
did the truncation in the objectcacher! This was okay if you just truncated
a file and then closed it, but if you wrote a file, truncated part of it out,
and then wrote past the (new) end you would get reads that returned
the previously-truncated data out of what should have been a hole.

Now, we do the actual objectcacher truncation in update_inode_file_bits,
because all methods of truncation will move through there and this maintains
proper ordering.

osd: fix class timeouts

osd: clean up class loading code a bit

osd: less log noise

osdmap: whitespace

osd: use cluster msgr to share map with old hb peers

Merge branch 'testing' into unstable

osd: mark down old _from connections too; and fix old _from debug output

osd: don't mark down old _to peers that are still _from peers

It's harmless, but not ideal.

osd: always mark down old hb peers; send map update via cluster link

If we don't mark down the hb link immediately, we'll forget about it
because it won't be in the from or to set anymore, and if it does go down
later we'll end up with garbage in the logs.

Instead, always mark it down.  Since we want to share our map with old
peers that are still up, do that via the cluster link instead, which is
reliably marked down if/when the peer goes down.

Signed-off-by: Sage Weil <sage@newdream.net>

Merge branch 'testing' into unstable

filejournal: clean up journal initialization sequence, error codes, output

EOPNOTSUPP was getting returned to the user without much explanation.  This
should fix that!

mds: omit lock state in debug output when it's uninteresting (sync, no locks)

qa: rename snapmove -> snaptest-parents

osd: don't reply on missing class

Instead, we queue ourselves in the waiting_for_class list.  Broken by
f1eb9a8751d48.

mds: only wrlock filelock during max_size changes on the head

qa: add snaptest-dir-rename.sh

qa: add blogbench test to qa

debian: don't need to add .git_version in release script

makefile: include .git_version in tarball

mon: error out gracefully when we can't read the magic

mds: fix invalid comparison.

We just want the code in this if block to execute if the previous if block did.
But the previous if block unlinked destdnl, so the comparison always fails! Use
a bool and set it appropriately to fix.

client: don't improperly conclude COMPLETE on empty dir

We can't trust the MDS values when we hold FILE_EXCL.

qa: clean up snaptest-* suite a bit

client: don't print inode, it might be NULL.
This is especially bad because you can't start cfuse with debug level 20.

Revert "qa: remove random ordering from runallonce, for predictable resource matching"
This snuck in by mistake in the leaks merge.

This reverts commit 8778bacf3bee80e37a1898ba87fd7d2f37b56b8d.

client: only includee xattrs in caps msg if we are flushing that bit

client: queue capsnap on any dirty metadata

Merge branch 'unstable' of ssh://ceph.newdream.net/home/sage/ceph.newdream.net/git/ceph into unstable

Merge branch 'rootsnap' into unstable

Conflicts:
src/mds/Server.cc

mds: fix cow_old_inode to properly save xattrs

mds: fix snaprealm create split

Need to check if diri->snaprealm is set _before_ popping the dirty inode
(and new snaprealm!).

mds: no snaps in system dirs, but root is ok

mds: drop old debug output

mds: rename project_past_parent -> project_past_snaprealm_parent

mds: drop unused projected_srnode list

qa: snaptest-xattrwb.sh

qa: chmod +x snaptest-authwb.sh

mds: expose projected values for all locks to loner (not just filelock)

There is nothing special about filelock in this case.  If the client is
the loner, we should use the projected values.  This is important when
we are looking at a snapid on the head (see snaptest-authwb.sh).

mds: do null snapflush as soon as we have all file wr caps

The snapflush only gets delayed on the client by data writeback, so we can
do the null snapflush as soon as we have those bits.

mds: fix null deref of cap in do_cap_update when doing intermediate snap updates

mon: add clock sync backoff to handle_lease_ack

mon: Adjust lease time checks.

For some reason this fixes (apparently incorrect) warnings I saw
while running a 2-mon system on my dev server.

Merge branch 'leaks' into unstable

Conflicts:
src/mds/Locker.cc

Merge branch 'unstable' into leaks

Conflicts:
src/mds/Locker.cc