objecter: add accounting to keep track of total in-flight messages.

If the user wishes, they can call throttle_op to hold an operation
until it fits within the limits. The user is responsible for
consistency guarantees and making sure the locking will work!

Revert "throttle: make count an atomic_t"

Sage doesn't think this is likely to matter and doesn't want to risk such
a large change.

This reverts commit 3f8b3f7dc1023342ceb355bd09eab1db5d57703c.

throttle: make count an atomic_t

This means we don't need to take a mutex (and possibly force
ourselves to sleep!) in order to take or put. This is about to
be important since we're adding accounting to the Objecter.

throttle: add non-blocking get_or_fail method

addr_parsing: make more resilient; turn down debugging

monclient: parse named addresses, not just IPs

client: in choose_target_mds, break parent lookup if inode is unlinked.

This can happen now with the recent frag changes and there's no way around it.

mon: only remove laggy standby mds's; mark others laggy

This fixes botched ad8a0d9b364ce4c1e3ac0b0f29d23a135f53a37e.

mds: don't suppress cap on eval following do_cap_update

Case in point:
 - client updates wanted, and writes back data.
 - do_cap_update journals something
 - suppress
 - eval issues wanted caps
 - unsuppress
 - do_cap_update does flush

I think this is just old code.  What does the flush_ack have to do with
what eval() does here?  They're unrelated!

Revert "msgr: Test reconnect protocol changes."

This reverts commit 7349bce8a304231855468503eb32d0167d6955bb.
Only testing; we don't want it live! But keep in-tree.

Merge branch 'msgr' into unstable

objecter: remove unused bufferlist

Merge branch 'unstable' into msgr

objecter: remove unused bufferlist

msgr: Test reconnect protocol changes.

msgr: when both ends support it, exchange in_seq values on reconnect
to prevent gratuitously re-sending messages.

This adds a new feature "CEPH_FEATURE_RECONNECT_SEQ" which goes into
the defaul msgr features, as well as a CEPH_MSGR_TAG_SEQ which indicates
this step is being taken and substitutes for CEPH_MSGR_TAG_READY.

msgr: Let requeue_sent remove items completely, given a seq to remove from.

msgr: If one Connection/Pipe replaces an old one that faulted, fully replace.

We were previously losing messages because they were associated with an old
Connection that had lost its Pipe.

client: don't crash on cache readdir of empty dir

client: implement readdir from cache

This largely mirrors the kclient implementation (but simpler, due to
simpler locking).

client: maintain dn->offset

In preparation for readdir from cache.

client: remove stray dcache items while insert readdir results

Walk the dir entry map while we parse the directory results and remove
old entries (while inserting/updating existing entries).

client: buffer name->ino linkage only; do stat at time of readdir

This makes the results more correct/consistent with the current state of
the cache at the time of the readdir(plus).  It also means we buffer less
data for the readdir result.  And pin inodes for the duration.

client: only parse readdir result once

..when inserting into the cache.  Set up our result cache at the same time.

client: keep map<> _and_ hash_map<> of dir names

This will give us a sorted map (good for readdir) and fast lookup.

client: avoid trivial helper _readdir_add_dirent

Merge branch 'testing' into unstable

Conflicts:
src/mon/ClassMonitor.cc
src/mon/Session.h

config: fix buffer overrun in env_to_{vec,deq}()

osd: fix osdcaps parsing negative return value

filestore: handle error opening fsid on mkjournal

filestore: handle error reading current_op_seq_fn

filestore: return on error creating fsid file

filestore: fix error paths for _clone()

moncaps: fix array out of bounds in parsing

osd: handle nonexistant file in ager

osd: check for errors in open, write in write_meta()

str_list: fix buffer index when start<0

find_first_no_of() can return a negative value.

mon: remove laggy standby nodes (instead of marking laggy)

This will implicitly clean out old standby nodes that go away.  Laggy
cmds's that don't will just re-add themselves.  Since the laggy flag is
a map change, this creates no more or less map churn.

mds: re-add if standby and removed from mdsmap

Instead of shutting down, we should stay alive and try to re-add ourselves
to the MDSMap.

This paves the way for the monitor to remove laggy standby nodes instead
of just marking them laggy.

osd: don't create clone_obc on replica

We don't need the clone_obc on the replica, since we don't read from there.
We don't have head obc's either.

We do, however, keep the snapset_obc, since there are a few paths that
depend on whether it exists on disk (to clean it up) and that information
isn't currently fed through from the primary.

osd: don't leak map_in_progress_cond

mon: less log noise

init-ceph: mkdir log_sym_dir only if not default

mds: propagate accounted_* into dirfrags on scatterwriteback

The accounted_ updates need to propagate into the dirfrag fnodes in the
journal for auth frags during scatterwriteback.

mds: don't xlock and wrlock same dn->versionlock

We deadlock if we try to wrlock and xlock the same lock.  This was
happening during multi-mds rename when the versionlock was in the xlock
set.

Signed-off-by: Sage Weil <sage@newdream.net>

mds: drop useless virtual-ness for finish_scatter_gather_update

If/when we do this on dentries, _then_ we can use a virtual function, and
rewrite the single user (scatter_writebehind) to generalize to non-inodes.

mds: journal dirfrag accounted_{r,frag}stat on inode update

When the inode sucks in the dir's updated frag info, we need to journal
the dirfrag update as well.  This ensures that any subsequent changes in
the dirfrag will be reflected by the difference between rstat and
accounted_rstat from the perspective of the journal contents (in case we
fail/recover during that process).

mds: in cinode debug, only show nl= if != 1

init-ceph: mkdir log_dir and log_sym_dir

Signed-off-by: Sage Weil <sage@newdream.net>

mon: be a little more conservating in MOSDBoot handling

If we see the osd is being marked up, retry the message after commit,
don't just assume we're a dup and it's the same instance.

osdmap: allow blacklist of an entire ip

We can backlist either a specific instance (1.2.3.4:1234/5678) or an
entire IP, in which case the table has something like "1.2.3.4:0/0" (a port
and nonce of 0).

mon: add 'osd blacklist ls'

common: close fd after parsed config file

Signed-off-by: Sage Weil <sage@newdream.net>

mount.ceph: exit with error code from mount

Signed-off-by: Sage Weil <sage@newdream.net>

mon: 'osd blacklist (add|rm) addr [duration]'

Manipulate the OSDMap blacklist.

Merge branch 'testing' into unstable

mon: fix up variable names to be more clear this is an inclusive range

mon: fix osdmap subscribe range

Send incremental starting with the next map they want, not the one they
already have.

mon: fix send_incremental ranges; behave when sending just 1 inc.

The build_incremental range is inclusive.  And we should behave when
sending a single inc map to get up to date.

mon: handle subscribe to osdmap=1

We would send an incremental for anything >1, or the latest map, but not
osdmap e1 itself.  Fix the condition, and make send_incremental() smart
about starting with the full map at 1 as needed.

objecter: remove unused bufferlist

mds: fix journal replay of session close->open after reconnect

If the client reconnects, the journal 'close' replay doesn't remove the
session, which leaves the session state intact.  It needs to reset it in
that case, or else we get problems if the session is reopened and the
state doesn't match up.

Reported-by: Nat N <phenisha@gmail.com>
Signed-off-by: Sage Weil <sage@newdream.net>

objectcacher: fix use-after-free atomic_sync_readx

readx() releases rd; copy snapid so we can use it later.

mds: fix use-after-free

We copied the name, but forgot to use it.

mds: fix use-after-free in snaprealm_create_finish

We pass mut's log segment to snapclient->commit().

objectcacher: cleanup release(), just to be clear

objecter: add missing return in list_objects

This fixes a use-after-free, and generally bad behavior.

objectcacher: fix use-after-free

Move waiter check above close_object(ob) call.

mount: fix scope of secret[]

We use value pointer outside of this block; move declaration up to function
level.

crushtool: fix bucket type array bound check

rados: fix delete[] in aio_bencher

Merge branch 'uclient_readdir' into testing

client: move readdir code around

client: reimplement getdir() with readdir_r_cb()

More efficient.

client: reimplement readdir

Reimplement core readdir (readdir_r_cb), using kclient as a template.
Reimplement all other readdir variants in terms of readdir_r_cb.

Main change is support for frag chunking, and hopefully lots of subtle bugs
that have been fixed in the kclient code we're based on.

cfuse: use readdir_r_cb

uclient: implement readdir_r_cb (callback based readdir)

This lets us know whether the caller is able to consume an entry before
advancing our position.

mds: sync replicas after finishing XLOCK gather

The replicas are in the LOCK state; sync them.  We had the XLOCKDONE but
not the XLOCK case.

mds: fix replica state for mix->sync

Should be mix->sync(2): the same as a replica who already go the first
SYNC message and is waiting in mix->sync(2) for the final SYNC to indicate
the gather is completed.

mds: don't export any system dirs

Skip dir if it is any system dir.

mds: authpin non-auth items we may need to REQSCATTER or REQRDLOCK for any lock type

We were doing just filelock, but this is needed for any lock.

Revert "Merge branch 'auth_change_waiters' into unstable"

This reverts commit 1d8770be2747c43a1aef05a6439b7e23a87f0419, reversing
changes made to 46bf806a774a3cd28b3a1da4ec79fb9e61124ba8.

mds: lock path, parent dir scatterlocks _after_ freezing

This fixes a ABBA deadlock between
  acquire_locks(): auth_pins items, then locks in order
  export_dir: locks paths, then freezes.

Instead, we check for lockability (but don't lock), do the freeze, and then
try to take the locks after.  If we can't do so atomically, we currently
just fail.  In theory this could wait for the distributed locks, but it's
probably not worth the complexity at this stage; export_dir is currently
still opportunistic and can bail out for a variety of reasons.

mds: can next state lockability checks in eval_gather

The can_* fields need to be ANY or AUTH.. not REQ or XCL (at least not
without trickier checks).  Otherwise we progress to the next state too
early and violate the locking rules.

mds: don't allow read in sync->mix2 state, request rdlock in sync->mix

Merge branch 'testing' into unstable

Conflicts:
configure.ac
src/mds/MDCache.cc

Merge branch 'mds_replay_lock_states' into testing

mds: rename process_reconnected_caps()

mds: make is_dirty() const in parent and child

Otherwise we're overriding the wrong method!  Der.

mds: choose lock states for nestlock and dftlock too

All scatterlocks need it, in case we replay dirty scatterlock data.

mds: choose lock states on all inodes, not just those with caps

This is necessary because we want to select lock states for inodes with
no caps that got replayed scatterlock dirty state from the journal.

mds: choose LOCK if !replicated and dirty scatterlock

mds: fix bad iterator usage in process_reconnected_caps()

We use p->second, so don't increment p++ early in the loop block.

mkcephfs: fix bad |

Reported-by: Jim Schutt <jaschut@sandia.gov>
Signed-off-by: Sage Weil <sage@newdream.net>

osd: log error instead of crashing on failed pull attempt

If peering screws up and the primary mistakenly tries to pull an object
from us we don't have, log an error instead of crashing.  This will still
throw off recovery (it will hang), but that's better than crashing
outright.

rgw: send status: 100 after auth code to signal fastcgi module

Shouldn't make any difference with older modules, and patched fastcgi
module should know how to handle it.

rgw: update the rgw_admin usage

class: fix adding of class library, when previously existed

mds: fix bad iterator usage in process_reconnected_caps()

We use p->second, so don't increment p++ early in the loop block.

mon: more useful class debug output