test: fix prematurely released lock in RadosModel

Should hold this lock while touching context->snaps.  Don't
think this has anything to do with #9203 though.

Signed-off-by: John Spray <john.spray@redhat.com>

osdc/Objecter: fix ref counts in *Map_Latest

These contexts were putting before continuing to
use the CommandOp/LingerOp.  I added an assert to
reflect that, which was hitting (#9207).

This change is to remove the assertion and put the
put() in the right place (and the end of the function).

Fixes: #9207
Signed-off-by: John Spray <john.spray@redhat.com>

osdc/Objecter: avoid locking two sessions at once

... in close_session

Signed-off-by: John Spray <john.spray@redhat.com>

osdc/Objecter: disable lockdep for double lock

There is a special case in _recalc_linger_op_target
where we lock two sessions at once to transfer an op
between them.  It is deadlock safe because it's the only
place we lock two at once, and we hold rwlock for write
while we do it.

Signed-off-by: John Spray <john.spray@redhat.com>

common/RWLock: allow disable lockdep on calls

To support callers with special cases where they
know they can safely take two locks with the
same name at the same time.

Signed-off-by: John Spray <john.spray@redhat.com>

osdc/Objecter: fix resource management

The refactor introduced various reference leaks, and
lacked cleanup in shutdown.

Things done here:
 * Reinstate _recalc_linger_op_target, which was accidentally
   disabled and let to freezes in notify() (#9112)
 * Make reference counting on OSDSessions much more explicit, using
   put_session and get_session everywhere
 * Add assertions in ~OSDSession and ~Objecter that the various
   maps of operations have been emptied.
 * Reassign ops away from closing session to homeless session in
   close_session()
 * Delete/deref all the ops from the objecter-wide maps of operations
   in shutdown()

Signed-off-by: John Spray <john.spray@redhat.com>

librados: handle (and ignore) MOSDMap; do not leak

We return true, so we should drop the MOSDMap ref.

Signed-off-by: Sage Weil <sage@redhat.com>

client: handle (and ignore) MOSDMap

To avoid spamming the log.

Signed-off-by: Sage Weil <sage@redhat.com>

librados: shut down monclient after objecter

The objecter ms_handle_reset may call into monc; shut objecter down first.

Fixes: #9130
Signed-off-by: Sage Weil <sage@redhat.com>

mon/MonClient: ensure !cur_con == cur_mon.empty()

Keep these in sync.

Signed-off-by: Sage Weil <sage@redhat.com>

librados: verbose logging in ::notify

One is interested in knowning specifically which stage
of the operation we are at.

Signed-off-by: John Spray <john.spray@redhat.com>

librados: fix uninitialized values in notify

Signed-off-by: John Spray <john.spray@redhat.com>

librados: separate ::notify return values

There is a return code from objecter for committing
the notify linger op, and then later a code in the
CEPH_MSG_WATCH_NOTIFY handled by RadosClient directly.
Afaict there isn't any nice ordering guarantee here,
so they could stamp on each other.  Use a SaferCond
for the submit one.

I don't think this was related to #9112 but while
I'm here...

Signed-off-by: John Spray <john.spray@redhat.com>

librbd: handle blacklisting during shutdown

This was failing the test_lock_fence.sh test due to
a crash during shutdown when the rbd client was blacklisted.

We should fix this more generally in ObjectCacher at some
point, but for the moment handle it explicitly in librbd.

Fixes: #9105
Signed-off-by: John Spray <john.spray@redhat.com>

librados: refactor watch/notify; return notify error code

Get rid of a level of intermediate classes with confusing names and put
the notify and notify finish logic in a single place so that it is easier
to follow and understand.

Pass the return value from the notify completion message to the caller.

Signed-off-by: Sage Weil <sage@redhat.com>

librados: prefix msg handler with handle_

Signed-off-by: Sage Weil <sage@redhat.com>

librados: rename watch/notify callback register functions

Make it clear these are for watch OR notify, not just watch.  I was
confused.

Signed-off-by: Sage Weil <sage@redhat.com>

osd: include ETIMEDOUT in notify reply on timeout

If a notify operation times out (all watchers to not ACK in time), include
an ETIMEDOUT in the final error message back to the client, so that they
know about it.

Signed-off-by: Sage Weil <sage@redhat.com>

messages/MWatchNotify: include an error code in the message

Document the fields, while we are here.

Signed-off-by: Sage Weil <sage@redhat.com>

librados: avoid unnecessary locks

Revise wait_for_osdmap to be called outside of RadosClient::lock
and only take the lock if it has to wait for a map.

Also, now that objecter handles its own locking nicely,
there are various places where it is no longer necessary
for RadosClient to take its own lock -- all the calls that
go directly into objecter (RadosClient::pool_*) don't need
to hold RadosClient::lock.

Signed-off-by: John Spray <john.spray@redhat.com>

librados: fix race on osdmap initialization

This would cause occasional failures where calls
to lookup_pool immediately after connect() would
fail to find any pool because the OSD map had not
yet been loaded.  The wait for the map was lost when
the pool name cache was lost in ce176b827.

To avoid similar issues, the pool_requires_alignment
and pool_required_alignment helpers need the same
wait_for_osdmap before proceeding.  Usually callers
would call lookup_pool before these guys but it's
not guaranteed.

Signed-off-by: John Spray <john.spray@redhat.com>

librados: update Objecter shutdown

Previously checking for CONNECTED was equivalent to
checking the objecter had been initialized, but since
the separation between init() and start() that is
no longer the case.  Avoid the need to be smart by
just readint Objecter::initialized to learn whether
to call Objecter::shutdown

Fixes: #9067
Signed-off-by: John Spray <john.spray@redhat.com>

tools: update for Journaler/Objecter interfaces

Journaler now requires a Finisher: construct one in
MDSUtility.

Objecter now requires separate calls to init() and start(),
do that in MDSUtility and also take advantage of Objecter's
new ability to act as its own dispatcher.

Signed-off-by: John Spray <john.spray@redhat.com>

common: fix Finisher perf counter

This was declared as a long running average
but then .dec() was called on it, which
triggers an assertion.

You only have this problem if you pass a name
argument to Finisher::Finisher, which we mostly
don't do, but may as well fix this anyway.

Signed-off-by: John Spray <john.spray@redhat.com>

osdc: remove unused Blinker.h

Not used anyway, not touched since 2007.

Signed-off-by: John Spray <john.spray@redhat.com>

test: add some missing modelines

Just happened to be editing these and they had
emacs modelines but no vim modelines.

Signed-off-by: John Spray <john.spray@redhat.com>

osdc: Add lock to Filer::Probe

This is necessary now that Objecter can call back
from multiple OSD op completions in parallel: otherwise
we get multiple threads trying to update
the same Probe object.

Signed-off-by: John Spray <john.spray@redhat.com>

mds/Server: fix wait_for_osd_map calls

These needed a C_OnFinisher and C_IO_Wrapper because they
are called back from the Objecter like an I/O completion.

Signed-off-by: John Spray <john.spray@redhat.com>

osdc/Journaler: fix C_RetryRead locking

Not sure this was ever actually getting used, but
it would have had a problem if it was.

Signed-off-by: John Spray <john.spray@redhat.com>

mds: convert IO contexts

As of this change, the only thing in the MDS inheriting
directly from Context is MDSContext.

The only files touching mds_lock explicitly are MDS, MDLog and
MDSContext -- everyone else should be getting their locking behaviour
via the contexts.  (one minor exception made for an assertion in
Locker).

Signed-off-by: John Spray <john.spray@redhat.com>

osdc/Journaler: use finisher for public callbacks

This is needed because of occasional lock cycles with
external callers doing e.g. write_head.

We do get some weird-looking multiply-nested
C_OnFinisher(C_OnFinisher(...)) from this approach,
where one finisher exists to protect journaler from
lock cycles wrt objecter, and the other exists
to protect the MDS from lock cycles wrt journaler.

Signed-off-by: John Spray <john.spray@redhat.com>

osdc/Journaler: remove unused waitfor_trim

There was no code path for ever adding contexts to this list.

Signed-off-by: John Spray <john.spray@redhat.com>

mds: Switch to new context types

Signed-off-by: John Spray <john.spray@redhat.com>

mds: add MDSContext subclasses

These allow contexts within the MDS to identify themselves
as either 'internal' contexts (expecting to be called within
the big MDS lock) or 'IO' contexts (which should take the big
mds lock themselves when called back).

Signed-off-by: John Spray <john.spray@redhat.com>

include: generalize C_Contexts and C_Gather*

... by making them templates so that they can be
used in places that expect a subclass of Context.

The existing names are now typedefs to template
instantiations using Context.

Signed-off-by: John Spray <john.spray@redhat.com>

common: assert non-null ptrs in OnFinisher

Callers should not be constructing C_OnFinisher
if they have no context to call back.

Signed-off-by: John Spray <john.spray@redhat.com>

client: add missing lock in sync_write_commit

This would otherwise assert when entering
the objectcacher.

Also add assertions for all the other Contexts
in Client, which are currently correct but not
so obvious.

Signed-off-by: John Spray <john.spray@redhat.com>

client: remove unused C_SnapFlush

Signed-off-by: John Spray <john.spray@redhat.com>

mds: rename IO completions with _IO_

If they are IO operations and need to take mds_lock on finish, label them.

Signed-off-by: Sage Weil <sage@redhat.com>

osdc/Objecter: make homeless_session a pointer

Have a non-pointer member that's a RefCountedObject
was awkward, e.g. tripping nref==0 assertion during
destruction.  Rather than play games with refcount
during destruction, just make it a new/delete instance
instead.

Signed-off-by: John Spray <john.spray@redhat.com>

mds/MDLog: del stale ref to C_MDS_WroteImportMap

(class no longer exists)

Signed-off-by: John Spray <john.spray@redhat.com>

mds: fix C_MDC_TruncateFinish locking

This one needed to take mds_lock, and be invoked
from a finisher.

Signed-off-by: John Spray <john.spray@redhat.com>

mds: fix Server::C_MarkEvent locking

... it should acquire mds_lock.

Signed-off-by: John Spray <john.spray@redhat.com>

mds: update mds_lock handling in Locker contexts

For some contexts, we expect to be called back from the objecter/filer
on an I/O completion, so we must take mds_lock before updating any
MDS metadata.  In others, we expect to be called back from the MDCache
in response to updates to a CInode's state, so we assert that mds_lock
is already held.

Signed-off-by: John Spray <john.spray@redhat.com>

mds/MDLog: enable Journaler finisher

Signed-off-by: John Spray <john.spray@redhat.com>

osdc: Use a finisher from Journaler

Completions from I/O operations (i.e. the objecter) hop
through the finisher twice, because of the three layers of
locking (MDS::mds_lock -> Journaler::lock -> Objecter osd session lock)

Because on the way "right" we take the locks in that order, to avoid
deadlock we can't take the locks in the opposite order on the way
"left", hence the finishers.

Signed-off-by: John Spray <john.spray@redhat.com>

osdc: locking for Journaler

also remove the lock pointers that JournalPointer load/save
used to require in order to use the objecter.

Signed-off-by: John Spray <john.spray@redhat.com>

mds: fix calls to Objecter::wait_for_map

These were wrong in the earlier commit:
"mds: use lock-safe OSDMap accessors; adjust Objecter wait_for_map call"

Rather than checking epoch explicitly and dropping the lock before
calling wait_for_map, just make a single call to wait_for_map and handle
the return code to learn whether we are waiting or not.

Signed-off-by: John Spray <john.spray@redhat.com>

mds: update MDLog._replay_thread for locking

... no longer use mds_lock as a guard for condition variable
while waiting for journaler contexts.

Signed-off-by: John Spray <john.spray@redhat.com>

mds: use finisher for BootStart contexts

Signed-off-by: John Spray <john.spray@redhat.com>

librados: wait for map on create_ioctx failure

Ensure we have a map so we don't simply complain that a pool doesn't
exists.  Only take the lock and wait if we fail to lookup the pool,
though, so we avoid contending the lock in the general case.

Signed-off-by: Sage Weil <sage@redhat.com>

librados/RadosClient: remove unused get_pool_name()

Signed-off-by: Sage Weil <sage@redhat.com>

mds: allow Objecter to dispatch its own messages

Signed-off-by: Sage Weil <sage@redhat.com>

osdc/Objecter: ignore messenger events before or after initalized

Signed-off-by: Sage Weil <sage@redhat.com>

mon/MonClient: fix shutdown typo

Signed-off-by: Sage Weil <sage@redhat.com>

librados dispatch fix

client: let Objecter dispatch directly

Add Objecter as a direct dispatcher.  Drop all of the callbacks and
messages we were passing along.  Wrap the IO completions in client_lock
(via C_Lock) and shunt them to the objecter_finisher.

Signed-off-by: Sage Weil <sage@redhat.com>

client: add a Finisher for the Objecter

Signed-off-by: Sage Weil <sage@redhat.com>

include/Context: add generic C_Lock

Wrap a callback in a Mutex.

Signed-off-by: Sage Weil <sage@redhat.com>

mds: push objecter completions to a Finisher

Most/all of the MDS completions need to be reentrant (and potentially
call back into the Objecter).  Shove them all onto a Finisher to make
sure that is safe.

Signed-off-by: Sage Weil <sage@redhat.com>

mds: mark objecter completions with _IO_, take mds_lock

For any completion we pass directly to Objecter, make sure we take the
mds_lock in finish(), and mark the class with _IO_ in the name.

Note that this doesn't address the use of Journaler.  And this assumes that
we are not holding the mds_lock already when Objecter::handle_osd_op_reply
is called.

Signed-off-by: Sage Weil <sage@redhat.com>

osdc/Objecter: take over ownership of OSDMap

Instead of taking a pointer to an existing OSDMap in our constructor,
allocate our own, so that we completely own it.

Signed-off-by: Sage Weil <sage@redhat.com>

osdc/Objecter: make OSDMap private

Signed-off-by: Sage Weil <sage@redhat.com>

osdc/Filer: use lock-safe OSDMap accessors

Signed-off-by: Sage Weil <sage@redhat.com>

mds/SnapServer: use lock safe OSDMap accessors

Signed-off-by: Sage Weil <sage@redhat.com>

mds: use lock-safe OSDMap accessors; adjust Objecter wait_for_map call

We need to handle a race between when we inspect the OSDMap and when we
try to wait for the next map.

Signed-off-by: Sage Weil <sage@redhat.com>

mds: use lock safe OSDMap accessors for TMAP2OMAP check

Signed-off-by: Sage Weil <sage@redhat.com>

client/SyntheticClient: use lock safe OSDMap accessors

Signed-off-by: Sage Weil <sage@redhat.com>

test_mon_workloadgen: use Objecter::wait_for_osd_map

Signed-off-by: Sage Weil <sage@redhat.com>

osdc/Objecter: make wait_for_osd_map() locking safe

Signed-off-by: Sage Weil <sage@redhat.com>

client: use Objecter::{get,put}_osdmap_read() interface

Signed-off-by: Sage Weil <sage@redhat.com>

librados: use {get,put}_osdmap_read() accessors

Signed-off-by: Sage Weil <sage@redhat.com>

osd/OSDMap: return const string from get_pool_name

Signed-off-by: Sage Weil <sage@redhat.com>

librados: drop osdmap pool name cache

We now have a rwlock for Objecter; no more need for a separate cache here.

Signed-off-by: Sage Weil <sage@redhat.com>

osd/OSDMap: make lookup_pg_pool_name const

Signed-off-by: Sage Weil <sage@redhat.com>

osdc/Objecter: add name-base pool_delete

Avoid a lookup then delete race.

Signed-off-by: Sage Weil <sage@redhat.com>

osdc/Objecter: protect pool ops with rwlock

Signed-off-by: Sage Weil <sage@redhat.com>

osdc/Objecter: add OSDMap accessors that are lock-safe

Everybody needs to use these to inspect the OSDMap.

Signed-off-by: Sage Weil <sage@redhat.com>

librados: let Objecter dispatch its own messages

Signed-off-by: Sage Weil <sage@redhat.com>

osd: let Objecter dispatch directly

No need for our ObjecterDispatcher wrapper, now!

Signed-off-by: Sage Weil <sage@redhat.com>

osdc/Objecter: wire up native Dispatcher fast dispatch

Signed-off-by: Sage Weil <sage@redhat.com>

osdc/Objecter: make Objecter a Dispatcher

Note that it's not actually doing it yet, though!

Signed-off-by: Sage Weil <sage@redhat.com>

mds: add finisher

Signed-off-by: Sage Weil <sage@redhat.com>

objecter: take write lock in ms_handle_reset()

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

rwlock: assert on unlock if not locked

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

objecter: fix locking

ms_handle_reset() takes the session lock, needed to be able to call
_kick_requetss() with it held.

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

objecter: split objecter initialization

Separate objecter initialization to non cluster related work (e.g.,
internal data structures, other registrations), and to operations that
can initiate cluster interaction. This is so that we don't hit a rare
race where we can get called indirectly from one of the dispatcher callbacks
e.g., into handle_osd_map() when not yet being initialized.
This requires that objecter->init() should be called before
messenger->add_dispatcher_head(), and objecter->start() after it.

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

objecter: Objecter::Op is refcounted

Cancellation of lingerin ops collided with ops that we sent osdmap on,
needed to add a refcount for correct object delete.

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

objecter: don't serialize responses if there's no object name

This implicitly fixes an issue with the list_objects() being reentrant,
and triggers a lock dependency issue. The better solution would be to
have the callback context specify whether it's reentrant or not, but
will require a much bigger change.

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

objecter: shard completion_lock

Object ops responses are sharded, lock hashed by object name. This
guarantees ordering on the same object. Cross object order is not
guaranteed anymore.

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

objecter: a major refactoring

Fixes: #7619
Removed the client_lock (that used to pass in as a param) and replaced
it with a read-write lock (completely controlled by the objecter). Also
added a per-session read-write lock. Adapt code to use the new locking
scheme, removed locking where not needed. Replaced various counters to
atomics instead of grabbing the lock for updates. Moved ops to live
under the session.

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>
Signed-off-by: Sage Weil <sage@inktank.com>

timer: fix RWTimer shutdown

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

librados: cancel operation

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

test_mon_workloadgen: fix for new objecter interface

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

rgw: abort early from logging function

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

osd: adapt to new Objecter interface

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

librados: remove warning

Seems that the current locking scheme is ok. Objecter handles its
locking internally, librados needs to hold its lock.

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

librados: push snap related functions down to objecter

Need to take appropriate lock.

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

librados: call objecter->handle_osd_map() under lock

The lock is not shared with the objecter anymore so we need to call
it under this lock, otherwise we're going to race with
wait_for_osdmap().

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

librados: adapt to new objecter interface

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>