mon: let peon mons send the osdmap replies

Currently the leader mon often replies to OSDs by sending a set of
incremental OSDmaps (e.g., in response to an osd boot or failure).

Instead, send a small message to the proxying peon mon (if any)
with the epoch to start from and let *them* generate a suitable
reply.

Signed-off-by: Sage Weil <sage@redhat.com>

msg/simple/Pipe: show keepalives at level 2

Signed-off-by: Sage Weil <sage@redhat.com>

mon: set mon_subscribe_interval to a day

This is only needed for legacy clients to avoid confusing them--
we don't actually need the renewals at all.  Make them infrequent
to reduce mon load.

Signed-off-by: Sage Weil <sage@redhat.com>

mon: only ack subscriptions (and renew) if client or mon is old

Old client expect an ack so they can schedule renewal; send it for
them only.

Old mons expect renewals.

Signed-off-by: Sage Weil <sage@redhat.com>

mon: remove old subscribe renewal-based timeouts

This is no longer needed/used.

Signed-off-by: Sage Weil <sage@redhat.com>

mon: small cleanup in _ms_dispatch

Signed-off-by: Sage Weil <sage@redhat.com>

mon: new session_timeout mechanism that is not subscribe-based

Simplify the session liveness detection:

 - renew on any message
 - renew on keepalive[2] messages (lightweight ping in msgr)

Signed-off-by: Sage Weil <sage@redhat.com>

msg: make last_keepalive[_ack] lock safe

Signed-off-by: Sage Weil <sage@redhat.com>

msg: track stamp of last keepalive[2] received

Signed-off-by: Sage Weil <sage@redhat.com>

common: mirror leveldb default tuning w/ rocksdb

Signed-off-by: Sage Weil <sage@redhat.com>

mon/MonClient: don't send log if we're reconnecting

Signed-off-by: Sage Weil <sage@redhat.com>

mon: disabled rocksdb compression when used as the backend

This significantly reduced CPU utilization on the bigbang scale
testing cluster at CERN.  Note that it is already disabled for
leveldb by default (in ceph_mon.cc).

Signed-off-by: Sage Weil <sage@redhat.com>

osd: cap adjusted max mon report interval at 2/3 of timeout

This ensures that we don't throttle back mon reports so much that
the mon times out out due to no pg stat reports.  Since there is
little value is having a lower max anyway, just set this at an
upper bound (relative to the mon's timeout value).

Signed-off-by: Sage Weil <sage@redhat.com>

osd: protect mon reporting with mon_report_lock

We need an exclusive lock over paths that update state related to
mon reports, lest they step on fields like up_thru_*, *stats_ack*,
last_mon_report, and so on.  Everybody still needs a read lock
on map_lock too to get a stable OSDMap epoch.

Signed-off-by: Sage Weil <sage@redhat.com>

osd: fix reconnect behavior from booting state

We don't need to restart the boot process unless we are in preboot;
if we are in booting state we just need to resend the boot
message.

Signed-off-by: Sage Weil <sage@redhat.com>

osd: move the monitor report to OSD::tick_without_osd_lock

Fixes: #12722
Reviewed-by: Guang Yang <yguang@yahoo-inc.com>

osd: _got_mon_epochs - refactor the lock scope to avoid a race (which fail make check)

Reviewed-by: Guang Yang <yguang@yahoo-inc.com>

osd: don't send dup subscribes so much

The subscribe MonClient service is stateful--we don't need to
force a new subscribe send unless sub_want() says we need to.

Keep forcing it for instances where we request an *old* map.

Signed-off-by: Sage Weil <sage@redhat.com>

osd: introduce explicit preboot stage

We want to separate the stage where we do a bunch of work
prior to booting (but intend to eventually boot), like when we
get maps and wait to be healthy, from the point after we've sent
the boot message while we are just waiting for a response (so that
we can avoid resending that boot message needlessly).

- start at PREBOOT in start_boot()
- transition to BOOTING in _send_boot()
- only call _preboot() while in PREBOOT state

Signed-off-by: Sage Weil <sage@redhat.com>

osd: skip osdmap version query if we can

If we get OSDmaps from the mon we *also* learn the oldest/newest
map epochs; no need to query again.

Signed-off-by: Sage Weil <sage@redhat.com>

osd: make [_]maybe_boot lockless variant

Signed-off-by: Sage Weil <sage@redhat.com>

osd: only send boot if booting on getversion completion

Signed-off-by: Sage Weil <sage@redhat.com>

osd: do not resend pg_temp requests

Send each pg_temp request once (per mon session); no need to
resend everything that is pending every time.

Signed-off-by: Sage Weil <sage@redhat.com>

osd: do not send dup failure reports

If a failure report is already pending, we do not need to resend
it.

Signed-off-by: Sage Weil <sage@redhat.com>

osd: resend pending failure reports with a new mon session

Signed-off-by: Sage Weil <sage@redhat.com>

osd: fix send_failures() locking

It is unsafe to check failure_queue.empty() without the lock.

Signed-off-by: Sage Weil <sage@redhat.com>

osd: backoff the max reporting interval, too

Signed-off-by: Sage Weil <sage@redhat.com>

osd: no need for regular send_pg_temps

This is done by process_peering_events.

Signed-off-by: Sage Weil <sage@redhat.com>

osd: just send alive when it is queue

No need to futz with last_mon_report or resend it again later.

Signed-off-by: Sage Weil <sage@redhat.com>

osd: fix pg stat reporting

Signed-off-by: Sage Weil <sage@redhat.com>

osd: inline do_mon_report

Signed-off-by: Sage Weil <sage@redhat.com>

osd: limit nubmer of pg stat updates in flight

There is no reason to heavily pipeline this.  If the mon is slow
committing them we should go slow too.

Signed-off-by: Sage Weil <sage@redhat.com>

osd: fix pg_stats_queue lock protection

We are indirectly relying on osd_lock, but that may no longer
work for us in the future.  Use the stats lock instead.

Signed-off-by: Sage Weil <sage@redhat.com>

osd: scale mon report interval with timeout backoff

If we have had to scale the backoff by 3x because the mon is
loaded, scale the min report interval accordingly.

Signed-off-by: Sage Weil <sage@redhat.com>

osd: keep count of outstanding pg stat updates to mon

Count how many stat updates we have in flight.

Signed-off-by: Sage Weil <sage@redhat.com>

osd: no stats outstanding when we reset the session

Signed-off-by: Sage Weil <sage@redhat.com>

osd: remove old stats backoff mechanism

This would only backoff 2x the configured rate, and is less
robust than the new backoff + decay approach.

Signed-off-by: Sage Weil <sage@redhat.com>

osd: exponential backoff on pg stats ack timeout

If we don't get a timely response to our pg stats update we fail
the mon connection and reconnect to a new mon.  If the mons aren't
responding because they are overloaded (for example, because they
are overwhelmed with stats updates) this just makes the problem
worse.

Mitigate the situation by doing an exponential backoff on the
timeout.  When we do successfully send an update, slowly decay the
timeout back to the initial value.

Signed-off-by: Sage Weil <sage@redhat.com>

message/MLog: include seq in print

...so we can disambiguate which log message(s) we have.

Signed-off-by: Sage Weil <sage@redhat.com>

osd/OSDMap: cache values for in, up osds

We already do this for num_osd; do the same for the up and in
counts.

Signed-off-by: Sage Weil <sage@redhat.com>

mon/PGMonitor: avoid iterating over all pgs to find stale

Instead of iterating over all pgs when an osd goes down, make a
set of all osds that might have gone down, and only check pgs that
it manages.  This is more efficient, especially for large clusters
with large numbers of OSDs.

Signed-off-by: Sage Weil <sage@redhat.com>

Merge pull request #6574 from yuyuyu101/fix-broken-kinects

kv/KineticStore: fix broken split_key

Reviewed-by: Sage Weil <sage@redhat.com>

Merge pull request #6571 from dachary/wip-test-run-cli

tests: restore run-cli-tests

Merge pull request #6578 from dachary/wip-13785-debian-rbd-replay

build/ops: rbd-replay moved from ceph-test-dbg to ceph-common-dbg

Reviewed-by: Ken Dreyer <kdreyer@redhat.com>

Merge pull request #4737 from kylinstorage/wip-temp-based-object-eviction

osd: improve temperature calculation for cache tier agent

Reviewed-by: Sage Weil

Merge pull request #6422 from xiexingguo/xxg-wip13639

librados: fix potential null pointer access when do pool_snap_list

Reviewed-by: Kefu Chai <kchai@redhat.com>
Reviewed-by: Josh Durgin <jdurgin@redhat.com>

Merge pull request #6486 from XinzeChi/wip-multiple-finisher

osd: FileStore: support multiple ondisk finish and apply finishers

Reviewed-by: Sage Weil <sage@redhat.com>
Reviewed-by: Samuel Just <sjust@redhat.com>

Merge pull request #6518 from kylinstorage/wip-trivial-optimization

osd: optimize scrub subset_last_update calculation

Reviewed-by: Sage Weil <sage@redhat.com>

build/ops: rbd-replay moved from ceph-test-dbg to ceph-common-dbg

http://tracker.ceph.com/issues/13785 Fixes: #13785

Signed-off-by: Loic Dachary <loic@dachary.org>

tests: avoid bashism

The shell used by the cli tests is not always bash. Not using the
here-word is also more readable in this specific case.

Signed-off-by: Loic Dachary <loic@dachary.org>

rbd: hardcode application name into help

Avoid dynamically detecting the application name and instead hardcode
the rbd CLI name into the help output.

Signed-off-by: Jason Dillaman <dillaman@redhat.com>

kv/KineticStore: Fix broken split_key

Introduced by PR #6312

Signed-off-by: Haomai Wang <haomai@xsky.com>

tests: restore run-cli-tests

e4ca468 moved src/test/run-cli-tests from check-local to check_SCRIPTS
but did not add it to the TESTS variable.

Signed-off-by: Loic Dachary <loic@dachary.org>

radosgw-admin: fix cli tests

Signed-off-by: Sage Weil <sage@redhat.com>

osdmaptool: fix cli tests

Signed-off-by: Sage Weil <sage@redhat.com>

crushtool: fix cli tests

Signed-off-by: Sage Weil <sage@redhat.com>

crushtool: fix cli test help

Signed-off-by: Sage Weil <sage@redhat.com>

Merge pull request #6532 from dachary/wip-mailmap

mailmap: Ubuntu Kylin name changed to Kylin Cloud

Reviewed-by: Li Wang <li.wang@kylin-cloud.com>

Merge pull request #5848 from storage-zuiwanyuan/wip-nonblock-connect

msg/async: support of non-block connect in async messenger

Reviewed-by: Haomai Wang <haomai@xsky.com>

Merge pull request #6478 from yuyuyu101/wip-13666

msg/async: let receiver ack message ASAP

Reviewed-by: Sage Weil <sage@redhat.com>

msg/async: support of non-block connect in async messenger

Fixes: #12802
Signed-off-by: Jianhui Yuan <zuiwanyuan@gmail.com>

Merge pull request #6534 from kylinstorage/wip-trivial-scrub-cleanup

osd: clarify the scrub result report

Reviewed-by: Kefu Chai <kchai@redhat.com>

scrub: clarify the result report

It may happen that the authoritative object
such that auth.size != be_get_ondisk_size(auth_oi.size),
in that case, clarify the error report.

Signed-off-by: Li Wang <li.wang@kylin-cloud.com>

Merge branch 'wip-py3'

pybind: a few more python 3 fixes for rbd and rados

Reviewed-by: David Coles <dcoles@gaikai.com>

pybind/rados: return pool_reverse_lookup() result as a string

This makes it symmetric with create_pool() in python 3.

Signed-off-by: Josh Durgin <jdurgin@redhat.com>

pybind/test_rbd: convert a few more str to bytes for py3

Signed-off-by: Josh Durgin <jdurgin@redhat.com>

pybind/rbd: encode snap_rename args for py3

Signed-off-by: Josh Durgin <jdurgin@redhat.com>

pybind/rbd: decode stat() and list_children() results for py3

For stat(), only block_name_prefix is filled in - parent and
parent_pool are always blank.

Signed-off-by: Josh Durgin <jdurgin@redhat.com>

pybind/rbd: decode parent_info() to str types for py3

Signed-off-by: Josh Durgin <jdurgin@redhat.com>

pybind/test_rbd: fix map() usage for py3 compat

Signed-off-by: Josh Durgin <jdurgin@redhat.com>

pybind/test_rbd: use // for division for py3

Signed-off-by: Josh Durgin <jdurgin@redhat.com>

Merge branch 'pybind3' of https://github.com/dcoles/ceph into wip-pybind3

pybind: Add Python 3 support for rados and rbd modules

Reviewed-by: Josh Durgin <jdurgin@redhat.com>
Conflicts:
src/pybind/rbd.py (new create args, minor fix to work with py3)

ceph: Make stdout/stderr always output Unicode (UTF-8)

If a stream is not interactive, then under Python 2, then the encoding for
stdout/stderr may be None. This means that it's not possible to print Unicode
characters since the encoding will fall back to ASCII.

This explicitly makes sys.stdout/sys.stderr always use UTF-8 encoding for
strings, regardless of the system's local or if the console is interactive or
not.
This matches the existing tests that assume that output of non-ASCII pool names
will be UTF-8 encoded.

When outputting raw binary data (such as the CRUSH-map), we must bypass the
codec and write directly to raw streams (since the new stream will only accept
ASCII byte-strings or Unicode strings).

Signed-off-by: David Coles <dcoles@gaikai.com>

pybind: Add decode_cstr helper function

This function attempts to decode a C-style string into a Python Unicode string.
It accepts an optional "size" parameter for the string length, otherwise it is
assumed that the string is NUL-terminated.

If the pointer is NULL, then this function returns None.

Signed-off-by: David Coles <dcoles@gaikai.com>

pybind: Add test for creating pool by raw UTF-8

Some clients try providing non-ASCII pool names by sending raw encoded bytes.
This check ensures that we still support this behaviour for Python 2.

In Python 3, bytestrings will fail since strings are Unicode strings and thus
clients should use Unicode escapes instead.

Signed-off-by: David Coles <dcoles@gaikai.com>

pybind: Import cstr from the rados module

Since rados is required for rbd, we can avoid duplication of code across these
two modules.

Signed-off-by: David Coles <dcoles@gaikai.com>

pybind: Don't encode str on Python 2

If you attempt to call encode on a non-ASCII string, then a UnicodeDecodeError
will be raised.

Since str on Python 2 is an 8-bit string, it's possible that it's already UTF-8
encoded. As such we should just pass it through to the C API unmodified.

On Python 3 or if the user explicitly uses unicode, then we'll encode it to
UTF-8 for them.

Signed-off-by: David Coles <dcoles@gaikai.com>

Merge branch 'wip-13504' of https://github.com/trociny/ceph

rbd: API: options on image create

Reviewed-by: Josh Durgin <jdurgin@redhat.com>
Conflicts:
src/test/librbd/test_librbd.cc (trivial, two tests added at end of file)

librbd: API: options on image create: update tests

Signed-off-by: Mykola Golub <mgolub@mirantis.com>

librbd: API: options on image create

Pass options as key/value configuration pairs on image create instead
of expanding rbd_create/rbd_clone/rbd_copy for every possible
configuration override.

Fixes: #13504
Signed-off-by: Mykola Golub <mgolub@mirantis.com>

Merge pull request #6557 from ceph/wip-rbd-cmake-fixes

cmake: librbd and libjournal build fixes

Reviewed-by: Jason Dillaman <dillaman@redhat.com>

Merge pull request #6556 from athanatos/wip-cmake-nss

cmake: add nss as a suffix for pk11pub.h

cmake: add nss as a suffix for pk11pub.h

Signed-off-by: Samuel Just <sjust@redhat.com>

librbd: provide an out-of-class definition for MAX_DESCRIPTION_OFFSET

std::min() takes its parameters by reference, so provide a definition
for OptionPrinter::MAX_DESCRIPTION_OFFSET constant.

Signed-off-by: Ilya Dryomov <idryomov@redhat.com>

cmake: fix librbd and add src/journal

librbd was missing a recently added file, src/journal was missing
entirely - this brings the build back.

Signed-off-by: Ilya Dryomov <idryomov@redhat.com>

mailmap: Ubuntu Kylin name changed to Kylin Cloud

Reviewed-by: Li Wang <li.wang@kylin-cloud.com>
Signed-off-by: Loic Dachary <loic@dachary.org>

mailmap: sort files

Signed-off-by: Loic Dachary <loic@dachary.org>

Merge pull request #6517 from kylinstorage/wip-trivial-bug

osd: fix bug in last_* PG state timestamps

Reviewed-by: Sage Weil <sage@redhat.com>
Reviewed-by: Kefu Chai <kchai@redhat.com>

Merge pull request #6552 from trociny/wip-journal

journal: incremental improvements and fixes

Reviewed-by: Jason Dillaman <dillaman@redhat.com>

Merge pull request #6462 from javacruft/wip/ec-modules

Build internal plugins and classes as modules

Reviewed-by: Loic Dachary <ldachary@redhat.com>

journal: update allocated tid when skipping committed entry in player

Otherwise, if on image open, there are no any uncommitted entries in
journal, allocated tid is not updated to the latest commited and
recording always starts from tid=0.

Signed-off-by: Mykola Golub <mgolub@mirantis.com>

Merge pull request #6539 from yehudasa/wip-cmake-fix

cmake: fix files list

Reviewed-by: Kefu Chai <kchai@redhat.com>

Merge pull request #6316 from dillaman/wip-13494

rbd: dynamically generated bash completion

Reviewed-by: Josh Durgin <jdurgin@redhat.com>

Merge remote-tracking branch 'origin/jewel'

cmake: fix files list

Signed-off-by: Yehuda Sadeh <yehuda@redhat.com>

cls::journal: fixup: constify dump functions

Signed-off-by: Mykola Golub <mgolub@mirantis.com>

journal: call metadata shutdown on journal remove

This fixes error observed when disabling journal:

  JournalMetadata: journal watch error: (107) Transport endpoint is not connected

Signed-off-by: Mykola Golub <mgolub@mirantis.com>

journal: don't use object_number when comparing positions

Only tid does matter.

Signed-off-by: Mykola Golub <mgolub@mirantis.com>

journal: make commit and flush params configurable

Signed-off-by: Mykola Golub <mgolub@mirantis.com>

journal: allow alternate pool for journal objects

Signed-off-by: Mykola Golub <mgolub@mirantis.com>