Merge pull request #11275 from xiexingguo/xxg-wip-make-audit-buffer-option

os/bluestore: drop redundant call of get_blob

Reviewed-by: Sage Weil <sage@redhat.com>

os/bluestore: drop redundant call of get_blob

Signed-off-by: xie xingguo <xie.xingguo@zte.com.cn>

Merge pull request #11268 from liewegas/wip-bluefs-aio-leak

os/bluestore/BlueFS: release completed aios

Merge pull request #11005 from jazeltq/add-sparse-read

rbd-mirror: Add sparse read for sync image

Reviewed-by: Jason Dillaman <dillaman@redhat.com>

Merge pull request #11168 from trociny/wip-16212

rbd-mirror: replicate image metadata settings

Reviewed-by: Jason Dillaman <dillaman@redhat.com>

Merge pull request #11274 from xiexingguo/xxg-wip-bluestore-0930

os/bluestore: still more cleanups

Reviewed-by: Sage Weil <sage@redhat.com>

Merge pull request #11136 from jcsp/wip-16016

mds: populate DamageTable from scrub and log more quietly

Reviewed-by: Douglas Fuller <dfuller@redhat.com>

Merge pull request #11270 from ceph/wip-17443

rgw: set correct instance on the object
Reviewed-by: Orit Wasserman <owasserm@redhat.com>

Merge pull request #10328 from jcsp/wip-ceph-mgr

Create ceph-mgr

Reviewed-by: Alfredo Deza <adeza@redhat.com>
Reviewed-by: Samuel Just <sjust@redhat.com>
Reviewed-by: Kefu Chai <kchai@redhat.com>

os/bluestore: avoid comparing object key and name twice

Signed-off-by: xie xingguo <xie.xingguo@zte.com.cn>

os/bluestore: use id of shard_id_t for encoding

Signed-off-by: xie xingguo <xie.xingguo@zte.com.cn>

os/bluestore: kill struct DeferredCsum

Which is dead, and kill some other dead lines too.

Signed-off-by: xie xingguo <xie.xingguo@zte.com.cn>

Merge pull request #11267 from liewegas/wip-bluestore-ref-map

os/bluestore/bluestore_types: uint64_t for ref_map

rgw: set correct instance on the object

Fixes: http://tracker.ceph.com/issues/17443
This was broken by commit bc840afafdfe5e528e5c1b711e71420ac3cb5a67

Signed-off-by: Yehuda Sadeh <yehuda@redhat.com>

os/bluestore/BlueFS: be less complainy about fallback allocations

Signed-off-by: Sage Weil <sage@redhat.com>

ceph_test_objecstore: use 1TB block device

Big enough to get into 32-bit LBAs.

Signed-off-by: Sage Weil <sage@redhat.com>

os/bluestore/bluestore_types: uint64_t for ref_map

We use this to track raw extents on disk for SharedBlob.  We
also use it for the in-memory Blob with the blob namespace, but
using uint64_t intead of uint32_t doesn't hurt us there.

Signed-off-by: Sage Weil <sage@redhat.com>

os/bluestore/BlueFS: release completed aios

Signed-off-by: Sage Weil <sage@redhat.com>

Merge pull request #11266 from stiopaa1/osd_passSharedPtrByConstRef

osd: pass shared_ptr by const reference

Reviewed-by: Sage Weil <sage@redhat.com>

pybind/mgr/rest: remove unused DebugJob

This dates back from the Calamari/Salt days.

Signed-off-by: John Spray <john.spray@redhat.com>

pybind/mgr/rest: fix "sync_object" API endpoint

Signed-off-by: John Spray <john.spray@redhat.com>

vstart: include cython mods in PYTHONPATH

This is useful for ceph-mgr because it means that
any in-mgr modules that want to use e.g. rbd
can find it when running in a vstart cluster.

Signed-off-by: John Spray <john.spray@redhat.com>

mgr: remove hardcoded site-packages

Signed-off-by: John Spray <john.spray@redhat.com>

packaging: add debian packaging for ceph-mgr

...at least, try to!  This is a copy-paste of the ceph-mds
packaging with a search and replace mds to mgr.

Signed-off-by: John Spray <john.spray@redhat.com>

systemd: autogenerate ceph-mgr key during daemon startup

This is a hack to inject a key for the mgr daemon, using whatever
key already exists on the mon on this node to gain sufficient
permissions to create the mgr key.  Failure is ignored at every
step (the '-' prefix) in case someone has already used some other
trick to set everything up manually.

Signed-off-by: Tim Serong <tserong@suse.com>

systemd: encourage ceph-mgr to start in sync with ceph-mon

This change introduces the following behaviour:

- When ceph-mon starts, it will try to start ceph-mgr with the same
  instance id (Wants=), but will *not* fail to start if ceph-mgr
  doesn't start (i.e. the mon still works as it always did).
- ceph-mgr will start After= ceph-mon, and will stop and start when
  ceph-mon stops and starts, because it's PartOf= ceph-mon.

If you don't want ceph-mgr to run on the mons, you need to mask the
service, i.e. `systemctl mask ceph-mgr@INSTANCE`.  Hostnames are
typically instance names, so `systemctl mask ceph-mgr@$(hostname)`
should suffice if you wish to disable ceph-mgr on the mons.

Signed-off-by: Tim Serong <tserong@suse.com>

ceph.spec.in: add ceph-mgr package

This adds ceph-mgr following the same pattern used for ceph-mon,
ceph-mds, ceph-osd.  I've removed the boost-python BuildRequire
for SUSE distros, because we don't ship that (the relevant bits
are already included in boost-devel).

NOTE: This gives an installable ceph-mgr, but not necessarily a
runnable ceph-mgr.  This is because ceph-mgr needs the following
python packages:

- CherryPy
- Django
- gevent
- python-dateutil
- djangorestframework

Not all of these are available as distro packages.  For example,
on openSUSE Tumbleweed, we don't have djangorestframework available
in the base distro, and our Django version is 1.9, which seems to
be incompatible with ceph-mgr.  I'm not sure of the situation on
other distros.

Signed-off-by: Tim Serong <tserong@suse.com>

systemd: add ceph-mgr service and target files

Signed-off-by: Tim Serong <tserong@suse.com>

cmake: install ceph-mgr and its python modules

Signed-off-by: Tim Serong <tserong@suse.com>

pybind/mgr: clean up unused code

...and change the "if False" django-rest-framework
conditionals to actual version checks, with a view
to genuinely supporting 2.x in future if needed.

Signed-off-by: John Spray <john.spray@redhat.com>

mgr: fix OSDMap notifications

This broken when MgrStandby was separated out,
because it now eats the original OSDMap message
without calling maybe_request_map.

Signed-off-by: John Spray <john.spray@redhat.com>

mgr: fixup ClusterState with_*map fns

Signed-off-by: John Spray <john.spray@redhat.com>

mon: remove need for friending OSDMap to PGMapUpdater

This used to be the friend relationship to PGMonitor.  It
was never really needed anyway, it was only being used
to skip the getter on `pools`

Signed-off-by: John Spray <john.spray@redhat.com>

mon: refactor PGMap updating code for reuse in mgr

...and remove the copypasta from mgr.

mgr still doesn't do all the same logic (it doesn't
have osdmap history handy) but it is now much easier
to see which bits are used one place vs. the other.

Signed-off-by: John Spray <john.spray@redhat.com>

mgr: update for Dispatcher::ms_handle_refused

Signed-off-by: John Spray <john.spray@redhat.com>

common: refactor CommandTable

Avoid handling out raw pointers to the ops,
which are in fact owned by the table.

Signed-off-by: John Spray <john.spray@redhat.com>

packaging: add boost-python dependency

Although ceph-mgr isn't packaged yet, builders
use these files to cue installation of dependencies.

Signed-off-by: John Spray <john.spray@redhat.com>

doc: add initial ceph-mgr docs

Signed-off-by: John Spray <john.spray@redhat.com>

pybind/mgr: add fsstatus module

A demonstration of creating a simple
ASCII-art status display by fusing
the metadata, perf counters, and maps that
are available to python modules in ceph-mgr.

Signed-off-by: John Spray <john.spray@redhat.com>

mgr: skip past broken modules and load the rest

...instead of stopping at the first python module
that fails to load.

Signed-off-by: John Spray <john.spray@redhat.com>

mgrc: less vebose logging of messages

...no need to tell us about all the things you're *not* handling.

Signed-off-by: John Spray <john.spray@redhat.com>

mon: implement MgrMonitor.preprocess_beacon

So that we're not throwing out new mgrmap epochs
every beacon.

Signed-off-by: John Spray <john.spray@redhat.com>

mgr: expose osd stats from pgmap

Signed-off-by: John Spray <john.spray@redhat.com>

mgr: dispose of connections after handle_command

...to avoid leaking them and eventually running out of fds.

Signed-off-by: John Spray <john.spray@redhat.com>

mgrc: mark down connections with dead sessions

Signed-off-by: John Spray <john.spray@redhat.com>

pybind/mgr: fix logging

Previously only the errors were getting through, because
other stuff was getting held up in the python logging
framework.

Signed-off-by: John Spray <john.spray@redhat.com>

mgr: expose "df" to python modules

Signed-off-by: John Spray <john.spray@redhat.com>

mon: move "df" dump code from PGMonitor to PGMap

...so that ceph-mgr can use it too.

Signed-off-by: John Spray <john.spray@redhat.com>

common/TextTable: add include guards

Signed-off-by: John Spray <john.spray@redhat.com>

pybind/mgr: update rest module for pg_summary

...which is now generated properly from PGMap
instead of reconstituted from some JSON.

Signed-off-by: John Spray <john.spray@redhat.com>

mgr: handle PGStats with a PGMap

No longer need the mon to send us
the pg_summary json hack.

Signed-off-by: John Spray <john.spray@redhat.com>

osd: send PGStats to mgr as well as mon

This is a rough implementation that sends all the stats,
without the efficiency of the queue+acks that we use
when talking to the mon.

Signed-off-by: John Spray <john.spray@redhat.com>

mgrc: enable sending pgstats

Signed-off-by: John Spray <john.spray@redhat.com>

pybind/mgr: expose get_counter in MgrModule

Signed-off-by: John Spray <john.spray@redhat.com>

mgrc: fix report sending after failover

The send_report loop doesn't get kicked off
on configure messages unless the period is
set to its initial value (0).

Signed-off-by: John Spray <john.spray@redhat.com>

mgr: store some counter history

...and expose it to python modules.

Also fix some of the code around how we updated
DaemonState.

Signed-off-by: John Spray <john.spray@redhat.com>

pybind/mgr: move rest into dir

Let's make each module its own directory.

Signed-off-by: John Spray <john.spray@redhat.com>

pybind/mgr: remove unused gevent code

Signed-off-by: John Spray <john.spray@redhat.com>

mgr: Use signed int log level in PyModules::log()

Using an unsigned causes a build failure when expanding the dout macro.

Signed-off-by: Tim Serong <tserong@suse.com>

mds: embed a MgrClient

Signed-off-by: John Spray <john.spray@redhat.com>

mgr: enable active daemon to return to standby

Rather than respawn a whole process, just fall back
to being a standby.

Signed-off-by: John Spray <john.spray@redhat.com>

mgrc: reset send_report timer on session change

Signed-off-by: John Spray <john.spray@redhat.com>

mgr: flesh out standby/HA

Signed-off-by: John Spray <john.spray@redhat.com>

pybind/mgr: implement shutdown() in rest.py

Signed-off-by: John Spray <john.spray@redhat.com>

mgr: enable multiple python modules

serve() each one in a separate thread, include a shutdown()
hook so that we can tear down cleanly.

Signed-off-by: John Spray <john.spray@redhat.com>

mgr: s/DaemonMetadata/DaemonState/g

Signed-off-by: John Spray <john.spray@redhat.com>

pybind/mgr: fix django request logging

This was going to a text file, hook it in
to the proper logging.

Signed-off-by: John Spray <john.spray@redhat.com>

pybind/mgr: remove unused CalamariConfig

No longer need to set CALAMARI_CONFIG when running.

Signed-off-by: John Spray <john.spray@redhat.com>

mgr: fix locking in DaemonMetadata

Locks are great but it helps if you actually
bother acquiring them...

Signed-off-by: John Spray <john.spray@redhat.com>

mgr: api_docs.py: Update for use outside Calamari

The ceph_state module is implemented in C++, and isn't available at
build time, which causes import failures when api_docs.py tries to
import calamari_rest in order to introspect it (MgrModule is eventually
imported, which in turn tries to import ceph_state, which fails unless
we stub it out).

Additional changes:

* Search calamari_rest.urls (not calamari_web)

calamari_web isn't available - it largely held static content in
Calamari, and in turn included calamari_rest.urls.  Here in ceph-mgr we
only have calamari_rest.

* note that --list-urls does nothing, apparently

* Pass actions to old as_view method

django-rest-framework 3.x raises TypeError if the actions argument isn't
passed to as_view().

* Use view().get_view_name() instead of metadata

Attempting to access view().metadata(None)['name'] results in
"AttributeError: 'super' object has no attribute 'metadata'".

* Use somewhat unfriendly field class names

django-rest-framework 3.x seems to have done away with type_label for
fields, so instead use the field's class name, which is somewhat
unfriendly, but arguably better than nothing.

* import global_instance to fix ImportError

This is necessary to avoid what seems to be weird import loops (if this
isn't present, we later get "ImportError: cannot import name
UserRequest" or similar).

* Make api_examples.json optional

This way we at least get bare docs with no examples, rather than no docs
at all.

* Explain how to generate API docs

Signed-off-by: Tim Serong <tserong@suse.com>

pybind/mgr: add the `rest` module

This is derived from what used to be Calamari.

Signed-off-by: John Spray <john.spray@redhat.com>

pybind: create mgr python module folder

Signed-off-by: John Spray <john.spray@redhat.com>

cmake: update for ceph-mgr

Signed-off-by: John Spray <john.spray@redhat.com>

pybind: expose mgr commands

This is "tell mgr" at the moment but it should
be a slicker syntax later (ceph.in is awkward
to refactor just now)

Signed-off-by: John Spray <john.spray@redhat.com>

librados: expose mgr_command

This involves giving RadosClient an embedded
MgrClient.

Signed-off-by: John Spray <john.spray@redhat.com>

osd: embed a MgrClient

Signed-off-by: John Spray <john.spray@redhat.com>

mgrc: create MgrClient

The ceph-mgr equivalent to monclient

Signed-off-by: John Spray <john.spray@redhat.com>

common: accessors for list of perf counters

...and store the list by a string path, for
consumption by the world outside of integer
perf counter/subsystem IDs.

This is for consumption by MgrClient.

Signed-off-by: John Spray <john.spray@redhat.com>

mgr: create ceph-mgr service

Signed-off-by: John Spray <john.spray@redhat.com>

auth: add mgr service type

Signed-off-by: John Spray <john.spray@redhat.com>

vstart: set up and run ceph-mgr

Signed-off-by: John Spray <john.spray@redhat.com>

mon: add MgrMonitor

This is responsible for learning the locations of
mgrs, picking an active one, and sharing that
info with MgrClient consumers who subscribe to 'mgrmap'

Signed-off-by: John Spray <john.spray@redhat.com>

msg: introduce mgr entity_type_t

Mgr will probably ultimately have different auth caps,
so let's make it a separate entity up front instead
of e.g. pretending to be a mon.

Signed-off-by: John Spray <john.spray@redhat.com>

messages: add ceph-mgr messages

Signed-off-by: John Spray <john.spray@redhat.com>

client: refactor command handling

Create a CommandTable structure for places
in Client, MgrClient, Objecter where we do
basically the same kind of thing for sending
and tracking MCommands.

Signed-off-by: John Spray <john.spray@redhat.com>

pybind: fix handling bad cmd json

The 'save_exception' local would otherwise
be referenced before assignment during
exception handling.

Signed-off-by: John Spray <john.spray@redhat.com>

common/cmdparse: additional helpers

For dumping a cmdmap to a Formatter, and for
checking the prefix of a cmddesc.

Used by ceph-mgr when routing commands to python
modules.

Signed-off-by: John Spray <john.spray@redhat.com>

common: add mgr config settings

Signed-off-by: John Spray <john.spray@redhat.com>

common: add 'mgr' and 'mgrc' subsystems for logging

Signed-off-by: John Spray <john.spray@redhat.com>

common: move ceph_version up into collect_sys_info

...so that we get this piece of metadata from every
service uniformly.

Signed-off-by: John Spray <john.spray@redhat.com>

mon: add with_monmap to MonClient

Analogous to Objecter::with_osdmap, for safe access
to the map.

Signed-off-by: John Spray <john.spray@redhat.com>

mon: fix missing osd metadata (again)

The JSON output was getting broken by continuing
in the wrong place.

Signed-off-by: John Spray <john.spray@redhat.com>

monc: remove unused AuthAuthorizeHandlerRegistry

Signed-off-by: John Spray <john.spray@redhat.com>

vstart: fix warning when no CEPH_MAX_MDS set

This was a typo in 29535caf

Signed-off-by: John Spray <john.spray@redhat.com>

mon: drop encoded buffer after decode

This bufferlist was being kept around as a
class member but it didn't need to be.

Signed-off-by: John Spray <john.spray@redhat.com>

mon,mds: include 'addr' in daemon metadata

This is useful for correlating daemon metadata
to cluster maps.

Signed-off-by: John Spray <john.spray@redhat.com>

msg: typedef uint8_t entity_type_t

...rather than having a mixture of explicit __u8
and implicit enums/ints.

Signed-off-by: John Spray <john.spray@redhat.com>

Merge pull request #11137 from jcsp/wip-17173

mds: catch duplicates in DamageTable

Reviewed-by: Douglas Fuller <dfuller@redhat.com>

Merge pull request #11244 from xiexingguo/xxg-wip-bluestore-0928

os/bluestore: upgrade compression settings to atomics

Reviewed-by: Sage Weil <sage@redhat.com>

os/bluestore: upgrade compression settings to atomics

Signed-off-by: xie xingguo <xie.xingguo@zte.com.cn>