lvm: when osd creation fails log the exception

Fixes: http://tracker.ceph.com/issues/24456
Signed-off-by: Andrew Schoen <aschoen@redhat.com>
(cherry picked from commit d622dadef09a53d24c6a7b9119051594f8da1cae)

Merge pull request #22109 from tchaikov/luminous-24180

luminous: mon/LogMonitor: call no_reply() on ignored log message

Reviewed-by: Sage Weil <sage@redhat.com>

Merge pull request #22290 from pdvian/wip-24216-luminous

luminous: common: partially revert 95fc248 to make get_process_name work

Reviewed-by: Mykola Golub <mgolub@mirantis.com>
Reviewed-by: Kefu Chai <kchai@redhat.com>

Merge pull request #22308 from pdvian/wip-24214-luminous

luminous: Module 'balancer' has failed: could not find bucket -14

Reviewed-by: Sage Weil <sage@redhat.com>

Merge pull request #22414 from wido/luminous-influx

luminous: backport various fixes to mgr/influx module

Reviewed-by: Sage Weil <sage@redhat.com>

Merge pull request #22530 from ceph/backport-luminous-22062

luminous: ceph-volume dmcrypt and activate --all documentation updates

Reviewed-by: Alfredo Deza <adeza@redhat.com>

doc/man/ceph-volume explain encryption and activate all with examples

Signed-off-by: Alfredo Deza <adeza@redhat.com>
(cherry picked from commit 0a4cebd1dda876cfc19fbfb97c668d4dae05097c)

doc/ceph-volume activate is able to use --all for existing OSDs

Signed-off-by: Alfredo Deza <adeza@redhat.com>
(cherry picked from commit d8b9a7c0745d6a901988a08a8218d9da585e5aa8)

Conflicts:
doc/ceph-volume/lvm/activate.rst

doc/ceph-volume encryption is enabled with the --dmcrypt flag

Signed-off-by: Alfredo Deza <adeza@redhat.com>
(cherry picked from commit 72cef7acf7a9a965960ec3c7c1b99ce8e7fa3922)

doc/ceph-volume prepapre accepts a --dmcrypt flag

Signed-off-by: Alfredo Deza <adeza@redhat.com>
(cherry picked from commit e97d0717d323a08a46aa997c63d2416da7e4941f)

doc/ceph-volume activate does not need a dmcrypt flag

Signed-off-by: Alfredo Deza <adeza@redhat.com>
(cherry picked from commit ac0c925c576868107e585ba458fbff956467bccb)

Merge pull request #22510 from ceph/backport-luminous-22399

luminous: ceph-volume tests do not include admin keyring in OSD nodes

Reviewed-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #22506 from ceph/backport-luminous-22437

luminous: ceph-volume tests destroy osds on monitor hosts

Reviewed-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #22513 from ceph/backport-luminous-21890

luminous: ceph-volume describe better the options for migrating away from ceph-disk

Reviewed-by: Alfredo Deza <adeza@redhat.com>

doc/rados add an anchor to reference replacing osds

Signed-off-by: Alfredo Deza <adeza@redhat.com>
(cherry picked from commit 0cc7bdc67ae3f2b1aeab8cc6046b6d172915e548)

doc/ceph-volume describe the options for migrating away from ceph-disk

Signed-off-by: Alfredo Deza <adeza@redhat.com>
(cherry picked from commit 537ff9cc3b64c59f9dbb81ac3cf180460ecaa3f3)

doc/ceph-volume high-level description of simple activate at index.rst

Signed-off-by: Alfredo Deza <adeza@redhat.com>
(cherry picked from commit dd6f368158db7f102b485179166ebe73d6ea622f)

ceph-volume tests do not include admin keyring in OSD nodes

Signed-off-by: Alfredo Deza <adeza@redhat.com>
(cherry picked from commit 08760632743040520588e1bc03adc17746ff2eca)

ceph-volume tests functional osd destroy on mons only for dmcrypt

Signed-off-by: Alfredo Deza <adeza@redhat.com>
(cherry picked from commit 953c7ef54925059e6de75c2e11d9d40d909bbbca)

ceph-volume tests/functional destroy filestore osds on the monitors

Signed-off-by: Alfredo Deza <adeza@redhat.com>
(cherry picked from commit 41277c65b4c745523e3a83bba00eea3482df4100)

ceph-volume tests/functional destroy bluestore osds on the monitors

Signed-off-by: Alfredo Deza <adeza@redhat.com>
(cherry picked from commit b665e1caa70a8a4b5a8c972b769bf33d5d6edde4)

Merge pull request #21938 from pdvian/wip-23985-luminous

luminous: librbd: prevent watcher from unregistering with in-flight actions

Reviewed-by: Jason Dillaman <dillaman@redhat.com>

Merge pull request #22142 from pdvian/wip-24084-luminous

luminous: rbd-mirror: ensure remote demotion is replayed locally

Reviewed-by: Jason Dillaman <dillaman@redhat.com>

Merge pull request #22143 from pdvian/wip-24059-luminous

luminous: Deleting a pool with active notify linger ops can result in seg fault

Reviewed-by: Jason Dillaman <dillaman@redhat.com>

Merge pull request #22172 from pdvian/wip-24086-luminous

luminous: [rbd-mirror] potential races during PoolReplayer shut-down

Reviewed-by: Jason Dillaman <dillaman@redhat.com>

Merge pull request #21412 from ukernel/luminous-23698

luminous: mds: misc load balancer fixes

Reviewed-by: Patrick Donnelly <pdonnell@redhat.com>

Merge pull request #21897 from batrick/i24055

luminous: VolumeClient: allow ceph_volume_client to create 'volumes' without namespace isolation

Reviewed-by: Patrick Donnelly <pdonnell@redhat.com>

Merge pull request #22354 from ukernel/luminous-24369

luminous: client: void sending mds request while holding cap reference

Reviewed-by: Patrick Donnelly <pdonnell@redhat.com>

Merge pull request #21968 from ceph/backport-21605

luminous: mon: High MON cpu usage when cluster is changing

Reviewed-by: Sage Weil <sage@redhat.com>

Merge pull request #22253 from jdurgin/wip-stat-decode

luminous - osd/osd_types: fix object_stat_sum_t decode

Reviewed-by: Sage Weil <sage@redhat.com>

Merge pull request #22331 from pdvian/wip-24245-luminous

luminous : mon/MgrMonitor: change 'unresponsive' message to info level

Reviewed-by: Josh Durgin <jdurgin@redhat.com>

Merge pull request #22351 from pdvian/wip-24247-luminous

luminous: os/bluestore: simplify and fix SharedBlob::put()

Reviewed-by: Josh Durgin <jdurgin@redhat.com>

Merge pull request #22360 from tchaikov/luminous-24361

luminous: mon: enable level_compaction_dynamic_level_bytes for rocksdb

Reviewed-by: Josh Durgin <jdurgin@redhat.com>

Merge pull request #22400 from yuriw/wip-yuriw-p2p-luminous

qa/tests - moved point-to-point suite into own folder

Reviewed-by: Josh Durgin <jdurgin@redhat.com>

Merge pull request #21437 from pdvian/wip-23683-luminous

luminous: rgw: radosgw-admin should not use metadata cache for readonly commands

Reviewed-by: Casey Bodley <cbodley@redhat.com>

Merge pull request #21724 from smithfarm/wip-23231-luminous

luminous: rgw: rgw_statfs should report the correct stats

Reviewed-by: Casey Bodley <cbodley@redhat.com>

Merge pull request #21738 from cbodley/wip-23906

luminous: rgw: fix use of libcurl with empty header values

Reviewed-by: Casey Bodley <cbodley@redhat.com>

Merge pull request #22177 from pdvian/wip-24120-luminous

luminous: rgw: trim all spaces inside a metadata value

Reviewed-by: Matt Benjamin <mbenjami@redhat.com>

Merge pull request #22302 from linuxbox2/wip-luminous-irange

luminous: rgw: add configurable AWS-compat invalid range get behavior

Reviewed-by: Casey Bodley <cbodley@redhat.com>

Merge pull request #22352 from pdvian/wip-24252-luminous

luminous: rgw: Do not modify email if argument is not set

Reviewed-by: Casey Bodley <cbodley@redhat.com>

Merge pull request #22363 from mdw-at-linuxbox/wip-luminous-rgw-implt

luminous: rgw: making implicit_tenants backwards compatible

Reviewed-by: Matt Benjamin <mbenjami@redhat.com>
Reviewed-by: Radoslaw Zarzynski <rzarzyns@redhat.com>

Merge pull request #21316 from pdvian/wip-23607-luminous

luminous: rbd: improve 'import-diff' corrupt input error messages

Reviewed-by: Jason Dillaman <dillaman@redhat.com>

Merge pull request #22180 from pdvian/wip-24156-luminous

luminous: [rbd-mirror] potential deadlock when running asok 'flush' command

Reviewed-by: Jason Dillaman <dillaman@redhat.com>

Merge pull request #22370 from dillaman/wip-24378-luminous

luminous: librbd: commit IO as safe when complete if writeback cache is disabled

Reviewed-by: Mykola Golub <mgolub@mirantis.com>

mgr/influx: Only fetch the current time once when gathering data

By fetching the current time once and storing it into a variable
we save a lot of system calls. On large clusters this can be a lot
of system calls.

In addition we also make sure that all points gathered in the same
loop/run have exactly the same timestamp.

Otherwise there will be a difference in time between the items in
InfluxDB which then causes problems when creating graphs with for
example Grafana.

Signed-off-by: Wido den Hollander <wido@42on.com>
(cherry picked from commit 0857d3bcd4175f39582376fb9980cf3f66fa09ce)

mgr/influx: Send more information about pools

In addition to the existing statistics also send Read and Write IOps,
but also quota information.

Signed-off-by: Wido den Hollander <wido@42on.com>
(cherry picked from commit c803f38a17af625edc1cee29f21e510a03396204)

mgr/influx: Catch ConnectionError if raised

The InfluxDBClient can also re-raise a ConnectionError from the
python requests module if that was caught.

The Exception might be:

  ConnectionError: ('Connection aborted.', error(104, 'Connection reset by peer'))

Catch and log this error instead of having it raised which might
cause problems further down.

Signed-off-by: Wido den Hollander <wido@42on.com>
(cherry picked from commit a0c2c8b900cd2bab2ef8041722036036efd2cb0f)

Add InfluxDB SSL Option

Add possibility to connect to InfluxDB via https.
Also adding the option for verifying the https cert.

Signed-off-by: Tobias Gall <tobias.gall@mailbox.org>
(cherry picked from commit f5efaa2f522b7cc7497db1d5a82785e7f08b7bb0)

mgr/influx: Print (in debug) time it takes to send data to Influx

On large clusters it might take a very long time to send data to Influx
due to the gathering and parsing of statistics.

By keeping a counter and printing it admins can adjust the interval if it
becomes to heavy for their cluster.

Signed-off-by: Wido den Hollander <wido@42on.com>
(cherry picked from commit 3f07636bc235ace8da3f2f07aefd56e53085ea0e)

mgr/influx: Revise configuration of module

It's a lot like the Zabbix module and allows for setting configuration
options on run-time and also fetch them from the module.

A few additional commands have been registered to make sure it is easy
to interact with the module.

Signed-off-by: Wido den Hollander <wido@42on.com>
(cherry picked from commit 429718af1cb30de49e8c7550b04bd788010ba1a4)

mgr/influx: Send fsid as a tag to Influx to identify cluster

This allows for multiple Ceph clusters to send their data to the
same Influx database.

Using the fsid values for different clusters can be queried from
Influx

Signed-off-by: Wido den Hollander <wido@42on.com>
(cherry picked from commit 2b71a8919c705834d9e669731c2ac83c52715b5b)

mgr/influx: PEP-8 fixes to InfluxDB module

The code now scores:

  Your code has been rated at 8.94/10

Various indentation fixes, whitespaces and other PEP-8 related changes

Signed-off-by: Wido den Hollander <wido@42on.com>
(cherry picked from commit 9440be3da292b98739bc8362d82b1e86b831d50b)

Merge pull request #21699 from jcsp/wip-mgr-doc-bal-luminous

luminous: doc/mgr/balancer: document

Reviewed-By: Sage Weil <sage@redhat.com>

rgw: making implicit_tenants backwards compatible.

In jewel, "rgw keystone implicit tenants" only applied to swift. As of
luminous), this option applies to s3 also.
Sites that used this feature with jewel now have outstanding data that
depends on the old behavior.

The fix here is to expand "rgw keystone implicit tenants" so that it
can be set to any of "none", "all", "s3" or "swift" (also 0=false=none,
1=true=all).  When set to "s3" or "swift", the actual id lookup
is also partitioned.

Formerly "rgw keystone implicit tenants" was a legacy opt.
This change converts it to the new style of option,
including support for dynamically changing it.

Fixes: http://tracker.ceph.com/issues/24348
Signed-off-by: Marcus Watts <mwatts@redhat.com>
(cherry picked from commit a28a38f6e91da3abe59c34fad0e059eeaf29a65f)

Merge pull request #22375 from dzafman/wip-scrub-omap-luminous

Reviewed-by: Kefu Chai <kchai@redhat.com>

Merge pull request #21187 from smithfarm/wip-23157-luminous

luminous: mds: underwater dentry check in CDir::_omap_fetched is racy

Merge pull request #21278 from batrick/i22696

luminous: client: dirty caps may never get the chance to flush

mds: fix check of underwater dentries

Underwater dentry is dentry that is dirty in our cache from journal
replay, but had already been flushed to disk before the mds failed.
To decide if an dentry is underwater, original code compares dirty
dentry's version to on-disk dirfrag's version. This method is racy
because CDir::log_mark_dirty() can increase dirfrag's version without
adding log event. After mds failover, version of dirfrag from journal
replay can be less than on-disk dirfrag's version. So newly dirtied
dentry can be equal to or less than the on-disk dirfrag's version.

The race can cause incorrect fragstat/rstat

Fixes: http://tracker.ceph.com/issues/23032
Signed-off-by: Yan, Zheng <zyan@redhat.com>
(cherry picked from commit 9d271696b7735ab5b7384cdd386d6ac3eaafe437)

Conflicts:
src/mds/CDir.cc - conditional being replaced by "if (!dn)" is different
                          in luminous

qa/tests - moved point-to-point suite into own folder

Signed-off-by: Yuri Weinstein <yweinste@redhat.com>

client: make mark_caps_clean and mark_caps_dirty as member function to Inode

Signed-off-by: dongdong tao <tdd21151186@gmail.com>
(cherry picked from commit 06ce613779a810dd979cb2eb15b510131a81fd74)

client: fix dirty caps might never be flushed

Fixes: http://tracker.ceph.com/issues/22546
Signed-off-by: dongdong tao <tdd21151186@gmail.com>
(cherry picked from commit aeb920be8ab5f0e5e47d82943c214b012bb8ec5c)

Conflicts:
src/client/Client.cc

Merge pull request #22258 from yuriw/wip-yuriw-fix-luminous

luminous: qa/tests: added missed ubuntu_latest

client: void sending mds request while holding cap reference

Client::_write() calls is_quota_bytes_approaching() while holding Fw
cap reference. The later function may send lookup_name request to mds.
This can cause deadlock (mds delays handling the lookup_name request
because subtree is freezing. The subtree stays in freezing state because
mds is revoking the Fw cap and client does not release it)

This patch isn't cherry-picked from master because quota implementation
has been changed in master (introduced quota realm).

Fixes: http://tracker.ceph.com/issues/24369
Signed-off-by: "Yan, Zheng" <zyan@redhat.com>

mds: don't decay load counters when printing load

Changing load counters while printing load results confusing output.

Signed-off-by: "Yan, Zheng" <zyan@redhat.com>
(cherry picked from commit 831c5d91cc3863c8ec6ef76ff71f4b7d237ee089)

Merge pull request #21475 from pdvian/wip-23704-luminous

luminous: fuse: wire up fuse_ll_access

Merge pull request #22119 from pdvian/wip-24049-luminous

luminous: ceph-fuse: missing dentries in readdir result

Merge branch 'luminous' into wip-24049-luminous

Merge branch 'luminous' into wip-23704-luminous

Merge pull request #21495 from pdvian/wip-23770-luminous

luminous: ceph-fuse: return proper exit code

Merge pull request #22176 from pdvian/wip-24107-luminous

luminous: mds: set could_consume to false when no purge queue item actually exe…

Merge pull request #22310 from ukernel/luminous-24341

luminous: mds: fix some memory leak

Merge pull request #22271 from pdvian/wip-24205-luminous

luminous: mds: broadcast quota to relevant clients when quota is explicitly set

Merge pull request #22221 from pdvian/wip-24201-luminous

luminous: client: fix issue of revoking non-auth caps

Merge pull request #22208 from pdvian/wip-24188-luminous

luminous: kceph: umount on evicted client blocks forever

Merge pull request #22171 from ukernel/luminous-24108

luminous: mds: avoid calling rejoin_gather_finish() two times successively

Merge pull request #22168 from ukernel/luminous-24207

luminous: client: avoid freeing inode when it contains TX buffer head

Merge pull request #22118 from pdvian/wip-24050-luminous

luminous: mds: include nfiles/nsubdirs of directory inode in MClientCaps

Merge pull request #22018 from batrick/i23991

luminous: client: hangs on umount if it had an MDS session evicted

Merge pull request #21990 from batrick/i23935

luminous: mds: don't discover inode/dirfrag when mds is in 'starting' state

Merge pull request #21989 from batrick/i24130

luminous: mds: handle imported session race

Merge pull request #21922 from pdvian/wip-23984-luminous

luminous: mds: mark new root inode dirty

Merge pull request #21921 from pdvian/wip-23982-luminous

luminous: qa: fix blacklisted check for test_lifecycle

Merge pull request #21901 from pdvian/wip-23951-luminous

luminous: mds: kick rdlock if waiting for dirfragtreelock

Merge pull request #21900 from pdvian/wip-23946-luminous

luminous: mds: crash when failover

Merge pull request #21874 from pdvian/wip-23936-luminous

luminous: cephfs-journal-tool: wait prezero ops before destroying journal

Merge pull request #21841 from pdvian/wip-23931-luminous

luminous: qa: remove racy/buggy test_purge_queue_op_rate

Merge pull request #21730 from joscollin/wip-23933-luminous

luminous: client: avoid second lock on client_lock

Merge pull request #21617 from pdvian/wip-23835-luminous

luminous: mds: fix occasional dir rstat inconsistency between multi-MDSes

Merge pull request #21600 from joscollin/wip-23475-luminous

luminous: ceph-fuse: trim ceph-fuse -V output

Merge pull request #21616 from joscollin/wip-23308-luminous

luminous: doc: Fix -d description in ceph-fuse

Merge pull request #21899 from pdvian/wip-23950-luminous

luminous: mds: trim log during shutdown to clean metadata

Merge pull request #21589 from pdvian/wip-23818-luminous

luminous: client: add client option descriptions

Merge pull request #21687 from batrick/i23638

luminous: ceph-fuse: getgroups failure causes exception

librbd: commit IO as safe when complete if writeback cache is disabled

We do not need to flush IO to ensure its safe if the writeback cache is
disabled when performing a journal replay. Instead, immediately mark the
IO as safe and let the journal's periodic commit throttle handle updating
the position.

Fixes: http://tracker.ceph.com/issues/23516
Signed-off-by: Jason Dillaman <dillaman@redhat.com>
(cherry picked from commit a27269ab95e4cadcade2131367e40ccf1011316a)

Conflicts:
src/test/rbd_mirror/test_ImageReplayer.cc: removed "md_config_t::get_val" usage

mon: enable level_compaction_dynamic_level_bytes for rocksdb

Fixes: http://tracker.ceph.com/issues/24361
Signed-off-by: Kefu Chai <kchai@redhat.com>
(cherry picked from commit 60f074fb0639d807e75b6a7858c5e13b5dc7c082)

rgw: Do not modify email if argument is not set

The RGW Admin OPS API overwrites the users email either it is not set via argument, e.g. when executing /{admin}/user?uid=test5&suspended=true.

Signed-off-by: Volker Theile <vtheile@suse.com>
(cherry picked from commit c6792a8be2fc1496e7a76b0e6b2579d32556b6b3)

osd: Handle omap and data digests independently

Caused by: be078c8b7b131764caa28bc44452b8c5c2339623
The original attempt above to fix the omap_digest handling when
data_digest isn't present had 2 errors.  First, it checked
is_data_digest() and is_omap_digest() instead of digest_present and
omap_digest_present which indicate the source digest is available.
Second, MAYBE could only be set if both digests are available.

Fixes: http://tracker.ceph.com/issues/24366
Signed-off-by: David Zafman <dzafman@redhat.com>
(cherry picked from commit 01f9669928abd571e14421a51a749d44fa041337)

cleanup: Remove debug option osd_debug_scrub_chance_rewrite_digest

This option seems pointless and there are no test cases that use it.

Signed-off-by: David Zafman <dzafman@redhat.com>
(cherry picked from commit 6adeaed32f70923d012bf9410bfa8651694be3cf)

osd/PrimaryLogPG: do not set data/omap digest blindly

As bluestore has bulitin csum, we generally no longer generate
object data digest for now. The consequence is that we should
handle data/omap digest more carefully to make certain ops,
such as copy_from/promote, to work properly since they heavily
relies on data digest for data transfer correctness.

Example of failure:
http://pulpito.ceph.com/xxg-2017-09-30_11:46:34-rbd-master-distro-basic-mira/1690609/

Signed-off-by: xie xingguo <xie.xingguo@zte.com.cn>
(cherry picked from commit be078c8b7b131764caa28bc44452b8c5c2339623)

Conflicts:
src/osd/PrimaryLogPG.cc (still have snapdir)

os/bluestore: simplify and fix SharedBlob::put()

There is a narrow race possible:

A: lookup foo
A: put on foo
A:   foo --nref == 0
B: lookup foo
B: put foo
B:   foo --nref == 0
B: try_remove() succeeds, removes
A: try_remove() tries to remove foo again, probably crashes

We could fix this by flagging the object in some way to indicate it was
removed (maybe clearing parent?), but then we need to be careful about
dereferencing foo to get parent from put().

Fix this by moving to a simpler model: make lookup fail if nref == 0.
This eliminates the races around put() entirely because once nref reaches
0 it never goes up again.

Fixes: http://tracker.ceph.com/issues/24211
Signed-off-by: Sage Weil <sage@redhat.com>
(cherry picked from commit 8c8944b2c45ca9dc5b8fd4db1590e1d24206c0b3)