ceph-post-file: use getopt for multiple options, add longopts to help

Fixes: #7993
Signed-off-by: Dan Mick <dan.mick@inktank.com>

doc/release-notes: v0.79 release notes

Signed-off-by: Sage Weil <sage@inktank.com>

Fix byte-order dependency in calculation of initial challenge

Fixes: #7977
Signed-off-by: Dan Mick <dan.mick@inktank.com>
Reviewed-by: Sage Weil <sage@inktank.com>

Merge pull request #1599 from ceph/wip-7978

rgw: only look at next placement rule if we're not at the last rule

Reviewed-by: Sage Weil <sage@inktank.com>

rgw: only look at next placement rule if we're not at the last rule

Fixes: #7978
We tried to move to the next placement rule, but we were already at the
last one, so we ended up looping forever.

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

Merge pull request #1598 from ceph/wip-test-alloc-hint-ec-fix

qa: test_alloc_hint: set ec ruleset-failure-domain to osd

Reviewed-by: Sage Weil <sage@inktank.com>

Merge pull request #1581 from ceph/wip-init

a few deb changes

qa: test_alloc_hint: set ec ruleset-failure-domain to osd

Create a custom profile with ruleset-failure-domain=osd.  (The default
ruleset-failure-domain=host won't do because this script assumes and
works only if all osds are on the same host.)  While at it, set k and m
explicitly to avoid troubles in the future.

Signed-off-by: Ilya Dryomov <ilya.dryomov@inktank.com>

Merge pull request #1593 from dachary/wip-vstart-erasure-code-default

vstart: set a sensible default for ruleset-failure-domain

Reviewed-by: Ilya Dryomov <ilya.dryomov@inktank.com>

Merge pull request #1596 from ceph/wip-vstop-unmap

Unmap rbd images when stopping the whole cluster

Reviewed-by: Sage Weil <sage@inktank.com>

stop.sh: unmap rbd images when stopping the whole cluster

Unmap rbd images when stopping the whole cluster.  Not doing so results
in images that cannot be unmapped until the same cluster is brought
back up.  Issue a warning if we failed to unmap all images.

Signed-off-by: Ilya Dryomov <ilya.dryomov@inktank.com>

stop.sh: do not trace commands

Command tracing here doesn't bring any value and simply pollutes the
terminal, as the script always runs to completion.

Signed-off-by: Ilya Dryomov <ilya.dryomov@inktank.com>

stop.sh: indent 4 spaces universally

Currently there is a mix between tabs and 4 spaces indent.  Switch to
4 spaces indent.

Signed-off-by: Ilya Dryomov <ilya.dryomov@inktank.com>

vstart: set a sensible default for ruleset-failure-domain

Set ruleset-failure-domain=osd so that

  ./ceph osd pool create ecpool 12 12 erasure
  ./rados --pool ecpool put SOMETHING /etc/group

works by default. When using a vstart cluster the default failure
domain (host) won't work because all OSDs are in "localhost".

Signed-off-by: Loic Dachary <loic@dachary.org>

Merge pull request #1592 from ceph/wip-7965

lockdep: fix when instantiated multiple times (bug 7965)

Reviewed-by: Josh Durgin <josh.durgin@inktank.com>

lockdep: reset state on shutdown

If we shut down, clear out all of the lockdep state.  This ensures that if
we start up again on another cct, we will not be confused by old type ids
and dependency state.

Possibly contributed to #7965.

Signed-off-by: Sage Weil <sage@inktank.com>

lockdep: do not initialize if already started

If we have already registered a cct for lockdep, do not accept another one.
We already check that the cct matches when we shut down.  This we will run
for the life span of a single cct and no longer.

Fixes: #7965
Signed-off-by: Sage Weil <sage@inktank.com>

Merge pull request #1591 from ceph/wip-7915

mon: bump snap_epoch when adding a tier (fixes 7915)

Reviewed-by: Samuel Just <sam.just@inktank.com>

OSDMap: bump snap_epoch when adding a tier

When we make an existing pool a tier, we start copying the snap metadata
from the base tier.  That includes removed_snaps.  In order for the OSD
to recognize that this value is changing for the first time, we need to
set snap_epoch, or else the OSD doesn't update it's in-memory PGPool
with removed snaps and we eventually hit an assertion failure because
PGPool::cached_remove_snaps is incorrect (e.g., empty).

Fix this by bumping snap_epoch when we add the new tier.

Fixes: #7915
Signed-off-by: Sage Weil <sage@inktank.com>

Merge pull request #1580 from ceph/wip-7937

osd: fix scrub logic for snapdir object

Reviewed-by: Samuel Just <sam.just@inktank.com>
Reviewed-by: Sage Weil <sage@inktank.com>

ReplicatedPG::_scrub: don't bail early for snapdir

Fixes: #7937
Signed-off-by: Samuel Just <sam.just@inktank.com>

debian: fix control to allow upgrades

Signed-off-by: Mohammad Salehe <salehe+dev@gmail.com>

Merge pull request #1590 from ceph/wip-7939

PG: set role for replicated even if role != shard

Reviewed-by: Sage Weil <sage@inktank.com>

Merge pull request #1579 from ceph/wip-7907

osd/ReplicatedPG: mark_unrollbackable when _rollback_to head

Reviewed-by: Samuel Just <sam.just@inktank.com>

debian: move rbdmap config and sysvinit/upstart scripts into ceph-common

Fixes: #7171
Signed-off-by: Sage Weil <sage@inktank.com>

Merge pull request #1586 from ceph/wip-dirfrag

mds: fix check for merging/spliting dirfrag

Reviewed-by: Sage Weil <sage@inktank.com>

Merge pull request #1587 from onlyjob/debian

init.d: correcting rbdmap LSB header / init order:

Reviewed-by: Sage Weil <sage@inktank.com>

init.d: correcting rbdmap init order:

 * Require "$remote_fs" since it guarantees /usr availability
   (rbd executable is in /usr/bin/rbd)
 * Speed-up init.d rbd mapping on machines acting as MON/OSD
   by starting rbdmap after /init.d/ceph (when possible) and
   shutting down rbd before ceph.
 * Map rbd devices before starting X (helpful when /home is mounted from rbd).

mds: fix check for merging/spliting dirfrag

check actual number of items instead of number of cached items

Signed-off-by: Yan, Zheng <zheng.z.yan@intel.com>

Merge pull request #1583 from ceph/wip-largedir

Wip largedir

Reviewed-by: Sage Weil <sage@inktank.com>

mds: ignore CDir::check_rstats() when debug_scatterstat is off

It uses lots of CPU when dirfrag is large

Signed-off-by: Yan, Zheng <zheng.z.yan@intel.com>

mds: initialize bloom filter according to dirfrag size

Signed-off-by: Yan, Zheng <zheng.z.yan@intel.com>

mds: add dentries in dirfrag to LRU in reverse order

Files in a dirfrag are usually processed in the order of readdir
results. Files at the beginning of are more likely to be used in
the future than files at the last.

Signed-off-by: Yan, Zheng <zheng.z.yan@intel.com>

Merge pull request #1584 from ceph/wip-multimds

Wip multimds

Reviewed-by: Sage Weil <sage@inktank.com>

mds: handle freeze authpin race

For across authority rename, the MDS first freezes the source inode's
authpin. It happens while the source dentry isn't locked. So when the
inode's authpin become frozen, the source dentry may have changed and
be linked to a different inode.

Signed-off-by: Yan, Zheng <zheng.z.yan@intel.com>

mds: treat cluster as degraded when there is clientreplay MDS

This forbids exporting subtrees and fragmenting dirfrags when there
is MDS in clientreplay state. During replaying client requests, the
MDS may need to authpin some remote objects. Exporting subtrees and
fragmenting dirfrags slow down replaying client requests.

Signed-off-by: Yan, Zheng <zheng.z.yan@intel.com>

mds: don't start new segment while finishing disambiguate imports

This avoid inserting ESubtreeMap among EImportFinish events that
finish disambiguate imports. Because the ESubtreeMap reflects the
subtree state when all EImportFinish events are replayed.

Signed-off-by: Yan, Zheng <zheng.z.yan@intel.com>

mds: trim non-auth subtree more aggressively

When a non-auth dirfrag is pinned by uncommitted slave update,
there still can be non-auth child dirfrags that are trimmable.

Signed-off-by: Yan, Zheng <zheng.z.yan@intel.com>

debian: make ceph-common own etc/ceph, var/log/ceph

Clients can make use of these directories, and ceph-common is required by
ceph, so nothing should break here.

Change the purge postrm script to be for ceph-common (it does nothing else).

Signed-off-by: Sage Weil <sage@inktank.com>

osd/ReplicatedPG: mark_unrollbackable when _rollback_to head

We fell into the case in _rollback_to where we just set ctx->modify = true
and don't explicitly mark the ctx and unrollbackable.  Later, we screw up
in proc_replica_log as a result because we think we can rollback this
update to the head when in reality we cannot.

Fixes: #7907
Signed-off-by: Sage Weil <sage@inktank.com>

Merge pull request #1578 from ceph/wip-7437

wip-7437

Reviewed-by: Samuel Just <sam.just@inktank.com>

debian: move ceph-rest-api from ceph-common to ceph

ceph-rest-api is a 'server' thing that runs persistently; 'ceph' is a
better match.

Signed-off-by: Sage Weil <sage@inktank.com>

Merge pull request #1577 from ceph/wip-7935

rgw: reverse logic to identify next part

Reviewed-by: Josh Durgin <josh.durgin@inktank.com>

PG: set role for replicated even if role != shard

Fixes: #7939
Signed-off-by: Samuel Just <sam.just@inktank.com>

test: Add EC testing to ceph_test_rados_api_snaphots

Signed-off-by: David Zafman <david.zafman@inktank.com>

test: Add EC testing to ceph_test_rados_api_lock

Signed-off-by: David Zafman <david.zafman@inktank.com>

test: Add EC testing to ceph_test_rados_api_tier

Signed-off-by: David Zafman <david.zafman@inktank.com>

test: Add EC to ceph_test_rados_api_watch_notify

Signed-off-by: David Zafman <david.zafman@inktank.com>

test: Add EC testing to ceph_test_rados_api_stat

Signed-off-by: David Zafman <david.zafman@inktank.com>

test: Add EC testing to ceph_test_rados_api_list

Fixes: #7437
Signed-off-by: David Zafman <david.zafman@inktank.com>

test: Add EC testing to ceph_test_rados_api_io

Signed-off-by: David Zafman <david.zafman@inktank.com>

test: Add EC test classes RadosTestEC and RadosTestECPP

Fixes: #7437
Signed-off-by: David Zafman <david.zafman@inktank.com>

test: Fix ceph_test_rados_list_parallel to clean up test pool

Signed-off-by: David Zafman <david.zafman@inktank.com>

test: Fix ceph_test_rados_api_aio to clean up all test pools

Signed-off-by: David Zafman <david.zafman@inktank.com>

test: Cleanup pools when FlushWriteRaces is done

Signed-off-by: David Zafman <david.zafman@inktank.com>

librados: Add missing C variants for alignment

Add rados_ioctx_pool_requires_alignment()
Add rados_ioctx_pool_required_alignment()

Signed-off-by: David Zafman <david.zafman@inktank.com>

librados: Add missing rados_wait_for_latest_osdmap()

Signed-off-by: David Zafman <david.zafman@inktank.com>

osd/ReplicatedPG: continue scrub logic when snapset.head_exists doesn't match

The 'continue' will cause more damange/noise than continuing because the
next_clone value won't be updated properly.

Signed-off-by: Sage Weil <sage@inktank.com>

osd/ReplicatedPG: handle snapdir properly during scrub

Handle snapdir similarly to how head is treated when updating the
next_clone info.  Also, add a warning when we have a snapdir object and
head_exists == true (the converse of the existing check).

Fixes: #7937
Signed-off-by: Sage Weil <sage@inktank.com>

rgw: reverse logic to identify next part

Fixes: #7935
The check that identifies whether we need to move to the next part when
iterating over an object was reversed.

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

Merge pull request #1575 from jdurgin/wip-librbd-cp-sparse

librbd: skip zeroes when copying an image

Reviewed-by: Sage Weil <sage@inktank.com>

osd/PG: debug cached_removed_snaps changes

See #7915.

Signed-off-by: Sage Weil <sage@inktank.com>

Merge pull request #1574 from mikenel/master

Add ceph-client-debug and jerasure shared objects to RPM spec file.

Reviewed-by: Sage Weil <sage@inktank.com>

librbd: skip zeroes when copying an image

This is the simple coarse-grained solution, but it works well in
common cases like a small base image resized with a bunch of empty
space at the end. Finer-grained sparseness can be copied by using rbd
{export,import}-diff.

Fixes: #6257
Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

Merge pull request #1573 from ceph/wip-7912

mon/PGMap: clear pool sum when last pg is deleted

Reviewed-by: Greg Farnum <greg@inktank.com>

Merge pull request #1556 from ceph/wip-7888

msgr: add new ping/ping reply to use in place of keepalive

Reviewed-by: Greg Farnum <greg@inktank.com>

Merge pull request #1566 from ceph/wip-fuse-access

fuse: implement 'access' low level function

Reviewed-by: Sage Weil <sage@inktank.com>

qa/workunits/cephtool/test.sh: test 'osd pg-temp ...'

Signed-off-by: Sage Weil <sage@inktank.com>

mon/OSDMonitor: clear primary_temp on osd pg_temp updates

Until the OSD and the MOSDPGTemp messages encode primary_temp updates,
assume that any pg_temp update will clear primary_temp.

Signed-off-by: Sage Weil <sage@inktank.com>
Reviewed-by: Samuel Just <sam.just@inktank.com>
Reviewed-by: Ilya Dryomov <ilya.dryomov@inktank.com>

OSDMonitor: add 'mon osd allow primary temp' bool option

By default, we don't send out maps with primary_temp mappings because
there is no infrastructure in place that would make sure that the
entire cluster knows about primary_temp.  Add an option to allow
primary_temp mappings, for development purposes.

Signed-off-by: Ilya Dryomov <ilya.dryomov@inktank.com>
Reviewed-by: Sage Weil <sage@inktank.com>

OSDMonitor: add 'osd primary-temp ...' command

ceph osd primary-temp <pgid> [<osd>]

Examples:

ceph osd primary-temp 0.2 4 # set primary_temp mapping for 0.2 to osd4
ceph osd primary-temp 0.2   # remove primary_temp mapping for 0.2

Signed-off-by: Ilya Dryomov <ilya.dryomov@inktank.com>
Reviewed-by: Sage Weil <sage@inktank.com>

OSDMonitor: add 'osd pg-temp ...' command

ceph osd pg-temp <pgid> [<osd1> [<osd2> ...]]

Examples:

ceph osd pg-temp 0.2 0 1 2 # set pg_temp mapping for 0.2 to osds [0,1,2]
ceph osd pg-temp 0.2 3     # set pg_temp mapping for 0.2 to osds [3]
ceph osd pg-temp 0.2       # remove pg_temp mapping for 0.2

Signed-off-by: Ilya Dryomov <ilya.dryomov@inktank.com>
Reviewed-by: Sage Weil <sage@inktank.com>

java/test: ceph.file.layout xattr is still not there now

b8ea65694faf59f12f285a65dc21753dab20ba11 tried to fix this, but
missed a spot.

Signed-off-by: Greg Farnum <greg@inktank.com>
Reviewed-by: Sage Weil <sage@inktank.com>

Merge pull request #1567 from ceph/wip-7849

ceph-conf: don't create log files

Reviewed-by: Josh Durgin <josh.durgin@inktank.com>

Merge pull request #1570 from dachary/wip-gitignore

.gitignore: add examples/librados files

Reviewed-by: Josh Durgin <josh.durgin@inktank.com>

Add ceph-client-debug and jerasure shared objects to RPM spec file.

mon/PGMap: clear pool sum when last pg is deleted

Use the x.0 pg as a sentinel for the existence of the pool.  Note that we
have to clean in up two paths: apply_incrmenetal (which is actually
deprecated) and the normal PGMonitor refresh.

Fixes: #7912
Signed-off-by: Sage Weil <sage@inktank.com>

Merge pull request #1572 from ceph/wip-ec-profile-idempotent

mon: make 'ceph osd erasure-code-profile set ...' idempotent

Reviewed-by: Joao Eduardo Luis <joao.luis@inktank.com>

mon: make 'ceph osd erasure-code-profile set ...' idempotent

Signed-off-by: Sage Weil <sage@inktank.com>

qa/workunits/rados/test_alloc_hint: fix erasure syntax

This changed recently.

Signed-off-by: Sage Weil <sage@inktank.com>

Merge pull request #1571 from kotnik/docufix

Small glossary typo fix

Reviewed-by: Loic Dachary <loic@dachary.org>

doc: fix typos in glossary

.gitignore: add examples/librados files

Signed-off-by: Loic Dachary <loic@dachary.org>

Merge pull request #1564 from dachary/wip-erasure-code-doc

doc: updates to the erasure code development docs

Reviewed-by: Sage Weil <sage@inktank.com>

Merge pull request #1568 from dachary/wip-jerasure-warnings

erasure-code: update jerasure / gf-complete submodules

Reviewed-by: Sage Weil <sage@inktank.com>

Merge pull request #1569 from dachary/wip-ssse3

autotools: s/ssse3/sse3/ typo

Reviewed-by: Sage Weil <sage@inktank.com>

autotools: s/ssse3/sse3/ typo

Reported-by: Justin Erenkrantz <justin@erenkrantz.com>
Signed-off-by: Loic Dachary <loic@dachary.org>

erasure-code: update jerasure / gf-complete submodules

For compilation warning patches.

http://tracker.ceph.com/issues/7909 Fixes #7909

Signed-off-by: Loic Dachary <loic@dachary.org>

doc: pgbackend dev doc outdated notice

* Warn the reader that the implementation is ahead and may differ
* Update the links to the Firefly branch
* Remove links to issues used during development to avoid confusion

Signed-off-by: Loic Dachary <loic@dachary.org>

doc: update jerasure plugin

* The parameters come from the erasure code profile
* Add a note about the upstream submodules gf-complete / jerasure

Signed-off-by: Loic Dachary <loic@dachary.org>

doc: erasure code developer notes updates

Update the introduction to explain erasure code profiles. Remove
obsolete explanations about partial writes etc. Remove links to tickets
used during development. Update permalinks to be closer to
Firefly (v0.78).

Signed-off-by: Loic Dachary <loic@dachary.org>

fuse: implement 'access' low level function

Add an empty 'access' function to fuse low level functions. This
allow us to use ceph-fuse with fuse_default_permissions = false.
'fuse_default_permissions = false' can significantly improve the
speed of create/removing large number of files.

When fuse_default_permissions is true, the fuse kernel module sends
a getattr request whenever the kernel needs to check a directory's
permission. getattr (STAT_CAP_INODE_ALL) can be very slow if the
directory was just modified.

Signed-off-by: Yan, Zheng <zheng.z.yan@intel.com>

osd/ReplicatedPG: fix cache tier scrub again

This condition was flipped from commit eb71924ea27e78d97bd45674ef5e6a7f
and the test case in c3292e48483d861148322590ea1f05afd28cc2d3 still didn't
catch it.  (It does now.)

Signed-off-by: Sage Weil <sage@inktank.com>

ceph_test_rados_api_tier: improve promote+scrub test

We need to have multiple clones with some different patterns of
missing-ness.

Signed-off-by: Sage Weil <sage@inktank.com>

ceph-conf: use global_pre_init to avoid starting logging

This avoids starting up logging, which is not appropriate when we are
examining the config state and not actually starting up the entity in
question.

Fixes: #7849
Signed-off-by: Sage Weil <sage@inktank.com>

global: separate first half of global_init into global_pre_init

The pre_init now captures enough to create the g_ceph_context and parse
and initialize the in-memory config.  However, we don't

 - fiddle with signal handlers
 - init lockdep
 - call config observers (which starts up logging)

Signed-off-by: Sage Weil <sage@inktank.com>

Merge pull request #1520 from ceph/wip-multimds

Wip multimds

Reviewed-by: Sage Weil <sage@inktank.com>

Merge pull request #1563 from dachary/wip-sse-i386

erasure-code: do not attempt to compile SSE4 on i386

Reviewed-by: Sage Weil <sage@inktank.com>

ceph_test_rados_api_tier: improve cache tier + scrub test

Create lots of objects and make *some* of them be missing clones but not
all.

Signed-off-by: Sage Weil <sage@inktank.com>

osd/ReplicatedPG: tolerate trailing missing clones on cache tiers

I missed this case in eb71924ea27e78d97bd45674ef5e6a7fce30932f.

Signed-off-by: Sage Weil <sage@inktank.com>