osd: only enable tier agent when osd is in active state

Signed-off-by: Sage Weil <sage@inktank.com>

osd: observe 'notieragent' osdmap flag

Pause/unpause the agent thread accordingly.

Signed-off-by: Sage Weil <sage@inktank.com>

osd: add 'notieragent' flag to OSDMap

This will pause tiering agent work.

Signed-off-by: Sage Weil <sage@inktank.com>

histogram: fix histogram::get_position_micro overflow

Convert the return values to uint64_t

Signed-off-by: Loic Dachary <loic@dachary.org>

mon: test dirty stats in ceph df detail

Signed-off-by: Loic Dachary <loic@dachary.org>

osd/ReplicatedPG: decay tier agent histograms over time

Make decisions based on recent observations of object age distributions,
not all time history.

Signed-off-by: Sage Weil <sage@inktank.com>

osd/ReplicatedPG: basic flush and evict agent functionality

This is very basic flush and evict functionality for the tiering agent.

The flush policy is very simple: if we are above the threshold and the
object is dirty, and not super young, flush it.  This is not too braindead
of a policy (although we could clearly do something smarter).

The evict policy is pretty simple: evict the object if it is clean and
we are over our full threshold.  If we are in the middle mode, try to
estimate how cold the object is based on an accumulated histogram of
objects we have examined so far, and decide to evict based on our
position in that histogram relative to our "effort" level.

Caveats:
 * the histograms are not refreshed
 * we aren't taking temperature into consideration yet, although some of
   the infrastructure is there.

Signed-off-by: Sage Weil <sage@inktank.com>

osd: agent worker thread

Signed-off-by: Sage Weil <sage@inktank.com>

osd/ReplicatedPG: fix finish_flush

Make sure we reallocate a pgbackend transaction at the time when we are
initiating new work.

Signed-off-by: Sage Weil <sage@inktank.com>

osd/HitSet: add HitSetRef

Signed-off-by: Sage Weil <sage@inktank.com>

osd/ReplicatedPG: factor clone check out of evict op code

Move the check for clones into a helper so that we will be able to use in
other places where we need to evict.

Signed-off-by: Sage Weil <sage@inktank.com>

osd/ReplicatedPG: add on_finish to OpContext

Add a callback hook for whenever an OpContext completes or cancels.  We
are pretty sloppy here about the return values because our initial user
will not care, and it is unclear if future users will.

Signed-off-by: Sage Weil <sage@inktank.com>

mon: include dirty stats in 'ceph df detail'

Signed-off-by: Sage Weil <sage@inktank.com>

osd: rename test/test_osd_types.cc -> test/osd/types.cc

Signed-off-by: Sage Weil <sage@inktank.com>

osd: add pg_pool_t::get_pg_num_divisor

A PG is not always an equally sized fraction of the total pool size due to
the use of ceph_stable_mod.  Add a helper to return the fraction
(denominator) of a given pg based on the current pg_num value.

Signed-off-by: Sage Weil <sage@inktank.com>

mon/OSDMonitor: allow new pool policy fields to be set

Signed-off-by: Sage Weil <sage@inktank.com>

osd/osd_types: add cache policy fields to pg_pool_t

Signed-off-by: Sage Weil <sage@inktank.com>

histogram: add decay

Signed-off-by: Sage Weil <sage@inktank.com>

histogram: move to common, add unit tests

Signed-off-by: Sage Weil <sage@inktank.com>

histogram: rename set -> set_bin

Signed-off-by: Sage Weil <sage@inktank.com>

histogram: calculate bin position of a value in the histrogram

Generate a lower and upper bound.

Signed-off-by: Sage Weil <sage@inktank.com>

Merge pull request #1176 from ceph/wip-primary-affinity

osd: primary affinity

Added primary-affinity thrashing to thrashosd.py.

Reviewed-by: Loic Dachary <loic@dachary.org>

Merge pull request #1249 from dachary/wip-qa-erasure-test

qa: do not create erasure pools yet

qa: do not create erasure pools yet

comment out erasure pool related tests when an OSD is involved because
it does not work yet. See http://tracker.ceph.com/issues/7360.

Signed-off-by: Loic Dachary <loic@dachary.org>

osd/OSDMap: include primary affinity in OSDMap::print

Signed-off-by: Sage Weil <sage@inktank.com>

osd/OSDMap: remove bad assert

You can have an erasure poool with all CRUSH_ITEM_NONE and primary == -1.
acting is not empty.

Signed-off-by: Sage Weil <sage@inktank.com>

mon/OSDMonitor: add 'mon osd allow primary affinity' bool option

By default, disallow adjustment of primary affinity unless the user has
opted in by adjusting their monitor config.  This will avoid some user
pain because inadvertantly setting the affinity will prevent older clients
from connecting to and using the cluster.

Signed-off-by: Sage Weil <sage@inktank.com>

ceph_psim: some futzing to test primary_affinity

- map to acting
- count first position, primary

Signed-off-by: Sage Weil <sage@inktank.com>

osd/OSDMap: add primary_affinity feature bit

Indicate that we support it.  Indicate when an OSDMap requires it.

Signed-off-by: Sage Weil <sage@inktank.com>

osd/OSDMap: apply primary_affinity to mapping

The behavior is a bit different for replicated and indep/erasure mode.
In the first case, we are rearranging the result.  In the second case,
we can just set the primary argument to the right value.

Signed-off-by: Sage Weil <sage@inktank.com>

Merge pull request #1245 from ceph/wip-brag

ceph-brag

Sebastien Han confirms that this is under the default (LGPL2) license, thus:

Signed-off-by: Sage Weil <sage@inktank.com>

ceph.spec: add ceph-brag

Signed-off-by: Sage Weil <sage@inktank.com>

debian: add ceph-brag

Signed-off-by: Sage Weil <sage@inktank.com>

ceph-brag: add Makefile

Signed-off-by: Sage Weil <sage@inktank.com>

Merge pull request #1181 from dachary/wip-7277

DNM: mon: s/ENOSYS/ENOTSUP/

Reviewed-by: Christophe Courtaut <christophe.courtaut@gmail.com>
Reviewed-by: Sage Weil <sage@inktank.com>

Merge branch 'master' of https://github.com/enovance/ceph-brag into wip-brag

doc/release-notes: v0.67.6

Signed-off-by: Sage Weil <sage@inktank.com>

Merge pull request #1237 from dachary/wip-hashpspool

mon: ceph hashpspool false clears the flag

Reviewed-by: Christophe Courtaut <christophe.courtaut@gmail.com>
Reviewed-by: Sage Weil <sage@inktank.com>

Merge pull request #1235 from ceph/wip-osdmaptool-pool-fix

wip-osdmaptool-pool-fix

Reviewed-by: Loic Dachary <loic@dachary.org>

osdmaptool: add tests for --pool option

Signed-off-by: Ilya Dryomov <ilya.dryomov@inktank.com>

osdmaptool: add --pool option for --test-map-pgs mode to usage()

--test-map-pgs mode allows to map all pgs from either all pools or just
one pool.  Mention it in usage output.

Signed-off-by: Ilya Dryomov <ilya.dryomov@inktank.com>

osdmaptool: fix --pool option for --test-map-object mode

Commit 7f1b12f2ef97 ("osdmaptool: add --test-map-pgs mode") broke
--pool for --test-map-object mode.  Fix it, and improve --pool option
handling for both modes while at it (report strict_strtol() errors,
check if specified pool exists).

Signed-off-by: Ilya Dryomov <ilya.dryomov@inktank.com>

test: fix signed/unsigned warnings in TestCrushWrapper.cc

Irritatingly, using 0 binds to int and generates warnings
if the thing we're checking is unsigned, so we have to be
explicit.

Signed-off-by: Greg Farnum <greg@inktank.com>
Reviewed-by: Sam Just <sam.just@inktank.com>

mon: ceph hashpspool false clears the flag

instead of toggling it.

Signed-off-by: Loic Dachary <loic@dachary.org>

Merge pull request #1231 from dachary/wip-mon-create-simple

mon: do not goto reply if a ruleset exists in pending

Reviewed-by: Sage Weil <sage@inktank.com>

Merge pull request #1216 from ceph/wip-null-xattr

mds: remove xattr when null value is given to setxattr()

Reviewed-by: Sage Weil <sage@inktank.com>

Merge branch 'wip-libcephfs-firefly-rb' of https://github.com/linuxbox2/linuxbox-ceph

Reviewed-by: Sage Weil <sage@inktank.com>
This went through the fs suite and passed:

http://pulpito.ceph.com/sage-2014-02-12_13:38:53-fs-wip-libcephfs-testing-basic-plana

mon: do not goto reply if a ruleset exists in pending

If the crush ruleset is found in pending, do not goto reply because it
does not exist yet. Wait for the pending proposal (and the ruleset) to
be accepted and then only return that it exists.

revert 4b687ba673574bcd3b77b0f79a07d5c74cdcedc2

Signed-off-by: Loic Dachary <loic@dachary.org>

Merge pull request #1202 from dachary/wip-mon-create-simple

mon: create simple should goto reply when it exists in pending

Reviewed-By: Christophe Courtaut <christophe.courtaut@gmail.com>

mon: osd crush rule create-simple functional tests

Basic tests and a test that create the conditions where an OSDMap
is pending with a ruleset that is not yet in the OSDMap. An attempt to
create a rule by the same name will return success and not create it again.

Signed-off-by: Loic Dachary <loic@dachary.org>

mon: osd crush rule functional tests

* A set of test for the simplest operations
* A test covering all cases of osd crush rule

Signed-off-by: Loic Dachary <loic@dachary.org>

Merge pull request #1230 from ceph/wip-open-truncate

mds: properly replay dentry trace for open truncate.

Reviewed-by: Sage Weil <sage@inktank.com>

mon: add ruleset name to crush rule dump

The crush rule name is made an optional first argument. If not provided, it
defaults to dumping all rules.

Signed-off-by: Loic Dachary <loic@dachary.org>

mon: add missing format argument to crush dump

Signed-off-by: Loic Dachary <loic@dachary.org>

mon: add missing format argument to crush rule dump

Signed-off-by: Loic Dachary <loic@dachary.org>

mon: osd create pool test refactor

* Use test-helpers.sh instead of duplicating it
* Isolate each test in a separate function for clarity

Signed-off-by: Loic Dachary <loic@dachary.org>

mon: minor improvement to test-helpers.sh

* kill -9 daemons to better cope with stuck daemons
* reduce paxos propose interval to speedup tests
* look for erasure code plugins from the sources directory

Signed-off-by: Loic Dachary <loic@dachary.org>

mon: if crush rule create-simple exists return

And it is consistent with the above. Also use a slightly different
string to allow the caller to differentiate between the two cases.

Signed-off-by: Loic Dachary <loic@dachary.org>

crush: display item name in CrushWrapper::dump_rule()

When an item name is available used it instead of displaying the number.

Signed-off-by: Loic Dachary <loic@dachary.org>

crush: cosmetic changes to CrushWrapper::dump_rule()

Signed-off-by: Loic Dachary <loic@dachary.org>

crush: add the dump_rule(int ruleset) method

And implement dump_rules() using dump_rule(). The indentiation and
variable names are intentionaly left as is to not confuse code being
moved around and the code changes.

Signed-off-by: Loic Dachary <loic@dachary.org>

crush: add CrushWrapper::dump_rules() unit test

Signed-off-by: Loic Dachary <loic@dachary.org>

crush: fix leaks in TestCrushWrapper.cc

To get a meaningfull valgrind output.

Signed-off-by: Loic Dachary <loic@dachary.org>

Merge pull request #1222 from dachary/wip-pending-osdmap

mon: control pending OSDMap for testing

Reviewed-by: Joao Eduardo Luis <joao@inktank.com>
Reviewed-by: Greg Farnum <greg@inktank.com>

mon: remove racy tests from osd-pool-create.sh

Use the admin socket to create the conditions by which a pool creation
is made to wait for the next paxos proposal because the required crush
ruleset is pending.

It replaces a fragile time sensitive workaround that could fail because
of race conditions. It also has the benefit of increase the speed of the
test because there is no need to wait for a long time just to accomodate
the slowest machines.

Signed-off-by: Loic Dachary <loic@dachary.org>

mon: add osdmonitor_prepare_command to the admin socket

It provides a developer path allowing functional tests to modify the
pending OSDMap without triggering a PaxosProposal.

It can be used as follows:

   echo '{"prefix":"osdmonitor_prepare_command","prepare":"osd crush tunables","profile":"bobtail"}' | nc -U out/mon.a.asok

It will transform the command into:

  {"prefix":"osd crush tunables","profile":"bobtail"}

and feed it to OSDMonitor::prepare_command_impl(). The pending OSDMap won't
be proposed because it short circuit PaxosService::dispatch. It will,
however, be proposed next time PaxosService::dispatch() gets a chance.

It cannot be used via the ceph command line.

Signed-off-by: Loic Dachary <loic@dachary.org>

mon: add --mon-advanced-debug-mode

When this flag is true, the mon is expected to provide functionalities
that are for developer oriented debug purposes only. It is meant to
be used by the developer and not the system administrator, because it
would allow a non-developer to break things in ways that would be very
difficult to diagnose. It should probably not be documented.

Signed-off-by: Loic Dachary <loic@dachary.org>

mon: Monitor::send_reply gracefully handles no connection

If req->get_connection() returns a null pointer, drop the reply instead
of crashing the monitor.

Signed-off-by: Loic Dachary <loic@dachary.org>

mon: split prepare_command in two

So that it is possible to call prepare_command without a session
established and a cmdmap that has already been parsed.

Signed-off-by: Loic Dachary <loic@dachary.org>

mds: remove xattr when null value is given to setxattr()

setxattr() should remove xattr if parameter 'value' is NULL. To
distinguish it from the zero-length value case, introduce a new
flag CEPH_XATTR_REMOVE for the setxattr request.

Signed-off-by: Yan, Zheng <zheng.z.yan@intel.com>

mds: properly replay dentry trace for open truncate.

Open request created by ceph_atomic_open() wants dentry trace. But
the corresponding code is missing in Server::do_open_truncate().

Signed-off-by: Yan, Zheng <zheng.z.yan@intel.com>

doc/release-notes: do not downgrade from v0.67.6

Signed-off-by: Sage Weil <sage@inktank.com>

doc/release-notes: note about dumpling xattr backport

Signed-off-by: Sage Weil <sage@inktank.com>

PendingReleaseNotes: note about cephfs backtrace updates

Signed-off-by: Sage Weil <sage@inktank.com>

Merge pull request #1219 from ceph/wip-update-backtrace

mds: force update backtraces for previously created FS

Reviewed-by: Sage Weil <sage@inktank.com>

osd/OSDMap: pass pps value out from _pg_to_osds

The primary affinity code needs a seed to determine it's pseudo-random
behavior.  Pass pps (optionally) out of _pg_to_osds() for this purpose.

Signed-off-by: Sage Weil <sage@inktank.com>

osd/OSDMap: fix _raw_to_up_osds for EC pools

When filtering down OSDs out of the result set (i.e., raw -> up), we can
shift positions for replicated pools but need to preserve position for
EC pools.

Signed-off-by: Sage Weil <sage@inktank.com>

mon/OSDMonitor: add 'osd primary-affinity ...' command

Signed-off-by: Sage Weil <sage@inktank.com>

osd/OSDMap: add osd_primary_affinity fields, accessors, encoding

Signed-off-by: Sage Weil <sage@inktank.com>

mon/OSDMonitor: fix legacy tunables warning

Warn on legacy tunables, not on non-optimal tunables.  Optimal is a moving
target, but it is really the legacy defaults that we want to push people
off of.

Fixes: #7399
Signed-off-by: Sage Weil <sage@inktank.com>

Merge pull request #1224 from kdreyer-inktank/packaging-libdir

packaging: do not package libdir/ceph recursively

packaging: do not package libdir/ceph recursively

Package libdir/ceph non-recursively, to avoid duplicates, and
package libdir/ceph/ceph_common.sh explicitly.

Signed-off-by: Alexandre Oliva <oliva@gnu.org>
Signed-off-by: Ken Dreyer <ken.dreyer@inktank.com>

Merge pull request #1215 from ceph/wip-7385

Remove the max cached objects restriction for librbd

Reviewed-by: Sage Weil <sage@inktank.com>

Merge pull request #1199 from ceph/wip-doc-librados-intro

Wip doc librados intro

Reviewed-by: Dan Mick <dan.mick@inktank.com>
Reviewed-by: Loic Dachary <loic@dachary.org>

Merge pull request #1221 from dachary/wip-filestore

tests: fix packaging for s/filestore/objectstore/

Reviewed-by: Haomai Wang <haomaiwang@gmail.com>

tests: fix packaging for s/filestore/objectstore/

The binaries file name have changed and need to be updated in the
packaging files for deb and rpm. Fix a few leftovers as well.

Fixing 1a588f18ba0e57df64f8a48c1393a4bc65019571

Signed-off-by: Loic Dachary <loic@dachary.org>

Merge pull request #1220 from dachary/wip-filestore

tests: fix objectstore tests

tests: fix objectstore tests

The objectstore test from 1a588f18ba0e57df64f8a48c1393a4bc65019571 was
missing a few changes.

Signed-off-by: Loic Dachary <loic@dachary.org>

Merge pull request #1212 from ywang19/master

correct one command line at building packages section

Reviewed-by: Loic Dachary <loic@dachary.org>

mds: force update backtraces for previously created FS

Update inode format version to 10, treat any previously created
inode as no backtrace. When inode with no backtrace is modified,
force update its backtrace.

Signed-off-by: Yan, Zheng <zheng.z.yan@intel.com>

Merge pull request #1168 from yuyuyu101/wip-refactor-objectstore-test

Rename test/filestore to test/objectstore

Reviewed-by: Sage Weil <sage@inktank.com>

Merge pull request #1218 from yuyuyu101/wip-misc-fix

Fix bad dealloctor

Reviewed-by: Sage Weil <sage@inktank.com>

Fix bad dealloctor

Memory allocated by malloc() should be deallocated by free(), not 'delete'

Signed-off-by: Haomai Wang <haomaiwang@gmail.com>

correct one command line at building packages section

Signed-off-by: Wang, Yaguang <yaguang.wang@intel.com>

osdmaptool: fix cli test

Encoding the extra tunable byte threw off the output here.

Signed-off-by: Sage Weil <sage@inktank.com>

tset_bufferlist: fix signed/unsigned comparison

Signed-off-by: Sage Weil <sage@inktank.com>

Merge pull request #1185 from ceph/wip-crush

crush: "vary_r" tunable

Reviewed-by: Loic Dachary <loic@dachary.org>

doc: Incorporated feed back from Loic and Dan.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

doc: Adds additional terms for use with librados.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

ObjectCacher: remove unused target/max setters

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>