osd/ReplicatedPG: implement cache-flush, cache-try-flush

Implement a rados operation that will flush a dirty object in the cache
tier by writing it back to the base tier.

Signed-off-by: Sage Weil <sage@inktank.com>

osd: make obc copyfrom blocking generic

Signed-off-by: Sage Weil <sage@inktank.com>

librados, osd: add flags to COPY_FROM

If we initiate a COPY_FROM as part of a FLUSH operation, we will need to
set a flag so that the read-side of the copy and join the existing
in-progress operation without taknig additional locks.

Similarly, we need to pass flags from the client indicating whether we
should ignore overlay or cache logic while performing the copy.  These are
used by the promote and flush logic.

Note that none of these flags are exposed through librados (at least not
at this time).

Signed-off-by: Sage Weil <sage@inktank.com>

osd/ReplicatedPG: fix promote: set oi.size

Signed-off-by: Sage Weil <sage@inktank.com>

osd/osd_types: fix operator<< on copy-get operation

This was missed in 15c8267e34aaba7a6d1d316b22519982a997f5a0.

Signed-off-by: Sage Weil <sage@inktank.com>

ceph_test_rados_api_tier: test undirty on non-existent object

Signed-off-by: Sage Weil <sage@inktank.com>

osd/ReplicatedPG: debug: improve maybe_handle_cache() handling

Signed-off-by: Sage Weil <sage@inktank.com>

osd/ReplicatedPG: rename invalidate_forward

Signed-off-by: Sage Weil <sage@inktank.com>

ceph_test_rados: debug: include exists|dne in update_object_version

Signed-off-by: Sage Weil <sage@inktank.com>

ceph_test_rados: test is_dirty, undirty

Signed-off-by: Sage Weil <sage@inktank.com>

ceph_test_rados: fix CopyFromOp locking

Signed-off-by: Sage Weil <sage@inktank.com>

librados: seek during object iteration

Add ability to reset iterator to a specific hash position.  For now, we
just truncate this to the current PG.  In the future, this may be more
precise.

Signed-off-by: Sage Weil <sage@inktank.com>
Signed-off-by: Greg Farnum <greg@inktank.com>

osdc/Objecter: remove honor_cache_redirects global flag

We can do this on a per-op basic with CEPH_OSD_FLAG_IGNORE_OVERLAY.

Signed-off-by: Sage Weil <sage@inktank.com>

osd/ReplicatedPG: use IGNORE_OVERLAY flag for copy-from

No need to use the Objecter-wide setting now.

Signed-off-by: Sage Weil <sage@inktank.com>

osdc/Objecter: add CEPH_OSD_FLAG_IGNORE_OVERLAY flag

If the flag is set, send the op to the pool specified and ignore the
overlay.  Note that this obsoletes the global Objecter flag.

It also makes these EINVAL correctly:

  rados -p base cache-flush
  rados -p base cache-evict

Signed-off-by: Sage Weil <sage@inktank.com>

osd: rename IGNORE_OVERLAY -> IGNORE_CACHE

This is about skipping cache logic, not the tier pool overlay property.

Signed-off-by: Sage Weil <sage@inktank.com>

osd/osd_types: operator<< for ObjectContext::RWState

Signed-off-by: Sage Weil <sage@inktank.com>

osd/ReplicatedPG: more verbose heading for process_copy_chunk

Signed-off-by: Sage Weil <sage@inktank.com>

osd/ReplicatedPG: set ctx->obc in simple_repop_create

Strangely nobody hss needed this yet, but we will shortly.

Signed-off-by: Sage Weil <sage@inktank.com>

osd/ReplicatedPG: use finish_ctx for finish_promote

Use the common code here to avoid duplicating this logic.

Signed-off-by: Sage Weil <sage@inktank.com>

osd/ReplicatedPG: use get_next_version() in finish_promote

Signed-off-by: Sage Weil <sage@inktank.com>

osd/ReplicatedPG: split off finish_ctx from execute_ctx

The second part of execute_ctx() is doing some somewhat generic work to
make the prepared updates in the ctx apply, updating the obc's cached
values.  Factor it out.

Signed-off-by: Sage Weil <sage@inktank.com>

osd/ReplicatedPG: add SKIPRWLOCKS flag

Flush puts us in an conundrum:

 - the flush eventually writes, behaving like a write
 - writes take the write lock at the start
 - to flush, we send copy-from to the base pool, which does a copy-get on
   our object
 - the copy-get is a read, that blocks on the write.

This flag will allow an op to skip the initial locking step.  It will need
to take it later, of course.

Signed-off-by: Sage Weil <sage@inktank.com>
Conflicts:

src/osd/ReplicatedPG.cc

osd/ReplicatedPG: be consistent about ctx->obs vs ctx->obc->obs

Just for consistency (ctx->obs =- &ctx->obc->obs).

Signed-off-by: Sage Weil <sage@inktank.com>
Conflicts:

src/osd/ReplicatedPG.cc

osd/ReplicatedPG: drop unnecessary temp vars in execute_ctx()

Both of these are pulled out of ctx->obs, which is not updated until the
very end; use that instead!

Signed-off-by: Sage Weil <sage@inktank.com>

osd/ReplicatedPG: allow osds to issue writes to osds

We asserted that the client was not an OSD years ago when we separated out
the client and cluster networks.  Now, we are about to allow an OSD to
trigger a copy_from on another pool (for cache flush) and the assert can
go away.  We've long since verified that the messages are going out on
the correct interfaces.

Signed-off-by: Sage Weil <sage@inktank.com>

osd/ReplcatedPG: maybe_handle_cache style

Signed-off-by: Sage Weil <sage@inktank.com>

osd/ReplicatedPG: skip promote for DELETE

If an op starts with DELETE there is no need to promote the old content
from the base tier.  Note that this only works if the FAILOK flag is
set.  Otherwise, we need to know whether the object existed or not to
return either 0 or -ENOENT.

Signed-off-by: Sage Weil <sage@inktank.com>

osd/ReplicatedPG: implement cache_evict

Signed-off-by: Sage Weil <sage@inktank.com>

librados: add an aio_operate that takes a write and flags

Until now you could only pass flags to read operations.

Signed-off-by: Sage Weil <sage@inktank.com>

osd/osd_types: introduce helper for osd op flags -> string conversion

Signed-off-by: Sage Weil <sage@inktank.com>
Conflicts:

src/osd/osd_types.h

librados, osd: add IGNORE_OVERLAY flag

Add a flag that will make the OSD bypass the cache overlay logic.  This is
needed in order to handle operations like CACHE_EVICT and CACHE_FLUSH.

Signed-off-by: Sage Weil <sage@inktank.com>

librados: add cache_flush(), cache_try_flus(), cache_evict() methods

Not yet implemented by the OSD.

Signed-off-by: Sage Weil <sage@inktank.com>

osd/ReplicatedPG: set object_info and snapset xattrs on promote

For the normal write path, prepare_transaction() handles this for us.  In
this case, we need to do it explicitly.

Signed-off-by: Sage Weil <sage@inktank.com>

osd/ReplicatedPG: handle is_whiteout in do_osd_ops()

Most of the time we handle whiteouts by returning ENOENT before we even
get this far. However, for a mixed read/write transaction (e.g., a guard)
or certain ops (like create exclusive) we need to deal with the
exists == true and whiteout flag set case explicitly.

Signed-off-by: Sage Weil <sage@inktank.com>

osd/ReplicatedPG: clear whiteout when writing into cache tier

If we have a whiteout object and then write over it, clear the whiteout
flag.

Signed-off-by: Sage Weil <sage@inktank.com>

osd/ReplicatedPG: set whiteout in cache pool on delete

If we delete an object in the cache pool, set the whiteout flag instead of
removing the on-disk object.

Signed-off-by: Sage Weil <sage@inktank.com>

ceph_test_rados_api_tier: verify delete creates whiteouts

Signed-off-by: Sage Weil <sage@inktank.com>

osd/ReplicatedPG: ENOENT when deleting a whiteout

Signed-off-by: Sage Weil <sage@inktank.com>

osd/ReplicatedPG: create whiteout on promote ENOENT

If we try to fetch an object from the base tier and it is not present, we
can create a whiteout object.

Signed-off-by: Sage Weil <sage@inktank.com>

ceph_test_rados_api_tier: add simple promote-on-read test

Signed-off-by: Sage Weil <sage@inktank.com>

ceph_test_rados_api_tier: rename tests

Signed-off-by: Sage Weil <sage@inktank.com>

osd/ReplicatedPG: use simple_repop_{create,submit} for finish_promote

Signed-off-by: Sage Weil <sage@inktank.com>

osd/ReplicatedPG: UNDIRTY is not a user_modify

Signed-off-by: Sage Weil <sage@inktank.com>

osd/ReplicatedPG: move r<0 handling into finish_promote()

Let logic in header, and will let us handle ENOENT with a whiteout.

Signed-off-by: Sage Weil <sage@inktank.com>

workunits: break down cache pool tests to be more precise; expand some

Signed-off-by: Greg Farnum <greg@inktank.com>
Reviewed-by: Sage Weil <sage@inktank.com>

workunits: check errors propagate on cache pools in caching_redirects.sh

Signed-off-by: Greg Farnum <greg@inktank.com>
Reviewed-by: Sage Weil <sage@inktank.com>

ReplicatedPG: promote: handle failed promotes

If we get an error back, reply to the client directly and remove
the op which triggered promotion from our blocked op queue.

Signed-off-by: Greg Farnum <greg@inktank.com>
Reviewed-by: Sage Weil <sage@inktank.com>

ReplicatedPG: promote: add the OpRequest to the Callback

This way we can do stuff to it, and we're about to.

Signed-off-by: Greg Farnum <greg@inktank.com>
Reviewed-by: Sage Weil <sage@inktank.com>

ReplicatedPG: promote: first draft pass at doing object promotion

This is not yet at all complete -- among other things, it will
retry forever on any object which doesn't exist in the underlying
pool. But it demonstrates the approach reasonably clearly.

Signed-off-by: Greg Farnum <greg@inktank.com>
Reviewed-by: Sage Weil <sage@inktank.com>y

ReplicatedPG: copy: don't return from finish_copyfrom

The return value is meaningless; nothing in this function can fail.

Signed-off-by: Greg Farnum <greg@inktank.com>
Reviewed-by: Sage Weil <sage@inktank.com>

ReplicatedPG: copy: switch out the CopyCallback interface

The tuple was already unwieldy with 4 members; I didn't want to add
more. Instead, create a new CopyResults struct which contains all the
object info and completion data, and pass the retval and a CopyResults*
in the CopyCallbackResults tuple.

Signed-off-by: Greg Farnum <greg@inktank.com>
Reviewed-by: Sage Weil <sage@inktank.com>

test_ipaddr: add another unit test

Was checking something for kbader.

Signed-off-by: Sage Weil <sage@inktank.com>

osd/ReplicatedPG: drop unused hit_set_start_stats

Signed-off-by: Sage Weil <sage@inktank.com>

osd/ReplicatedPG: maintain stats for the hit_set_* objects

We also make hit_set.current_info reflect only the on-disk 'current', not
anything that is not persisted.

Signed-off-by: Sage Weil <sage@inktank.com>

osd/ReplicatedPG: set object_info_t, SnapSet on hit_set objects

These are first-class user-visible rados objects and need these attrs.

Signed-off-by: Sage Weil <sage@inktank.com>

vstart.sh: --hitset <pool> <type>

Signed-off-by: Sage Weil <sage@inktank.com>

osd/ReplicatedPG: debug: improve hit_set func banners

Signed-off-by: Sage Weil <sage@inktank.com>

osd/ReplicatedPG: do not update current_last_update on activate

Don't update this when we apply the log to our in-memory hitset!  We should
only update this when we persist something to disk.

Signed-off-by: Sage Weil <sage@inktank.com>

ceph_test_rados_api_tier: make HitSetWrite handle pg splits

Signed-off-by: Sage Weil <sage@inktank.com>

common/bloom_filter: fix copy ctor

We should not delete[] an uninitialized pointer.

Signed-off-by: Sage Weil <sage@inktank.com>

ceph_test_rados_api_tier: add HitSetRead

Verify that the HitSet reflects a read (and never written) object.

Signed-off-by: Sage Weil <sage@inktank.com>

ceph_test_rados_api_tier: HitSetRead -> HitSetWrite

This way it will pass despite thrashing.

Signed-off-by: Sage Weil <sage@inktank.com>

ceph_test_rados_api_tier: add HitSet trim test

Signed-off-by: Sage Weil <sage@inktank.com>

osd/HitSet: fix sealed initialization in Params ctor

Signed-off-by: Sage Weil <sage@inktank.com>

ceph_test_rados_api_tier: make HitSetRead test less noisy

Signed-off-by: Sage Weil <sage@inktank.com>

osd/HitSet: fix copy ctor

Signed-off-by: Sage Weil <sage@inktank.com>

osd/HitSet: fix dump() of fpp

Signed-off-by: Sage Weil <sage@inktank.com>

test/encoding/check-generated: test copy ctor, operator=

Signed-off-by: Sage Weil <sage@inktank.com>

ceph-dencoder: add 'copy' command to test operator=

Signed-off-by: Sage Weil <sage@inktank.com>

mds/Capability: no copying

Signed-off-by: Sage Weil <sage@inktank.com>

test: add a HitSet unit test

Signed-off-by: Greg Farnum <greg@inktank.com>

osd/HitSet: track BloomHitSet::Params fpp in micros, not as a double

...and store it as a 32-bit value, so that it actually works!

Signed-off-by: Sage Weil <sage@inktank.com>

osd/ReplicatedPG: archive hit_set if it is old and not full

This matches the condition under which we call _persist().

Signed-off-by: Sage Weil <sage@inktank.com>

osd: prevent zero BloomHitSet fpp

Signed-off-by: Sage Weil <sage@inktank.com>

osd/HitSet: take Params as const ref to avoid confusion about ownership

Signed-off-by: Sage Weil <sage@inktank.com>

mon/OSDMonitor: non-zero default bloom fpp

Signed-off-by: Sage Weil <sage@inktank.com>

osd/HitSet: make pg_pool_t and Params operator<< less parenthetical

pool 0 'data' rep size 2 min_size 1 crush_ruleset 0 object_hash rjenkins pg_num 8 pgp_num 8 last_change 8 owner 0 crash_replay_interval 45 hit_set bloom{false_positive_probability: 0, target size: 0, seed: 0} 10s x8

Signed-off-by: Sage Weil <sage@inktank.com>

osd/ReplicatedPG: apply log to new HitSet to capture writes after peering

Signed-off-by: Sage Weil <sage@inktank.com>

ReplicatedPG: do not seal() HitSets until we're done with them

We don't want to seal HitSets just because we're writing a
snapshot to disk; it potentially shrinks the in-memory one
we want to keep adding stuff to!

Signed-off-by: Greg Farnum <greg@inktank.com>

pg_hit_set_info_t: remove unused size, target_size members

Signed-off-by: Greg Farnum <greg@inktank.com>

ceph_test_rados: hit hit_set_{list,get} rados operations

This will do a list, and then get a random HitSet.

Signed-off-by: Sage Weil <sage@inktank.com>

osd/ReplicatedPG: trim old hit_set objects on persist

Any time we persist a hit_set object, take the opportunity to remove any
old ones that we don't want any more.

Note that this means if the admin decreases the number of objects to track,
we won't remove them until the next time we persist something.  We also
don't clean up if the HitSet tracking is disabled entirely.

Signed-off-by: Sage Weil <sage@inktank.com>

osd/ReplicatedPG: put hit_set objects in a configurable namespace

Signed-off-by: Sage Weil <sage@inktank.com>

librados: create new ceph_test_rados_api_tier target

Move the dirty/undirty test to it, and add one for HitSets.

Signed-off-by: Sage Weil <sage@inktank.com>
Signed-off-by: Greg Farnum <greg@inktank.com>

librados, osd: list and get HitSets via librados

Signed-off-by: Sage Weil <sage@inktank.com>
Signed-off-by: Greg Farnum <greg@inktank.com>

osd/ReplicatedPG: use vectorized osd_op outdata for pg ops

This lets us put PGLS in a compound operation.  Nothing does that yet, but
this would allow it.
Despite appearances, this is not a protocol change and does not require
a feature bit for clients: using the osd_ops vector mechanisms store all
the data in the same places as before, it just fills in some of the
already-decoded-but-empty data structures in the MOSDOpReply header.
<Greg note:> We may need a feature bit to let clients know they can send
compound PG ops to OSDs, though? Or maybe we can let it be covered
by supporting hitset ops.

Signed-off-by: Sage Weil <sage@inktank.com>

osd/ReplicatedPG: add basic HitSet tracking

Signed-off-by: Sage Weil <sage@inktank.com>
Signed-off-by: Greg Farnum <greg@inktank.com>

mon/OSDMonitor: set hit_set fields

Signed-off-by: Sage Weil <sage@inktank.com>
Signed-off-by: Greg Farnum <greg@inktank.com>

osd: add hit_set_* parameters to pg_pool_t

Add pool properties to control what type of HitSet we want to use, along with
some (mostly generic) parameters.

Signed-off-by: Sage Weil <sage@inktank.com>
Signed-off-by: Greg Farnum <greg@inktank.com>

osd/osd_types: include pg_hit_set_history_t in pg_info_t

Track metadata about the currently accumulating HitSet as well as
previously archived ones in the pg_info_t.  This will not scale well for
extremely long histories, but does let us avoid explicitly sharing this
metadata during recovery or other normal update activity.

Signed-off-by: Sage Weil <sage@inktank.com>

osd/osd_types: add pg_hit_set_{info,history}_t

Signed-off-by: Sage Weil <sage@inktank.com>

common/bloom_filter: fix operator=

Signed-off-by: Sage Weil <sage@inktank.com>

osd_types: add generic HitSet type with bloom and explicit implementations

Track a set of hash values, either explicitly or using a bloom_filter. Hide
the implementation and allow us to transparently encode and decode.

Signed-off-by: Sage Weil <sage@inktank.com>
Signed-off-by: Greg Farnum <greg@inktank.com>

osd/ReplicatedPG: factor out simple_repop_{create,submit} helpers

This makes it easier to create repops correctly, and should help
prevent bugs like the one we remove here in process_copy_op (we were
serializing on the wrong object!)

Signed-off-by: Sage Weil <sage@inktank.com>
Signed-off-by: Greg Farnum <greg@inktank.com>

osd/PG: factor out get_next_version()

Signed-off-by: Sage Weil <sage@inktank.com>
Signed-off-by: Greg Farnum <greg@inktank.com>

librados: add wait_for_latest_osdmap()

There are times when users may need to make sure the client has the
latest osdmap, for example after sending a mon command modifying
pool properties.

Signed-off-by: Sage Weil <sage@inktank.com>
Signed-off-by: Greg Farnum <greg@inktank.com>
squash "librados: add wait_for_latest_osdmap()"

librados: expose methods for calculating object hash position

Signed-off-by: Sage Weil <sage@inktank.com>
Reviewed-by: Greg Farnum <greg@inktank.com>

osdc/Objecter: expose methods for getting object hash position and pg

Signed-off-by: Sage Weil <sage@inktank.com>
Reviewed-by: Greg Farnum <greg@inktank.com>

osd: capture hashing of objects to hash positions/pgs in pg_pool_t

The hashing is dependent on pool properties; capture (more of) it in a
method instead of having it in OSDMap.

Signed-off-by: Sage Weil <sage@inktank.com>
Reviewed-by: Greg Farnum <greg@inktank.com>