OSD: clean up revcovery_wq queueing and ref counting

Previously, we tended to explicitely remove the pg from the queue uisng
remove_myself on the xlist::item.  This causes us to drop a reference
count.  Manipulating the revovery_wq is now accomplished through the
recovery_wq interface, which also handles pg ref counting.

Signed-off-by: Samuel Just <sam.just@inktank.com>

PG: C_PG_MarkUnfoundLost put pg in finish

Signed-off-by: Samuel Just <sam.just@inktank.com>

OSD::activate_map: don't publish map until pgs in deleted pools have been removed

Signed-off-by: Samuel Just <sam.just@inktank.com>

doc/scripts/gen_state_diagram.py: make parser a bit more forgiving

Signed-off-by: Samuel Just <sam.just@inktank.com>

ReplicatedPG::op_applied: update last_update_applied iff !aborted

scrub state and last_update_applied will have been reset during
the interval change.

Signed-off-by: Samuel Just <sam.just@inktank.com>

test/encoding/types.h: disable pg_query_t encoding test

Signed-off-by: Samuel Just <sam.just@inktank.com>

OSD: split notify|info|query messages for old clients

Old clients do not expect mixed epoch compound messages.  Thus, we
send each sub-message independently.

Signed-off-by: Samuel Just <sam.just@inktank.com>

FileStore: delete source collection if not replaying collection_rename

Signed-off-by: Samuel Just <sam.just@inktank.com>

ReplicatedPG: RepModify track epoch_started and bail on interval change

Signed-off-by: Samuel Just <sam.just@inktank.com>

ReplicatedPG: on_activate for a peer might happen before flush

We don't ensure for a peer that the flush completes before activation,
merely that we don't serve any ops until flush completes.

Signed-off-by: Samuel Just <sam.just@inktank.com>

OSD: _remove_pg not ruin iterator consistency

Signed-off-by: Samuel Just <sam.just@inktank.com>

OSD: move watch into OSDService

Signed-off-by: Samuel Just <sam.just@inktank.com>

PG: pass activate epoch with Activate event

This allows us to pass into activate() in which epoch the
message triggering activation occurred allowing us mark
the activate committed callback with the right query_epoch.

Signed-off-by: Samuel Just <sam.just@inktank.com>

Revert "osd: check against last_peering_reset in _activate_committed"

This reverts commit 86aa07d7a91ac23074e76551c3a6db3a5736cffa.

Revert "osd: reset last_peering_interval on replica activate"

This reverts commit 17114f266a336b6edd7e98975d494fdd487eec20.

OSD: write_info/log during process_peering_events, do_recovery

Signed-off-by: Samuel Just <sam.just@inktank.com>

PG: delay ops in do_request, not queue_op

Signed-off-by: Samuel Just <sam.just@inktank.com>

OSD: maybe_update_heartbeat_peers, don't print pg

Signed-off-by: Samuel Just <sam.just@inktank.com>

OSD: process_peering_event check for new map on each pg

Signed-off-by: Samuel Just <sam.just@inktank.com>

OSD: peering_wq is now a BatchWorkQueue

process_peering_events now handles multiple pgs at once to better
batch up notifes, etc.

Signed-off-by: Samuel Just <sam.just@inktank.com>

OSD: do_(notifies|infos|queries) must now be passed a map

This removes the need to call them from within the osd lock.

Signed-off-by: Samuel Just <sam.just@inktank.com>

common/WorkQueue.h: add BatchWorkQueue

Rather than dispatching one item at a time to process, etc,
BatchWorkQueue dispatches up to a configurable number of
items.

Signed-off-by: Samuel Just <sam.just@inktank.com>

OSD: bail out of do_recovery if no longer primary and active

Signed-off-by: Samuel Just <sam.just@inktank.com>

PG: PG now store its own PGPool

Otherwise, we need to syncronize access to the shared PGPool objects.
The wasted memory is probably preferable to syncronization overhead.

Signed-off-by: Samuel Just <sam.just@inktank.com>

OSD: on pg_removal, project_pg_history to get current interval

First, we don't really want to remove the pg if we can use it.  Second,
there might be messages in the pg peering queue for the next interval.
If one of those happens to be an info request or notify, we would lose
the peering message.

If the message falls in the current interval as determined by the
current osdmap, than we know that any messages currently queued must be
obsolete and can safetly be discarded.

Signed-off-by: Samuel Just <sam.just@inktank.com>

CrushWrapper: add locking around crush_do_rule

crush_do_rule uses a cache on the bucket objects.

Signed-off-by: Samuel Just <sam.just@inktank.com>

CrushWrapper: rmaps don't need to be mutable

Signed-off-by: Samuel Just <sam.just@inktank.com>

OSD,PG: issue pg removals in line, remove remove_list

Signed-off-by: Samuel Just <sam.just@inktank.com>

OSD: don't advance_pg() if pg is up-to-date

Signed-off-by: Samuel Just <sam.just@inktank.com>

OSD,PG: clean up _get_or_create_pg and set interval based on msg

Previously, we set last_peering_reset based on the epoch in which the pg
is created.  We now pass the map from the query_epoch to the creation
methods to set based on that.

Signed-off-by: Samuel Just <sam.just@inktank.com>

OSD: lock recovery_wq before debug output on finish_recovery_op

Signed-off-by: Samuel Just <sam.just@inktank.com>

OSD: only do_(notify|info|query) for up osd

pg may have an older map and attempt to notify|info|query on a down
osd.

Signed-off-by: Samuel Just <sam.just@inktank.com>

OSD: map_cache should contain const OSDMap

Signed-off-by: Samuel Just <sam.just@inktank.com>

OSD: activate_map() in handle_osd_map only when active

Signed-off-by: Samuel Just <sam.just@inktank.com>

OSD,PG: _share_map_outgoing must not require osd_lock

Signed-off-by: Samuel Just <sam.just@inktank.com>

ReplicatedPG: explicitely block on not active for certain ops

Ops and some subops need to wait for active to ensure correct ordering
with respect to peering operations.

Signed-off-by: Samuel Just <sam.just@inktank.com>

PG,OSD: prevent pg from completing peering until deletion is complete

hobject_t must now be globally unique in the filestore.  Thus, if we
start creating objects in a pg before the removal collections for the
previous incarnation are fully removed, we might end up a second
instance of the same hobject violating the filestore rules.

Signed-off-by: Samuel Just <sam.just@inktank.com>

OSD,PG: clean up pg removal

PG opsequencers will be used for removing a pg.  If the pg is recreated
before the removal is complete, we need the new pg incarnation to be
able to inherit the osr of its predecessor.

Previously, we queued the pg for removal and only rendered it unusable
after the contents were fully removed.  Now, we syncronously remove it
from the map and queue a transaction renaming the collections.  We then
asyncronously clean up those collections.  If the pg is recreated, it
will inherit the same osr until the cleanup is complete ensuring correct
op ordering with respect to the collection rename.

Signed-off-by: Samuel Just <sam.just@inktank.com>

PG: flush ops by the end of peering without osr.flush

Rather than explicitely flushing the filestore, send a noop through the
filestore at the beginning of peering and, at the end, wait for it to
finish by adding an extra state.

Also, delay ops until flushed is true.  Until we have finished flushing,
we cannot safetly read objects.

Signed-off-by: Samuel Just <sam.just@inktank.com>

OSD,PG: added helper methods for creating and dispatching RecoveryCtxs

This is simpler than having to update all of the RecoveryCtx users
whenever we change the types in RecoveryCtx.

Signed-off-by: Samuel Just <sam.just@inktank.com>

OSD,PG: Move pg accesible methods, objects to OSDService

In order to clarify data structure locking, PGs will now access
OSDService rather the the OSD directly.  Over time, more structures will
be moved to the OSDService.  osd_lock can no longer be held while pg
locks are held.

Signed-off-by: Samuel Just <sam.just@inktank.com>

PG, OSD: info_map shouldn't contain the MOSDPGInfo*

Rather, we will just pass the same type as the noties.

Signed-off-by: Samuel Just <sam.just@inktank.com>

OSD: queue_want_up_thru in process_peering_event

Signed-off-by: Samuel Just <sam.just@inktank.com>

OSD: do not drop osd_lock in handle_osd_map

PGs have their map updates done in a different thread.  Thus, we no
longer need to grab the pg locks.  activate_map no longer requires
the map_lock in order to allow us to queue events for the pgs.

Signed-off-by: Samuel Just <sam.just@inktank.com>

OSD: get map read lock during queue_want_up_thru

Signed-off-by: Samuel Just <sam.just@inktank.com>

OSD: push_waiters is no longer used

Signed-off-by: Samuel Just <sam.just@inktank.com>

OSD: do not lock osd during dequeue_op

Signed-off-by: Samuel Just <sam.just@inktank.com>

OSD: don't assume pending pg removals have flushed

_create_lock_pg might encounter a preexisting pg collection simply
because the removal transaction had not yet completed.

Signed-off-by: Samuel Just <sam.just@inktank.com>

ReplicatedPG: change ReplicatedPG debug output to match PG

Signed-off-by: Samuel Just <sam.just@inktank.com>

ReplicatedPG: do not eval_repop if aborted

Signed-off-by: Samuel Just <sam.just@inktank.com>

OSD: remove superfluous pg get/put around enqueue_op

Signed-off-by: Samuel Just <sam.just@inktank.com>

PG,OSD: fix op checking in pg, take_waiters during ActMap

Signed-off-by: Samuel Just <sam.just@inktank.com>

PG,OSD: add OSD::queue_for_op, use in PG::queue_op

Signed-off-by: Samuel Just <sam.just@inktank.com>

OSD: check for deleting in process_peering_event

Signed-off-by: Samuel Just <sam.just@inktank.com>

PG: use osd->requeue_ops for ops, pg->queue_for_peering to requeue pg

Signed-off-by: Samuel Just <sam.just@inktank.com>

PG: compound messages must carry epoch_sent for each part

Query and Notify messages include logical messages from multiple
pgs.  Each logical message (pg_query_t and pg_notify_t) now
contains an epoch_sent.

Signed-off-by: Samuel Just <sam.just@inktank.com>

PG: CephPeeringEvents can now be descriptively printed

The CephPeeringEvt constructor is now templated to allow
storing a description string for debugging.

Signed-off-by: Samuel Just <sam.just@inktank.com>

OSD: initialize pgs in get_or_create_pg via handle_create

Previously, pgs were initialized via Info/Log/etc.  Since the event
which triggered the pg creation may now be queued, map update events may
occur before the event is processed.  Thus, get_or_create_pg now handles
the initialization prior to queuing the event.

Signed-off-by: Samuel Just <sam.just@inktank.com>

PG: include info and query by value in peering events

Signed-off-by: Samuel Just <sam.just@inktank.com>

OSD,PG: handle pg map advance in process_peering_event

The pg map will now be advanced in process_peering_event (in advance_pg)
to allow handle_osd_map to not grab pg locks in-line.  handle_osd_map
queues NullEvts to ensure that each pg is updated in a timely fashion.

Signed-off-by: Samuel Just <sam.just@inktank.com>

osd/: Make pg osdmap be independent of osd, other pg maps

This will allow handle_osd_map to not stop other work queues.

Signed-off-by: Samuel Just <sam.just@inktank.com>

OSD,PG: Move Op,SubOp queueing into PG

PG now handles delaying/discarding messages since pg map epoch may not
be the same as the OSD map.

Signed-off-by: Samuel Just <sam.just@inktank.com>

PG: process peering events in a queue

Peering events are now queued via queue_peering_event in the
peering_queue.

Signed-off-by: Samuel Just <sam.just@inktank.com>

PG: use intrusive_ptr in CephPeeringEvt

Properly disposing of the event_base member of CephPeeringEvt
requires use of intrusive_ptr.

Signed-off-by: Samuel Just <sam.just@inktank.com>

osd/: move history update from handle_pg_query into pg

Previously, replica history was updated in OSD::handle_pg_query.
Updating the history is now handled in the pg state machine.

Signed-off-by: Samuel Just <sam.just@inktank.com>

OSD,PG: push message checking to pg

old_peering_evt now checks CephPeeringEvts generically in
PG::handle_peering_event().

Signed-off-by: Samuel Just <sam.just@inktank.com>

OSD: Remove handle_pg_missing, MOSDPGMissing no longer used

Signed-off-by: Samuel Just <samuel.just@dreamhost.com>

PG: Move handle_* methods to PG

PG now calls handle_event in RecoveryState.

Signed-off-by: Samuel Just <sam.just@inktank.com>

PG: CephPeeringEvt

CephPeeringEvt is now the supertype for all peering state machine
events.  This will allow us to generalize checking for stale peering
events and delaying events for future maps.

Signed-off-by: Samuel Just <sam.just@inktank.com>

OSD,PG::scrub() move pg->put() into queue process

This clarifies ownership of the pg reference.

Signed-off-by: Samuel Just <sam.just@inktank.com>

osd: add missing formatter close_section() to scrub status

Also add braces to make the open/close matchups easier to see.  Broken
by f36617392710f9b3538bfd59d45fd72265993d57.

Signed-off-by: Sage Weil <sage@inktank.com>

Merge branch 'stable'

Conflicts:
src/test/cli/radosgw-admin/help.t

librados: Bump the version to 0.48

Signed-off-by: Wido den Hollander <wido@widodh.nl>
Signed-off-by: Sage Weil <sage@inktank.com>

librados: add assert_version as an operation on an ObjectOperation

Signed-off-by: Samuel Just <sam.just@inktank.com>

ReplicatedPG: do not set reply version to last_update

The version should be oi.user_version as set above.

Signed-off-by: Samuel Just <sam.just@inktank.com>

rgw: initialize fields of RGWObjEnt

This fixes various valgrind warnings triggered by the s3test
test_object_create_unreadable.

Signed-off-by: Sage Weil <sage@inktank.com>

Merge remote-tracking branch 'gh/wip-crush'

rgw-admin: use correct modifier with strptime

Bug #2658: used %I (12h) instead of %H (24h)

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

rgw: send both swift x-storage-token and x-auth-token

older clients need x-storage-token, newer x-auth-token

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

rgw: radosgw-admin date params now also accept time

The date format now is "YYYY-MM-DD[ hh:mm:ss]". Got rid of
the --time param for the old ops log stuff.

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>
Conflicts:

src/test/cli/radosgw-admin/help.t

rgw-admin: fix usage help

s/show/trim

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

ceph-disk-prepare: Partition and format OSD data disks automatically.

Uses gdisk, as it seems to be the only tool that can automate GPT uuid
changes. Needs to run as root.

Adds Recommends: gdisk to ceph.deb.

Closes: #2547
Signed-off-by: Tommi Virtanen <tv@inktank.com>

doc: removed /srv/osd.$id.journal  from ceph.conf example.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

CrushTester.cc: remove BOOST dependencies.

remove calls to BOOST libraries for computing Chi-squared statistics and
producing discrete random variables with a given probability distribution.

Signed-off-by: caleb miles <caleb.miles@inktank.com>

doc: Updates to 5-minute quick start.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

radosgw-admin: fix clit test

Signed-off-by: Sage Weil <sage@inktank.com>

Merge branch 'wip-config'

lockdep: increase max locks

Hit this limit with the rados api tests.

Signed-off-by: Sage Weil <sage@inktank.com>

config: add unlocked version of get_my_sections; use it internally

Signed-off-by: Sage Weil <sage@inktank.com>

ceph: fix cli help test

Signed-off-by: Sage Weil <sage@inktank.com>

Merge branch 'master' of github.com:ceph/ceph

doc: Clean up of 5-minute quick start.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

ReplicatedPG: remove faulty scrub assert in sub_op_modify_applied

This assert assumed that all ops submitted before MOSDRepScrub was
submitted were processed by the time that MOSDRepScrub was
processed.  In fact, MOSDRepScrub's scrub_to may refer to a
last_update yet to be seen by the replica.

Bug #2693

Signed-off-by: Samuel Just <sam.just@inktank.com>

ReplicatedPG: remove faulty scrub assert in sub_op_modify_applied

This assert assumed that all ops submitted before MOSDRepScrub was
submitted were processed by the time that MOSDRepScrub was
processed.  In fact, MOSDRepScrub's scrub_to may refer to a
last_update yet to be seen by the replica.

Bug #2693

Signed-off-by: Samuel Just <sam.just@inktank.com>

doc: Updating Getting Started with 5-minute quick start.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

ceph: better usage

Signed-off-by: Kyle Bader <kyle.bader@dreamhost.com>

Merge branch 'master' of github.com:ceph/ceph

doc: restructuring quick start section.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

IoCtxImpl: pass objver pointer to aio_operate_read

Signed-off-by: Samuel Just <sam.just@inktank.com>

ceph-disk-prepare: Take fsid from config file.

Closes: #2546.
Signed-off-by: Tommi Virtanen <tv@inktank.com>