pdatedoc: Added index link to new install doc. Requires merge of wip-doc-install to work.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

doc: Deleted old manual install doc.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

doc: Implemented changes suggested from feedback.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

doc: Updated rewrite rule.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

doc: Incorporated feedback.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

doc: Created new zone sync image.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

doc: Modified image.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

doc: Fixes to normalize header hierarchy. Tweaked IA slightly.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

doc: Updated with a verified installation procedure and latest usage.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

doc: Updated to ensure that socket name isn't static.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

doc: Added clarifying comments.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

doc: Updated diagram for added clarity.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

doc: Incorporated some feedback.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

doc: Fixed a few typos.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

doc: Minor caps change.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

doc: Updated text for more specific region/zone example.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

doc: Updated diagram.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

doc: Adding context to the federated configuration guide.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

doc: Made some changes and incorporated a draft diagram.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

doc: Added draft of region/zone diagram.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

doc: Added conf example.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

doc: Added entry for federated configuration to the index.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

doc: Added draft of configuration guide for federated gateways.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

Merge pull request #555 from dachary/master

minor documentation fixes

librados: make note of which calls steal the bufferlist contents

This is an unfortunate feature of the API, but it can't be changed without
potentially breaking users.

Fixes: #5989
Signed-off-by: Sage Weil <sage@inktank.com>

common: unit test for crc32c

Signed-off-by: Sage Weil <sage@inktank.com>
Reviewed-by: Dan Mick <dan.mick@inktank.com>

common/crc32c_intel_fast: fix compile-time #ifdef

This wasn't getting built in!

Signed-off-by: Sage Weil <sage@inktank.com>
Reviewed-by: Dan Mick <dan.mick@inktank.com>

arch: add NEON cpu feature detection

Signed-off-by: Sage Weil <sage@inktank.com>
Reviewed-by: Dan Mick <dan.mick@inktank.com>

doc: Updated usage for --infile syntax. Added zone name for zone syntax.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

mon/OSDMonitor: fix POOL_OP_DELETE_SNAP early return

Cut&paste goof in 0e85074402cd02b292daadcb5b8e73ac1207d571.

Signed-off-by: Sage Weil <sage@inktank.com>

doc: Organized into sections. Added zone/region and pool details.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

doc/release-notes: v0.68

Signed-off-by: Sage Weil <sage@inktank.com>

Merge remote-tracking branch 'gh/wip-6047'

Reviewed-by: Sage Weil <sage@inktank.com>

osd/ReplicatedPG: set reply versions for pg ops (PGLS)

Returning the current version for the pgid and last_user_version makes
some sense here.

Signed-off-by: Sage Weil <sage@inktank.com>
Reviewed-by: Greg Farnum <greg@inktank.com>

osd/ReplicatedPG: set reply versions on dup op ACK

All other MOSDOpReply creators do this, with the exception of the pg
op.

Fixes: #6222
Signed-off-by: Sage Weil <sage@inktank.com>
Reviewed-by: Greg Farnum <greg@inktank.com>

doc: remove 'Unexpected indentation' from versions doc.

Signed-off-by: Greg Farnum <greg@inktank.com>

Merge pull request #564 from ljagiello/swift_doc_fix

Correct syntax for generate swift key

Signed-off-by: Lukasz Jagiello <jagiello.lukasz@gmail.com>

Correct syntax for generate swift key

mon: fix typo and remove redundant sentence

Signed-off-by: Loic Dachary <loic@dachary.org>

mon: fix typo in comment

Signed-off-by: Loic Dachary <loic@dachary.org>

doc: erasure code ghobject is made of gen_t + shard_t

Signed-off-by: Loic Dachary <loic@dachary.org>

Merge branch 'next'

v0.68

Merge branch 'wip-copyfrom'

Reviewed-by: Samuel Just <sam.just@inktank.com>

doc: Fix repo URL for Ceph cloning (dev/generatedocs)

Signed-off-by: Dan Mick <dan.mick@inktank.com>

ceph_test_rados: test COPY_FROM

Signed-off-by: Sage Weil <sage@inktank.com>

osd: initial COPY_FROM (not viable for large objects)

Initial pass at COPY_FROM implementation.  This uses COPY_GET to read an
object from another OSD and write it locally.  It chunks the read but
accumulates it all in-memory and commits it at once, so it is only suitable
for smaller objects.

Signed-off-by: Sage Weil <sage@inktank.com>

objecter, librados: add COPY_FROM operation

This operation will copy an entire object (data, attrs, omap)
atomically.  If the src_version does not match the source object, or
the source object is updated while the copy is in progress, we will
fail with a suitable error code.  By atomic we mean that it will either
successfully copy the entire object in its entirety or it will fail (and
require no cleanup).

Add to C++ librados API only for now.

Signed-off-by: Sage Weil <sage@inktank.com>
Conflicts:

src/include/ceph_strings.cc
src/include/rados.h
src/osd/osd_types.cc

doc: Updated manual install to include sync agent, ARM packages, and DNS configuration.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

ceph_test_rados: add missing kick for rollback

This was broken by the refactor in 96aaa5e3a371ade8b91ad9ab991d996eaef2cea5
and can make us hang.

Signed-off-by: Sage Weil <sage@inktank.com>
Reviewed-by: Samuel Just <sam.just@inktank.com>

rgw: change watch init ordering, don't distribute if can't

Backport: dumpling

Moving back the watch initialization after the zone init,
as the zone info holds the control pool name. Since zone
init might need to create a new system object (that needs
to distribute cache), don't try to distribute cache if
watch is not yet initialized.

Reviewed-by: Sage Weil <sage@inktank.com>
Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

osd: provide better version bounds for cls_current_version and ENOENT replies

Following the changes to when we set or increase the user_version, we
want to continue to return the best lower bound we can on the version
of any newly-created object. For ENOENT replies that means returning
info.last_user_version instead of the (potentially-zero) ctx->user_at_version.

Similarly, for cls_current_version we want to return the last version on
the PG rather than the last update to the object in order to provide
sensible version ordering across object deletes and creates.

Update the versions doc so it continues to be precise.

Signed-off-by: Greg Farnum <greg@inktank.com>
Reviewed-by: Sage Weil <sage@inktank.com>

Merge remote-tracking branch 'gh/wip-6179'

Reviewed-by: Greg Farnum <greg@inktank.com>

Merge pull request #562 from kri5/wip-4365

rgw: Allow wildcard in supported keystone roles.

Reviewed-by: Yehuda Sadeh <yehuda@inktank.com>

rgw: Allow wildcard in supported keystone roles.

http://tracker.ceph.com/issues/4365 fixes #4365

Signed-off-by: Christophe Courtaut <christophe.courtaut@gmail.com>

osd/ReplicatedPG: set user_version in waiting_for_commit replies

Signed-off-by: Sage Weil <sage@inktank.com>

osd/ReplicatedPG: do not set ctx->user_at_version unless ctx->user_modify

Leave ctx->user_at_version set to the previous oi.user_version unless/until
we find that ctx->user_modify is true.

Signed-off-by: Sage Weil <sage@inktank.com>

osd/ReplicatedPG: do not log a user_version on the snapdir object

Signed-off-by: Sage Weil <sage@inktank.com>

osd/ReplicatedPG: log previous user_version on clone

Nothing relies on this, but it makes sense to me.

Signed-off-by: Sage Weil <sage@inktank.com>

osd/ReplicatedPG: do not log user_version on deletion events

Or snap trim events where we are adjusting the head's snapdir attr.

Signed-off-by: Sage Weil <sage@inktank.com>

osd/PG: only raise PG's last_user_version if entry is >

We may have pg entries that do not increase the user_version at all (i.e.,
they may be 0).  Do not update the last_user_version in that case as we
need it to remain an upper bound.

Signed-off-by: Sage Weil <sage@inktank.com>

osd: debug user_versions a bit

Signed-off-by: Sage Weil <sage@inktank.com>

osdc/Objecter: fix dereference of NULL pg_pool_t

Make sure we don't dereference a NULL pointer.  Note that we check a
bit further down if the target pool does not exist and return the proper
error.

Bug was reliably reproduced by

 ./ceph_test_rados_api_watch_notify --gtest_filter=LibRadosWatchNotify.WatchNotifyTimeoutTestPP

Signed-off-by: Sage Weil <sage@inktank.com>

Validate S3 tokens against Keystone

- Added config option to allow S3 to use Keystone auth
- Implemented JSONDecoder for KeystoneToken
- RGW_Auth_S3::authorize now uses rgw_store_user_info on keystone auth
- Minor fix in get_canon_resource; dout is now after the assignment

Reviewed-by: Yehuda Sadeh<yehuda@inktank.com>
Signed-off-by: Roald J. van Loon <roaldvanloon@gmail.com>

Merge pull request #561 from ceph/wip-6178

os: LevelDBStore: ignore ENOENT files when estimating store size

Reviewed-by: Sage Weil <sage@inktank.com>

Merge branch 'next'

mon: fix uninitialized Op field

- Uninitialized field in MonitorLevelDB::Op causes random build errors.

Signed-off-by: Roald J. van Loon <roaldvanloon@gmail.com>

automake cleanup: uninitialized version_t

This sometimes gives a completely random uint64_t value, because it is
potentially used uninitialized.

Signed-off-by: Roald J. van Loon <roaldvanloon@gmail.com>

Merge pull request #541 from ceph/wip-6036

osd objecter; copy-get

Reviewed-by: Greg Farnum <greg@inktank.com>
Reviewed-by: Samuel Just <sam.just@inktank.com>

osd/ReplicatedPG: do not requeue if not primary

This saves us a bit of work, since we will discard the op anyway if
we aren't primary (or even if we become primary again before we get to
it).

Signed-off-by: Sage Weil <sage@inktank.com>

osd: COPY_GET operation

Add new rados operation to copy all user-visible content for an object
in a simple, safe way.  Use a new object_copy_cursor_t to keep track of
our position.

Signed-off-by: Sage Weil <sage@inktank.com>

osd/ReplicatedPG: factor {execute,reply}_ctx() out of do_op()

Separate the processing of an OpContext from the preamble and
allocation, so that we can delay the execution for some ops (like the
COPYFROM operation we're about to add).

Signed-off-by: Sage Weil <sage@inktank.com>

osd: feed OSDMaps to the Objecter

Feed every map message we see (that isn't discarded for some other
reason) to the Objecter.  It has the same continuity requirements that
the OSD has, so it should be satisfied with what we get.  It can also
request maps via our MonClient.

Signed-off-by: Sage Weil <sage@inktank.com>

osd: add an Objecter instance

It gets its own lock, timer, and osdmap.

Signed-off-by: Sage Weil <sage@inktank.com>

osd: discriminate based on connection messenger, not peer type

Replace ->get_source().is_osd() checks and instead see if it is the
cluster_messenger so that we do not confuse ourselves when we get
legit requests from other OSDs on our public interface.

Signed-off-by: Sage Weil <sage@inktank.com>

ceph-osd: rename msgr vars

Signed-off-by: Sage Weil <sage@inktank.com>

osd: add a separate messenger for the Objecter

We will give the OSD's Objecter its own messenger so that it does not
interfere with the OSD when it marks things up or down.

Signed-off-by: Sage Weil <sage@inktank.com>

osd/ReplicatedPG: add whitespace

Signed-off-by: Sage Weil <sage@inktank.com>

osd: less whitespace

Signed-off-by: Sage Weil <sage@inktank.com>

osdc/Objecter: allow ops to be canceled

This is useful in general, and specifically will be useful for the
rados COPY operation.

Signed-off-by: Sage Weil <sage@inktank.com>

osdc/Objecter: only request map on startup if epoch == 0

Normal clients have no map and need one to get started.  If we are the
OSD, we will already have one and will get fed maps as they come in.

Signed-off-by: Sage Weil <sage@inktank.com>

osd, objecter: clean up assert_ver()

Create a separate union in the args and clean up the code a bit so that
this doesn't reuse the (unrelated) watch helpers.  No change in
protocol.

Signed-off-by: Sage Weil <sage@inktank.com>

osd/ReplicatedPG: drop src_obc.clear() calls

These are all about to go out of scope; no need to clear them
explicitly.

Signed-off-by: Sage Weil <sage@inktank.com>

os/ObjectStore: add bufferlist variant of setattrs

And hopefully we can kill the bufferptr ones someday!

Signed-off-by: Sage Weil <sage@inktank.com>

unittest_lfnindex testing older HASH_INDEX_TAG

Switch to work with new HOBJECT_WITH_POOL

fixes: #6196

Signed-off-by: David Zafman <david.zafman@inktank.com>
Reviewed-by: Samuel Just <sam.just@inktank.com>

doc/rados/operations/pools: remove experimental note about pg splitting

Signed-off-by: Sage Weil <sage@inktank.com>

Merge pull request #560 from ceph/wip-6032-cache-objecter

Wip 6032 cache objecter

Reviewed-by: Sage Weil <sage@inktank.com>

Merge pull request #554 from ceph/wip-tier-interface

Specify a user and pg_pool_t interface for tiering/caching specifications

Reviewed-by: Samuel Just <sam.just@inktank.com>
Reviewed-by: Joao Eduardo Luis <joao.luis@inktank.com>

workunits: add a test for caching redirects

This may need to change since it exploits some of the loose
consistency we currently have with caching pools, but for now
it checks that the Objecter does what we want.

Signed-off-by: Greg Farnum <greg@inktank.com>

mon/OSDMonitor: 'osd tier {set,remove}-overlay <pool> [tierpool]'

Also prevent 'osd tier remove ...' if the tierpool is the current overlay.

Signed-off-by: Sage Weil <sage@inktank.com>

osd_types: note that write_tier wins if read_tier is different

For pg_pool_t.

Signed-off-by: Greg Farnum <greg@inktank.com>

qa/workunits/cephtool/test.sh: test osd tier CLI

Signed-off-by: Sage Weil <sage@inktank.com>

Objecter: respect read_tier & write_tier for initial op submission

We overwrite target_oloc.pool with the appropriate [read|write]_tier.
write_tier wins if it matches both.
We don't handle any sort of redirect yet.

Signed-off-by: Greg Farnum <greg@inktank.com>

mon/OSDMonitor: 'osd tier cache-mode <pool> <mode>'

Signed-off-by: Sage Weil <sage@inktank.com>
Signed-off-by: Greg Farnum <greg@inktank.com>

Objecter: be careful about precalculated pgids

The only current user of the precalc_pgid field is list_objects. That's
fine, but we don't want new users to inadvertently appear and somehow
break the caching/tiering stuff by forcing us to go to the base pool
when we should be talking to somebody else. Add an assert to catch
these cases.

Signed-off-by: Greg Farnum <greg@inktank.com>

Objecter: add an Op::target_oloc and use it instead of base_oloc in send_op()

For now we simply set target_oloc = base_oloc in recalc_op_target(), but
we will shortly be doing more interesting things with it there.

Signed-off-by: Greg Farnum <greg@inktank.com>

Objecter: rename Op::oloc -> Op::base_oloc

We want to be able to target other pools for caching and tiering, so
we need to take an oloc from the client and translate it into an
actual target. Rename oloc to base_oloc to make clear which one it is.

Signed-off-by: Greg Farnum <greg@inktank.com>

Merge pull request #530 from ceph/wip-monc-leak

mon/MonClient: release pending outgoing messages on shutdown

Reviewed-by: Joao Eduardo Luis <joao.luis@inktank.com>

os: LevelDBStore: ignore ENOENT files when estimating store size

While iterating over the store files we race against leveldb, which may
be shuffling data around thus removing some files.

By ignoring missing files on stat, we'll get to not account those files
but that's okay -- this is just an estimate.

Fixes: #6178
Signed-off-by: Joao Eduardo Luis <jecluis@gmail.com>

ceph-post-file: use mktemp instead of tempfile

tempfile is a debian thing, apparently; mktemp is present everywhere.

Signed-off-by: Sage Weil <sage@inktank.com>