doc: Removed legacy doc. Not needed.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

doc: Added enabling Swift access to rgw config.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

doc; Added troubleshooting to index.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

doc: Copied contents of rgw troubleshooting over to the new ops section.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

doc: Reverted so that we don't force yes or non-interactive.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

doc: Removed legacy usage.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

doc: Cleanup, spell check, grammar check mostly.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

doc: Updating the index to remove legacy and uneeded entries.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

rbd/copy.sh: fix typo

Or maybe it was a spello, or a thinko, or something.  In any case
I'm pretty sure Josh intended to call the function he added in
commit 78d6a60ca, and not the non-existent "test_import_args".

Signed-off-by: Alex Elder <elder@inktank.com>

Merge remote-tracking branch 'gh/next'

Merge remote branch 'origin/wip-librbd-locking'

Conflicts:
qa/workunits/rbd/copy.sh

Reviewed-by: Sage Weil <sage.weil@inktank.com>

librbd: bump version

This marks the availability of the cloning and locking functions.

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

cls_rbd: remove locking methods

These are unnecessary now that librbd is using the generic cls_lock.

Fixes: #2951
Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

rbd: add locking commands

The locker (entity_name_t) will be different each time the rbd
command line tool is run, so 'lock remove' is always breaking a lock.

Fixes: #2556
Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

qa: update rbd tests and runner

* no longer need to wait for watch timeout since #2948 was fixed
* use --format 2 instead of --new-format
* add test_cls_rbd to run-rbd-tests script

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

librbd: use generic cls_lock instead of cls_rbd's locking

Update the librbd locking api to make more sense:
 * Add an optional tag to shared locking
 * only make shared vs exclusive different functions in the user-visible api
 * return a list of structs instead of a set of pairs
 * fix incorrect range checking in the C api
 * rename locks to lockers to be consistent with the generic locking class
 * rename other_locker parameter to client, to match the list_lockers usage

Fixes: #2952
Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

cls_lock_client: add ObjectOperation-based get_lock_info

This will be used by librbd to grab lock info along with
the rest of its header information in a single request.

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

cls_lock_types: add missing include

msg_types defines entity-related types used here.

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

cls_lock_client: return error when decoding fails

Library code shouldn't be using cerr either.

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

cls_lock_client: fix indentation

Add indentation settings to header, and reindent.

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

cls_lock_client: change modified reference parameters to pointers

This makes it clear which parameters are modified,
as our style guide states.

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

cls_lock_client: clean up reference parameters

These should all be const. The remaining reference parameters
will be converted to pointers in another commit.

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

cls_lock: fix some spacing

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

cls_lock: specify librados namespace explicitly

librados namespace was not specified, hence required including
source files to add using namespace. This fixes it.

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

radosgw-admin: fix cli test

Signed-off-by: Sage Weil <sage@inktank.com>

rbd: only open the destination pool for import

Otherwise importing into another pool when the default pool, rbd,
doesn't exist results in an error trying to open the rbd pool.

Reported-by: Sébastien Han <han.sebastien@gmail.com>
Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

qa: test args for rbd import

Make sure that --pool/--dest-pool and --image/--dest all work
interchangeably.

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

rbd: make --pool/--image args easier to understand for import

There's no need to set the default pool in set_pool_image_name - this
is done later, in a way that doesn't ignore --pool if --dest-pool
is not specified.

This means --pool and --image can be used with import, just like
the rest of the commands. Without this change, --dest and --dest-pool
had to be used, and --pool would be silently ignored for rbd import.

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

librbd, cls_rbd: close snapshot creation race with old format

If two clients created a snapshot at the same time, the one with the
higher snapshot id might be created first, so the lower snapshot id
would be added to the snapshot context and the snaphot seq would be
set to the lower one.

Instead of allowing this to happen, return -ESTALE if the snapshot id
is lower than the currently stored snapshot sequence number. On the
client side, get a new id and retry if this error is encountered.

Backport: argonaut
Signed-off-by: Josh Durgin <josh.durgin@inktank.com>
Reviewed-by: Sage Weil <sage@inktank.com>

librbd: fix delete[]

CID 716902: Non-array delete for scalars (DELETE_ARRAY)
At (15): Deleting array variable "buf" with non-array delete in "delete buf".

Signed-off-by: Sage Weil <sage@inktank.com>

doc: clarify rbd man page (esp. layering)

* a clone's size can't be overridden
* note which commands require format 2
* clarify details of copy
* add examples for cloning
* add pool to map example for consistency
* fix a couple warnings and re-sync man page with rst

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

rbd: add --format option

This chooses whether to use the original (supported by krbd)
or the new (supports layering) format.

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

librbd: prevent racing clone and snap unprotect

If the following sequence of events occured,
a clone could be created of an unprotected snapshot:

1. A: begin clone - check that snap foo is protected
2. B: rbd unprotect snap foo
3. B: check that all pools have no clones of foo
4. B: unprotect snap foo
5. A: finish creating clone of foo, add it as a child

To stop this from happening, check at the beginning and end of
cloning that the parent snapshot is protected. If it is not,
or checking protection status fails (possibly because the parent
snapshot was removed), remove the clone and return an error.

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

rbd: add "children" command, update cli test files

Fixes: #2720
Signed-off-by: Dan Mick <dan.mick@inktank.com>
Reviewed-by: Josh Durgin <josh.durgin@inktank.com>

librbd: add {rbd_}list_children() methods

These iterate over all pools and check for children of a
particular snapshot.

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>
Reviewed-by: Dan Mick <dan.mick@inktank.com>

Merge branch 'master' of https://github.com/ceph/ceph

:doc: Changed rados.gateway to radosgw.gateway. Start with /etc/init.d.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

workqueue: allow thread pool size to be adjusted dynamically

Allow thread pool sizes to be adjusted on the fly by telling the
ThreadPool which config option to monitor.  Add some basic unit tests
for resizing.

Signed-off-by: Sage Weil <sage@inktank.com>
Reviewed-by: Samuel Just <sam.just@inktank.com>

:doc: Trimmed up the stack diagram and fixed a few hyperlink refs.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

:doc: Modified hostname to hostname -s.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

:doc: Modified hostname to hostname -s.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

:doc: Modified hostname to hostname -s.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

Merge branch 'wip-3127'

Conflicts:
src/rgw/rgw_rados.cc

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

rgw: fix unused warning message

Remove unused variable.

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

rgw: fix uninitialized var in error message

Used the wrong variable in error message.

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

rgw, cls_rgw: a tool to rebuild bucket stats

radosgw-admin bucket check [--fix] --bucket=<bucket>

The command will dump the existing bucket header stats,
and the calculated bucket header stats. If --fix is provided
the bucket stats will be overwritten by the recalculated
stats.

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

:doc: Changed title to RBD from RADOS. Clearer.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

:doc: Made notice to stop i/o a warning. Initial format clean up.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

:doc: Added discussion and stack diagram. Initial format cleanup.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

:doc: Remove legacy usage. Initial format cleanup.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

rgw: obj_stat() returns object version (epoch), use it

We now pass the object version returned by obj_stat. We use that
epoch for setting the object version through the index suggestion
mechanism. This was broken by a recent change that switched from
reading the obj stats by (wrongly) calling directly to ioctx->stat()
to calling get_obj_state().

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

cls_rgw: complete_op() only skip update if epoch is non zero

An update shouldn't be skipped if epoch is zero. We'd see a zero
epoch if we tried to read an object and it didn't exist. That
could happen e.g., when a delete object operation failed to
call the complete earlier, and now we're recalling delete on
the (now non-existent object).
However, note that the zero epoch is racy. We may end up racing
with an object creation. This will be taken care of by a new
rados change that will set the returned object version even if
it didn't exist.

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

cls_rgw: update index stats based on correct category

only refer to the on-disk category if the object existed.

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

rgw: fix suggested object size

We can't just stat the head object, we need to go through
get_obj_state() to get obj attributes.

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

rgw: set exists flag when suggesting existing bucket entry

We weren't setting the 'exists' flag on the bucket entry,
so we ended up not updating the index correctly.

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

cls_rgw: change scoping of suggested changes vars

Fixes: #3127
Bad variable scoping made it so that specific variables
weren't initialized between suggested changes iterations.
This specifically affected a case where in a specific
change we had an updated followed by a remove, and the
remove was on a non-existent key (e.g., was already
removed earlier). We ended up re-substracting the
object stats, as the entry wasn't reset between
the iterations (and we didn't read it because the
key didn't exist).

backport:argonaut
Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

test/rgw: add a test for index suggest

test the bucket index suggest api

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

Merge branch 'master' of https://github.com/ceph/ceph

cls_rgw: configurable tag timeout

we'll be using that for bucket index unitest

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

test/rgw: add bucket index unitest

Tests objects creation, removal, prepare, complete

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

cpeh.spec.in:  Don't package boto_tool.

cls_rgw: client api for bucket index init

create a client api function for bucket index init.

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

cls_rgw: add client api calls for index suggest

This is needed for unitest creation.

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

doc/config-cluster/*: update recently added/changed config options

Signed-off-by: Sage Weil <sage@inktank.com>

:doc: Title change for clarity. Initial formatting cleanup.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

Merge branch 'master' of https://github.com/ceph/ceph

:doc: Removed old rec section.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

docs: add radosgw internals and usage testing section

Document the current tests that are being done on the
radosgw usage feature.

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

:doc: Notes to add data directory. Notes to address key with escape char.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

:doc: Added note to clarify use of host=shortname.

Fixes: #3155
Signed-off-by: John Wilkins <john.wilkins@inktank.com>

:doc: Rewrote architecture paper. Still needs some work.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

:doc: Removing old control.rst. New one is in ceph/docs/cluster-ops.rst

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

:doc: Removing old init section.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

rbd: only open the destination pool for import

Otherwise importing into another pool when the default pool, rbd,
doesn't exist results in an error trying to open the rbd pool.

Reported-by: Sébastien Han <han.sebastien@gmail.com>
Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

ceph.spec.in:  Add new rados libraries, libcls_kvs.so and libcls_refcount.so.

osd: default journal size to 1 GB

The default is used to create or extend the journal when it is a file.

Signed-off-by: Sage Weil <sage@inktank.com>

filejournal: do not enforce that bdev size >= osd journal size

If the configure osd journal size is > the block device size, warn, but
do not generate an error and abort startup.  This makes it safe to have
a default 'osd journal size' value of, say, 1 GB without fear of breaking
existing clusters with smaller jouranl block devices.

Signed-off-by: Sage Weil <sage@inktank.com>
Reviewed-by: Tommi Virtanen <tv@inktank.com>

remove obsync

This now lives at http://github.com/ceph/obsync

Signed-off-by: Sage Weil <sage@inktank.com>

:doc: Changed from bullet list to section titles.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

:doc: Usage consistent with Tyler's notes.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

:doc: Corrected a path.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

:doc: Addresses DOCUMENTATION #3155

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

Merge branch 'wip-rbd-import'

rgw: update cache interface

RGWRados::delete_obj() was updated in commit
93218aeab7615ced131f0f1af49f6cda41b4a661, but we
failed to update the corresponding RGWCache api.
This commit fixes it.

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

Merge branch 'wip-2923'

Conflicts:
src/rgw/rgw_admin.cc
src/rgw/rgw_log.cc
src/rgw/rgw_log.h
src/rgw/rgw_main.cc
src/rgw/rgw_op.cc
src/rgw/rgw_rados.cc
src/rgw/rgw_rados.h

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

rgw-admin: add cluster info command

A new radosgw-admin command to dump cluster info

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

rgw: simplify create_pool

create_pool should only create pool. A pool is not a bucket,
so we don't need to attach any attrs to it. Also, no reason
to make it exclusive.

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

rgw: store cluster params in a special object

We now have a cluster root pool that should hold the
cluster params. The cluster params are now read from
this object on startup, if object does not exist we
set its defaults and write it.

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

Merge branch 'wip-rgw-refcount'

rgw: document how refcount objclass works

Added some explanations in the client header.

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

cls_refcount: add a unitest

test cls_refcount functionality.

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

rgw_rados: adjustments for refcount objclass

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

rgw: set atomic context for copy operation src and dest

This is required so that we handle both src and dest atomically. We
also set the prefetch flag on the src object, so that we read the
first chunk along with its attrs.

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

rgw: copy of objects using refcount

For objects with manifest that have a tail, we
copy only the head, and the manifest, and increasing
the reference count on the tail objects.

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

rgw: use refcount put instead of obj delete where needed

Tie in new refcount objclass methods.

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

qa: test args for rbd import

Make sure that --pool/--dest-pool and --image/--dest all work
interchangeably.

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

rbd: make --pool/--image args easier to understand for import

There's no need to set the default pool in set_pool_image_name - this
is done later, in a way that doesn't ignore --pool if --dest-pool
is not specified.

This means --pool and --image can be used with import, just like
the rest of the commands. Without this change, --dest and --dest-pool
had to be used, and --pool would be silently ignored for rbd import.

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

doc: fix indentation

Before this the list of steps was split into two lists
after the conf example.

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

Adding RBD CLI test automation script, RbdLib and cephscrub.sh

Signed-off-by: tamil <tamil.muthamizhan@inktank.com>

test/rados-api/aio.cc: use read operation for omap cmp test

The error code field is not filled in on writes.

Signed-off-by: Samuel Just <sam.just@inktank.com>
Reviewed-by: Sage Weil <sage@inktank.com>