doc: added :: to code example.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

doc: minor edits.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

doc: cookbook name change broke some things in doc. Fixed.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

rados tool: bulk objects removal

Issue #2776. Allow the removal of multiple objects in a single
rados tool command:

  # rados -p pool rm obj1 [obj2 [...]]

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>
Reviewed-by: Sage Weil <sage@inktank.com>

Merge remote-tracking branch 'gh/wip-cct'

Reviewed-by: Josh Durgin <josh.durgin@inktank.com>
Reviewed-by: Greg Farnum <greg@inktank.com>

Merge branch 'next'

Conflicts:
src/rados.cc

rados: more usage cleanup

Signed-off-by: Sage Weil <sage@inktank.com>

rados: usage message
    Bad linebreaks, wrapping, stringification, missing doc for bench args

Signed-off-by: Dan Mick <dan.mick@inktank.com>
Reviewed-by: Samuel Just <sam.just@inktank.com>

doc: changed role file names as part of update to roles.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

doc: added DHO config.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

rados tool: remove -t param option for target pool

Bug #2772. This fixes an issue that was introduced when we
added the 'rados cp' command. The -t param was already used
for rados bench. With this change the only way to specify
a target pool is using --target-pool.
Though this problem is post argonaut, the 'rados cp' command
has been backported, so we need this fix there too.

Backport: argonaut

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

rados: usage message
    Bad linebreaks, wrapping, stringification, missing doc for bench args

Signed-off-by: Dan Mick <dan.mick@inktank.com>
Reviewed-by: Samuel Just <sam.just@inktank.com>

Makefile: don't install crush headers

This is leftover from when we built a libcrush.so.  We can re-add when we
start doing that again.

Reported-by: Laszlo Boszormenyi <gcs@debian.hu>
Signed-off-by: Sage Weil <sage@inktank.com>

librados: simplify cct refcounting

get() in ctor, put() in dtor.

Signed-off-by: Sage Weil <sage@inktank.com>

lockdep: stop lockdep when its cct goes away

When a cct is destroyed, tell lockdep so that it can shut down if it needed
it.

Signed-off-by: Sage Weil <sage@inktank.com>

mon: simplify logmonitor check_subs; less noise

 * simple helper to translate name to id
 * verify sub type is valid in caller
 * assert sub type is valid in method
 * simplify iterator usage

Among other things, this gets rid of this noise in the logs:

2012-07-10 20:51:42.617152 7facb23f1700  1 mon.a@1(peon).log v310 check_sub sub monmap not log type

Signed-off-by: Sage Weil <sage@inktank.com>

Merge branch 'stable' into next

osd: guard class call decoding

Backport: argonaut
Signed-off-by: Sage Weil <sage@inktank.com>

test_stress_watch: just one librados instance

This was creating a new cluster connection/session per iteration, and
along with it a few service threads and sockets and so forth.

Unfortunately, librados leaks like a sieve, starting with CephContext
and ceph::crypto::init().  See #845 and #2067.

Signed-off-by: Sage Weil <sage@inktank.com>

ReplicatedPG: don't warn if backfill peer stats don't match

pinfo.stats might be wrong if we did log-based recovery on the
backfilled portion in addition to continuing backfill.

bug #2750

Signed-off-by: Samuel Just <sam.just@inktank.com>

librados: take lock when signaling notify cond

When we are signaling the cond to indicate that a notify is complete,
take the appropriate lock.  This removes the possibility of a race
that loses our signal.  (That would be very difficult given that there
are network round trips involved, but this makes the lock/cond usage
"correct.")

Signed-off-by: Sage Weil <sage@inktank.com>

client: fix locking for SafeCond users

Need to wait on flock, not client_lock.

Signed-off-by: Sage Weil <sage@inktank.com>

doc: No ssh -t -t, forcing a pty allocation there makes it hang.

Earlier, this was a single -t, and that is overridden by the fact that
stdin is not a tty, so that did nothing.

Signed-off-by: Tommi Virtanen <tv@inktank.com>

doc: removed the ceph directory per tommi's update to the chef-cookbooks.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

doc: Adding apt update message. VM users didn't get the package otherwise.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

Merge branch 'wip-rbd-clone-dmick' into master

Reviewed-by: Josh Durgin <josh.durgin@inktank.com>

osd: guard class call decoding

Backport: argonaut
Signed-off-by: Sage Weil <sage@inktank.com>

rbd: update manpage for clone command

Signed-off-by: Dan Mick <dan.mick@inktank.com>

rbd: update cli test reference files

Signed-off-by: Dan Mick <dan.mick@inktank.com>

librados: pool_get_name handles "not found" wrong

Signed-off-by: Dan Mick <dan.mick@inktank.com>

rbd, librbd: add tests for cloning

Signed-off-by: Dan Mick <dan.mick@inktank.com>

librbd, rbd, rbd.py: Add parent info reporting

split out new parent info into separate retrieval methods;
structure packing on rbd_image_info_t was becoming a problem.
Deprecate old parent fields in favor of new ones.

Signed-off-by: Dan Mick <dan.mick@inktank.com>

rbd, librbd, rbd.py: cloning (copy-on-write child image of snapshot)

Signed-off-by: Dan Mick <dan.mick@inktank.com>

librbd: open_image snapshot handling
Allow opening with no snap, but check for error for nonexistent snap

Backport: argonaut
Signed-off-by: Dan Mick <dan.mick@inktank.com>

librados: Add mapping from pool id to pool name and ioctx to rados client

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

librados: add new constructor to form a Rados object from IoCtx

This creates a separate reference to an existing connection, for
use when a client holding IoCtx needs to consult another (say,
for rbd cloning)

Signed-off-by: Dan Mick <dan.mick@inktank.com>
Reviewed-by: Josh Durgin <josh.durgin@inktank.com>

test_stress_watch: just one librados instance

This was creating a new cluster connection/session per iteration, and
along with it a few service threads and sockets and so forth.

Unfortunately, librados leaks like a sieve, starting with CephContext
and ceph::crypto::init().  See #845 and #2067.

Signed-off-by: Sage Weil <sage@inktank.com>

doc: added cookbook path instruction.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

doc: Added some pre-clarification for gdisk. Added DHO OSD hardware config.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

CephContext: don't leak admin socket

Signed-off-by: Sage Weil <sage@inktank.com>

CephContext: drop obsolete ceph_destroy_context

Drop this useless helper and call cct->put() directly.  The comment that
this can't be used after global_init is no longer relevant as long as
nobody puts a reference they don't own... and nobody owns
g_ceph_context.

Signed-off-by: Sage Weil <sage@inktank.com>

librados: use CephContext ref counts

Take ownership of the passed cct.  Drop it when we destroy the
RadosClient.

Signed-off-by: Sage Weil <sage@inktank.com>

CephContext: ref count

These get shared via the librados API.

Fixes: #845
Signed-off-by: Sage Weil <sage@inktank.com>

test_stress_watch: just one librados instance

This was creating a new cluster connection/session per iteration, and
along with it a few service threads and sockets and so forth.

Unfortunately, librados leaks like a sieve, starting with CephContext
and ceph::crypto::init().  See #845 and #2067.

Signed-off-by: Sage Weil <sage@inktank.com>

ReplicatedPG: don't warn if backfill peer stats don't match

pinfo.stats might be wrong if we did log-based recovery on the
backfilled portion in addition to continuing backfill.

bug #2750

Signed-off-by: Samuel Just <sam.just@inktank.com>

ReplicatedPG: fix replay op ordering

After a client reconnect, the client replays outstanding ops.  The
OSD then immediately responds with success if the op has already
committed (version < ReplicatedPG::get_first_in_progress).
Otherwise, we stick it in waiting_for_ondisk to be replied to when
eval_repop concludes that waitfor_disk is empty.

Fixes #2508

Signed-off-by: Samuel Just <sam.just@inktank.com>

librbd: return an error when removing a non-existent image

Try treating the image as new format if it's not in the old-style
directory, which is the last step in old-style removal. Then if the
image is not found in the new-style directory, -ENOENT will be
returned, preserving the semantics that existed prior to
6f096b6cdc66bb92762aa92e51e5e448039cf3e3.

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

cls_rbd: add logging for failed set_parent steps

Signed-off-by: Dan Mick <dan.mick@inktank.com>

Merge remote-tracking branch 'gh/wip-rbd-id'

doc: Removed legacy paths and keyname settings from examples.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

debian: include librados-config in librados-dev

Reported-by: Laszlo Boszormenyi <gcs@debian.hu>
Signed-off-by: Sage Weil <sage@inktank.com>

doc: remove reference to 'ceph stop' command

It doesn't exist anymore.

Signed-off-by: Sage Weil <sage@inktank.com>

Merge branch 'wip-cond'

Reviewed-by: Greg Farnum <greg@inktank.com>

lockdep: increase max locks

Hit this limit with the rados api tests.

Signed-off-by: Sage Weil <sage@inktank.com>

config: add unlocked version of get_my_sections; use it internally

Signed-off-by: Sage Weil <sage@inktank.com>

config: fix lock recursion in get_val_from_conf_file()

Introduce a private, already-locked version.

Signed-off-by: Sage Weil <sage@inktank.com>

config: fix recursive lock in parse_config_files()

The _impl() helper is only called from parse_config_files(); don't retake
the lock.

Signed-off-by: Sage Weil <sage@inktank.com>

rgw: handle response-* params

Handle response-* params that set response header field values.
Fixes #2734, #2735.
Backport: argonaut

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

rgw: initialize fields of RGWObjEnt

This fixes various valgrind warnings triggered by the s3test
test_object_create_unreadable.

Signed-off-by: Sage Weil <sage@inktank.com>

rgw: handle response-* params

Handle response-* params that set response header field values.
Fixes #2734, #2735.
Backport: argonaut

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

osd: add missing formatter close_section() to scrub status

Also add braces to make the open/close matchups easier to see.  Broken
by f36617392710f9b3538bfd59d45fd72265993d57.

Signed-off-by: Sage Weil <sage@inktank.com>

pg: report scrub status

Signed-off-by: Mike Ryan <mike.ryan@inktank.com>

pg: track who we are waiting for maps from

Signed-off-by: Mike Ryan <mike.ryan@inktank.com>

pg: reduce scrub write lock window

Wait for all replicas to construct the base scrub map before finalizing
the scrub and locking out writes.

Signed-off-by: Mike Ryan <mike.ryan@inktank.com>

doc: added some discussion to libvirt.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

cond: cleanup

Signed-off-by: Sage Weil <sage@inktank.com>

cond: drop unused Wait variant

This was used for debugging forever ago.

Signed-off-by: Sage Weil <sage@inktank.com>

librados: drop unused local variables

This is unused boilerplate cruft.

Signed-off-by: Sage Weil <sage@inktank.com>

librados: take lock when signaling notify cond

When we are signaling the cond to indicate that a notify is complete,
take the appropriate lock.  This removes the possibility of a race
that loses our signal.  (That would be very difficult given that there
are network round trips involved, but this makes the lock/cond usage
"correct.")

Signed-off-by: Sage Weil <sage@inktank.com>

workqueue: kick -> wake or _wake, depending on locking

Break kick() into wake() and _wake() methods, depending on whether the
lock is already held.  (The rename ensures that we audit/fix all
callers.)

Signed-off-by: Sage Weil <sage@inktank.com>

cond: assert that we are holding the same mutex as the waiter

Try to verify that we are holding the same mutex that the waiter is
waiting on.  Specifically:

 * only wait on a single mutex for this cond
 * remember which mutex that is
 * if we signal and someone has waited, try to make sure we are holding
   the mutex as well.  (Mutex::is_locked() is unsufficient here; it doesn't
   ensure that *our* thread tool the mutex.  it is necessary, though!)

Introduce a sloppy_signal() method that can be used if we actually mean
to signal the cond without holding the proper lock (and, presumably,
don't care about losing a signal).

Signed-off-by: Sage Weil <sage@inktank.com>

client: fix locking for SafeCond users

Need to wait on flock, not client_lock.

Signed-off-by: Sage Weil <sage@inktank.com>

Merge branch 'master' of github.com:ceph/ceph

doc: Minor cleanup on deploy with Chef.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

rgw: don't store bucket info indexed by bucket_id

Issue #2701. This info wasn't really used anywhere and we weren't
removing it. It was also sharing the same pool namespace as the
info indexed by bucket name, which is bad.

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

rgw: don't store bucket info indexed by bucket_id

Issue #2701. This info wasn't really used anywhere and we weren't
removing it. It was also sharing the same pool namespace as the
info indexed by bucket name, which is bad.

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

Merge branch 'stable' into next

test_rados_tool.sh: test copy pool

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

rados tool: copy object in chunks

Instead of reading the entire object and then writing it,
we read it in chunks.

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

rados tool: copy entire pool

A new rados tool command that copies an entire pool
into another existing pool.

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

rados tool: copy object

New rados command: rados cp <src-obj> [dest-obj]

Requires specifying source pool. Target pool and locator can be specified.
The new command preserves object xattrs and omap data.

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

Merge remote-tracking branch 'origin/stable' into next

ceph.spec.in: add ceph-disk-{activate,prepare}

Reported-by: Jimmy Tang <jtang@tchpc.tcd.ie>
Signed-off-by: Sage Weil <sage@inktank.com>

osd: make on_removal() pure virtual

Signed-off-by: Sage Weil <sage@inktank.com>

osd: fix PG dtor compile error

We need at least none non-pure virtual method to tell gcc where the
vtable goes.  The destructor wins!

libosd.a(libosd_a-ReplicatedPG.o): In function `~PG':
/home/sage/src/ceph/src/osd/PG.h:1367: undefined reference to `vtable for PG'
libosd.a(libosd_a-ReplicatedPG.o):(.rodata._ZTI12ReplicatedPG[typeinfo for ReplicatedPG]+0x10): undefined reference to `typeinfo for PG'
libosd.a(libosd_a-PG.o): In function `PG':
/home/sage/src/ceph/src/osd/PG.cc:85: undefined reference to `vtable for PG'
...

Signed-off-by: Sage Weil <sage@inktank.com>

Merge remote-tracking branch 'gh/wip_osd_threading'

PG,ReplicatedPG: on_removal must handle repop and watcher state

on_removal is now in ReplicatedPG in order to handle watcher state
and repop state.  Addionally, workqueue dequeues are handled already
in OSD::_remove_pg.

Signed-off-by: Samuel Just <sam.just@inktank.com>

OSDMonitor: disable cluster snapshot

The map handling changes broke cluster snapshot support.

Signed-off-by: Samuel Just <sam.just@inktank.com>

OSD: ensure that OpSequencer lives through on_commit callback

Signed-off-by: Samuel Just <sam.just@inktank.com>

ReplicatedPG.cc: C_OSD_CommittedPushedObject move pg->put() to finish

This should clarify the ownership of the pg ref.

Signed-off-by: Samuel Just <sam.just@inktank.com>

OSD::PeeringWQ::_dequeue(PG*) drop pg refs

Signed-off-by: Samuel Just <sam.just@inktank.com>

OSD,PG:;replica_scrub: move msg->put() into queue process

This clarifies the ownership of the reference.

Signed-off-by: Samuel Just <sam.just@inktank.com>

OSD,ReplicatedPG::snap_trimmer: pg->put() in process, not snap_trimmer()

This clarifies responsibility for the reference.

Signed-off-by: Samuel Just <sam.just@inktank.com>

OSD: drop pg refcounts in OpWQ::_dequeue(PG*)

Signed-off-by: Samuel Just <sam.just@inktank.com>

OSD: clean up revcovery_wq queueing and ref counting

Previously, we tended to explicitely remove the pg from the queue uisng
remove_myself on the xlist::item.  This causes us to drop a reference
count.  Manipulating the revovery_wq is now accomplished through the
recovery_wq interface, which also handles pg ref counting.

Signed-off-by: Samuel Just <sam.just@inktank.com>

doc: minor typo

Signed-off-by: Ross Turk <ross@inktank.com>

doc: update copyright notice in footer

Signed-off-by: Ross Turk <ross@inktank.com>

doc: minor updates to the restrucuredText file.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

doc: minor cleanup.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

doc: Publishing as described. Still requires some verification and QA.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>