doc: drop mention of MDS capabilities from radosgw man page

Signed-off-by: Florian Haas <florian@hastexo.com>

Merge pull request #16 from fghaas/doc-osd

doc: document osd tell bench

doc: document osd tell bench

Signed-off-by: Florian Haas <florian@hastexo.com>

doc: minor edits.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

buffer.h: fix operator> and operator>= increment error

Signed-off-by: Samuel Just <sam.just@inktank.com>

pg: report scrub status

Signed-off-by: Mike Ryan <mike.ryan@inktank.com>

pg: track who we are waiting for maps from

Signed-off-by: Mike Ryan <mike.ryan@inktank.com>

pg: reduce scrub write lock window

Wait for all replicas to construct the base scrub map before finalizing
the scrub and locking out writes.

Signed-off-by: Mike Ryan <mike.ryan@inktank.com>

rest-bench: mark request as complete later

We marked a request as complete in the callback, however
it might be that we're still inside S3_runall_request_context()
which means that request is not really complete yet.
Possibly fixes bug #2652.

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

rgw-admin: use correct modifier with strptime

Bug #2658: used %I (12h) instead of %H (24h)

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

doc: removing old 'todo' configuration reference.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

doc: converted daemon references from nasty tables to lines.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

doc: a few minor tweaks to radosgw to cleanup navigation.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

doc: Published RADOS GW docs and install as is for now. Needs more work.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

CrushTester.cc: removed last broken bits of obsolete method

Signed-off-by: caleb miles <caleb.miles@inktank.com>

CrushTester.cc: removed obsolete method for collapsing a CRUSH map

Signed-off-by: caleb miles <caleb.miles@inktank.com>

CrushTester: eliminated compiler warning

Signed-off-by: caleb miles <caselim@gmail.com>

Merge branch 'master' of github.com:ceph/ceph

rgw: send both swift x-storage-token and x-auth-token

older clients need x-storage-token, newer x-auth-token

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

rgw: radosgw-admin date params now also accept time

The date format now is "YYYY-MM-DD[ hh:mm:ss]". Got rid of
the --time param for the old ops log stuff.

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

rgw-admin: fix usage help

s/show/trim

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

upstart: fix regex

Signed-off-by: Tommi Virtanen <tv@inktank.com>
Signed-off-by: Greg Farnum <greg@inktank.com>

Merge branch 'next'

mon: don't tick the PaxosServices if we are currently slurping.

They aren't prepared to deal with the on-disk state being inconsistent.

Signed-off-by: Greg Farnum <greg@inktank.com>

objecter: do not feed session to op_submit()

The linger_send() method was doing this, but it is problematic because the
new Op doesn't get its pgid or acting vector set correctly.  The result is
that the request goes to the right OSD, but has the wrong pgid, and makes
the OSD complain about misdirected requests and drop it on the floor.  It
didn't affect the test results because we weren't testing whether the
watch was working in that case.

Instead, we'll just recalculate and get the same value the parent linger
op did.  Which is fine, and goes through all the usual code paths so
nothing is missed.

Also, increment num_homeless_ops before we recalc_op_target(), so that we
don't (harmlessly, but confusingly) underflow.

Fixes: #2022
Signed-off-by: Sage Weil <sage@inktank.com>

ObjectStore::Transaction: initialize pool_override in all constructors

use_pool_override and pool_override weren't initialized in these two
constructors.

Signed-off-by: Samuel Just <sam.just@inktank.com>

objecter: do not feed session to op_submit()

The linger_send() method was doing this, but it is problematic because the
new Op doesn't get its pgid or acting vector set correctly.  The result is
that the request goes to the right OSD, but has the wrong pgid, and makes
the OSD complain about misdirected requests and drop it on the floor.  It
didn't affect the test results because we weren't testing whether the
watch was working in that case.

Instead, we'll just recalculate and get the same value the parent linger
op did.  Which is fine, and goes through all the usual code paths so
nothing is missed.

Also, increment num_homeless_ops before we recalc_op_target(), so that we
don't (harmlessly, but confusingly) underflow.

Fixes: #2022
Signed-off-by: Sage Weil <sage@inktank.com>

osd_types.cc: remove hobject_t decode asserts

These asserts were useful for ensuring that pool is passed
in in the correct places, but they prevent the encoder
testing from working.

Signed-off-by: Samuel Just <sam.just@inktank.com>

mon: note that monmap may be reencoded later

Signed-off-by: Sage Weil <sage@inktank.com>

mon: encoding new monmap using quorum feature set

It is probably unlikely that someone will expand the mon cluster with a
mixed feature set, but we know the quorum features here, so we should use
them.

Signed-off-by: Sage Weil <sage@inktank.com>

mon: conditionally encode mon features for remote mon

The only time we encode these is when forwarding messages.  Encoding using
the destination's feature set.

Signed-off-by: Sage Weil <sage@inktank.com>

mon: conditionally encode PGMap[::Incremental] with quorum features

This allows a mon cluster to transition to the new encoding during a
rolling upgrade.

Signed-off-by: Sage Weil <sage@inktank.com>

mon: conditionally encode auth incremental with quorum feature bits

If the quorum does not yet all have the MONENC feature, stick to the old
encoding.

It might be more polite to require a super-quorum before switching over,
and take note so that thereafter we can stick to the new encoding, but
that has more moving parts and I'm not sure it's worth the complexity.

Signed-off-by: Sage Weil <sage@inktank.com>

mon: track intersection of quorum member features

When we form a quorum, also note the intersection of the quorum members'
feature bits.  This will inform decisions about what encodings we use.

This is an imperfect strategy because the quorum may change, and we may
have a mon with old code join in and not understand what is going on.
However, it does ensure that a majority of the members run new code, so in
the absence of other failures we can make progress.

Signed-off-by: Sage Weil <sage@inktank.com>

mon: conditionally encode old monmap when peer lacks feature

This allows a rolling upgrade from 0.47.2 to 0.48.

Signed-off-by: Sage Weil <sage@inktank.com>

OSD,PG,ObjectStore: handle messages with old hobject_t encoding

Messages that embed an hobject_t need to have the pool field fixed
on messages from old peers.

Signed-off-by: Samuel Just <sam.just@inktank.com>

doc: ceph osd crush add is now ceph osd crush set

Mailing list thread: http://www.spinics.net/lists/ceph-devel/msg06199.html

Signed-off-by: Travis Rhoden <trhoden@gmail.com>

logrotate: reload all upstart instances

upstart doesn't let you wildcard all instances of a given job, so we
slog through initctl list output, and reload any running daemons.

Signed-off-by: Sage Weil <sage@inktank.com>
Reviewed-by: Tommi Virtanen <tv@inktank.com>

docs: clarify example in radosgw-admin

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

filestore: remove btrfs start/end transaction ioctl code

This was an ill-conceived approach to getting atomic transactions out of
btrfs.  It doesn't offer rollback, which means that any error means we need
to wedge the file system and reboot in order to avoid corrupting the
data set.  And that's silly!

Snapshots are more robust and only marginally slower (because we have to
quiesce our writes while waiting for the snap to start, and btrfs resume
work in-kernel slightly faster...maybe).

Fixes: #2623
Signed-off-by: Sage Weil <sage@inktank.com>

mon: make pool deletion dne error code consistently ENOENT

This matches the check in _prepare_remove_pool() now.

Signed-off-by: Sage Weil <sage@inktank.com>

docs: update usage logging info

added some text under radosgw, examples under radosgw-admin

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

Merge remote-tracking branch 'gh/stable' into next

doc: Normalized shell script syntax. Added generic cookbook path.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

doc: Changed libvirt-dev to libvirt-bin, and cleaned up ./autogen.sh

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

doc: Typo.

Signed-off-by: Tommi Virtanen <tv@inktank.com>

v0.47.3

filestore: disable 'filestore fiemap' by default

We've seen this failing on both btrfs (Guido) and XFS (Oliver).  This works
around #2535.

Signed-off-by: Sage Weil <sage@inktank.com>

OSD: clear_temp: split delete into many transactions

Signed-off-by: Samuel Just <sam.just@inktank.com>
Reviewed-by: Sage Weil <sage@inktank.com>

Merge branch 'wip-clsrbd'

Reviewed-by: Greg Farnum <greg@inktank.com>
Reviewed-by: Josh Durgin <josh.durgin@inktank.com>

doc: document usage log

Modify radosgw, radosgw-admin man page

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

cls_rbd: note overlap units

Signed-off-by: Sage Weil <sage@inktank.com>

cls_rbd: fix uninitialized var in cls_rbd_parent

Signed-off-by: Sage Weil <sage@inktank.com>

cls_rbd: clean up doxygen, whitespace a bit

Signed-off-by: Sage Weil <sage@inktank.com>

cls_rbd: include dumpers, test instances for our types

Signed-off-by: Sage Weil <sage@inktank.com>

cls_rbd: rename parent size -> overlap

The use of 'size' to describe the amount that we overlap with the parent
was confusing; overlap is more intuitive (to me, at least!).

Signed-off-by: Sage Weil <sage@inktank.com>

cls_rbd: handle parent overlap

Two things:

 * when we set a parent, the overlap is the min of our size and the
   parent's size.
 * when we resize, our overlap may shrink.

Signed-off-by: Sage Weil <sage@inktank.com>

cls_rbd: make snapshots inherit the head's parent

When you take a snapshot, the snap gets the current parent of the head, if
any.

Signed-off-by: Sage Weil <sage@inktank.com>

cls_rbd: check for LAYERING feature for parent methods

You need to set the feature on the image before you can use these methods.
We *could* allow get_parent, but that just means they'll get ENOENT instead
of ENOEXEC, and the latter is more informative.

Signed-off-by: Sage Weil <sage@inktank.com>

cls_rbd: implement get_parent, set_parent, remove_parent

Implement methods to get/set/remove the parent pointer on child images.

Signed-off-by: Sage Weil <sage@inktank.com>

cls_rbd_client: use snapid_t type

Signed-off-by: Sage Weil <sage@inktank.com>

Merge remote-tracking branch 'gh/next'

Conflicts:
src/osd/PG.cc

rgw: set s->header_ended before flushing formatter

otherwise we don't account the formatter in s->bytes_sent.

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

rgw: log user and not bucket owner for service operations

For operations that are done on the service (e.g., list buckets)
we need to log the user that did the operation, and not the bucket
owner.

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

rgw: initalize s->enable_usage_log

Missing initialization, we ended up not logging every operation.

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

osd: use derr (instead of cerr) for convertfs

This will appear in the log *and* stderr (if we're running in the
foreground).

Signed-off-by: Sage Weil <sage@inktank.com>

osd: close stderr on daemonize

This spams stderr in an ugly way.  Users should look at the logs.

In particular, filestore upgrades spam the console, which is unpleasant.

Signed-off-by: Sage Weil <sage@inktank.com>

PG: improve find_best_info

07f853db3982e68b952a337cf91cbf7ec0709de9 is actually too conservative,
it suffices to find any info with a last_update of at least the least
last_update from the last period to go active.  An info from a previous
interval is acceptable if the last interval never reported a commited
operation and thus still has the same last_update.

Signed-off-by: Samuel Just <sam.just@inktank.com>
Reviewed-by: Sage Weil <sage@inktank.com>

osdcap: make grammar build on spirit 2.2/boost 1.42

This is a stupid workaround, but it makes the compilation error go away.

Signed-off-by: Sage Weil <sage@inktank.com>

doc: Added a snapshot page with outline. Needs additional info.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

doc: Added prerequisite of running Ceph cluster.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

PG: reg_last_pg_scrub on pg resurrection

This may solve the unreg_last_pg_scrub assert.

see #2453.

Signed-off-by: Samuel Just <sam.just@inktank.com>

ceph_osd: move auto-upgrade to after fork

Signed-off-by: Samuel Just <sam.just@inktank.com>

Merge branch 'master' of github.com:ceph/ceph

librbd: simplify refresh sequence checks

- incremental seq each request
- set last to the last completed seq
- drop the now-redundant bool

Signed-off-by: Sage Weil <sage@inktank.com>
Reviewed-by: Josh Durgin <josh.durgin@inktank.com>
Reviewed-by: Greg Farnum <greg@inktank.com>

doc: first cut of OpenStack/RBD w/out cephx. Authentication coming soon.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

filestore: make disk format upgrade warning less scary, more informative

Signed-off-by: Sage Weil <sage@inktank.com>
Reviewed-by: Sam Just <sam.just@inktank.com>

mon: include quorum in ceph status

Signed-off-by: Sage Weil <sage@inktank.com>

mon: gracefully handle slow 'ceph -w' clients

If we are sending log updates to a client (ceph -w), and they are far
enough behind to drop behind first_committed, include a friendly message
in their stream but continue.

Drop useless return value from _create_sub_incremental().  Assert that we
can read the state file.

Signed-off-by: Sage Weil <sage@inktank.com>

doc: Added libvirt installation.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

PG: best_info must have a last_epoch_started as high as any other info

We disregard incomplete infos during find_best_info, but we can't an
info with a last_epoch_started less that of the incomplete info.

This should avoid cases like #2462.  In that case, it appears that
a peer with empty info/log was chosen as authoritative even though
there was a non-empty incomplete peer.

Signed-off-by: Samuel Just <sam.just@inktank.com>

doc: btrfs and parted chef recipes are not needed.

They were removed in ceph-cookbooks.git commit
a77b418b95df8f2b6f56d9a90e47dc62100cdf4d.

Signed-off-by: Tommi Virtanen <tv@inktank.com>

Merge branch 'next'

debian: fix python-ceph depends

Signed-off-by: Laszlo Boszormenyi (GCS) <gcs@debian.hu>

debian: update homepage url

Signed-off-by: Laszlo Boszormenyi (GCS) <gcs@debian.hu>

filestore: fix 'omap' collection skipping

The if/else if/... structure was skipping this test if the file system
didn't support d_type.

Fixes: #2598
Signed-off-by: Sage Weil <sage@inktank.com>

run-cli-test: use new pip incantation

http://www.pip-installer.org/en/latest/news.html#id1

Signed-off-by: Sage Weil <sage@inktank.com>

run-cli-test: use new pip incantation

http://www.pip-installer.org/en/latest/news.html#id1

Signed-off-by: Sage Weil <sage@inktank.com>

cls_rbd: do not pass snapid_t to vargs

On squeeze,

warning: cls_rbd.cc:534: cannot pass objects of non-POD type ‘struct snapid_t’ through ‘...’; call will abort at runtime

Signed-off-by: Sage Weil <sage@inktank.com>

msg: fix buffer overflow in ipv6 addr parsing

Noticed because of failing i386 unit tests for long addrs; x86_64 passed
fine.  Sigh.  FTR, the failing address was

2001:0db8:85a3:0000:0000:8a2e:0370:7334

Sadly the full length addrs don't turn it up on x86_64, still, nor does
valgrind notice.  But, this fixes it on i386.

Signed-off-by: Sage Weil <sage@inktank.com>

ceph.newdream.net -> ceph.com
wiki url -> docs url

Merge branch 'next'

Conflicts:
src/cls_rbd.cc

cls_rbd: drop useless snapshot metadata helpers

Now that cls_rbd_snap is encodable, we don't need these helpers; get_key()
will suffice.

Signed-off-by: Sage Weil <sage@inktank.com>

cls_rbd: use encode macros for on-disk snap metadata

This will let us version this encoding later when we add new information
and features, like a per-snap parent.

Signed-off-by: Sage Weil <sage@inktank.com>

Merge branch 'wip-rbd-locking'

Conflicts:
src/cls_rbd.cc

Reviewed-by: Sage Weil <sage@inktank.com>
Reviewed-by: Josh Durgin <josh.durgin@inktank.com>

PG: best_info must have a last_epoch_started as high as any other info

We disregard incomplete infos during find_best_info, but we can't an
info with a last_epoch_started less that of the incomplete info.

This should avoid cases like #2462.  In that case, it appears that
a peer with empty info/log was chosen as authoritative even though
there was a non-empty incomplete peer.

Signed-off-by: Samuel Just <sam.just@inktank.com>

librbd: remove the set-r-and-return idiom from some functions.

Josh hates this, and I have to admit it seems silly.

Signed-off-by: Greg Farnum <greg@inktank.com>

librbd: add cooperative image locking to the C and C++ interfaces

While we're at it, increment the version number.

Signed-off-by: Greg Farnum <greg@inktank.com>

librbd: include the image lockers in the ImageCtx mutable metadata

Signed-off-by: Greg Farnum <greg@inktank.com>

test: add rbd image locking tests to test_cls_rbd

Signed-off-by: Greg Farnum <greg@inktank.com>