lockdep: enable in common_init

Signed-off-by: Sage Weil <sage@inktank.com>

doc: fixed --cap error and a few additional bits of cleanup.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

doc: Added sudo and cleaner instruction for unmap.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

doc: updated usage on RBD kernel object commands.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

Merge pull request #15 from fghaas/wip-rgw-doc

radosgw documentation improvements

Merge pull request #17 from fghaas/rgw-manpage

doc: drop mention of MDS capabilities from radosgw man page

doc: drop mention of MDS capabilities from radosgw man page

Signed-off-by: Florian Haas <florian@hastexo.com>

doc: add design doc for rbd layering

I'm still not sure about the names for the command line
operations, but they can be changed later if better ones
come up.

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

filestore: set min flush size

If a write is smaller than some threshold, do not bother to flush it; let
the fs do that (efficiently, we hope) at commit time.  Focus on the big
writes.

Signed-off-by: Sage Weil <sage@newdream.net>

PG: reset_recovery_pointers in activate if missing is empty

Signed-off-by: Samuel Just <sam.just@inktank.com>

vstart.sh: don't clobber keyring if not -n

Signed-off-by: Dan Mick <dan.mick@inktank.com>
Reviewed-by: Sage Weil <sage@inktank.com>

doc: document new 'osd crush move ...' command

Signed-off-by: Sage Weil <sage@inktank.com>

mon: fix 'osd crush move <item> <loc ...>'

 - fix arg count check
 - avoid updating crush map if it is already correct

Signed-off-by: Sage Weil <sage@inktank.com>

Merge branch 'wip-crushwrapper2'

Reviewed-by: Sage Weil <sage@inktank.com>

mon: add 'osd crush move <name> <loc ...>' command

Move an existing bucket to a new position in the hierarchy.

Signed-off-by: Sage Weil <sage@inktank.com>

crush: add move_bucket() method

Move an existing bucket to a new location in the hierarchy.

Signed-off-by: Caleb Miles <caselim@gmail.com>

crush: get_loc -> get_immediate_parent

Signed-off-by: Caleb Miles <caselim@gmail.com>

PG::merge_old_entry: handle clone prior_version case

A clone can have a prior_version after log_tail and still not have
a corresponding log entry since the prior_version would be the
head object.

Signed-off-by: Samuel Just <sam.just@inktank.com>

ReplicatedPG: adjust log.complete_to based on rmissing

log.complete_to can actually move backwards due to objects
missing because of divergent entries.

Signed-off-by: Samuel Just <sam.just@inktank.com>

ReplicatedPG: clear peer_(missing|log)_requested in check_recovery_sources

Otherwise, we might fail to re-request the information from a
previously down osd.

Signed-off-by: Samuel Just <sam.just@inktank.com>

PG: check_recovery_sources on each map

Signed-off-by: Samuel Just <sam.just@inktank.com>

doc: radosgw: further simplify Apache rewrite rule

Sufficient to just pass the query string, drop params.

Signed-off-by: Florian Haas <florian@hastexo.com>

Merge pull request #16 from fghaas/doc-osd

doc: document osd tell bench

doc: document osd tell bench

Signed-off-by: Florian Haas <florian@hastexo.com>

doc: minor edits.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

buffer.h: fix operator> and operator>= increment error

Signed-off-by: Samuel Just <sam.just@inktank.com>

radosgw Apache configuration: simplify rewrite rule

Use a simpler RewriteRule as suggested here:
http://marc.info/?l=ceph-devel&m=133951986510085&w=2

Fix example radosgw Apache configuration

Follow RFC2606, use example.com everywhere.

pg: report scrub status

Signed-off-by: Mike Ryan <mike.ryan@inktank.com>

pg: track who we are waiting for maps from

Signed-off-by: Mike Ryan <mike.ryan@inktank.com>

pg: reduce scrub write lock window

Wait for all replicas to construct the base scrub map before finalizing
the scrub and locking out writes.

Signed-off-by: Mike Ryan <mike.ryan@inktank.com>

rest-bench: mark request as complete later

We marked a request as complete in the callback, however
it might be that we're still inside S3_runall_request_context()
which means that request is not really complete yet.
Possibly fixes bug #2652.

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

rgw-admin: use correct modifier with strptime

Bug #2658: used %I (12h) instead of %H (24h)

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

doc: removing old 'todo' configuration reference.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

doc: converted daemon references from nasty tables to lines.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

doc: a few minor tweaks to radosgw to cleanup navigation.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

doc: Published RADOS GW docs and install as is for now. Needs more work.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

CrushTester.cc: removed last broken bits of obsolete method

Signed-off-by: caleb miles <caleb.miles@inktank.com>

CrushTester.cc: removed obsolete method for collapsing a CRUSH map

Signed-off-by: caleb miles <caleb.miles@inktank.com>

CrushTester: eliminated compiler warning

Signed-off-by: caleb miles <caselim@gmail.com>

radosgw-admin: improve man page

* remove "OpenStack user" information (deprecated, should no
  longer be used. No reason to keep mentioning it)
* fix description of --uid
* mention subusers
* add key management commands

Signed-off-by: Florian Haas <florian@hastexo.com>

doc: explain how to configure Ceph for radosgw

* explain creating auth creds for radosgw
* explain Apache config for radosgw
* explain starting daemons for radosgw
* explain creating users for radosgw
* explain creating subusers for radosgw
* explain using swift client against radosgw
* Explain user:subuser to tenant:user mapping in Swift

Signed-off-by: Florian Haas <florian@hastexo.com>

Merge branch 'master' of github.com:ceph/ceph

rgw: send both swift x-storage-token and x-auth-token

older clients need x-storage-token, newer x-auth-token

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

rgw: radosgw-admin date params now also accept time

The date format now is "YYYY-MM-DD[ hh:mm:ss]". Got rid of
the --time param for the old ops log stuff.

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

rgw-admin: fix usage help

s/show/trim

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

upstart: fix regex

Signed-off-by: Tommi Virtanen <tv@inktank.com>
Signed-off-by: Greg Farnum <greg@inktank.com>

Merge branch 'next'

mon: don't tick the PaxosServices if we are currently slurping.

They aren't prepared to deal with the on-disk state being inconsistent.

Signed-off-by: Greg Farnum <greg@inktank.com>

objecter: do not feed session to op_submit()

The linger_send() method was doing this, but it is problematic because the
new Op doesn't get its pgid or acting vector set correctly.  The result is
that the request goes to the right OSD, but has the wrong pgid, and makes
the OSD complain about misdirected requests and drop it on the floor.  It
didn't affect the test results because we weren't testing whether the
watch was working in that case.

Instead, we'll just recalculate and get the same value the parent linger
op did.  Which is fine, and goes through all the usual code paths so
nothing is missed.

Also, increment num_homeless_ops before we recalc_op_target(), so that we
don't (harmlessly, but confusingly) underflow.

Fixes: #2022
Signed-off-by: Sage Weil <sage@inktank.com>

ObjectStore::Transaction: initialize pool_override in all constructors

use_pool_override and pool_override weren't initialized in these two
constructors.

Signed-off-by: Samuel Just <sam.just@inktank.com>

objecter: do not feed session to op_submit()

The linger_send() method was doing this, but it is problematic because the
new Op doesn't get its pgid or acting vector set correctly.  The result is
that the request goes to the right OSD, but has the wrong pgid, and makes
the OSD complain about misdirected requests and drop it on the floor.  It
didn't affect the test results because we weren't testing whether the
watch was working in that case.

Instead, we'll just recalculate and get the same value the parent linger
op did.  Which is fine, and goes through all the usual code paths so
nothing is missed.

Also, increment num_homeless_ops before we recalc_op_target(), so that we
don't (harmlessly, but confusingly) underflow.

Fixes: #2022
Signed-off-by: Sage Weil <sage@inktank.com>

osd_types.cc: remove hobject_t decode asserts

These asserts were useful for ensuring that pool is passed
in in the correct places, but they prevent the encoder
testing from working.

Signed-off-by: Samuel Just <sam.just@inktank.com>

mon: note that monmap may be reencoded later

Signed-off-by: Sage Weil <sage@inktank.com>

mon: encoding new monmap using quorum feature set

It is probably unlikely that someone will expand the mon cluster with a
mixed feature set, but we know the quorum features here, so we should use
them.

Signed-off-by: Sage Weil <sage@inktank.com>

mon: conditionally encode mon features for remote mon

The only time we encode these is when forwarding messages.  Encoding using
the destination's feature set.

Signed-off-by: Sage Weil <sage@inktank.com>

mon: conditionally encode PGMap[::Incremental] with quorum features

This allows a mon cluster to transition to the new encoding during a
rolling upgrade.

Signed-off-by: Sage Weil <sage@inktank.com>

mon: conditionally encode auth incremental with quorum feature bits

If the quorum does not yet all have the MONENC feature, stick to the old
encoding.

It might be more polite to require a super-quorum before switching over,
and take note so that thereafter we can stick to the new encoding, but
that has more moving parts and I'm not sure it's worth the complexity.

Signed-off-by: Sage Weil <sage@inktank.com>

mon: track intersection of quorum member features

When we form a quorum, also note the intersection of the quorum members'
feature bits.  This will inform decisions about what encodings we use.

This is an imperfect strategy because the quorum may change, and we may
have a mon with old code join in and not understand what is going on.
However, it does ensure that a majority of the members run new code, so in
the absence of other failures we can make progress.

Signed-off-by: Sage Weil <sage@inktank.com>

mon: conditionally encode old monmap when peer lacks feature

This allows a rolling upgrade from 0.47.2 to 0.48.

Signed-off-by: Sage Weil <sage@inktank.com>

OSD,PG,ObjectStore: handle messages with old hobject_t encoding

Messages that embed an hobject_t need to have the pool field fixed
on messages from old peers.

Signed-off-by: Samuel Just <sam.just@inktank.com>

doc: ceph osd crush add is now ceph osd crush set

Mailing list thread: http://www.spinics.net/lists/ceph-devel/msg06199.html

Signed-off-by: Travis Rhoden <trhoden@gmail.com>

logrotate: reload all upstart instances

upstart doesn't let you wildcard all instances of a given job, so we
slog through initctl list output, and reload any running daemons.

Signed-off-by: Sage Weil <sage@inktank.com>
Reviewed-by: Tommi Virtanen <tv@inktank.com>

docs: clarify example in radosgw-admin

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

filestore: remove btrfs start/end transaction ioctl code

This was an ill-conceived approach to getting atomic transactions out of
btrfs.  It doesn't offer rollback, which means that any error means we need
to wedge the file system and reboot in order to avoid corrupting the
data set.  And that's silly!

Snapshots are more robust and only marginally slower (because we have to
quiesce our writes while waiting for the snap to start, and btrfs resume
work in-kernel slightly faster...maybe).

Fixes: #2623
Signed-off-by: Sage Weil <sage@inktank.com>

mon: make pool deletion dne error code consistently ENOENT

This matches the check in _prepare_remove_pool() now.

Signed-off-by: Sage Weil <sage@inktank.com>

docs: update usage logging info

added some text under radosgw, examples under radosgw-admin

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

Merge remote-tracking branch 'gh/stable' into next

doc: Normalized shell script syntax. Added generic cookbook path.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

doc: Changed libvirt-dev to libvirt-bin, and cleaned up ./autogen.sh

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

doc: Typo.

Signed-off-by: Tommi Virtanen <tv@inktank.com>

v0.47.3

filestore: disable 'filestore fiemap' by default

We've seen this failing on both btrfs (Guido) and XFS (Oliver).  This works
around #2535.

Signed-off-by: Sage Weil <sage@inktank.com>

OSD: clear_temp: split delete into many transactions

Signed-off-by: Samuel Just <sam.just@inktank.com>
Reviewed-by: Sage Weil <sage@inktank.com>

Merge branch 'wip-clsrbd'

Reviewed-by: Greg Farnum <greg@inktank.com>
Reviewed-by: Josh Durgin <josh.durgin@inktank.com>

doc: document usage log

Modify radosgw, radosgw-admin man page

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

cls_rbd: note overlap units

Signed-off-by: Sage Weil <sage@inktank.com>

cls_rbd: fix uninitialized var in cls_rbd_parent

Signed-off-by: Sage Weil <sage@inktank.com>

cls_rbd: clean up doxygen, whitespace a bit

Signed-off-by: Sage Weil <sage@inktank.com>

cls_rbd: include dumpers, test instances for our types

Signed-off-by: Sage Weil <sage@inktank.com>

cls_rbd: rename parent size -> overlap

The use of 'size' to describe the amount that we overlap with the parent
was confusing; overlap is more intuitive (to me, at least!).

Signed-off-by: Sage Weil <sage@inktank.com>

cls_rbd: handle parent overlap

Two things:

 * when we set a parent, the overlap is the min of our size and the
   parent's size.
 * when we resize, our overlap may shrink.

Signed-off-by: Sage Weil <sage@inktank.com>

cls_rbd: make snapshots inherit the head's parent

When you take a snapshot, the snap gets the current parent of the head, if
any.

Signed-off-by: Sage Weil <sage@inktank.com>

cls_rbd: check for LAYERING feature for parent methods

You need to set the feature on the image before you can use these methods.
We *could* allow get_parent, but that just means they'll get ENOENT instead
of ENOEXEC, and the latter is more informative.

Signed-off-by: Sage Weil <sage@inktank.com>

cls_rbd: implement get_parent, set_parent, remove_parent

Implement methods to get/set/remove the parent pointer on child images.

Signed-off-by: Sage Weil <sage@inktank.com>

cls_rbd_client: use snapid_t type

Signed-off-by: Sage Weil <sage@inktank.com>

Merge remote-tracking branch 'gh/next'

Conflicts:
src/osd/PG.cc

rgw: set s->header_ended before flushing formatter

otherwise we don't account the formatter in s->bytes_sent.

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

rgw: log user and not bucket owner for service operations

For operations that are done on the service (e.g., list buckets)
we need to log the user that did the operation, and not the bucket
owner.

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

rgw: initalize s->enable_usage_log

Missing initialization, we ended up not logging every operation.

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

osd: use derr (instead of cerr) for convertfs

This will appear in the log *and* stderr (if we're running in the
foreground).

Signed-off-by: Sage Weil <sage@inktank.com>

osd: close stderr on daemonize

This spams stderr in an ugly way.  Users should look at the logs.

In particular, filestore upgrades spam the console, which is unpleasant.

Signed-off-by: Sage Weil <sage@inktank.com>

PG: improve find_best_info

07f853db3982e68b952a337cf91cbf7ec0709de9 is actually too conservative,
it suffices to find any info with a last_update of at least the least
last_update from the last period to go active.  An info from a previous
interval is acceptable if the last interval never reported a commited
operation and thus still has the same last_update.

Signed-off-by: Samuel Just <sam.just@inktank.com>
Reviewed-by: Sage Weil <sage@inktank.com>

osdcap: make grammar build on spirit 2.2/boost 1.42

This is a stupid workaround, but it makes the compilation error go away.

Signed-off-by: Sage Weil <sage@inktank.com>

doc: Added a snapshot page with outline. Needs additional info.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

doc: Added prerequisite of running Ceph cluster.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

PG: reg_last_pg_scrub on pg resurrection

This may solve the unreg_last_pg_scrub assert.

see #2453.

Signed-off-by: Samuel Just <sam.just@inktank.com>

ceph_osd: move auto-upgrade to after fork

Signed-off-by: Samuel Just <sam.just@inktank.com>

Merge branch 'master' of github.com:ceph/ceph

librbd: simplify refresh sequence checks

- incremental seq each request
- set last to the last completed seq
- drop the now-redundant bool

Signed-off-by: Sage Weil <sage@inktank.com>
Reviewed-by: Josh Durgin <josh.durgin@inktank.com>
Reviewed-by: Greg Farnum <greg@inktank.com>