mon: allow keys to be cleared in ceph osd crush set ... loc key/values

If we encounter a 'key=' with no value, clear any previous value for that
key, so that

 'a=foo b=bar a='

is equivalent to

 'b=bar'

Fixes: #2540
Signed-off-by: Sage Weil <sage@inktank.com>

Merge pull request #13 from fghaas/rgw-manpage

doc: update examples in radosgw-admin man page

doc: update examples in radosgw-admin man page

* "user gen" is gone and is now "user create"
* --uid option is mandatory for "user create"

Mailing list thread: http://www.spinics.net/lists/ceph-devel/msg06744.html

Signed-off-by: Florian Haas <florian@hastexo.com>

rgw: don't fail initialization if socket path returns ENXIO

ENXIO is expected when trying to read the unix domain socket

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

Merge remote-tracking branch 'gh/wip-crush-tunables'

cls_rbd: add get_all_features method

This is useful for reporting which features an osd supports, and for
testing rados_exec. Update the rados api tests to use this method
instead of test_exec, which was removed.

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>
Reviewed-by: Sage Weil <sage@inktank.com>

mon: fix pg state logging

PGMap->num_pg_by_state is a PG state to number of PG in the state
mapping. PGMonitor::update_logger wrongly interprets the mapping.

Signed-off-by: Yan, Zheng <zheng.z.yan@intel.com>
Signed-off-by: Sage Weil <sage@inktank.com>

workunits/rbd: add workunit for running cls_rbd tests

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

workunits/rbd: disable remove_with_watcher test

This will fail until #2533 is fixed.

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

Merge remote-tracking branch 'gh/wip-rbd-format'

librbd: remove unnecessary notify from add_snap()

The only caller, snapshot_add(), already does a notify when add_snap()
succeeds.

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

librbd: ignore RBD_MAX_BLOCK_NAME_SIZE when generating object ids

The actual data object ids don't need to be artificially restricted in
length.  RBD_MAX_BLOCK_NAME_SIZE just limits the size of the object
prefix, since it's used in rbd_info_t.

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

workunits/rbd: allow creating images in different formats

This will allow adding more arguments for testing combinations
of features in the future.

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

rados: add commands to interact with object maps

The input values are stored as-is, and any values read are dumped in
hex. Rename listomap to listomapkeys to distinguish from
listomapvalues. Also add it to the man page.

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

test_librbd, test_rbd.py: optionally use the new format

Read the desired features from an environment variable, RBD_FEATURES.

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

rbd.py: add support for creating images in the new format

The new arguments are optional, so they are backwards compatible.

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

rbd: update for the new format

No features exist right now, so there are no extra options for them.
The old format is still used by default, and since the default will
change with layering, --new-format will be removed at that point and is
intentionally left undocumented.

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

librbd: add create2 to create an image with the new format

This will fail if features are requested that the client or server
does not support. Currently there are no features defined, so
zero is the only valid value.

copy() preserves the format and features of the source image.

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

doc: Segregated set up git from clone.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

debian: ceph depends on python

Due to the new ceph-disk-* scripts.  Newer dists are smart enough to figure
this out, but maverick is not.

Signed-off-by: Sage Weil <sage@inktank.com>

CrushTester: drop range marking

This is subsumed by mark-down-ratio 1 with mark-down-bucket-ratio N.

Signed-off-by: Sage Weil <sage@inktank.com>

crushtool: drop useless clitest

This is an ancient test for an old 'bug' in functionality we're removing.
Also, it is sensitive to tester output, which will be changing a lot in
the coming weeks/months.

Signed-off-by: Sage Weil <sage@inktank.com>

CrushTester: simplify, clean up mark down

- put it in a separate function
- operate on temporary weight vector, not user-modified input
- guard the whole thing with an #ifdef
- permute candidates and use first N, to ensure we end up picking the right
  number of buckets/items.

Signed-off-by: Sage Weil <sage@inktank.com>

CrushTester: some whitespace

Signed-off-by: Sage Weil <sage@inktank.com>

CrushTester: randomize mark_down behavior

When marking a batch of devices down, select which buckets to visit sort
of randomly.

Signed-off-by: caleb miles <caleb.miles@inktank.com>

CrushTester: remove dead code

Signed-off-by: caleb miles <caleb.miles@inktank.com>

CrushTester: some cleanup

Signed-off-by: caleb miles <caleb.miles@inktank.com>

CrushTester: mark_down_ratio and mark_down_bucket_ratio

Move functionality to allow user to control bucket vs device mark-down
probabilities independently.

Signed-off-by: caleb miles <caleb.miles@inktank.com>

mon: add 'auth get-or-create' variant that outputs a keyring

This is more convenient when you're creating daemons, since you want to
write out a keyring file for them.  This lets you do it in a single
command.

Signed-off-by: Sage Weil <sage@inktank.com>

librbd: use ImageCtx members instead of the old header in resize()

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

librbd: validate order before creating an image

The value must be passed, and it shouldn't be below 4k
(enforced by the command line tool already) or above the
range expressible in the header.

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

librbd: rename md_oid parameters to header_oid

This is more consistent with the rest of the code now,
and is a bit more clear.

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

librbd: make rename work with any header format

Instead of interpreting the header, just copy all the data and
omap values from the original header to the newly name one.
This will continue working with future header changes.

We can create the new header and write all data and omap values
to it atomically to avoid some races.

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

librbd: use cls_client functions for calling class methods

Use the old or new methods make resize, snapshot add and snapsnhot
remove work with both old and new formats.

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

librbd: remove on-disk header argument from helper functions

Make most of them take the parameters they actually use.
trim_image() now takes an ImageCtx, which means remove() must
open the image. This has the nice side effect of not duplicating
the snapshot listing code for the old format.

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

librbd: check that the current snapid for a snap name matches

Checking that it exists doesn't prevent you from having the snapshot
change out from under you in the following situation:

You have the image open at snapshot "foo".
Someone removes snapshot "foo", writes some data to the image, and
creates a new snapshot called "foo".

This second snapshot will have a different id, but nothing prevents it
from having the name of a previously deleted snapshot.

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

librbd: update ictx_refresh to work with both formats

It now sets the member variables of ImageCtx so other functions
don't have to use the on-disk header. If the features use by
the new format are incompatible with this client, an error is returned.

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

librbd: Update ImageCtx for new format

Detect the format when an image is opened by the presence of the
original format header object. Use member variables of ImageCtx to
store image metadata instead of the on-disk header format
ImageCtx::header.

This lays the foundation for changing the rest of librbd to work with
old and new formats.

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

cls_rbd: add methods for interacting with the new header format

Add the client side (cls_rbd_client) for testing as well.
librbd will use the functions in cls_rbd_client to interact with cls_rbd.

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

librbd: remove useless ENOMEM checks

There will be an exception if memory can't be allocated.

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

DBObjectMap: remove extra semicolon

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

vstart: debug osd classes when debugging is on

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

objclass: add methods to get keys without values, and set multiple values

These will be useful in the new rbd header format. This brings the
API into parity with the available OSD ops for omaps.

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

objclass: rename omap methods to be consistent with other interfaces

The osd ops and the librados methods all distinguish between keys
and values. It's useful to be able to read a bunch of keys without
fetching the values sometimes too.

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

objclass: allow classes to log at different levels

Add a logging level parameter to CLS_LOG, and a CLS_ERR that's
analagous to derr.

For now cls_rgw is all logging at level 1, preserving existing
behavior. I'm more familiar with cls_rbd, so I changed those
logging levels.

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

class_debug: add indent settings header

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

test_librbd: don't include a .cc file

Add it as a source like the rest of the gtests.

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

cls_rgw: add indent settings header

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

objclass: pass strings as const references

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

objclass: add indent settings header

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

cls_rbd: add indent settings header

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

cls_rbd: remove unused test_exec and snap_revert methods

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

mon: require force argument for 'mds newfs ...'

This is dangerous, make sure they know what they're doing.  I bet <someone>
$1 that Greg asked me to do this originally.

Signed-off-by: Sage Weil <sage@inktank.com>

Cleaned some lingering references to "verbose"

Signed-off-by: caleb miles <caleb.miles@inktank.com>

Merge branch 'wip-crush-tunables'

Reviewed-by: Sam Just <sam.just@inktank.com>

crushtool: refine tunables warning message

Signed-off-by: Sage Weil <sage@inktank.com>

re-include assert after boost::pool

Signed-off-by: Sage Weil <sage@inktank.com>

crush: compile/decompile tunables

Lines like

 tunable <name> <value>

will adjust tunables.  Right now only three are defined.

--enable-unsafe-tunables is required.

Signed-off-by: Sage Weil <sage@inktank.com>

crushtool: add --enable-unsafe-tunables option

This is required to adjust tunables.

Signed-off-by: Sage Weil <sage@inktank.com>

crushtool: --show-* instead of --output-*

Signed-off-by: Sage Weil <sage@inktank.com>

CrushTester: clean up output interface

Multiple accessors.  Init in ctor.  Avoid temp vars in crushtool.

Signed-off-by: Sage Weil <sage@inktank.com>

CrushTester: dump histogram of choose attempts

Signed-off-by: Sage Weil <sage@inktank.com>

crush: generate histogram of choose tries

Optionally populate a histogram of choose descent attempts.

Signed-off-by: Sage Weil <sage@inktank.com>

crush: fix leaf recursion if we already collided

This just saves us some cycles, but does not effect placement results at
all.

Signed-off-by: Sage Weil <sage@inktank.com>

CrushTester: optionally output bad mappings

Optionally dump bad inputs to stdout.

Signed-off-by: Sage Weil <sage@inktank.com>

crushtool: arguments to adjust tunables

Signed-off-by: Sage Weil <sage@inktank.com>

crush: make magic numbers tunable

We have three magic numbers in crush_choose that are now tunable.  The
first two control the local retry behavior, including fallback to a
permutation.  The last is the total map descent attempts.

We can avoid a drastic incompatibility by making these tunable and encoded
in the map.  That means users can enable/disable local retry, for example,
without changing the code.  As long as the clients understand the tunables,
they can be adjusted.

This patch doesn't address the compatibility and feature bit issue.  We may
want to roll that into a larger revision with more drastic changes, once
we know what those changes will look like.  However, a careful user can
use the new code and modify the behavior.

Signed-off-by: Sage Weil <sage@inktank.com>

mon: use mode 0600 throughout

Fixes: #2526
Signed-off-by: Sage Weil <sage@inktank.com>

Merge remote-tracking branch 'gh/mon-auth'

Reviewed-by: Greg Farnum <greg@inktank.com>

doc: Added mount cephfs with fstab.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

osd: include past_intervals in pg query results

This will help us figure out *why* nodes are in the prior set.

Signed-off-by: Sage Weil <sage@inktank.com>
Reviewed-by: Sam Just <sam.just@inktank.com>

OSD: _have_pg should return NULL if pg is not in map

Signed-off-by: Samuel Just <sam.just@inktank.com>

Merge remote-tracking branch 'gh/wip-assert2'

"So be it"

Reviewed-by: Sam Just <sam.just@dreamhost.com>

deliberately break encoding macros when wrong assert is present

Signed-off-by: Sage Weil <sage@inktank.com>

misc assert #include cleanup, hackery

Signed-off-by: Sage Weil <sage@inktank.com>

reinclude assert.h after json_spirit

json_spirit clobbers it!

Signed-off-by: Sage Weil <sage@inktank.com>

doc: Incorporated Sam's comments.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

Merge remote-tracking branch 'gh/wip-assert'

Reviewed-by: Sam Just <sam.just@inktank.com>

doc: Typo fix.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

mon: set policy for client, mds before throttler

Otherwise we fail the assert in Messenger::set_policy_throttler()!

Signed-off-by: Sage Weil <sage@inktank.com>

DBObjectMap: fix some warnings

os/DBObjectMap.cc:197: warning: suggest a space before ';' or explicit braces around empty body in 'for' statement

Signed-off-by: Sage Weil <sage@inktank.com>

make everyone use our assert #include and macro

...as detected by the previous patch.

Signed-off-by: Sage Weil <sage@inktank.com>

assert: detect when /usr/include/assert.h clobbers us

The normal assert.h is very rude in that it clobbers any existing assert
define and replaces it with its own.  An sadly, lots of things we include
include the generic version.

Be extra rude in response.  Clobber any existing assert #define, and also
#define _ASSERT_H to be a magic value that our commonly-used dendl #define
depends on.  This way we get a compile error if the system version replaces
out own.

This is imperfect, since we will only detect their rudeness when we use
the debug macros.  I'm not coming up with something that is more widely
used that would work better, however.

Signed-off-by: Sage Weil <sage@inktank.com>

Merge remote-tracking branch 'gh/wip-msgr-interface'

Reviewed-by: Sage Weil <sage@inktank.com>

keyserver: also authenticate against mon keyring

If we don't have a secret, also check in the extra_secrets keyring.

This means we can also authenticate as any users that appear in the mon
keyring, and get the caps defined there.  This lets us bootstrap the
client.admin key with mon. key, provided mon 'allow *' caps appear in the
mon keyring.

Signed-off-by: Sage Weil <sage@inktank.com>

keyring: implement get_caps()

Simple accessor, mirrors KeyServerData.

Signed-off-by: Sage Weil <sage@inktank.com>

mon: share mon keyring with KeyServer

This will let us authenticate against items in the mon keyring, like the
mon. key itself.

Signed-off-by: Sage Weil <sage@inktank.com>

Merge remote-tracking branch 'gh/wip_hobject_wpool'

Reviewed-by: Sage Weil <sage@inktank.com>

mon: put cluster log at /var/log/ceph/$cluster.log and/or send to syslog

Also, stop breaking it down by event severity on disk.  If you want that,
use syslog.

Fixes: #2497
Backport: dho
Signed-off-by: Sage Weil <sage@inktank.com>
Reviewed-by: Joao Eduardo Luis <joao.luis@inktank.com>
Reviewed-by: Greg Farnum <greg@inktank.com>

Merge branch 'wip-crushtool'

Reviewed-by: Sage Weil <sage@inktank.com>

monclient: be paranoid/defensive about send_log vs log_client==NULL

Signed-off-by: Sage Weil <sage@inktank.com>

crushtool: fix cli tests given new less-chatty output, help

Signed-off-by: Sage Weil <sage@inktank.com>

crushtool: allow user to select output reporting in blocks

Signed-off-by: caleb miles <caleb.miles@inktank.com>

doc: Added mount cephfs and included it in quick start.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

logclient: fix warning

Signed-off-by: Sage Weil <sage@inktank.com>

mon: include pg acting in health detail

Backport: dho
Signed-off-by: Sage Weil <sage@inktank.com>

mon: include all types of stuck pgs in health detail

We were just including the last one, which isn't as helpful.

Backport: dho
Signed-off-by: Sage Weil <sage@inktank.com>

test/cli/ceph-authtool: keyring.bin -> keyring

Signed-off-by: Sage Weil <sage@inktank.com>

doc: keyring.bin -> keyring everwhere

Signed-off-by: Sage Weil <sage@inktank.com>

test/: Made omap_bench compatible with teuthology

added --name parsing, made histogram better, made rados_id
configurable, changed object names to use configurable prefix.

Signed-off-by: Eleanor Cawthon <eleanor.cawthon@inktank.com>