PG: best_info must have a last_epoch_started as high as any other info

We disregard incomplete infos during find_best_info, but we can't an
info with a last_epoch_started less that of the incomplete info.

This should avoid cases like #2462.  In that case, it appears that
a peer with empty info/log was chosen as authoritative even though
there was a non-empty incomplete peer.

Signed-off-by: Samuel Just <sam.just@inktank.com>

debian: fix python-ceph depends

Signed-off-by: Laszlo Boszormenyi (GCS) <gcs@debian.hu>

debian: update homepage url

Signed-off-by: Laszlo Boszormenyi (GCS) <gcs@debian.hu>

filestore: fix 'omap' collection skipping

The if/else if/... structure was skipping this test if the file system
didn't support d_type.

Fixes: #2598
Signed-off-by: Sage Weil <sage@inktank.com>

run-cli-test: use new pip incantation

http://www.pip-installer.org/en/latest/news.html#id1

Signed-off-by: Sage Weil <sage@inktank.com>

cls_rbd: do not pass snapid_t to vargs

On squeeze,

warning: cls_rbd.cc:534: cannot pass objects of non-POD type ‘struct snapid_t’ through ‘...’; call will abort at runtime

Signed-off-by: Sage Weil <sage@inktank.com>

msg: fix buffer overflow in ipv6 addr parsing

Noticed because of failing i386 unit tests for long addrs; x86_64 passed
fine.  Sigh.  FTR, the failing address was

2001:0db8:85a3:0000:0000:8a2e:0370:7334

Sadly the full length addrs don't turn it up on x86_64, still, nor does
valgrind notice.  But, this fixes it on i386.

Signed-off-by: Sage Weil <sage@inktank.com>

cls_rbd: drop useless snapshot metadata helpers

Now that cls_rbd_snap is encodable, we don't need these helpers; get_key()
will suffice.

Signed-off-by: Sage Weil <sage@inktank.com>

cls_rbd: use encode macros for on-disk snap metadata

This will let us version this encoding later when we add new information
and features, like a per-snap parent.

Signed-off-by: Sage Weil <sage@inktank.com>

filejournal: make less noise about open failures

The callers report errors and pass up errors, so do not spam stderr with
this.  Fixes the confusion that sparked #2595.

Signed-off-by: Sage Weil <sage@inktank.com>

rgw: obj copy respects -metadata-directive

Fixes #2542. The old behavior just merged src object attrs
and provided attributes. The new (and correct) behavior looks
at the x-[amz|rgw|...]-metadata-directive and either copies
the source attrs, or replaces them with the provided attrs.

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

osd: optional verify that sparse_read holes are zero-filled

This should help us track down/verify #2535.  It seems to happen on several
different systems, but we haven't figured out which ones yet.

This detects the bug, but does not attempt to correct it.

Signed-off-by: Sage Weil <sage@inktank.com>

buffer: add list and ptr is_zero() method

Simple helper to check if a buffer is all zeros.

Signed-off-by: Sage Weil <sage@inktank.com>

filestore: disable 'filestore fiemap' by default

We've seen this failing on both btrfs (Guido) and XFS (Oliver).  This works
around #2535.

Signed-off-by: Sage Weil <sage@inktank.com>

Merge branch 'wip-radosgw-upstart'

radosgw: stop startup timer on failed start

This fixes crashes like

    -1> 2012-06-14 15:04:31.733009 7f544e18c780 -1 Couldn't init storage provider (RADOS)
     0> 2012-06-14 15:04:31.734110 7f544e18c780 -1 common/Timer.cc: In function 'SafeTimer::~SafeTimer()' thread 7f544e18c780 time 2012-06-14 15:04:31.733020
common/Timer.cc: 57: FAILED assert(thread == __null)

 ceph version 0.47.2-481-g6f30f1f (commit:6f30f1fcdecd6c9390d4678c754dadd305165e3e)
 1: (ceph::__ceph_assert_fail(char const*, char const*, int, char const*)+0x80) [0x5399a0]
 2: (SafeTimer::~SafeTimer()+0x39) [0x533e77]
 3: (main()+0x6f5) [0x51bc9d]
 4: (__libc_start_main()+0xfd) [0x7f544b38eead]
 5: /home/sage/src/ceph/src/.libs/lt-radosgw() [0x4f9e09]
 NOTE: a copy of the executable, or `objdump -rdS <executable>` is needed to interpret this.

Signed-off-by: Sage Weil <sage@inktank.com>

upstart: make id charset include - _ and .

Signed-off-by: Sage Weil <sage@inktank.com>

radosgw: takes --id, but not -i

The -i short versio doesn't work on 'client' code that tend to use it for
input files.

Signed-off-by: Sage Weil <sage@inktank.com>

doc: added qemu-img documentation for rbd.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

rgw: limit number of buckets per user

Adding a configurable max_buckets per user. Bucket creation
verifies that max_buckets has not reached.

Backport: dho
Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>
Reviewed-by: Sage Weil <sage@inktank.com>

doc: Added steps for OpenStack install with DevStack

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

doc: fixed bash syntax error.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

qa: disable xfstest 68 for now

Stop the qa noise we fix #2410.  Looks like a freeze/thaw thing.

Maybe Jan's new freeze/thaw code will address this?  That's probably
wishful thinking.

Signed-off-by: Sage Weil <sage@inktank.com>

qa: disable xfstest 219 for now

The cause of 219 failing is non-obvious.  Disable it for now.  :(

Avoids #2522.

Signed-off-by: Sage Weil <sage@inktank.com>

Makefile: fix leveldb dep for system library case

We conditionally add this below only if using the bundled version.

Signed-off-by: Sage Weil <sage@inktank.com>

Makefile: fix leveldb includes for system library case

Use the installed headers, not ours.

Signed-off-by: Sage Weil <sage@inktank.com>

doc: Multi-monitor support means ceph::single_mon was renamed.

This changed in ceph-cookbooks.git commit
8e56551b11fe28cc4f29f4fcdcf6c38516bdc833.

Signed-off-by: Tommi Virtanen <tv@inktank.com>

rbd: fix usage test

Fixes: #2347
Signed-off-by: Sage Weil <sage@inktank.com>

Makefile: link gtest statically

The problem:

 - the unittests link against gtest, and gtest is not installed.  that's
   normally fine, but...
 - rbd and rados api unit tests link against gtest, and are installed
   by 'make install'.  they are needed for teuthology runs, etc.
 - if we build gtest as an .la library, we can only control whether *all*
   or *no* .la libraries are linked statically.
 - we want librados to be linked dynamically.

The solution:

 - build gtest as .a instead of a libtool library
 - link it statically, always.

Unit test binaries are bigger now.  Oh well...

Fixes: #2331
Signed-off-by: Sage Weil <sage@inktank.com>

debian: install radosgw upstart configs, daemon dir

Signed-off-by: Sage Weil <sage@inktank.com>

radosgw: upstart support

Like the other upstart configs, these assume the default value for
'rgw data'.  Same pattern as ceph-mon and ceph-mds.

Fixes: #2415
Signed-off-by: Sage Weil <sage@inktank.com>

CrushTester.cc: eliminated old compiler warning of uninitialized pointer.

Signed-off-by: caleb miles <caselim@gmail.com>

init-ceph: make 'status' report running version

Try to report the running version with 'status'.

Backport: dho
Signed-off-by: Sage Weil <sage@inktank.com>

PG: track purged pgs during active

See bug #2462.

The following sequence could cause a log assuming a non-empty pg
to an empty replica:

1. primary sends query to stray
2. stray sends notify to primary
3. primary sends purge to stray removing stray from peer_info
4. stray recieves query and sends a notify
5. stray recieves purge and purges its pg
6. primary recieves notify from stray and adds it to peer_info
note: peer_info[stray] is now wrong
7. acting set changes, primary is still primary, stray is replica
8. primary sends log to replica based on incorrect info from 6.

This patch adds a purged_peer set which is populated during purge_strays
and cleared during start_peering_interval.  The primary will ignore
notifies from the peer once the peer is in this set.

Signed-off-by: Samuel Just <sam.just@inktank.com>

Merge branch 'wip-keyrings'

Reviewed-by: Greg Farnum <greg@inktank.com>

ceph_argparse: make entityname parsing error more helpful

Signed-off-by: Sage Weil <sage@inktank.com>

rgw: default keyring to $rgw_data/keyring

Signed-off-by: Sage Weil <sage@inktank.com>

vstart.sh: set data dirs instead of keyring locations

Signed-off-by: Sage Weil <sage@inktank.com>

new default keyring location for daemons

$osd_data/keyring
$mds_data/keyring

Fixes: #2498
Signed-off-by: Sage Weil <sage@inktank.com>

mds: add mds_data config

This is where the keyring will live.  Eventually more may move in too.

Signed-off-by: Sage Weil <sage@inktank.com>

config: improve variable substitution

- allow ${foo_bar}
- prevent $foogarbage from substitution variable 'foo'
- use std::string throughout
- improve tests

Signed-off-by: Sage Weil <sage@inktank.com>

config: expand any config variable in config

This is currently broken wrt 'foo' vs 'foo_bar', but otherwise works.

Signed-off-by: Sage Weil <sage@inktank.com>

config: make meta expansion in set_val optional

Signed-off-by: Sage Weil <sage@inktank.com>

osdcaps: drop dead peer_type code

Not sure what this wasn intended for.

Signed-off-by: Sage Weil <sage@inktank.com>

osd: simplify session peer type check

Check the authenticated peer name directly; don't store a copy in the
OSDCaps struct.  Also set the entity_name member of the session!

Signed-off-by: Sage Weil <sage@inktank.com>

entity_name: is_*() methods

Signed-off-by: Sage Weil <sage@inktank.com>

crush: fix retry histogram array overflow due to indexing error

Signed-off-by: caleb miles <caleb.miles@inktank.com>

cls_rgw: use updated internal omap api

These were changed by 23ebc093a64a9c9812124ba6b87e301f95a53a5c.

Signed-off-by: Sage Weil <sage@inktank.com>

cls_rgw: fix CLS_LOG macro usage

Now takes a level.

Signed-off-by: Sage Weil <sage@inktank.com>

remove ceph-kdump-copy

Moved to its own repo.

Signed-off-by: Sage Weil <sage@inktank.com>

debian: limit build archs

We depend on leveldb, which only builds on

 amd64 armel armhf i386 ia64 mipsel

Reported-by: Laszlo Boszormenyi (GCS) <gcs@debian.hu>
Signed-off-by: Sage Weil <sage@inktank.com>

Merge remote-tracking branch 'gh/wip-2516-2'

Reviewed-by: Sage Weil <sage@inktank.com>

rgw: usage statistics also count num of ops/successful_ops

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

debian: move ./configure to correct rules section

Signed-off-by: Laszlo Boszormenyi (GCS) <gcs@debian.hu>

debian: remove dup python build-dep

Reported-by: Laszlo Boszormenyi (GCS) <gcs@debian.hu>
Signed-off-by: Sage Weil <sage@inktank.com>

upstart: Read crush location and weight from ceph.conf.

This introduces two new config variables, osd_crush_location
and osd_crush_weight. Not currently included in config_opts.h,
as these are not used in the C++ code.

Signed-off-by: Tommi Virtanen <tv@inktank.com>

mon: allow keys to be cleared in ceph osd crush set ... loc key/values

If we encounter a 'key=' with no value, clear any previous value for that
key, so that

 'a=foo b=bar a='

is equivalent to

 'b=bar'

Fixes: #2540
Signed-off-by: Sage Weil <sage@inktank.com>

rgw: fix cli test

Get it up to date with latest cli changes.

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

rgw: usage log cleanups

Also, recalc_round_timestamp should be done under lock.

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

Merge pull request #13 from fghaas/rgw-manpage

doc: update examples in radosgw-admin man page

doc: update examples in radosgw-admin man page

* "user gen" is gone and is now "user create"
* --uid option is mandatory for "user create"

Mailing list thread: http://www.spinics.net/lists/ceph-devel/msg06744.html

Signed-off-by: Florian Haas <florian@hastexo.com>

rgw: rgw_rados related fixes for usage logging

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

rgw/rgw_cls_api.h cleanup

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

rgw_admin: usage admin commands

 - radosgw-admin usage show
 - radosgw-admin usage trim

Both commands can get --start-date, --end-date, --uid

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

rgw: usage logger

Accumulate usage info and flush it periodically.

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

rgw: access methods for new usage ops

Wrappers for new rados class methods, and new RGWRados
methods to handle usage functionality.

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

rgw: new config options

New config options for usage logging:
 - rgw_enable_usage_log: enable usage logging
 - rgw_usage_log_flush_threshold - limit on number of pending updates
                                   before synchronously flushing update
 - rgw_usage_log_tick_interval - asynchronous flush interval
 - rgw_usage_max_shards - split info across that many objects
 - rgw_usage_max_user_shards - split single user info across that many
                               objects

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

rgw: new class methods for handling usage information

The new methods are:
 - user_usage_log_add: add new usage information
 - user_usage_log_read: get usage information
 - user_usage_log_trim: remove usage information

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

rgw: don't fail initialization if socket path returns ENXIO

ENXIO is expected when trying to read the unix domain socket

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

Merge remote-tracking branch 'gh/wip-crush-tunables'

cls_rbd: add get_all_features method

This is useful for reporting which features an osd supports, and for
testing rados_exec. Update the rados api tests to use this method
instead of test_exec, which was removed.

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>
Reviewed-by: Sage Weil <sage@inktank.com>

mon: fix pg state logging

PGMap->num_pg_by_state is a PG state to number of PG in the state
mapping. PGMonitor::update_logger wrongly interprets the mapping.

Signed-off-by: Yan, Zheng <zheng.z.yan@intel.com>
Signed-off-by: Sage Weil <sage@inktank.com>

workunits/rbd: add workunit for running cls_rbd tests

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

workunits/rbd: disable remove_with_watcher test

This will fail until #2533 is fixed.

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

Merge remote-tracking branch 'gh/wip-rbd-format'

librbd: remove unnecessary notify from add_snap()

The only caller, snapshot_add(), already does a notify when add_snap()
succeeds.

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

librbd: ignore RBD_MAX_BLOCK_NAME_SIZE when generating object ids

The actual data object ids don't need to be artificially restricted in
length.  RBD_MAX_BLOCK_NAME_SIZE just limits the size of the object
prefix, since it's used in rbd_info_t.

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

workunits/rbd: allow creating images in different formats

This will allow adding more arguments for testing combinations
of features in the future.

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

rados: add commands to interact with object maps

The input values are stored as-is, and any values read are dumped in
hex. Rename listomap to listomapkeys to distinguish from
listomapvalues. Also add it to the man page.

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

test_librbd, test_rbd.py: optionally use the new format

Read the desired features from an environment variable, RBD_FEATURES.

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

rbd.py: add support for creating images in the new format

The new arguments are optional, so they are backwards compatible.

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

rbd: update for the new format

No features exist right now, so there are no extra options for them.
The old format is still used by default, and since the default will
change with layering, --new-format will be removed at that point and is
intentionally left undocumented.

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

librbd: add create2 to create an image with the new format

This will fail if features are requested that the client or server
does not support. Currently there are no features defined, so
zero is the only valid value.

copy() preserves the format and features of the source image.

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

doc: Segregated set up git from clone.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

debian: ceph depends on python

Due to the new ceph-disk-* scripts.  Newer dists are smart enough to figure
this out, but maverick is not.

Signed-off-by: Sage Weil <sage@inktank.com>

CrushTester: drop range marking

This is subsumed by mark-down-ratio 1 with mark-down-bucket-ratio N.

Signed-off-by: Sage Weil <sage@inktank.com>

crushtool: drop useless clitest

This is an ancient test for an old 'bug' in functionality we're removing.
Also, it is sensitive to tester output, which will be changing a lot in
the coming weeks/months.

Signed-off-by: Sage Weil <sage@inktank.com>

CrushTester: simplify, clean up mark down

- put it in a separate function
- operate on temporary weight vector, not user-modified input
- guard the whole thing with an #ifdef
- permute candidates and use first N, to ensure we end up picking the right
  number of buckets/items.

Signed-off-by: Sage Weil <sage@inktank.com>

CrushTester: some whitespace

Signed-off-by: Sage Weil <sage@inktank.com>

CrushTester: randomize mark_down behavior

When marking a batch of devices down, select which buckets to visit sort
of randomly.

Signed-off-by: caleb miles <caleb.miles@inktank.com>

CrushTester: remove dead code

Signed-off-by: caleb miles <caleb.miles@inktank.com>

CrushTester: some cleanup

Signed-off-by: caleb miles <caleb.miles@inktank.com>

CrushTester: mark_down_ratio and mark_down_bucket_ratio

Move functionality to allow user to control bucket vs device mark-down
probabilities independently.

Signed-off-by: caleb miles <caleb.miles@inktank.com>

mon: add 'auth get-or-create' variant that outputs a keyring

This is more convenient when you're creating daemons, since you want to
write out a keyring file for them.  This lets you do it in a single
command.

Signed-off-by: Sage Weil <sage@inktank.com>

librbd: use ImageCtx members instead of the old header in resize()

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

librbd: validate order before creating an image

The value must be passed, and it shouldn't be below 4k
(enforced by the command line tool already) or above the
range expressible in the header.

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

librbd: rename md_oid parameters to header_oid

This is more consistent with the rest of the code now,
and is a bit more clear.

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

librbd: make rename work with any header format

Instead of interpreting the header, just copy all the data and
omap values from the original header to the newly name one.
This will continue working with future header changes.

We can create the new header and write all data and omap values
to it atomically to avoid some races.

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

librbd: use cls_client functions for calling class methods

Use the old or new methods make resize, snapshot add and snapsnhot
remove work with both old and new formats.

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

librbd: remove on-disk header argument from helper functions

Make most of them take the parameters they actually use.
trim_image() now takes an ImageCtx, which means remove() must
open the image. This has the nice side effect of not duplicating
the snapshot listing code for the old format.

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>