doc: Fix env variables in vstart.sh documentation

Signed-off-by: Christophe Courtaut <christophe.courtaut@gmail.com>

doc: Add a page to document vstart.sh script

Signed-off-by: Christophe Courtaut <christophe.courtaut@gmail.com>

.gitignore: cls_test_*

Signed-off-by: Sage Weil <sage@inktank.com>

radosgw-admin: fix cli test

Signed-off-by: Sage Weil <sage@inktank.com>

rgw: fix type encoding

due to bad merge

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

Merge remote-tracking branch 'origin/master' into wip-rgw-geo

Conflicts:
src/Makefile.am
src/include/rados/librados.hpp
src/rgw/rgw_admin.cc
src/rgw/rgw_bucket.cc
src/rgw/rgw_common.cc
src/rgw/rgw_common.h
src/rgw/rgw_json_enc.cc
src/rgw/rgw_main.cc
src/rgw/rgw_op.h
src/rgw/rgw_rados.cc
src/rgw/rgw_tools.cc
src/rgw/rgw_user.cc
src/rgw/rgw_user.h

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

rgw: remove a few warnings

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

rgw: renamed a few unit tests

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

rgw: make rgw_cls_complete_op backward compatible

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

rgw: make rgw_bucket_dir_entry backward compatible

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

mds: fix O_TRUNC locking

When truncating a file, we should xlock the corresponding filelock.
(revoke any Fw caps from clients).

[note from sw: setattr on size also takes the filelock xlock.]

Signed-off-by: Yan, Zheng <zheng.z.yan@intel.com>
Reviewed-by: Sage Weil <sage@inktank.com>

Makefile: include rbdmap in dist tarball

Signed-off-by: Sage Weil <sage@inktank.com>

Merge pull request #390 from ksperis/rbdmap.init-2

init-rbdmap install

Reviewed-by: Sage Weil <sage@inktank.com>

rgw: keep max_marker on bucket index

and expose it via the REST interface

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

Merge remote-tracking branch 'gh/next'

Conflicts:
src/mon/OSDMonitor.cc

Merge remote-tracking branch 'origin/wip-rgw-geo-2' into wip-rgw-geo

Merge pull request #382 from kri5/wip-5324

rgw: admin: Add --shard-id option to help

Reviewed-by: Yehuda Sadeh <yehuda@inktank.com>

Merge branch 'wip-rgw-geo-2' into wip-rgw-geo

Conflicts:
src/rgw/rgw_admin.cc
src/rgw/rgw_common.cc
src/rgw/rgw_common.h
src/rgw/rgw_rest.cc
src/rgw/rgw_rest_log.cc

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

unitests: fix compilation

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

mon: dead code removal

Remove code for 'mds cluster_fail', 'osd tell', and auth_usage()

Signed-off-by: Dan Mick <dan.mick@inktank.com>
Reviewed-by: Sage Weil <sage@inktank.com>

Merge branch 'wip-ceph-disk'

Passed ceph-deploy suite.

Reviewed-by: Dan Mick <dan.mick@inktank.com>

rgw: handle new rest operations

md + data logs, get shard info

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

rgw: RESTful api for shards info

For both mdlog, datalog

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

cls_log: store info in header, new op to retrieve it

Keep max_timestamp, max_marker. Add a new op to retrieve header.

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

rgw: replica log RESTful api uses bucket instance id

Modified RESTful api for replica log to use bucket instance id
instead of bucket name.

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

rgw: rework replica log + RESTful api

Rather than making the caller code handle encode/decode/dump etc,
we introduce an RGWReplicaBounds struct which the RGWReplicaLogger classes
traffic in (instead of the string marker, utime_t time, and list of pairs of
items). Right now this is just referring to cls_replica_log internal structs,
but we use typedefs so that we can cleanly change them over later and avoid
crossing the namespaces too much.

This greatly reduces the amount of code in rgw_rest_replica_log -- hurrah!

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>
Signed-off-by: Greg Farnum <greg@inktank.com>

cls_replica_log: implement decode_json for the types

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

ceph_json: add a utime_t decoder

This needs to be cleaned up a bit as we don't actually want to
import rgw_common into ceph_json (we'll need to pull the parse_date
out of that and into somewhere more accessible/appropriate).

Signed-off-by: Greg Farnum <greg@inktank.com>

sysvinit, upstart: handle symlinks to dirs in /var/lib/ceph/*

Match a symlink to a dir, not just dirs.  This fixes the osd case of e.g.,
creating an osd in /data/osd$id in which ceph-disk makes a symlink from
/var/lib/ceph/osd/ceph-$id.

Fix proposed by Matt Thompson <matt.thompson@mandiant.com>; extended to
include the upstart users too.

Fixes: #5490
Signed-off-by: Sage Weil <sage@inktank.com>
Reviewed-by: Dan Mick <dan.mick@inktank.com>

ceph-disk: handle /dev/foo/bar devices throughout

Assume the last component is the unique device name, even if it appears
under a subdir of /dev.

Signed-off-by: Sage Weil <sage@inktank.com>

ceph-disk: make is_held() smarter about full disks

Handle the case where the device is a full disk.  Make the partition
check a bit more robust (don't make assumptions about naming aside from
the device being a prefix of the partition).

Signed-off-by: Sage Weil <sage@inktank.com>

osdc/Objecter: resend command map version checks on reconnect

We already do this for Ops and LingerOps, but missed this when we added
CommandOps to the mix.  The result is that an ill-timed mon disconnect will
leave a command map check (and thus the command) hanging.

This misbehavior was introduced when CommandOp was introduced, back in
commit 2e172225b01561bb7988b6d86d96ff4b9c1c5762, and we failed to fix it
in 8808ca57c652502d9cf803b0dc53673ca9dd62af.

Fixes: #5493
Signed-off-by: Sage Weil <sage@inktank.com>
Reviewed-by: Josh Durgin <josh.durgin@inktank.com>

common: move parse_time into utime_t header

Signed-off-by: Greg Farnum <greg@inktank.com>

rgw: remove get_bound_info from RGWReplicaLogger

It doesn't have any users and we're about to expose a wrapper class instead.

Signed-off-by: Greg Farnum <greg@inktank.com>

key_value_store: fixup errno handling

Don't use "errno" as a variable name, and include <errno.h>
instead of some of the specific paths.

Signed-off-by: Greg Farnum <greg@inktank.com>

RESTful implementation to dump regionmap implementation

Signed-off-by: Babu Shanmugam <anbu@enovance.com>

RESTful API implementation for replica_log

Signed-off-by: Babu Shanmugam <anbu@enovance.com>

Merge pull request #386 from ceph/wip-osd-xattr

automatically enable xattrs in omap; make size limits well defined

Reviewed-by: Samuel Just <sam.just@inktank.com>

mds: man page: Fixed cut & paste error

Merge pull request #388 from dachary/master

set object_info_t pool of an ObjectContext if it is undefined or bad

Reviewed-by: Samuel Just <sam.just@inktank.com>

set object_info_t pool of an ObjectContext if it is undefined or bad

When reading object_info_t from an existing object attribute, the pool
may be < 0 and should be set to the pool containing the object. This is done
on the oi object on the stack but overriden later by:

    obc->obs.oi.decode(bv);

This decode is superfluous and is removed so that it does not override
the modified value of the pool.

Signed-off-by: Loic Dachary <loic@dachary.org>

Move rbdmap file to /etc/ceph

Signed-off-by: Laurent Barbe <laurent@ksperis.com>

install rules for init-rbdmap

Signed-off-by: Laurent Barbe <laurent@ksperis.com>

rgw-admin: Adds option --shard-id to help.t

Signed-off-by: Christophe Courtaut <christophe.courtaut@gmail.com>

rgw: admin: Add --shard-id option to help

http://tracker.ceph.com/issues/5324 fixes #5324
Explains operations dependency,
which is more important than the semantic.

Signed-off-by: Christophe Courtaut <christophe.courtaut@gmail.com>

Merge pull request #387 from ceph/wip-5346

rgw: add RGWFormatter_Plain allocation to sidestep cranky strlen()

Reviewed-by: Yehuda Sadeh <yehuda@inktank.com>

rgw: add RGWFormatter_Plain allocation to sidestep cranky strlen()

Valgrind complains about an invalid read when we don't pad the allocation,
and because it is inlined we can't whitelist it for valgrind.  Workaround
the warning by just padding our allocations a bit.

Fixes: #5346
Backport: cuttlefish
Signed-off-by: Sage Weil <sage@inktank.com>

doc: Minor fix.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

rgw: metadata, data logs can be turned on / off

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

mon: Paxos: update first_committed on first paxos proposal

We were adding this update to a transaction that would only be applied
on the leader.  The peons would never see a first_committed > 0.

Fixes: #5484
Signed-off-by: Joao Eduardo Luis <joao.luis@inktank.com>
Reviewed-by: Sage Weil <sage@inktank.com>

librados: fix test warning on 32-bit platforms

Signed-off-by: Sage Weil <sage@inktank.com>

os/FileStore: automatically enable 'filestore xattr use omap' as needed

Automatically enable the 'filestore xattr use omap' option if the fs
does not appear to handle large xattrs on its own.

This makes for a more pleasant use experience as they are not told to
enable something that we already know they must enable in order to
continue.

Fixes: #5137
Signed-off-by: Sage Weil <sage@inktank.com>

librados: add test for large and many xattrs

Verify that we can set large and large numbers of attrs on an object.

Signed-off-by: Sage Weil <sage@inktank.com>

osd/PGLog: populate log_keys_debug from read_old_log()

Fixes: #5470
Signed-off-by: Sage Weil <sage@inktank.com>
Reviewed-by: Samuel Just <sam.just@inktank.com>

rgw: modify RGWBucketInfo::creation_time encoding / decoding

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

Merge pull request #385 from kri5/wip-1779

rgw: Fix return value for swift user not found

Reviewed-by: Yehuda Sadeh <yehuda@inktank.com>

rgw: Fix return value for swift user not found

http://tracker.ceph.com/issues/1779 fixes #1779

Adjust the return value from rgw_get_user_info_by_swift call
in RGW_SWIFT_Auth_Get::execute() to have the correct
return code in response.

rgw: end-marker serves as last value, not as upperbound

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

rgw: relax marker requirements for log apis

Don't require start-time, start-marker.

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

rgw: update log APIs to use markers

a few APIs were missing markers, fixed that.

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

rgw: cls_log_entry has id field

The id field can be used as the marker for log list / trim
operations.

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

Makefile.am: some more makefile rules fixes

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

rgw: date string parsing also parses seconds fraction

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

Makefile.am: some more makefile rules fixes

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

rgw: date string parsing also parses seconds fraction

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

rgw: fix cli test

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

Makefile.am: add missing rule

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

osd: set maximum object attr size

Make a well-defined maximum size of an object attribute.  Since Linus has
a 64KB limit, and that is what we normally use to back this, use that as
the limit.  This means that even when leveldb is backing large xattrs
(as ext4 users must do) we will return EFBIG on >64KB setxattr attempts.

Signed-off-by: Sage Weil <sage@inktank.com>

rgw: initialize sent_header in RGWOp_Opstate_List

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

mds: log before respawning when standby-replay falls behind

Call into an MDS method so that we can write to the log.

Signed-off-by: Sage Weil <sage@inktank.com>

Merge remote-tracking branch 'gh/wip-5381' into wip-mds

Reviewed-by: Greg Farnum <greg@inktank.com>

rgw-admin: restructure replicalog commands

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

client: send all request put's through put_request()

Make sure all MetaRequest reference put's go through the same path that
releases inode references, including all of the error paths.

Signed-off-by: Sage Weil <sage@inktank.com>

client: fix remaining Inode::put() caller, and make method psuedo-private

Not sure I can make this actually private and make Client::put_inode() a
friend method (making all of Client a friend would defeat the purpose).
This works well enough, though!

Signed-off-by: Sage Weil <sage@inktank.com>

Merge remote-tracking branch 'enovance/wip-rgw-geo-2-opstate' into wip-rgw-geo-2

Conflicts:
src/Makefile.am
src/rgw/rgw_admin.cc
src/rgw/rgw_common.h

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

librados: fix cmd OSDCommand test

If we get ENXIO, buflen will be 0.

Signed-off-by: Sage Weil <sage@inktank.com>

rgw: don't remove bucket index when removing a bucket

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

rgw: bilog list by bucket instance (RESTful api)

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

client: use put_inode on MetaRequest inode refs

When we drop the request inode refs, we need to use put_inode() to ensure
they get cleaned up properly (removed from inode_map, caps released, etc.).
Do this explicitly here (as we do with all other inode put() paths that
matter).

Fixes: #5381
Backport: cuttlefish
Signed-off-by: Sage Weil <sage@inktank.com>

ceph_json: reset values

Call the default constructor if entry not found. Also,
reset containers before inserting new data.

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

rgw: user param in access key is not manadatory

for json decoding

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

rgw: advance ptr when sending data

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

doc: Created an install page for Calxeda development packages.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

Merge branch 'next'

ceph-disk: s/else if/elif/

Signed-off-by: Greg Farnum <greg@inktank.com>
Reviewed-by: Joao Luis <joao.luis@inktank.com>
(cherry picked from commit bd8255a750de08c1b8ee5e9c9a0a1b9b16171462)

Merge pull request #372 from ceph/wip-mon-pgmap

Reviewed-by: Joao Eduardo Luis <joao.luis@inktank.com>

changes to accomodate review comments on previous version

Signed-off-by: Babu Shanmugam <anbu@enovance.com>

rgw: fix regionmap json decoding

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

Merge remote-tracking branch 'gh/next'

Merge pull request #378 from ceph/wip-init-rbd

Reviewed-by: Sage Weil <sage@inktank.com>

qa/workunits/misc/multiple_rsync: put tee output in /tmp

2013-06-25T10:29:15.811 INFO:teuthology.task.workunit.client.0.err:+ rsync -auv --exclude local/ /usr/ usr.2
2013-06-25T10:29:15.811 INFO:teuthology.task.workunit.client.0.err:+ tee a
2013-06-25T10:29:15.902 INFO:teuthology.task.workunit.client.0.out:sending incremental file list
2013-06-25T10:29:48.738 INFO:teuthology.task.workunit.client.0.out:
2013-06-25T10:29:48.740 INFO:teuthology.task.workunit.client.0.out:sent 1449972 bytes  received 7477 bytes  43505.94 bytes/sec
2013-06-25T10:29:48.740 INFO:teuthology.task.workunit.client.0.out:total size is 3205268241  speedup is 2199.23
2013-06-25T10:29:48.740 INFO:teuthology.task.workunit.client.0.err:+ hexdump -C a
2013-06-25T10:29:48.741 INFO:teuthology.task.workunit.client.0.out:00000000  00 00 00 00 00 00 00 00  00 00 00 00 00 00 00 00  |................|
2013-06-25T10:29:48.741 INFO:teuthology.task.workunit.client.0.out:00000010  00 00 00 00 00 00 00 00  00 00 00 00 00 00 0a 73  |...............s|
2013-06-25T10:29:48.742 INFO:teuthology.task.workunit.client.0.out:00000020  65 6e 74 20 31 34 34 39  39 37 32 20 62 79 74 65  |ent 1449972 byte|
2013-06-25T10:29:48.742 INFO:teuthology.task.workunit.client.0.out:00000030  73 20 20 72 65 63 65 69  76 65 64 20 37 34 37 37  |s  received 7477|
2013-06-25T10:29:48.742 INFO:teuthology.task.workunit.client.0.out:00000040  20 62 79 74 65 73 20 20  34 33 35 30 35 2e 39 34  | bytes  43505.94|
2013-06-25T10:29:48.742 INFO:teuthology.task.workunit.client.0.out:00000050  20 62 79 74 65 73 2f 73  65 63 0a 74 6f 74 61 6c  | bytes/sec.total|
2013-06-25T10:29:48.742 INFO:teuthology.task.workunit.client.0.out:00000060  20 73 69 7a 65 20 69 73  20 33 32 30 35 32 36 38  | size is 3205268|
2013-06-25T10:29:48.742 INFO:teuthology.task.workunit.client.0.out:00000070  32 34 31 20 20 73 70 65  65 64 75 70 20 69 73 20  |241  speedup is |
2013-06-25T10:29:48.743 INFO:teuthology.task.workunit.client.0.out:00000080  32 31 39 39 2e 32 33 0a                           |2199.23.|
2013-06-25T10:29:48.743 INFO:teuthology.task.workunit.client.0.out:00000088

This passes consistently when the output is in /tmp, but fails after a few
iterations when on cephfs+kclient.  Avoid the bug with this test.

See: #5453

Signed-off-by: Sage Weil <sage@inktank.com>

rgw: fix radosgw-admin buckets list

Fixes: #5455
Backport: cuttlefish
This commit fixes a regression, where radosgw-admin buckets list
operation wasn't returning any data.

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>
Reviewed-by: Sage Weil <sage@inktank.com>

Handle non-existent front interface in maps from older MONs

Fix OSDService::get_con_osd_hb() to not try to get_connection() without front interface
Fix OSD::handle_osd_map() to check for missing front interface

Fixes: #5460
Signed-off-by: David Zafman <david.zafman@inktank.com>
Reviewed-by: Sage Weil <sage@inktank.com>

qa/workunits/rbd/simple_1tb: add simple rbd read/write test on large image

Motivated by #5454.

Signed-off-by: Sage Weil <sage@inktank.com>

ceph-disk: do not mount over an osd directly in /var/lib/ceph/osd/$cluster-$id

If we see a 'ready' file in the target OSD dir, do not mount our device
on top of it.

Among other things, this prevents ceph-disk activate on stray disks from
stepping on teuthology osds.

Fixes: #5445
Signed-off-by: Sage Weil <sage@inktank.com>

mon/PGMonitor: avoid duplicating map_pg_create() effort on same maps

If we have an election and refresh, but the osdmap does not change, there
is no need to recalculate the pg create maps.  However, if we register new
creating pgs, we do... when the last_pg_scan update gets pulled out of
paxos (i.e., on both leader and peon mons).

Signed-off-by: Sage Weil <sage@inktank.com>

cephtool/test.sh: add case for auth add with no caps

Test case for failure in #5467.  Supplying new auth info overwrites.

Signed-off-by: Dan Mick <dan.mick@inktank.com>
Reviewed-by: Sage Weil <sage@inktank.com>

MonCommands.h: auth add doesn't require caps (it can use -i <file>)

This was a regression from the old behavior introduced by the
CLI rewrite.

Fixes: #5467
Signed-off-by: Dan Mick <dan.mick@inktank.com>
Reviewed-by: Josh Durgin <josh.durgin@inktank.com>

Merge branch 'next'

Makefile.am: fix libglobal.la race with ceph_test_cors

ceph_test_cors had libglobal.la in its _LDFLAGS macro definition;
it should have been in _LDADD.  Moreover, things using libglobal.la
ought to be using LIBGLOBAL_LDA to add it to _LDADD.  Fix them all.

Signed-off-by: Dan Mick <dan.mick@inktank.com>
Reviewed-by: Josh Durgin <josh.durgin@inktank.com>