v0.54

rgw: fix RGWCache api

RGWCache api diverted form RGWRados, crippling the cache.

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

rgw_cache: change call signature to overwrite rgw_rados put_obj_meta()

Signed-off-by: caleb miles <caleb.miles@inktank.com>

rgw: unquote etag for if-match

Fixes: #3453
Passed ETag for copy/get request may be quoted.

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

rgw: use thread safe version of gmtime

Use gmtime_r instead of gmtime.

Signed-off-by: Sylvain Munaut <s.munaut@whatever-company.com>

rgw: don't convert object mtime to UTC

Fixes: #3452
When we read object info, don't try to convert mtime to
UTC, it's already in UTC.

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

Merge branch 'wip-client-leaks' into next

client: fix null put in ~MetaSession

Signed-off-by: Sage Weil <sage@inktank.com>

Merge branch 'wip-client-leaks' into next

si_t was not properly converting values < 100KB

Signed-off-by: Dan Mick <dan.mick@inktank.com>

osdc/ObjectCacher: only call flush callback if we transitions to clean

If we race with e.g. truncate and are in bh_write_commit but the oset
is already clean, we should not call the flush callback (again).

This is reproduced by:

 - kludging slow osd replies into the code (e.g., 2 second delay)
 - mount ceph-fuse with --client-oc-max-dirty-age 1
 - dd if=/dev/zero of=mnt/foo count=1
   sleep 1
   truncate --size 0 mnt/foo
 -> crash

Signed-off-by: Sage Weil <sage@inktank.com>

client: ensure we don't leak MClientReply

We are careful to clear this reference when processing it.

Add an assert here.  There's no way we can get 2 quick replies because
of the kick-back below.

Signed-off-by: Sage Weil <sage@inktank.com>

ceph-fuse: fix leak of args

Also fix up the helper we use to have fewer sharp edges.

Signed-off-by: Sage Weil <sage@inktank.com>

osdc/ObjectCacher: fix leak on readahead

If we initiate io (success == false) but have no waiter, we need to
delete the OSDRead.

This affects libcephfs/ceph-fuse, but not librbd, which does no readahead.

Signed-off-by: Sage Weil <sage@inktank.com>

rbd: check for second argument to mv/rename

Without this check, 'rbd mv foo' crashed trying to use a NULL char* as
a string.

Reported-by: Andrey Korolyov <andrey@xdel.ru>
Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

client: fix SnapRealm leak

Start ref count at 0; get_snap_realm() will increment it after alloc.

Fix the ref drop order so that the xlist is empty.

Signed-off-by: Sage Weil <sage@inktank.com>

client: debug SnapRealm reference counting

Signed-off-by: Sage Weil <sage@inktank.com>

client: fix leak of Cap

Signed-off-by: Sage Weil <sage@inktank.com>

client: fix leak of session release msg on session close

Signed-off-by: Sage Weil <sage@inktank.com>

client: only start invalidator thread if cb != NULL

Signed-off-by: Sage Weil <sage@inktank.com>

ceph-fuse: deallocate messenger, g_ceph_context on stop

This lets us use valgrind to find leaks.

Signed-off-by: Sage Weil <sage@inktank.com>

client: give get_caps() out-arg a less confusing name

No functional change.

Call this arg "have" and not "got", since we only take a ref on what we
need.

Signed-off-by: Sage Weil <sage@inktank.com>

client: do not gratuitously drop FILE_CACHE ref in _read()

The get_caps() had a confusing out-arg called "got" that is really what
caps we *have*; it only takes a ref on the *need* cap.  We should only
put that one explicitly (CEPH_CAP_FILE_RD).  The _write() method already
does this properly, but _read() did not.

Fixes: #3470
Signed-off-by: Sage Weil <sage@inktank.com>

client: assert cap refs don't go negative

This is the root cause of #3470.

Signed-off-by: Sage Weil <sage@inktank.com>

rbd: fix snap unprotect, which was succeeding while clones existed

1) use right snap id when forming parent spec to search for children
2) add test case for "unprotect with extant children"

Signed-off-by: Dan Mick <dan.mick@inktank.com>

ceph.spec.in:  Remove ceph version requirement from ceph-fuse package.

The ceph-fuse rpm package now only requires ceph as a pre-req, not a specific
version.

rgw_admin: do not throw error when start-date and end-date are not
passed to usage::trim()

Signed-off-by: caleb miles <caleb.miles@inktank.com>

client: kick waiters for an mds session to open on mds recovery

We already kicked waiters for request, but we need to kick waiters on open
too (e.g., a client trying to mount).

Signed-off-by: Sage Weil <sage@inktank.com>

qa: disable xfstest 45 until mount issue is resolved on precise

Meh

Signed-off-by: Sage Weil <sage@inktank.com>

cls_rbd: send proper format of key to "last_read" for dir_list

rbd ls of format-2 images was looping on the first 64 (when more than 64
were present).  The key name passed to the omap layer needs to always
contain the prefix, and the "inside-the-loop next-chunk" statement
was missing the "add the prefix" call.

Also, add a test for listing 100 images, format 1 and 2.

Signed-off-by: Dan Mick <dan.mick@inktank.com>
Reviewed-by: Josh Durgin <josh.durgin@inktank.com>

rgw: fix multipart overwrite

Fixes: #3400
Removed a few lines of code that prematurely created the head
part of the final object (before creating the manifest).

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

rgw: don't reset multipart parts when updating their metadata

Fixes: #3401
The problem was that put_obj_meta() was assuming object is going
to be reset, so it was resetting the object anyway. This is not
true when dealing with the immutable multipart upload parts.

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

rgw: break out of read loop if we got zero bytes

If the part that we're reading is corrupted and we end up
reading zero bytes, we need to exit, otherwise we'd just
loop forever.

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

rbd: allow removal of image even if rbd_children deletion fails

Users have been seeing failures where rbd rm is half-done; could be
because of outstanding watches on the rbd_header object.  The state
is that rbd_children no longer contains the child, but other pieces
remain; remove considers this a failure.

Fix: test for ENOENT from remove_child, and treat that as an ignorable
error and drive on.  Simulate this in copy.sh by removing the
rbd_children object altogether, which also results in ENOENT return
from remove_child.

Signed-off-by: Dan Mick <dan.mick@inktank.com>
Reviewed-by: Josh Durgin <josh.durgin@inktank.com>

PG::merge_old_entry: fix case for divergent prior_version

Previously, we asserted that a log entry with a divergent
prior_version must be a clone.  Consider the following
case:

6'11(6'2)  m foo
7'12(6'3) m bar
7'13(7'12) m bar

If this is merged with:

6'11(6'2)  m foo
8'12(6'4) m baz

we will hit the assert.  The correct behavior is simply to remove
the object as in the clone case.

Signed-off-by: Samuel Just <sam.just@inktank.com>
Reviewed-by: Sage Weil <sage@inktank.com>

PG: use remove_object_with_snap_hardlinks for divergent objects

Otherwise, we end up leaving snap hardlinks in the snapshot
index directories.  This eventually results in an EEXIST error
when we attempt to re-link the clone into place during
recovery.

Signed-off-by: Samuel Just <sam.just@inktank.com>
Reviewed-by: Sage Weil <sage@inktank.com>

ceph-disk-activate: avoid duplicating mounts if already activated

If the given device is already mounted at the target location, do not
mount --move it again and create a bunch of dup entries in the /etc/mtab
and kernel mount table.

Signed-off-by: Sage Weil <sage@inktank.com>

PG: requeue snap_trimmer after scrub finishes

Previously the snap_trimmer would continuously requeue itself until the
end of scrub. This degrades performance and fills up logs for No Good
Reason.

Signed-off-by: Mike Ryan <mike.ryan@inktank.com>

ceph-disk-prepare: poke kernel into refreshing partition tables

Prod the kernel to refresh the partition table after we create one.  The
partprobe program is packaged with parted, which we already use, so this
introduces no new dependency.

Signed-off-by: Sage Weil <sage@inktank.com>

ceph-disk-prepare: fix journal partition creation

The end value needs to have + to indicate it is relative to wherever the
start is.

Signed-off-by: Sage Weil <sage@inktank.com>

ceph-disk-prepare: assume parted failure means no partition table

If the disk has no valid label we get an error like

  Error: /dev/sdi: unrecognised disk label

Assume any error we get is that and go with an id label of 1.

Signed-off-by: Sage Weil <sage@inktank.com>

osd: make pool_snap_info_t encoding backward compatible

Way back in fc869dee1e8a1c90c93cb7e678563772fb1c51fb (v0.42) when we redid
the osd type encoding we forgot to make this conditionally encode the old
format for old clients.  In particular, this means that kernel clients
will fail to decode the osdmap if there is a rados pool with a pool-level
snapshot defined.

Fixes: #3290
Signed-off-by: Sage Weil <sage@inktank.com>

mon: fix leading error string from 'ceph report'

Signed-off-by: Sage Weil <sage@inktank.com>

osd: fix populate_obc_watchers() assert

There is one case where populate_obc_watchers gets called when the object
is missing: during a revert.  And in that case we *should* do the populate,
since all that is getting reverted is the object version.

Fixes: #3405
Signed-off-by: Sage Weil <sage@inktank.com>
Reviewed-by: Sam Just <sam.just@inktank.com>

osd: drop conditional check in populate_obc_watchers

Turn these into asserts.  The only two callers are create_object_context()
and get_object_context(), and they only get called when the object is no
longer missing.

Signed-off-by: Sage Weil <sage@inktank.com>
Reviewed-by: Samuel Just <sam.just@inktank.com>

osd: populate obc watchers even when degraded

Bug #3142 appears to be caused by the following sequence:

 - object X missing on primary and replica
 - [assert-ver,watch], notify, unwatch requests come in, get deferred
 - object is recovered on primary, !missing, create_object_context
   - populate_obc_watchers() does nothing, since still degraded
 - notify happens now (odd but ok?)
 - replica recovered, !degraded
 - watch skips bc of bad assert
 - unwatch trips up on an assert because populate_obc_watchers never
   ran

Fix this by populating the obc watcher when !missing, not when
!degraded.  This conditional dates back to Sam's original watch/notify
cleanup in October 2011.

Signed-off-by: Sage Weil <sage@inktank.com>
Reviewed-by: Samuel Just <sam.just@inktank.com>

test/libcephfs: Fix telldir/seekdir test

Signed-off-by: Sam Lang <sam.lang@inktank.com>

addr_parsing: make , and ; and ' ' all delimiters

Instead of just ,.  Currently "foo.com, bar.com" will fail because of the
space after the comma.  This patches fixes that, and makes all delim
chars interchangeable.

Signed-off-by: Sage Weil <sage@inktank.com>

radosgw: fix compile warning

Signed-off-by: Sage Weil <sage@inktank.com>

Merge branch 'next'

doc: Updated the cephx section of the toc for cluster ops.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

doc: Did a little clean-up work in the cephx guide.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

doc: Added a new intro for cephx authentication.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

rgw: multiple coverity fixes

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

mds: explicitly queue messages for unconnected clients

Previously, the messenger would queue messages for a destination that
didn't exist when you were a server; that changed a while back with the
wip-msgr merge (circa v0.52).  The result is that when we force open
client sessions and queue messages, they are dropped on the floor and the
client--when it does connect--gets confusing stuff from the MDS.

Instead, explicitly queue and send these messages.  Also, *always* send
via the Connection* instead of the inst.

Fixes: #2681
Signed-off-by: Sage Weil <sage@inktank.com>

v0.43

Merge remote-tracking branch 'gh/wip-fedora18' into next

radosgw-admin manpage: Fix broken quotes

Signed-off-by: Dan Mick <dan.mick@inktank.com>

admin_socket: fix '0' protocol version

Broken by 895e24d198ced83ab7fed3725f12f75e3bc97b0b.

Signed-off-by: Sage Weil <sage@inktank.com>

client: avoid possible null deref

CID 716910 (#1 of 1): Explicit null dereferenced (FORWARD_NULL)
At (6): Dereferencing null pointer "mds_session".

Signed-off-by: Sage Weil <sage@inktank.com>

client: fix shadowing in inode ctor

CID 728080 (#1 of 1): Incorrect sizeof expression (BAD_SIZEOF)
Taking the size of pointer parameter "layout" is suspicious.

At (2): Non-static class member field "layout.fl_stripe_unit" is not initialized in this constructor nor in any functions that it calls.
At (4): Non-static class member field "layout.fl_stripe_count" is not initialized in this constructor nor in any functions that it calls.
At (6): Non-static class member field "layout.fl_object_size" is not initialized in this constructor nor in any functions that it calls.
At (8): Non-static class member field "layout.fl_cas_hash" is not initialized in this constructor nor in any functions that it calls.
At (10): Non-static class member field "layout.fl_object_stripe_unit" is not initialized in this constructor nor in any functions that it calls.
At (12): Non-static class member field "layout.fl_unused" is not initialized in this constructor nor in any functions that it calls.
CID 717206 (#1 of 1): Uninitialized scalar field (UNINIT_CTOR)
At (14): Non-static class member field "layout.fl_pg_pool" is not initialized in this constructor nor in any functions that it calls.

Signed-off-by: Sage Weil <sage@inktank.com>

client: init readdir fields

At (2): Non-static class member "readdir_offset" is not initialized in this constructor nor in any functions that it calls.
At (4): Non-static class member "readdir_end" is not initialized in this constructor nor in any functions that it calls.
At (6): Non-static class member "readdir_num" is not initialized in this constructor nor in any functions that it calls.
CID 717207 (#1 of 1): Uninitialized scalar field (UNINIT_CTOR)
At (8): Non-static class member "tid" is not initialized in this constructor nor in any functions that it calls.

Signed-off-by: Sage Weil <sage@inktank.com>

Makefile:  Add CRYPTO_C(XX)FLAGS to librdb

Makefiles:  Add ar-lib to .gitignore.

autogen.sh:  On some platforms, the m4 is created earlier.

autogen.sh:  Create m4 directory for leveldb submodule.

Makefiles:  Update submodule reference to latestes for leveldb.

Makefile: update submodule reference for leveldb.

leveldb: fix-up submodule entry.

Makefile: Improve test for boost system library.

Makefiles:  Missing boost library should not be fatal.

Makefiles:  ignore the m4 macro directory

Makefile:  Updates to eliminates warnings, add test for boost system lib.

cls_rgw: init var in ctor

CID 727992 (#1 of 1): Uninitialized scalar field (UNINIT_CTOR)
At (2): Non-static class member "tag_timeout" is not initialized in this constructor nor in any functions that it calls.

Signed-off-by: Sage Weil <sage@inktank.com>

rgw: don't add port to url if already has one

Fixes: #3296
Specifically, is host name string already has ':', then
don't try to append theport (swift auth).

backport: argonaut
Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

ceph-disk-prepare, debian/control: Support external journals.

Previously, ceph-disk-* would only let you use a journal that was a
file inside the OSD data directory. With this, you can do:

  ceph-disk-prepare /dev/sdb /dev/sdb

to put the journal as a second partition on the same disk as the OSD
data (might save some file system overhead), or, more interestingly:

  ceph-disk-prepare /dev/sdb /dev/sdc

which makes it create a new partition on /dev/sdc to use as the
journal. Size of the partition is decided by $osd_journal_size.
/dev/sdc must be a GPT-format disk. Multiple OSDs may share the same
journal disk (using separate partitions); this way, a single fast SSD
can serve as journal for multiple spinning disks.

The second use case currently requires parted, so a Recommends: for
parted has been added to Debian packaging.

Closes: #3078
Closes: #3079
Signed-off-by: Tommi Virtanen <tv@inktank.com>

logrotate: fix bash syntax

Introduced by 32a6394be0725b4742ebe87d7537b98c7025e4f6.

Signed-off-by: Chris Dunlop <chris@onthe.net.au>

doc: remove cephfs warning

Signed-off-by: Sage Weil <sage@inktank.com>

doc: fix file system recs

- drop xattr warning; this is not an issue with the leveldb stuff.
- the ext3 vs xattr discussion was somewhat inaccurate.  also, no longer
  relevant.

Signed-off-by: Sage Weil <sage@inktank.com>

rgw: replace bucket creation with explicit pool creation

Following a recent cleanup, usage should create a pool and
not a bucket.

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

Merge branch 'wip-fix-getdents'

rbd: don't issue usage on errors

Change bare calls to usage() to an informative targeted error message
Remove all calls to usage() except when requested with -h/--help
Regularize all errors to start with rbd:
Remove a few commented cerrs, wrap cerr calls at 80 cols

Signed-off-by: Dan Mick <dan.mick@inktank.com>
Reviewed-by: Josh Durgin <josh.durgin@inktank.com>

Merge branch 'master' of https://github.com/ceph/ceph

doc: Added radosgw temp remove.

fixes: #3278

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

doc: Minor clean-up.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

doc: minor clean-up.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

rgw: fix compilation

Signed-off-by: Noah Watkins <noahwatkins@gmail.com>

Merge branch 'master' of https://github.com/ceph/ceph

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

Merge branch 'master' of https://github.com/ceph/ceph

Merge branch 'wip-rbd-openstack-doc'

mon: drop command replies on paxos reset

If paxos resets, do not send the reply for the commit we were waiting for;
let the command be reprocessed and re-proposed.

Among other things, this could lead to nondeterministic results for
'ceph osd create <uuid>'.

Signed-off-by: Sage Weil <sage@inktank.com>

doc: Editing and cleanup.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

test: Allow randomized tests to be repeatable

Outputs the random number used for the Dir_ls
test and allows setting the value through an
environment variable.

Signed-off-by: Sam Lang <sam.lang@inktank.com>

client: Reset cache_name pos on dirp

Reset the at_cache_name field on the directory
stream pointer for rewinddir.
This fixes a bug where getdents after readdir at
the end of the stream would return invalid
results after rewinddir had been called.

Signed-off-by: Sam Lang <sam.lang@inktank.com>

rbd cli tests: copy.sh was looking for old version of rbd ls -l output

Signed-off-by: Dan Mick <dan.mick@inktank.com>

clean up of rbd functionality script

Signed-off-by: tamil <tamil.muthamizhan@inktank.com>

cleaned up the perl module

Signed-off-by: tamil <tamil.muthamizhan@inktank.com>

cleaned up the script

Signed-off-by: tamil <tamil.muthamizhan@inktank.com>

radosgw-admin: don't try to parse date if wasn't specified

This fixes a regression following the merge of wip-admin-rest.

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

ceph-debugpack: updates

- avoid copying data around; tar things directly into the tgz
- 'ceph report' instead of all the little bits
- unrotated logs only
- ensure target doesn't already exist

Signed-off-by: Sage Weil <sage@inktank.com>