radosgw: first authorize user then try to read the acls

can't read acls if user wasn't authorized yet.

rgw: avoid duplicate openstack users

rgw_admin: typo

rgw: remove bucket metadata object on bucket delete

rgw: configurable prefix for openstack urls

rgw: can read old buckets format

rgw: can turn off logging

rgw: escape certain strings in log dump

rgw: fix acl checking when object does not exist

In that case we also need to check the bucket acl so that we can
return the correct error code.

rgw: log also includes the REST operation

rgw: get acl explicitly return success

also don't crash if op didn't explicitly set the http return code

rgw: fix log when object not specified

rgw: add logging

Merge commit 'origin/master' into rgw

Conflicts:

debian/control
src/rgw/rgw_rest.cc

librados: add append to object

buffer.h: push_back,push_front of an empty buffer pointer should be noop

Also adds an assert to copy to ensure that bufferlist iterator copy
completes.

Signed-off-by: Samuel Just <samuel.just@dreamhost.com>

libceph: when calling common_init,set library flag

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

Bump debian/changelog timestamp so it's greater than previous one.

This shuts up lintian, and just makes sense.

Signed-off-by: Tommi Virtanen <tommi.virtanen@dreamhost.com>

Make git ignore stamp files from debian build.

Signed-off-by: Tommi Virtanen <tommi.virtanen@dreamhost.com>

Typos.

Signed-off-by: Tommi Virtanen <tommi.virtanen@dreamhost.com>

do_autogen: add -O2 when compiling for profiling

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

Merge branch 'mds'

Merge branch 'stable'

tests/cli/osdmaptool: default pg_num changed

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

testlibrbd: signed return types

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

filestore: fix signedness so we can handle errors from safe_pread

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

version: fix const warning

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

safe_io: fix signed/unsigned comparisons

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

tests/cli/osdmaptool: default pg_num changed

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

crush: remove misleading comment

This is a stale comment from an earlier iteration of the implementation.

Reported-by: Alexander Lyakas <alex.bolshoy@gmail.com>
Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

crush: fix memory leak

Reported-by: Alexander Lyakas <alex.bolshoy@gmail.com>
Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

Merge branch 'next'

Conflicts:
configure.ac
debian/changelog
debian/control
src/Makefile.am
src/cmds.cc
src/cosd.cc
src/include/rados/librados.hpp
src/librados.cc
src/mds/Server.cc
src/osd/OSD.cc
src/testradospp.cc

v0.25

Bump librados soname to 2.

Update Debian packaging. For human-only mentions of librados,
use just "librados"

Signed-off-by: Tommi Virtanen <tommi.virtanen@dreamhost.com>
Conflicts:

debian/control
src/Makefile.am

config: back to 6 pg bits for now

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

Merge branch 'osd_recovery' into next

rgw: put object request returns etag

test_missing_unfound: asdf

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

rgw: rest put returns with etag on all APIs

rgw: remove warnings

osd: requeue pg for recovery if we may have found someting

If we get a peer log/missing and call search_for_missing, requeue the pg
for recovery so we can pull anything we may have just found.

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

osd: include all up peers in might_have_unfound when desperate

If our might_have_unfound calculation was off (it currently can be, see
#865) we could prematurely give up.  Try any up OSD at this stage just to
be sure.

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

rgw: openstack HEAD on container responds with metadata

osd: recover_primary if recover_replicas starts no ops

recover_replicas may fail to start anything if we see an unexpected error.
In that case, try recover_primary immediately instead of waiting for the
PG to (hopefully) get requeued for recovery later.

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

osd: discover more missing if unfound and do_recovery can't start anything

If we couldn't start any recovery ops and things are still
unfound, see if we can discover more missing object locations.
It may be that our initial locations were bad and we errored
out while trying to pull.

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

do_autogen.sh: add -P option

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

osd: debug the hell out of heartbeat thread

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

Fix test/signals.cc

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

librados: cosmetic header changes

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

librados, librbd: use separate IoCtxs for data and metadata

Adds deep copy method IoCtx::dup, so that the data and metadata
contexts can have different snap_seqs and snap contexts.

Also avoid calling Rados::shutdown explicitly, since the destructor
will do this, and it must run after the Image destructor.

Signed-off-by: Josh Durgin <josh.durgin@dreamhost.com>

librbd: fix error message and unnamed constant

Signed-off-by: Josh Durgin <josh.durgin@dreamhost.com>

librbd: change RBD::open to take a reference to an Image instead of a pointer

This makes the API more consistent with the librados API.

Signed-off-by: Josh Durgin <josh.durgin@dreamhost.com>

librados: remove unused member of IoCtx

Signed-off-by: Josh Durgin <josh.durgin@dreamhost.com>

librados: IoCtx destructor should put reference only if initalized

librados: can set up object locator

librados:rados_ioctx_stat -> rados_ioctx_pool_stat

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

object_locator: fix clear()

librados: use atomic_t for reference count

Use an use atomic_t for the reference count in IoCtxImpl.

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

librados: make IoCtxImpl a pointer in WatchContext

Adds get and put to IoCtxImpl for refcounting,
and uses them in WatchContext, which shouldn't
be creating a copy of the IoCtxImpl.

Signed-off-by: Josh Durgin <josh.durgin@dreamhost.com>

librados: decrement refcount of old io_ctx_impl in assignment operator

Signed-off-by: Josh Durgin <josh.durgin@dreamhost.com>

librados: fix IoCtx::from_rados_ioctx_t

IoCtx::from_rados_ioctx_t creates an IoCtx out of a rados_ioctx_t.
However, this IoCtx must share ownership of the IoCtxImpl pointer with
the C API user who first called rados_ioctx_create. This must be done
via a reference count inside the IoCtxImpl.

Also add a copy constructor and assignment operator to class IoCtx,
since it's now cheap to have them.

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

Rename radios_ioctx_{open,close} to create/destroy

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

librados: remove IoCtx::close()

We decided we don't want IoCtx::close(), since IoCtx::~IoCtx() exists.

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

Make git ignore core files.

Make git ignore python generated files.

librados: Crashed on shutdown if connect was never called.

Add a trivial unit test to trigger this.

libradoshpp: put ceph stuff in namespace librados

Try a little bit harder to avoid polluting the user's global namespace
with our stuff.

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

librados: don't create unused SnapContext objs

There were some unused temporary variables hanging around.

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

librados: fix copy ctor of ObjectIterator

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

testrados: add object stat test

Signed-off-by: Josh Durgin <josh.durgin@dreamhost.com>

testlibrbd: recreate test pool each time

Signed-off-by: Josh Durgin <josh.durgin@dreamhost.com>

radosgw_admin: change usage, improve uid lookup

commands can get also either the email or the openstack uid

Fix test/signals.cc

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

librados, librbd: use separate IoCtxs for data and metadata

Adds deep copy method IoCtx::dup, so that the data and metadata
contexts can have different snap_seqs and snap contexts.

Also avoid calling Rados::shutdown explicitly, since the destructor
will do this, and it must run after the Image destructor.

Signed-off-by: Josh Durgin <josh.durgin@dreamhost.com>

librbd: fix error message and unnamed constant

Signed-off-by: Josh Durgin <josh.durgin@dreamhost.com>

rgw: can show bucket size and count

configure: fix profiler check

Merge branch 'master' into rgw

Conflicts:
src/Makefile.am

common: block SIGPIPE everywhere we can

It's much better to get EPIPE than SIGPIPE.

Block SIGPIPE in all threads we create. In the daemon, block SIGPIPE in
the main thread.

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

messanger: shouldn't throw sigpipe on failed socket

common: block SIGPIPE everywhere we can

It's much better to get EPIPE than SIGPIPE.

Block SIGPIPE in all threads we create. In the daemon, block SIGPIPE in
the main thread.

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

messanger: shouldn't throw sigpipe on failed socket

configure: fix profiler check

dout: Log version message when (re)opening log

Log a version message whenever we open the dout log, not just the first
time. However, only output it to log files and syslog. Spewing versions
to stderr and stdout was determined to be annoying.

Rename dout_emergency_impl to dout_emergency_to_file_and_syslog to
better reflect its function.

Rename ceph_version_to_string to pretty_version_to_string.

Add get_process_name to do just that. Re-arrange some version.h methods.

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>
Conflicts:

src/common/common_init.cc

Thread: don't mask signals except in library code

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

dout: Log version message when (re)opening log

Log a version message whenever we open the dout log, not just the first
time. However, only output it to log files and syslog. Spewing versions
to stderr and stdout was determined to be annoying.

Rename dout_emergency_impl to dout_emergency_to_file_and_syslog to
better reflect its function.

Rename ceph_version_to_string to pretty_version_to_string.

Add get_process_name to do just that. Re-arrange some version.h methods.

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

msgr: fix typo

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

CDir: Don't write out the header on a partial commit.

If we write out the header as part of a partial commit, and then
fail to complete a subsequent commit (network error, we crash, etc)
then the on-disk version of the directory is not correctly versioned.
The fact that some dentries are of a newer version than others
is okay because we will fix it up during journal replay, but if
the header says the directory is fully committed to the end of
the journal that won't happen!
So, take advantage of how messages between two daemons are strictly
ordered, and how messages for a given PG are strictly ordered, and
simply include the partial commit that contains the new header last.

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

CDir: pay attention to the max_dir_commit_size!

Somehow it seems to have been ignoring this previously, which
doesn't make any sense at all since otherwise our tests on it
wouldn't have worked. Perhaps there was a merging error somewhere?

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

Merge branch 'tcmalloc_optimizations'

tcmalloc: warn if you try and dump without the profiler running.

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

mds: rip out rename linkmerge support

It turns out POSIX says rename(a,b) is a no-op when a and b link to the
same inode.  This is super weird but good news because it means we can
rip out a bunch of poorly tested code.

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

tcmalloc: create perfglue handle_command functionality.

Switch the OSD and MDS to use it, instead of handling
the calls on their own. Note that this is a command interface change!

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

Merge remote branch 'origin/master' into locator

locator: pool id is signed

qa/workunits: added fsstress.sh

Signed-off-by: Samuel Just <samuel.just@dreamhost.com>

osd: drop old ceph_osd_request_head

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

osd: new encoding for MOSDOp when OBJECTLOCATOR feature is present

The new encoding includes the object_locator_t.  It also avoids the old
C struct.

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

osd: add OBJECTLOCATOR protocol feature bit

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

encode locator information in osd op