cpp_strerror: handle negative error code

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

rgw_rest: fix printf format specifier

32-bit

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

rados: fix map type

32-bit build issue

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

librados: fix size_t -> uint64_t

Only comes up on 32-bit builds.

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

librbd: more off_t and size_t -> uint64_t changes

These only pop on up on 32-bit builds.

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

librbd: size_t -> uint64_t on internal resize

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

librados: use uint64_t for extent len in extmap

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

librados: fixup rados_trunc

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

librados: rename statfs to cluster_stat

librados: add statfs to C interface

also rename the corresponding C++ method

librbd: uint64_t for image sizes

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

rados, rbd: off_t -> uint64_t

off_t is 32-bit on 32-bit archs when compiled without _FILE_OFFSET_BITS=64.
Avoid any such ambiguity in the library interface.

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

mds: fix stray anchortable debug spam

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

debian: Conflict on earlier -dev packages with sonames.

This ensures a smooth, automatic transition, by telling apt/dpkg that
it's ok to replace the old package with the new one.

Continuation of 95db4c5cb868c26567e3f5095108481aa7e76a80.

Signed-off-by: Tommi Virtanen <tommi.virtanen@dreamhost.com>

utime: fix operator double() to use the right number of zeros.

We should probably use a const (or even a #define would be better)
instead of typing out the constant in all these places!

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

debian: add udev rules

Add /lib/udev/rules.d/50-rbd.rules to debian package.
crbdnamer generates the dev path:
/dev/rbd/<pool>/<name>:<number>

Signed-off-by: Samuel Just <samuel.just@dreamhost.com>
Conflicts:

debian/rules
src/crbdnamer

osd: fix osdmap scanning on pg creation

On PG creation we were scanning the complete history of all osdmaps ever.
Fix initialization of PG::Info::History epoch_created and same_*_since
fields in the base (creation) case to make this work the way it was
supposed to.

Reported-by: Yehuda Sadeh <yehuda.sadeh@dreamhost.com>
Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

debian: add udev rules

Add /lib/udev/rules.d/50-rbd.rules to debian package.

Signed-off-by: Samuel Just <samuel.just@dreamhost.com>

debian: remove so version from -dev packages

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

filestore: assert on ENOTEMPTY

ENOTEMPTY implies rmdir failed due to stray crap in the directory.  We
should fail now, instead of later when we restart cosd and have stray
data sitting around.

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

filer: set RMW bit on probe

Setting the RMW bits on the probe stat call will make the OSD wait for
pending writes on the object to flush to disk.  This was a problem for MDS
takeover: the old instance had writes mid-commit on the OSD when the
journal probe/stat came in, and it didn't "see" the size change because
the PG was in 'delayed' mode and the old MDS's write hadn't been queued
for disk locally.  Simply claiming we are a RMW op will force the PG
into rmw mode so that we know the prior write will be visible.  This is
just fine for the metadata workload.

Fixes: #805
Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

osd: fix peer no missing optimization

This shortcut was broken: we need to populate peer_missing with missing
objects in terms of the master log, not the peer's log (which may be old
or even divergent).  This shortcut _only_ makes sense when the peer has
no missing in terms of a log that is perfectly up to date (i.e. matches
our last_update).

Reported-by: Henry Chang <henry.cy.chang@gmail.com>
Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

osd: fix missing.rm()

The version specifies which version of the object no longer should be
missing.  We should thus remove it from the missing set if we needed
anything less than OR EQUAL to that version.  (If we are missing something
newer, then missing.rm() is a no-op.)

Make the argument name less weird while we're at it.

Reported-by: Henry Chang <henry.cy.chang@gmail.com>
Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

osd: fix merge_log missing calculation at split point when logs diverge

If primary log is something like

 1'1
 1'2
 1'3

and remote log is

 1'1
 1'2
 2'3
 2'4
 2'5

Then 1'2 is the split point, but we should advance p because it exists in both
logs.  Comparing to log.head is not a sufficient check for that.

Signed-off-by: Henry Chang <henry.cy.chang@gmail.com>
Signed-off-by: Sage Weil <sage@newdream.net>

uclient: Clear the CEPH_CAP_FILE_BUFFER ref on _flush, if safe.

Previously we just returned if safe, but leaving the CEPH_CAP_FILE_BUFFER
ref around breaks _fsync horribly. The root cause of this is
update_inode_file_bits calling objectcacher->truncate_set without
clearing the BUFFER ref, but the mechanics of clearing it there are
complicated, and I don't believe there are any issues with keeping
around the extra reference, as long as it's cleared when necessary.

This should fix #862.

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

mds: use projected subtree in rename anchor check

We want to (try to) reanchor the directory on rename when our _projected_
subtree is not a leaf.  If we use the normal get_subtree_root() call,
we get NULL if we are unlinked, which makes is_leaf_subtree() crash.

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

osd: document last_epoch_clean caveat

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

osd: include all stray peers in might_have_unfound

We should always consider any OSD that has a copy of the PG as a possible
location for missing objects.  There are cases where might_have_unfound is
not completed.  For example,

 - objects on [1,2]
 - 2 marked down/out
 - objects on [1,3]
 - recovery completes, last_epoch_clean is set.
 - 2 comes back online

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

tests/cli/osdmaptool: default pg_num changed

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

testlibrbd: signed return types

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

filestore: fix signedness so we can handle errors from safe_pread

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

version: fix const warning

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

safe_io: fix signed/unsigned comparisons

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

tests/cli/osdmaptool: default pg_num changed

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

v0.25

Bump librados soname to 2.

Update Debian packaging. For human-only mentions of librados,
use just "librados"

Signed-off-by: Tommi Virtanen <tommi.virtanen@dreamhost.com>
Conflicts:

debian/control
src/Makefile.am

config: back to 6 pg bits for now

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

Merge branch 'osd_recovery' into next

rgw: put object request returns etag

test_missing_unfound: asdf

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

osd: requeue pg for recovery if we may have found someting

If we get a peer log/missing and call search_for_missing, requeue the pg
for recovery so we can pull anything we may have just found.

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

osd: include all up peers in might_have_unfound when desperate

If our might_have_unfound calculation was off (it currently can be, see
#865) we could prematurely give up.  Try any up OSD at this stage just to
be sure.

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

osd: recover_primary if recover_replicas starts no ops

recover_replicas may fail to start anything if we see an unexpected error.
In that case, try recover_primary immediately instead of waiting for the
PG to (hopefully) get requeued for recovery later.

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

osd: discover more missing if unfound and do_recovery can't start anything

If we couldn't start any recovery ops and things are still
unfound, see if we can discover more missing object locations.
It may be that our initial locations were bad and we errored
out while trying to pull.

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

Fix test/signals.cc

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

librados: cosmetic header changes

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

librados, librbd: use separate IoCtxs for data and metadata

Adds deep copy method IoCtx::dup, so that the data and metadata
contexts can have different snap_seqs and snap contexts.

Also avoid calling Rados::shutdown explicitly, since the destructor
will do this, and it must run after the Image destructor.

Signed-off-by: Josh Durgin <josh.durgin@dreamhost.com>

librbd: fix error message and unnamed constant

Signed-off-by: Josh Durgin <josh.durgin@dreamhost.com>

librbd: change RBD::open to take a reference to an Image instead of a pointer

This makes the API more consistent with the librados API.

Signed-off-by: Josh Durgin <josh.durgin@dreamhost.com>

librados: remove unused member of IoCtx

Signed-off-by: Josh Durgin <josh.durgin@dreamhost.com>

librados: IoCtx destructor should put reference only if initalized

librados: can set up object locator

librados:rados_ioctx_stat -> rados_ioctx_pool_stat

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

object_locator: fix clear()

librados: use atomic_t for reference count

Use an use atomic_t for the reference count in IoCtxImpl.

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

librados: make IoCtxImpl a pointer in WatchContext

Adds get and put to IoCtxImpl for refcounting,
and uses them in WatchContext, which shouldn't
be creating a copy of the IoCtxImpl.

Signed-off-by: Josh Durgin <josh.durgin@dreamhost.com>

librados: decrement refcount of old io_ctx_impl in assignment operator

Signed-off-by: Josh Durgin <josh.durgin@dreamhost.com>

librados: fix IoCtx::from_rados_ioctx_t

IoCtx::from_rados_ioctx_t creates an IoCtx out of a rados_ioctx_t.
However, this IoCtx must share ownership of the IoCtxImpl pointer with
the C API user who first called rados_ioctx_create. This must be done
via a reference count inside the IoCtxImpl.

Also add a copy constructor and assignment operator to class IoCtx,
since it's now cheap to have them.

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

Rename radios_ioctx_{open,close} to create/destroy

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

librados: remove IoCtx::close()

We decided we don't want IoCtx::close(), since IoCtx::~IoCtx() exists.

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

Make git ignore core files.

Make git ignore python generated files.

librados: Crashed on shutdown if connect was never called.

Add a trivial unit test to trigger this.

libradoshpp: put ceph stuff in namespace librados

Try a little bit harder to avoid polluting the user's global namespace
with our stuff.

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

librados: don't create unused SnapContext objs

There were some unused temporary variables hanging around.

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

librados: fix copy ctor of ObjectIterator

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

testrados: add object stat test

Signed-off-by: Josh Durgin <josh.durgin@dreamhost.com>

testlibrbd: recreate test pool each time

Signed-off-by: Josh Durgin <josh.durgin@dreamhost.com>

common: block SIGPIPE everywhere we can

It's much better to get EPIPE than SIGPIPE.

Block SIGPIPE in all threads we create. In the daemon, block SIGPIPE in
the main thread.

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

messanger: shouldn't throw sigpipe on failed socket

dout: Log version message when (re)opening log

Log a version message whenever we open the dout log, not just the first
time. However, only output it to log files and syslog. Spewing versions
to stderr and stdout was determined to be annoying.

Rename dout_emergency_impl to dout_emergency_to_file_and_syslog to
better reflect its function.

Rename ceph_version_to_string to pretty_version_to_string.

Add get_process_name to do just that. Re-arrange some version.h methods.

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>
Conflicts:

src/common/common_init.cc

Thread: don't mask signals except in library code

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

mds: rip out rename linkmerge support

It turns out POSIX says rename(a,b) is a no-op when a and b link to the
same inode.  This is super weird but good news because it means we can
rip out a bunch of poorly tested code.

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

dout: Reopen dout after parsing all config opts

Reopen the dout stream only after we parse all configuration options.
Specifying --log-file on the command line now works as expected.

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

dout: remove g_conf.log_to_file

Remove the log_to_file configuration option. Instead, only log to a file
if either log_file or log_dir is set.

This way, command-line options like --log-file=/tmp/foo work as
expected.

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

logging: default to foreground logging

At global constructor time: default to logging everything to stderr.

During common_init: set appropriate logging defaults based on the type
or program (daemon or other).

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

cmds/cosd: Fix IsHeapProfilerRunning implicit return type cast.

G++ complains about the difference between the return type of tcmalloc's
IsHeapProfilerRunning (int) and the return type of the function that
g_conf.profiler_running is supposed to point to (bool). We could
probably get away with a type-cast, but as a compiler developer and
former C++ language lawyer, I'd rather not take the risk of destroying
the universe by invoking undefined behavior ;-)

Signed-off-by: Alexandre Oliva <oliva@lsd.ic.unicamp.br>
Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

mds: drop some dead code

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

mds: fix one rename dentry linkage projection case

There are more.  :(

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

osd: simple test for random missing objects during recovery

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

osd: recovery cleanups, better error messages

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

osd: update missing_loc when infering an empty missing set

We infer an empty missing set, but weren't calculating object locations
based on that.  Usually it was okay because we already had another
location, but not always!  And especially not when one location turns out
to be bad and we need to go to another.

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

osd: fix unfound output

We were printing unfound when not, and vice versa.

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

osd: add object to missing if we find it missing on disk

If the recovery finds the object missing on disk during recovery, add it
to the local missing set so we can (hopefully) recover it from another
replica.

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

osd: (semi-)handle case where primary copy isn't there

Continue recovering, at least.

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

osd: continue recovery after encountering missing objects

1- If we try to pull an object that isn't there, send an empty push in
reply.

2- If we get an empty push, call a new failed_push helper.  Also called
when we pull partial/bad data.

3- Fix the fail behavior to close out our attempt, adjust our missing_loc,
but let the calling recovery code handle the retry.

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

osd: trigger discover_all_missing after replay delay

We were calling discover_all_missing only when we went immediately active,
not after we were in the replay state (which triggers from a timer event
that calls OSD::activate_pg().  Move the call into PG::activate() so that
we catch both callers.

This requires passing in a query_map from the caller.  While we're at it,
clean up some other instances where we are defining a new query_map
deep within the call tree.

Fixes: #847 (I hope)
Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

osd: handle osd_ping (and ack requests) while !active

In particular, we may start getting ping requests before getting (or while
processing) our first map that makes us go active.

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

Revert "move g_default_file_layout into ceph_fs.cc"

This reverts commit 1dc12e3e1de1ee6aeb3ef11bb3faafa4757b1a65.

The headers and ceph_fs.cc are written such that they can be shared
verbatim between the kernel and userspace code.  Omitting the headers
was deliberate, because they differ depending on the build environment.

The default file layout seems fine in config.cc, since it is declared
in config.h, and is a bunch of tunables we generally try to keep in
config.cc.

cconf: fix clitest

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

unittests: remember to use AM_LDFLAGS

remember to use AM_LDFLAGS when setting _LDFLAGS. Otherwise, the global
flags will be lost.

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

Merge branch 'librados_api' into next

Rename PoolHandle to IoContext: part 2

The previous change changed all PoolHandle uses to IoContext. This
change also renames the variable names.

Also fix a few API functions whose names weren't quite right after the
previous change. rados_pool_list really does just list pools-- it has
nothing to do with ioctxes.

rados_ioctx_change_auid should be rados_ioctx_pool_set_auid. Although it
takes an ioctx as an argument, it operates on the pool.

rados_ioctx_close should just return void. APIs where the close
operation can fail are broken. What is the user supposed to do if
closing doesn't work?

Also, fix a few test programs that got overlooked earlier.

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

testlibrbd: call rados_connect

Signed-off-by: Josh Durgin <josh.durgin@dreamhost.com>

FileStore.h: reorder queue operations in _journaled_ahead

In writeahead mode, an op could dissappear from jq without immediately
reappearing in q.  Thus, q can be empty before seq is requeued and
finished.  _journaled_ahead will now enqueue the op in q before removing
from jq.

Signed-off-by: Samuel Just <samuel.just@dreamhost.com>

Revert "FileStore: fix OpSequencer::flush error"

This reverts commit c78b29a47d7211a4b8b1585112ac22b8435a82c7.

This commit introduced an error in parallel journaling mode.
OpSequencer::flush is only meant to ensure that the ops have become
readable, not necessarily journalled.

librados: Rename rados_pool_t to rados_ioctx_t

rados_pool_t -> rados_ioctx_t

class PoolCtx -> class IoCtxImpl

class PoolHandle -> class IoCtx

PoolHandle::name() -> IoCtx::get_pool_name()

Replace rados_pool_destroy, PoolHandle::destroy with rados_pool_delete
and Rados::pool_delete.

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

testradospp: update for new librados API

Signed-off-by: Josh Durgin <josh.durgin@dreamhost.com>

testlibrbdpp: convert to new APIs

Signed-off-by: Josh Durgin <josh.durgin@dreamhost.com>

test_common.sh: should rm objects before adding

rados_write doesn't replace the whole object, but that's what we want in
these old tests. So just rm it first.

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>