mds: don't wait for lock 'flushing' flag on replicas

If we are a replica, the 'flushing' means that we had dirty scatterlock
data and are waiting for it to get flushed out to the auth copy (by
cycling from MIX->LOCK, normally).  If we end up with 'flushing' set
while in the MIX state, we can't wait for it to clear before responding
to a lock request from the primary or we'll deadlock.

On the auth, flushing means flushing to the log, which makes sense; that
will always make progress despite scatterlock activity.

This fixes a hang from 3-mds fsstress with thrashing exports.  (Strangely
I never hit this on fatty.)

Signed-off-by: Sage Weil <sage@newdream.net>

rgw: can specify time for intent log purging

rgw: reduce intent log obj name time resolution

rgw: add 'temp remove' tool for rgw_admin

qa/fsstress: be verbose

Signed-off-by: Sage Weil <sage@newdream.net>

librados: document tmap_update

Signed-off-by: Sage Weil <sage@newdream.net>

librados: document rados_pool_list

Not sure exactly where this API markup comes from, but it seems as good
as any.

Signed-off-by: Sage Weil <sage@newdream.net>

rgw: update radosgw man page

Merge branch 'wip-librbd-read'

rgw: remove original object in put_obj, instead of truncate

librados: support op flags

osd: don't request heartbeats from down peers

We try to add sources for anything in peer_info, which can include down
OSDs.  Skip them.

Signed-off-by: Sage Weil <sage@newdream.net>

Makefile: add rule for building coverity build bundle

As per http://scan.coverity.com/self-build/

Signed-off-by: Sage Weil <sage@newdream.net>

objecter: fix compile error

Signed-off-by: Sage Weil <sage@newdream.net>

osd: don't try to remove head if it doesn't exist

Signed-off-by: Sage Weil <sage@newdream.net>

objecter: allow setting of op flags for previously added op

This lets you set the per-op flags for the last op added to the compound
operation.

Signed-off-by: Sage Weil <sage@newdream.net>

osd: add CEPH_OSD_OP_FLAG_FAILOK

Setting this flag on an individual op in a compound operation will make
the OSD continue with the operation despite the failure of this individual
op.

Signed-off-by: Sage Weil <sage@newdream.net>

auth: use set<> instead of map<,bool>

Value is always true.  Be paranoid about the bool default value.

Signed-off-by: Sage Weil <sage@newdream.net>

librbd: deduplicate sparse read interpretation

AioBlockCompletions and read_iterate each had their own copy of this
code, leading to bugs when only one was changed. Move this to a
separate function, handle_sparse_read.

Signed-off-by: Josh Durgin <josh.durgin@dreamhost.com>

librbd: make read_iterate mirror AioCompletion::complete

This makes testlibrbd and testlibrbdpp pass again, and
now both I/O paths have the same logic.

Signed-off-by: Josh Durgin <josh.durgin@dreamhost.com>

librados, rgw: integrate stats categories

testlibrbd: remove useless print statements

Signed-off-by: Josh Durgin <josh.durgin@dreamhost.com>

testlibrbd: NUL-terminate orig_data

Signed-off-by: Josh Durgin <josh.durgin@dreamhost.com>

testlibrbd(pp): accept standard command line arguments

Signed-off-by: Josh Durgin <josh.durgin@dreamhost.com>

librados: add missing method that was lost in merge

Merge branch 'wip-stats' into wip-atomic-get

Conflicts:
src/librados.cc

rgw: add hour to intent log name for higher resolution

Merge branch 'wip-client'

Conflicts:
src/Makefile.am

rgw: log shadow objects removal in intent log

Merge branch 'wip-atomic-get'

rgw: return ENOENT after get_obj() in some cases

Merge branch 'debian-deps'

debian: explicitly bind library users to matching version

We are cheating with the shared libs by making small API changes without
bumping the soname.  Bind users to a matching version to minimize user
pain.  When the APIs become fully stable these will need to go away.

Fixes: #1354
Signed-off-by: Sage Weil <sage@newdream.net>

Merge branch 'wip-heartbeats'

Conflicts:
src/osd/OSD.cc

rgw: ignore hidden objects for bucket deletion, fix namespace

Merge branch 'wip-config'

osd: missing ! in ifs on bad map after osd boot

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

mds: fix Migrator::audit() for IMPORT_ABORTING

Make audit match reality.

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

rgw: clone_obj can set mtime

librados: can set mtime for operate (mutate)

objecter: halt compound operation only if result < 0

Remove unused dyn_sprintf

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

config.cc: clean up includes

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

mds: chain rename subtree projections

We can have two renames for the same file in flight to the journal.  Stack
them up in a list.  The old project_subtree_rename() should have asserted
that the item wasn't already in the map before inserting it to catch this
at the front end.  Now it doesn't matter; it's a list.

Signed-off-by: Sage Weil <sage@newdream.net>

client: whitespace cleanup

Signed-off-by: Sage Weil <sage@newdream.net>

client: send renames to the correct node

AFAICS we got this wrong in b794aeb39, which is annoying given I remember
thinking reasonably carefully about it.

The current reasoning: the request operates on the dentry target
directory from the MDS's perspective; that's where the request needs to go.

Signed-off-by: Sage Weil <sage@newdream.net>

rgw: multiple fixes

config: more thread-safety stuff

* Don't allow parse_argv, parse_env, or parse_config_files to be used
after threads have been started.

* Don't allow set_val to be used to change unsafe variables after
threads have been started.

* Test

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

injectargs: forbid unsafe string modifications

Don't allow string-valued configuration items to be changed using
injectargs unless they have observers. Otherwise, we could have
crashes, since one thread could be reading the std::string's internal
buffer after another thread frees that buffer during assignment.

Write a unit test to validate this behavior.

Also test that we can turn on and off the log_file using injectargs.
This is something that injectargs often gets used for in practice.

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

test/daemon_config: add injectargs test

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

Add daemon_config, libceph_config, etc.

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

add config unit test

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

librados.h: fix out-of-date comment

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

debian: don't explicitly list deps; let debian figure it out

Signed-off-by: Sage Weil <sage@newdream.net>

config: more cleanup

* any place where we know a set_val can't fail should be set_val_or_die

* in private md_config_t functions that need the mutex, assert that the
mutex is locked

* make md_config_t::expand_meta private, since nobody uses it outside of
the class.

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

libceph.h: fix C compilation

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

config: add proper locking, fix comments

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

rgw: mark ops as atomic

rgw: conditional clone, depends on src_cmpxattr result

librados: modify src_cmpxattr interface

librados: get it compiled

rgw: prepare for conditional clone_range

rgw: adapt some more rados calls to the new atomic structure

librados: restructure ObjectOperation

rgw: a few more operations are using atomic infrastructure

rgw: atomic get, various fixes

rgw: fix decoding

rgw: atomic get, basic flow for severl rados ops

not working yet

librados, objecter: add operations to support rgw atomic get

rgw: introduce context to specific access calls

Merge branch 'rgw-formatter'

In RGW, use the common/Formatter

Implement a new subclass of Formatter, RGWFormatter_Plain, using code
from the old RGWFormatter and RGWFormatter_Plain classes.

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

filestore: remove unused var

Signed-off-by: Sage Weil <sage@newdream.net>

Formatter: add open_object_section_in_ns, etc.

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

test/formatter: test stream clearing

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

Formatter: must use str("") to clear ostreams

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

More changes towards using common/Formatter in rgw

* rename RgwFormatter::init to RgwForamtter::reset.
Roll old reset() into base_reset().

* add write_raw_data to Formatter, to support DTDs.
Remove other DTD support code.

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

osd: expect heartbeats from anyone peering depends on

We were getting heartbeats from just acting replicas.  That's really not
enough if we want to be sure to detect failures of OSDs we depend on,
which includes any stray or up OSDs as well.

Signed-off-by: Sage Weil <sage@newdream.net>

osd: restructure heartbeats

Primary sends explicit message to replicas asking for heartbeats to start,
or to stop.  Replicas never send heartbeats unless explicitly requested
to.

Do not try to mark down old heartbeat relationships; that gets messy, and
the overhead of open sockets is too small to worry about right now.

Signed-off-by: Sage Weil <sage@newdream.net>

mds: add hooks to test multimds link/unlink failures

Signed-off-by: Sage Weil <sage@newdream.net>

qa: move fsx.sh

Revert "qa: Remove fsx workunit."

This reverts commit a66da4af2571f27f55e8ee819f22e70355fb42b0.  Still useful
to have this around.

os/FileStore: print out BTRFS_IOC_SNAP_CREATE errs

Print out the errno for BTRFS_IOC_SNAP_CREATE errors if they happen.

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

osd: add CATEGORIES incompat feature

Care should be taken to upgrade the monitors first, then osds.

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

librados: add create in specific category to c++ api

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

osd: allow 'category' to be set on object creation

Allow a string category to be set on object creation.  Object stats will
be included in the category total (in addition to the overall total).

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

osd: segregate stats into categories

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

rgw_rest: don't leak formatters

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

XmlFormatter: add DTD option

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

Formatter.cc: add get_len method

Add get_len method because rgw needs it.

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

RGWFormatter: get rid of one flush variant

This flush variant won't exist in common/Formatter.cc.

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

rgw_formats: introduce dump_unsigned, dump_int,etc

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

rgw: rename dump_value_str to dump_format

rename dump_value_str to dump_format for compatibility with Formatter.cc

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

rados tool: fix cmdline parsing for --block-size

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

Formatter: add XMLFormatter::reset

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

Formatter.cc: whitespace fix

whitespace fix to conform to the coding standard

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

rgw:rename open_obj_section to open_object_section

For compatibility with common/Formatter.cc

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

Add XMLFormatter and unit test

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

Formatter: remove protected data, methods

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

osd, objecter, librados: add SRC_CMPXATTR operation

and test.

Signed-off-by: Sage Weil <sage@newdream.net>