ceph_context: whitespace

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

Merge commit 'v0.34'

v0.34

rgw: use formatter->dump_string() instead of dump_format()

rgw: get bucket info only if bucket name is not empty

Makefile.am: install coverage files for libtool outputs as well

Signed-off-by: Josh Durgin <josh.durgin@dreamhost.com>

librados: watch request should wait for safe response

objectcacher: only want for commit

There was some old, weird stuff going on here where we would wait for the
ACK and COMMIT separately.  This is just wrong.  Writeback does not
complete until the data is committed on disk.

Simplify by waiting only for commit, removing all the 'ack' code, and
going back to a single callback (flush_set).

I didn't notice this for 05063867e2a54176ffc9bbc73391f52766ab403f; both of
these cleanups are needed to fix this.

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

mds: fix shadow

Coverity cid 29

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

fix utime.h #include recursion

Coverity cid 11, 13

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

crush: comment fall-thru

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

mds: remove unused Mutation in do_rmdir_rollback()

Signed-off-by: Sage Weil <sage@newdream.net>

workunits: make file_layout test setting only one parameter

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

cephfs: use strtol instead of atoi; handle 0 properly

Besides being generally better, this means we can accept pool 0
as the pool to store stuff in.

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

cephfs: fix the stripe_count documentation.

Whoops!

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

mds: server: should apply new layout settings on top of old layout

This way, the MDS can handle updates of some values without needing
the user to specify the entire layout (ie, they can just switch pools).
This brings the behavior more in line with setting the dir layout.

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

mds: allow setting all options on a file layout.

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

objectcacher: remove uncommitted xlist<>; fix broken purge() cleanup

There was a problem where:

 - we would dirty some buffers on an object
   - bump dirty_tx count
 - flush()
   - this adds the Object to ObjectSet::uncommitted
 - truncate
   - client clears FILE_BUFFER cap_ref
   - Object::purge()
     - clear dirty_tx count
 - client puts last inode
   - Object::uncommitted is not empty in ~ObjectSet

(This was triggered after several runs of workunits/suites/blogbensh.sh
on sepia.)

It turns out the uncommitted xlist<> is pretty useless, though: the same
information is captured in the dirty_tx counter.  We add a separate
counter to the Object itself (for the benefit of Object::can_close()).

We also clean up Object::purge() to call truncate(0), a small
simplification.

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

rgw: remove some compilation warnings

rgw: don't override ret value in do_read_permisions

rgw: return correct bucket missing error when needed

rgw: fix 500 error on bucket creation

rgw: fix clitest

MonClient: fix possible null dereference

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

mds/Server.c: fix memory leak in err path

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

rgw: don't check for zero content when creating a bucket

rgw: rgw_admin bucket stats dumps owner

client: drop useless insert_trace timestamp argument

This is reachable via request.  It was also misnamed in the header :/.

Signed-off-by: Sage Weil <sage@newdream.net>

client: be careful about replacing dentries during readdir assimilation

When we are assimilate readdir results into our cache, we need to be more
careful about replacing existing dentries.  We were calling
insert_dentry_inode(), which would replace a name if it already exists,
which might include pd->first, an active iterator.

Move the dentry link/relink into the caller (where we already have an
iterator pointing to the existing item, if any).  Then update the dentry
lease information separately.

Fixes: #1391
Signed-off-by: Sage Weil <sage@newdream.net>

rgw: add radosgw_admin bucket stats

client: factor update_dentry_lease() out of insert_dentry_inode()

The first bit of insert_dentry_inode() handles the details of checking
whether an item still exists, un/relinking it, etc.

The second bit just updates the dentry lease information.

Signed-off-by: Sage Weil <sage@newdream.net>

librados: fix memory leak in error path

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

test/confutils.cc: fix resource leak

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

client: carry inode reference across calls to _flush

Also drop the unused _flush Context* argument.

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

rgw: fix prepare_get_obj when ENOENT

rbd: fix shared_ptr usage

shared_ptr calls the disposal function even when the pointer is null
that is being disposed of.

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

do_kernel_showmapped: fix resource leak

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

Merge remote branch 'origin/next'

client: fix readdir + cap recovation/reissue race

The current race:
 - we start readdir
 - mds revokes dir cap
 - some file gets removed
 - mds reissues dir cap
 - we finish readdir and set I_COMPLETE

We should only set it if there have been no FILE_SHARED reissues during
the readdir.

Note that we still set I_COMPLETE even if we don't have the cap; that's
useless but harmless, since it is undefined without FILE_SHARED being
set.

Signed-off-by: Sage Weil <sage@newdream.net>

rados_sync: fix resource leak on err

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

CephBroker.cc: fix allocation/deallocation mismatch

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

test_rados_tool.sh: test export with --workers

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

rados_sync: make number of worker threads configurable

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

rgw: clear warning

Merge branch 'wip-decouple-bucket'

journaler: fix waiting_for_zero clearing, again

We can only clear this when we have >= a period between flush_pos and
write_pos.

Clear the flag in _do_flush() so the check is not fragile, should this
ever be changed in the future.

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

Revert "pipe.c: #define GNU_SOURCE"

This reverts commit ae9ba2249e372e7435e56f54fc2d8e22f3e42ff8.

This is handled in master by the Makefile.

Merge branch 'next'

client: only link directories into hierarchy once

Directories can only link into the hierarchy once.  We assert as much
in readdir_r_cb().  Fix link() so that it unlinked the directory from the
old location when relinking somewhere new.  Be careful to do this after
we take inode refs to avoid any unpleasantness.

Fixes: #1429
Reported-by: Sam Lang <samlang@gmail.com>
Signed-off-by: Sage Weil <sage@newdream.net>

mon: fix store_state

We need to bound the range we write to disk by m->last_committed; this got
lost in translation in commit dfab2c91f53289b1d527fb87126a639f5d5275f1.

Fixes paxos crashes in handle_begin

mon/Paxos.cc: In function 'void Paxos::handle_begin(MMonPaxos*)', in thread '0x7fc74d11f700'
mon/Paxos.cc: 393: FAILED assert(begin->last_committed == last_committed)

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

journaler: fix waiting_for_zero clearing

Clear this flag only if we know no subsequent flushes could be waiting on
a prezero operation.

Fixes MDS journaling hang under heavy journal load.

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

Merge branch 'master' into wip-decouple-bucket

add missing include, required for certain environments

Merge remote-tracking branch 'origin/master' into wip-decouple-bucket

Conflicts:
src/rgw/rgw_rados.cc

rgw: fix multipart upload

don't try to reset meta object with category

parallelize rados export and import

* use workqueues to parallelize rados export and import

* Put export and import into separate files

* Fix RADOS_SYNC_TMP_SUFFIX_LEN bug

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

WorkQueue: don't be chatty about finishing workers

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

test_rados_tool.sh: fix xattr test

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

librados: fix IoCtx copy constructor

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

rados_sync:don't need to declare CHANGED_XATTRS 2x

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

Some fixes to double-dash support, fix warning

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

rgw: if pool is empty recreate

ceph_argparse: handle double dashes consistently

Handle double dashes in the ceph_argparse functions, so that any piece
of code doing argument parsing will correctly interpret them.

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

injectargs: binary flags only consume 1 token

Never consume more than one token when parsing a binary flag.

Basically, your choices are --foo=false, --foo=true, and just --foo.
However, only 1 token will ever be examined.

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

config: print warning on injectargs parse fail

injectargs should print a warning message when its parser fails.

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

injectargs test: test foo=true

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

mon: allow wildcards for mon cap command matching

We need wildcards, actually.  * is any token, ... is 1 or more tokens.

Signed-off-by: Sage Weil <sage@newdream.net>

common/config: fix get_val for booleans

md_config_t::get_val should return true/false for booleans, not 0/1.
This is for consistency with the setter.

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

pipe.c: #define GNU_SOURCE

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

qa: add unit tests for mon cap 'allow command ...' stanzas

Signed-off-by: Sage Weil <sage@newdream.net>

mon: whitelist individual commands in mon cap string

This lets you whitelist a command prefix.  For example,

 'allow command osd foo'

will let you do any command that begins with 'osd foo', including
'osd foo' and 'osd foo bar baz bam'.

No deny, and no pattern matching.

Signed-off-by: Sage Weil <sage@newdream.net>

mon: adjust max_devices when adding to crush map

Signed-off-by: Sage Weil <sage@newdream.net>

crush: refuse to add item >= max_devices

Signed-off-by: Sage Weil <sage@newdream.net>

mon: 'osd gstcrushmap' or 'osd crush set' both work

Signed-off-by: Sage Weil <sage@newdream.net>

mon: fix arg count checks

Signed-off-by: Sage Weil <sage@newdream.net>

mon: 'osd crush reweight <name> <weight>'

Reweight a node in the crush map.

Signed-off-by: Sage Weil <sage@newdream.net>

mon: 'osd crush rm <name>'

This is similar to crushtool --remove-item.

Signed-off-by: Sage Weil <sage@newdream.net>

mon: 'osd crush add <id> <name> <weight> [<loc1=foo> [<loc2=bar> ...]]'

This is identical to the crushtool --add-item functionality, but does not
require a racy and tedious

 - get crush map
 - update crush map
 - set new crush map

Signed-off-by: Sage Weil <sage@newdream.net>

mon: return error message string when no other output string specified

Signed-off-by: Sage Weil <sage@newdream.net>

common/config: honor --

Argument parsing should stop after --

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

mon: remove dead 'setmap' code

Signed-off-by: Sage Weil <sage@newdream.net>

mon: make auto-marking of booting osds 'in' optional

By default we mark a booting OSD 'in' so that it immediately gets data.
Make this optional.

Eventually we may want to make this default to off...

Signed-off-by: Sage Weil <sage@newdream.net>

client: kill dentry_of() macro

Signed-off-by: Sage Weil <sage@newdream.net>

Merge branch 'next'

osd_types: fix category encoding in object_info_t

This was mis-merged in f6ff0f14e9a5b70d5ce0277975d321f10e3b39c7.

Signed-off-by: Sage Weil <sage@newdream.net>

qa: define _GNU_SOURCE for qa helpers; add btrfs dir makefile

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

librados: whitespace

Don't do

some::class::
method(int foo)
{

}

...because then I can't '^S::method'. :)

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

librbd: reimplement copy using read_iterate

Ah, so much simpler!

Signed-off-by: Sage Weil <sage@newdream.net>

rbd: fix check_io for snap

Need to look at image size for snapshot, not the head version.

Signed-off-by: Sage Weil <sage@newdream.net>

librbd: fix copy

This was croaking on sparse images.

Use an image ctx for the dest.

We should probably use read_iterate instead.

Signed-off-by: Sage Weil <sage@newdream.net>

qa: add rbd copy workunit

Test copying an image and snapshot.

Signed-off-by: Sage Weil <sage@newdream.net>

mdcache: documentation for path_traverse

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

mdcache: Reduce the gratuitous references to onfail

We've been setting flags at the beginning of path_traverse
for a while; use those instead of ongoing comparisons.

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

mds: remove the unused MDS_TRAVERSE_FAIL flag.

This isn't used, and judging by the comments was a horrible lie.

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

mdcache: handle unreadable null dentries

Previously, we were asserting (farther down) if the dentry was
null but blocked by a lock. Instead, we should here be waiting
until it's readable instead of just continuing on.

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

librbd: specify copy src image as image handle

By specifying via an image handle we can set the snapshot on the src
image.  This also makes the API cleaner.

Fixes: #1416
Signed-off-by: Sage Weil <sage@newdream.net>

Define _GNU_SOURCE in src/Makefile.am

We end up needing _GNU_SOURCE in a bunch of places-- to get direct i/o,
pipe2, and some other Linux-specific interfaces.

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

pipe.c: #define GNU_SOURCE

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

Merge branch 'next'

mds: open+pin stray dirfrags on startup

This ensures that the stray dirfrags are always open, which in turn ensures
that whenever we add straydn items the rstats/fragstats will get updated
properly.  This is a better solution than d3d767a.

Now we can assert the stray dirfrag is open in
get_or_create_stray_dentry() instead of calling get_or_open_dirfrag().

Signed-off-by: Sage Weil <sage@newdream.net>