mon: 'osd [un]set noin'

Missed this one.

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

mon: consider pending_inc in {up,in}_ratio for can_mark_{out,down}()

Consider pending changes when calculating the current up/in ratios.  Among
other things, this will make the marking of osds down->out stop once it
hits the min in ratio.

Signed-off-by: Sage Weil <sage@newdream.net>

mon: thrash pg_temp mapping, too

Signed-off-by: Sage Weil <sage@newdream.net>

mon: 'osd thrash <num epochs>'

Thrash the osdmap for N iterations.  Randomly mark OSDs up, down, in, out,
and up_thru in order to generate a difficult osdmap history for peering
to chew through.

Signed-off-by: Sage Weil <sage@newdream.net>

mon: add 'mon osd min up ratio' and 'mon osd min in ratio'

Prevent the monitor from marking osds down or out when too many are already
in that state.  At this point the cluster is already broken and there is
little point in continuing to mark things down/out.

Setting these to 0 obviously disables the feature (by setting a minimum
of 0).

Signed-off-by: Sage Weil <sage@newdream.net>

mon: use can_mark_*() helpers

So we can generalize beyond NO* flags.  We'll soon be adding other reasons
to not mark things up/down/in/out.  This lets us keep all though checks in
one place.

The helper methods will tell us why we can't do the thing (e.g., "NODOWN
flag is set").  The callers will generally tell us exactly what didn't
happen (e.g., "failure report of X ignored").

Signed-off-by: Sage Weil <sage@newdream.net>

mon: do not mark osds out if NOOUT flag is set

Do not mark down osds out when NOOUT flag is set.  This is more or less
equivalent to setting a very long 'mon osd down out interval', but
reversible and less annoying.

Signed-off-by: Sage Weil <sage@newdream.net>

mon: do not mark booting osds in if NOIN flag is set

If the NOIN osdmap flag is set, do not mark booting osds in.  Normally
we would for a range of reasons (always, new, auto-marked-out), but block
them all.

Do not limit manual 'ceph osd in N' commands.

Signed-off-by: Sage Weil <sage@newdream.net>

mon: always remove booting osds from down_pending_out

The down_pending_out tracks OSDs that are down that we may want to
auto-mark out.  If an osd boots, it should be removed from this list
because it is no longer down; it doesn't matter whether it is marked in
or not.

Signed-off-by: Sage Weil <sage@newdream.net>

mon: prevent osd mark-down with NODOWN flag

If the NODOWN osdmap flag is set,

 - ignore osd failure reports
 - do not mark osds down due to lack of osd/pg stats

We *do* still allow explicit admin 'ceph osd down N' commands, and a
booting OSD to mark the previous instance of itself down.

Signed-off-by: Sage Weil <sage@newdream.net>

osd: do not attempt to boot if NOUP

If NOUP is set, do not send the boot message.

We already send onetime subscriptions to the osdmap, so we will find out
about osdmap flag changes.  If it is cleared later, we'll pass into
start_boot() and _got_boot_version() again and send it then.

Signed-off-by: Sage Weil <sage@newdream.net>

mon: prevent osd from booting if NOUP

Do not add an osd attempting to boot to the map if NOUP is sent.  Instead,
send it the latest osdmap so it knows that it's not allowed to boot.

Signed-off-by: Sage Weil <sage@newdream.net>

mon: 'osd {set,unset} {noin,noout,noup,nodown}'

Move the set/unset flag code into a helper, and also use that for the
pause/unpause commands.

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

osdmap: add NOUP, NODOWN, NOIN, NOOUT flags

These prevent OSDs from being marked up, down, in, or out, respectively.

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

librbd: pass errors removing head back to user

In particular, the OSD may return EBUSY if there are still watchers.
Ignore ENOENT, as that may indicate we are cleaning up a previously
aborted removal.

Fixes: #2311
Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

mon: clean up handle_osd_timeouts a bit

Signed-off-by: Sage Weil <sage@newdream.net>

mon: fix pg stats timeout

We clear out the osd entry when an osd goes up or down.  Thus, if we find
it missing from an up osd, we should start the timer.  Otherwise we get
behavior like this

2012-04-24 13:22:47.888291 7fa5bc587700 mon.peon5752@0(leader).osd e21633 OSDMonitor::handle_osd_timeouts: never got MOSDPGStat info from osd 521. Marking down!
2012-04-24 13:22:50.076394 7fa5bcd88700 log [INF] : osd.521 [2607:f298:4:2243::7088]:6806/53217 boot
2012-04-24 13:22:52.903558 7fa5bc587700 mon.peon5752@0(leader).osd e21638 OSDMonitor::handle_osd_timeouts: never got MOSDPGStat info from osd 521. Marking down!
2012-04-24 13:23:15.144532 7fa5bcd88700 log [INF] : osd.521 [2607:f298:4:2243::7088]:6806/53217 boot
2012-04-24 13:23:17.967118 7fa5bc587700 mon.peon5752@0(leader).osd e21663 OSDMonitor::handle_osd_timeouts: never got MOSDPGStat info from osd 521. Marking down!
2012-04-24 13:23:22.173778 7fa5bcd88700 log [INF] : osd.521 [2607:f298:4:2243::7088]:6806/53217 boot
2012-04-24 13:23:22.981556 7fa5bc587700 mon.peon5752@0(leader).osd e21668 OSDMonitor::handle_osd_timeouts: never got MOSDPGStat info from osd 521. Marking down!
2012-04-24 13:23:45.245380 7fa5bcd88700 log [INF] : osd.521 [2607:f298:4:2243::7088]:6806/53217 boot

when the pg stats message doesn't arrive quickly enough.

Fixes: #2341
Signed-off-by: Sage Weil <sage@newdream.net>
Reviewed-by: Greg Farnum <gregory.farnum@dreamhost.com>

mon: fix whitespace

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

mon: fix pgmonitor ratio commands

The indices were set incorrectly when I whipped thi sup. That's what
you get for not testing nor being careful enough in review.

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

run_seed_to.sh: rework the script, make it more flexible and broaden the tests.

Allow for '-h' and other options such as disabling the journal sync tests,
defining it is to be run on a btrfs FS, enabling exit on error (default is
now 'off'), and allow certain env variables to specify additional options
to each store.

Signed-off-by: Joao Eduardo Luis <jecluis@gmail.com>

librbd: rev version for discard addition

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

Merge remote-tracking branch 'gh/wip-discard'

run_seed_to.sh: remove stray arg

This crept in in commit d1740bd586db80068fc0292223cf21911de66428.

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

perfcounters: tolerate multiple loggers with the same name

Make them unique by appending -<ptr>, so that the json we dump will remain
valid.

We may also want to allow people to share counters of the same type.

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

Merge branch 'master' into wip-discard

Makefile: disable format-security warning

The prt() varargs function generates this warning

test/rbd/fsx.c: In function ‘prt’:
warning: test/rbd/fsx.c:203:2: format not a string literal and no format arguments [-Wformat-security]
warning: test/rbd/fsx.c:205:3: format not a string literal and no format arguments [-Wformat-security]

Disable that check for the fsx build only.

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

filestore: verify that fiemap works

Check for a bug present in older versions of ext4.  If present, disable
FIEMAP.  See #2328.

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

rados: fix error printout for mapext

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

librbd: instrument with perfcounters

Track IO operations on a per-image basis.

Implements: #1451
Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

librbd: fix ictx_check pointer weirdness by using std::string

I was seeing failures of LibRBD.TestIOToSnapshot where we would fail to
refresh after rollback, even though the snap existed.  I assume it is
because the std::string whose c_str() we were pointing to was reallocated.

Use a std::string here instead.

This code is weird.

Signed-off-by: Sage Weil <sage@newdream.net>

FileJournal: don't wait flusher until completions are queued

Fixes: #2324
Signed-off-by: Samuel Just <samuel.just@dreamhost.com>

filestore: fix collection_add journal replay problem

In collection_add we have a two-phase guard set on the linked object via
the old name.  During replay, we might see that the dest name is missing
and replay the operation, and in the process overwrite a newer guard with
an older one.

Avoid this by checking the source name too, and skipping the operation
entirely if a new guard exists.

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

FileStoreDiff: flip sense of diff*() methods around

true means diff, false means same.

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

test_idempotent_sequence: Use FileStoreDiff class instead.

Use FileStoreDiff instead of having the diff code embedded in the test,
allowing for more tests and people to use the code in case it comes in
hand.

Signed-off-by: Joao Eduardo Luis <jecluis@gmail.com>

test_idempotent_sequence: Output missing options on "usage".

Signed-off-by: Joao Eduardo Luis <jecluis@gmail.com>

FileStoreDiff: check if two FileStores match.

This code should be on a stand-alone class, instead of being embedded on
a single test, in case someone or something find it useful somewhere down
the line.

Signed-off-by: Joao Eduardo Luis <jecluis@gmail.com>

librbd: allow image resize to non-block boundaries

The caller is still invalidating the entire cache, so we don't need to
deal with discard at this level.  That might be worth cleaning up
later, though.

Fixes: #2296
Signed-off-by: Sage Weil <sage@newdream.net>

objectcacher: rename truncate_set -> discard_set, and use discard

Do not assume the object extents are at the trailing edge of objects.
Instead, discard arbitrary extents.  Fix callers.

Signed-off-by: Sage Weil <sage@newdream.net>

objectcacher: implement Object::discard()

Discard a range of bytes from an object.

Signed-off-by: Sage Weil <sage@newdream.net>

librbd: fix debug output

objects is misleading here, these are byte offsets

Signed-off-by: Sage Weil <sage@newdream.net>

librbd: make discard invalidate the range in cache

Fed this to test_librbd_fsx and it was happy.

Signed-off-by: Sage Weil <sage@newdream.net>

librbd: fix zeroing of trailing bits on short reads that span objects

handle_sparse_read() was taking buf_ofs and buf_len, but buf_len was being
interpreted as the total size of the buffer, not the length of the extent
in the buffer start at buf_ofs.  Both callers pass in an extent length, so
fix the zero code to do the right thing.

Specifically, the behavior I saw was:

 - read range spanning 2 objects, trailing 20k and leading 50k
 - first object didn't exist, zeroed first 20k of buffer
 - second object didn't exist, zeroed next 30k (50k-20k) of buffer
   - the last 20k of buffer was unzeroed.

Signed-off-by: Sage Weil <sage@newdream.net>

librbd: fix debug output for image resize

Print old -> new, not new -> old.

Signed-off-by: Sage Weil <sage@newdream.net>

test_librbd_fsx: port newer xfsprogs version

Builds and runs... for a few ops at least.

Signed-off-by: Sage Weil <sage@newdream.net>

revert to xfstests' fsx, which has discard support

admin_socket: add a separate debug subsys/level

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

log: prefix dump with line numbers

This makes it easier to interpret the dump, and makes it obvious what is
dump (and potentially a dup of something that was already logged) and what
is not.

Signed-off-by: Sage Weil <sage@newdream.net>

test_filestore_workloadgen: track pg log size in memory

Avoid a stat!

Signed-off-by: Sage Weil <sage@newdream.net>

test_filestore_workloadgen: whitespace

Signed-off-by: Sage Weil <sage@newdream.net>

organize test_filestore_idempotent*

Signed-off-by: Sage Weil <sage@newdream.net>

remove hopelessly flawed test_filestore_idempotent

Signed-off-by: Sage Weil <sage@newdream.net>

test_store -> test_filestore

and organize source

Signed-off-by: Sage Weil <sage@newdream.net>

test_wrkldgen -> test_filestore_workloadgen

Also put the code in src/test/filestore/.

Signed-off-by: Sage Weil <sage@newdream.net>

ceph-authtool: rename cli test dir

Signed-off-by: Sage Weil <sage@newdream.net>

ceph-conf: rename cli test dir

Signed-off-by: Sage Weil <sage@newdream.net>

Merge branch 'stable'

Conflicts:
src/osd/OpRequest.cc

OpRequest: mark_event output is now at debug 5

Signed-off-by: Samuel Just <samuel.just@dreamhost.com>

config: dump subsys log levels with --show-config

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

Merge branch 'wip-2313'

rgw: can't remove user that owns data

This is a workaround for #1681. We don't allow the removal of
user that still has data.

Signed-off-by: Yehuda Sadeh <yehuda@hq.newdream.net>
Reviewed-by: Sage Weil <sage@newdream.net>

FileStore: don't read reference to writeq head after pop_write

Signed-off-by: Samuel Just <samuel.just@dreamhost.com>

rgw: bucket HEAD operation should return 200, not 204

Signed-off-by: Yehuda Sadeh <yehuda@hq.newdream.net>

obsync: section 8 -> 1

Fixes: #2263
Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

rgw: HEAD bucket, don't dump rounded size

Signed-off-by: Yehuda Sadeh <yehuda@hq.newdream.net>

osd: fix vector array out of bounds

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

ceph-fuse: only call common_init_finish in child; fix admin socket

If we do it in the parent and child, we break the admin socket (among
other things).

Fixes: #2293
Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

qa: drop rgw.py from test_python.sh workunit

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

ceph.spec.in: drop rgw.py

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

Makefile: drop rgw.py

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

mon: fix full/nearfull ratio initialization

create_pending() is called before create_initial(), so just put these in
the first incremental.

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

rgw: allow subuser creation on radosgw-admin user create

This fixes issue #2312: allow the creation of both user
and a subuser in a single radosgw-admin command.

Signed-off-by: Yehuda Sadeh <yehuda@hq.newdream.net>

osd: dump old ops singly rather than all at once.

Fixes #2269. Convert the OpTracker::check_ops_in_flight interface
to take a vector<string> and create a separate warning for each old
Op, and dump those singly to the clog in the OSD.

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>
Reviewed-by: Sage Weil <sage@newdream.net>

osdmap: restructure flow in OSDMap::decode

Signed-off-by: Sage Weil <sage@newdream.net>
Reviewed-by: Greg Farnum <gregory.farnum@dreamhost.com>

ceph-object-corpus: prune archive

Signed-off-by: Sage Weil <sage@newdream.net>

test/encoding/import.sh: fix

Signed-off-by: Sage Weil <sage@newdream.net>

rgw: HEAD bucket also dumps bucket meta info

Shows total objects, bytes used, actual bytes used.

Signed-off-by: Yehuda Sadeh <yehuda@hq.newdream.net>

rgw: add x-rgw-* as a possible meta header prefix

Signed-off-by: Yehuda Sadeh <yehuda@hq.newdream.net>

Merge remote-tracking branch 'gh/wip_journal'

Reviewed-by: Sage Weil <sage@newdream.net>

osdmap: remove bad cct reference

Not in OSDMap

Signed-off-by: Sage Weil <sage@newdream.net>

Merge branch 'wip-2286-ratio-a'

Reviewed-by: Sage Weil <sage@newdream.net>

osdmap: workaround old bug that zeroed pool_max

Signed-off-by: Sage Weil <sage@newdream.net>
Reviewed-by: Greg Farnum <gregory.farnum@dreamhost.com>

python-ceph: remove rgw bindings

We shouldn't expose these internal apis.

Signed-off-by: Yehuda Sadeh <yehuda@hq.newdream.net>

pgmap: allow Incrementals to specify [near]full_ratios of 0

This commit isn't entirely safe: old monitors used 0 to mean "no change".
We can revert this (and the PGMonitor.cc portion of
841f2885318d1bcf37aab3f2947b1f40fee772a9) if we don't want to allow
0 as a valid ratio setting, and to maintain perfect backwards
compatibility.

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

pgmon: add "set_full_ratio x" and "set_nearfull_ratio x" commands

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

pgmon: convert PGMonitor::prepare_command to our standard infrastructure.

So that I can add another command.

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

pgmon: remove the PGMonitor update_full_ratios stuff

Making it a config watcher is just a huge mess in terms of consistently
updating it appropriately.
The next commit will add a monitor command for changing it.

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

mon: only fill in full/nearfull sets if the ratio > 0

This avoids putting all OSDs in both sets when the ratios are 0, as they
are with a fresh cluster and pgmap.  This also makes setting the ratio to
0 effectively disable the full/nearfull feature.

Signed-off-by: Sage Weil <sage@newdream.net>

mon: unconditionally encode PGMap full ratios in the Incremental

This properly spreads the real value to peon monitors -- they weren't
seeing the right values at all before.
Initialize all related values to zero so that it's obvious if they
somehow avoided becoming set properly.
This doesn't require any kind of protocol revision, luckily -- mixing
monitors from before and after this change might result in extra work
recalculating full sets, but it won't spread bad values or anything.

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

rgw-admin: user create is idempotent

Signed-off-by: Yehuda Sadeh <yehuda@hq.newdream.net>
Reviewed-by: Sage Weil <sage@newdream.net>

osdmap: dump pool_max

Signed-off-by: Sage Weil <sage@newdream.net>

Merge branch 'wip-2289-2'

FileJournal: let peek_write return a reference

Signed-off-by: Samuel Just <samuel.just@dreamhost.com>

common: add blkdev.{h,cc}

Signed-off-by: Sage Weil <sage@newdream.net>

rbd: fix probe of source when block device

Fixes: #2304
Signed-off-by: Sage Weil <sage@newdream.net>

filestore: factor block device size probe out into helper

Signed-off-by: Sage Weil <sage@newdream.net>

FileJournal: clarify locking in header

Signed-off-by: Samuel Just <samuel.just@dreamhost.com>

OpRequest: mark_event output is now at debug 5

Signed-off-by: Samuel Just <samuel.just@dreamhost.com>

librados: add methods to check and wait for safe/complete -and- callback

Allow user to check for (safe|complete) -and- callback return, and wait
for that condition.

Fixes: #2301
Signed-off-by: Sage Weil <sage@newdream.net>

librbd: 'rbd cache enabled' -> 'rbd cache'

'enabled' is useless verbiage.  We should fix the rgw option too,
protably...

Signed-off-by: Sage Weil <sage@newdream.net>

qa: comment out xfstest 232

Test 232 in the xfstests suite produces an XFS error in the log
when run over an RBD device.  This is most likely an XFS problem
that will be tracked separately (in tracker 2302).

My original plan with getting this checked in was to have it run a
baseline set of the tests--all known to pass on rbd devices--with
the intention of doing ongoing work to add back missing tests (at
least from the "auto" group) as we understand and fix whatever
makes them produce failures.

So just comment out test 232 so the xfstests script is able to
run to completion without error.

Signed-off-by: Alex Elder <elder@dreamhost.com>