MDSMonitor: Adjust handling of MDSes asking for standby-replay.

1) If the MDS does not specify an MDS to follow, we mark them as
standing-by for -2. MDSMap::find_standby_for() has been modified
to grab these MDSes.
2) If an MDS asks for standby-replay and specifies a name but
not a rank, fill in the rank if the named MDS is known to us. If it
is not known, do nothing.

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

mds: Adjust replay state changes and options parsing.

The MDS used to interpret g_conf.id as a rank. It no longer does
so and requires that standby ranks/names be set via the g_conf options,
or else along with the replay command in the CLI. Remove the MDS versions
of standby_for_[rank|name] and just use the ones in g_conf for simplicity.

However, the MDS only looks at the rank when switching to standby;
making names usable will require an update to the MDSMonitor code to
plug in ranks from names.

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

messages: Let MMDSBeacon set_standby_for_name from a c-string.

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

config: add new mds_standby options.

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

mds: Keep journaler in readonly mode until replay completes.

Previously we were switching it off for the final non-standby replay
when a standby-replay got activated. This caused issues
since the states weren't quite correct!

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

mds: use direct replay test when deciding whether to rebalance.

The previous use of standby_for_rank testing was prone to errors
and I think would have ended up causing bugs if it was in the middle
of a standby_replay run when it got a new MDS map pushing
it into regular replay mode.

Signed-off-by: Greg Farnum <gregf@hq.newdream.net>

test: add new unit test "gather" for C_Gather.

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

units: base64 should test more round-trips

Test 1000 round trips.

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

units: better names for the base64 test

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

units: don't need -lcrypto

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

mon: Allow ceph mds fail <name>

Formerly we only allowed "ceph mds fail <rank>", and also failed to
check if rank was correctly parsed.

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

health: fix health display for MDSes

When there are laggy MDSes, we should set health to WARN. Failed MDSes
should set health to FAIL. Stopped MDSes should not affect health.

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

mds: add comment explaining MDSMap::max_mds

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

automake: check for libedit

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

osd: avoid polluting peer_info with acting[0]

This can confuse code that iterates over peer_info and finds the primary
(with bad info).

Signed-off-by: Sage Weil <sage@newdream.net>

osd: make misdirected request warnings specify osdmap epoch

Signed-off-by: Sage Weil <sage@newdream.net>

vstart: set pgp_bits to a sane value

We need to specify pgp_bits as well or else we get the default (which makes
no sense when it's way bigger than pg_bits).

Signed-off-by: Sage Weil <sage@newdream.net>

osd: disallow pgp_num > pg_num on osdmap creation

Signed-off-by: Sage Weil <sage@newdream.net>

Revert "objecter: use raw_pg_to_pg when needed"

This reverts commit cfd87ceefb46358adaa1751975c8d3a6b063bdf9.

The client side behavior here is correct: we should feed the raw pg into
osdmap->pg_to_acting_osds.  The real problem is(was!) that pgp_num > pg_num
in current maps, which is illegal.

Signed-off-by: Sage Weil <sage@newdream.net>

mon: make 'pg map <pgid>' output more explicit

Show effective pgid in parens.

Signed-off-by: Sage Weil <sage@newdream.net>

Merge branch 'testing' into unstable

Conflicts:
src/mds/journal.cc

osd: rebind heartbeat_messenger (with cluster one) when wrongly marked down

This keeps things clean.

Signed-off-by: Sage Weil <sage@newdream.net>

messenger: let rebind() avoid multiple ports

We need to rebind two messengers, which means avoiding both old ports.

Signed-off-by: Sage Weil <sage@newdream.net>

osd: drop messages from before we moved back to boot state

We want to make sure we ignore any messages sent to us before we moved
back to the boot state (after being wrongly marked down).  This is only
a problem currently while we are in the BOOT state and waiting to be
re-added to the map, because we may then call _share_map_incoming and
send something on the new rebound messenger to an old peer.  Also assert
that we are !booting there to be sure.

Signed-off-by: Sage Weil <sage@newdream.net>

Merge remote branch 'origin/overload2' into unstable

Make non-runnable source files not have execute bit set.

Make run-cli-tests not abort on first failure.

Make clitests avoid existing ceph.conf files.

Add TODO note for cauthtool -c conflict.

This triggered in unrelated ways while testing CEPH_CONF
support.

Command line -c should still override CEPH_CONF from env.

Sanitize environment before running clitests.

This avoids CEPH_KEYRING etc from slipping in.

cfuse: fix crash when bad address provided

auth: new rotating secret ttl should depend on now() + ttl

Before it only depended on the previous rotating secret (which was
always bigger than g_clock.now()). Since the tickets rotation is
never being done exactly when the old ticket expires (probably takes
a few seconds after that), then we ended up having tickets that expire
much sooner than we expected.

Merge remote branch 'newdream/unstable' into unstable

Revert "unit tests: do standard ceph init before tests"

This reverts commit 77f90978dc38d025e05300f7650a550ae15704fa.

Unit tests should not parse the normal "-c ceph.conf" command line
arguments, they should not read config files, etc. If something
needs initializing for a specific unit tests, we'll either fix it
to not need it, initialize it just for that, or figure some nicer
way of doing this.

The commit also broke "make distcheck".

Make git ignore *.t.err files generated by clitests.

Make git ignore more generated files in src/gtest.

Patch cram so it is able to write *.err files outside the source tree.

https://bitbucket.org/brodie/cram/issue/9/allow-read-only-directories-for-t

Found by "make distcheck".

Clean up test virtualenv on "make clean".

Found by "make distcheck".

Include the cli tests in a dist tarball.

Found by "make distcheck".

Also distribute pre-downloaded tarballs.

Found by "make distcheck".

Teach run-cli-tests about build dirs.

An optional argument points can tell it where to put
generated files (in this case, virtualenv). Provide
the argument in Makefile.am.

Options are still passed to cram, so you can say
"./src/test/run-cli-tests -i".

MDS: Use new C_Gather::get_num_remaining() in MDCache.

It was using get_num(), which now reports the number created.
This probably wouldn't have worked previously except that
~C_Gather::C_GatherSub was inappropriately calling rm_sub().

Signed-off-by: Greg Farnum <gregf@hq.newdream.net>

C_Gather: Set debug #ifdefs to remove set.

This way when we're confident it works right, we can
remove the set<Context*> and just rely on ref counting.

Further optimizations would include using a spinlock
rather than a mutex, or possibly even just switching
sub_[created|existing]_count to be atomics.

Signed-off-by: Greg Farnum <gregf@hq.newdream.net>

C_Gather: Rewrite for thread safety.

Previously, C_Gather wasn't thread safe at all,
and there was an issue with creating subs while some
subs were being finished.
These issues are now fixed.

Signed-off-by: Greg Farnum <gregf@hq.newdream.net>

Rename variable in run-cli-tests.

Emphasize the fact that the path is the source dir, not the build dir.

run-cli-tests is in srcdir not in build dir.

Found by "make distcheck".

Include run-cli-tests in release tarball.

Found by "make distcheck".

Merge branch 'tests-broken' into unstable

Fix clitests for cconf usage change.

mds: call MonClient::shutdown when doing a journal dump.

Previously we got a failed assert since nothing was calling this.

Signed-off-by: Greg Farnum <gregf@hq.newdream.net>

Merge branch 'tests-broken' into unstable

Fix clitests for cauthtool usage change.

Merge commit 'cfae10b8f8b0d91f37dc6eb72f3b3f8285bb15e7' into tests-broken-2

Plaintext keyring format is supposed to be user-friendly, so test it.

Now that cauthtool has two kinds of keyrings, test them both.

Fix a bug where "cauthtool --create-keyring" (no --bin) wrote garbage.

This only triggered when running without --gen-key or --add-key.

os: don't crash on no-journal case

JournalingObjectStore::commit_start should handle the case where journal is
null. This will occur if the user doesn't configure a journal.

Signed-off-by: Colin McCabe <colinm@hq.newdream.net>

common: Add CEPH_CONF override

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

unit tests: do standard ceph init before tests

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

qa: Add tiobench test

Signed-off-by: Colin McCabe <colinm@hq.newdream.net>

mon: Implement reweight-by-utilization

Signed-off-by: Colin McCabe <colinm@hq.newdream.net>

mon: some PGMap cleanups

Const cleanup. Don't do multiple lookups for the same item in a
container.

Signed-off-by: Colin McCabe <colinm@hq.newdream.net>

osd: adjust_osd_weights: small const cleanup

Signed-off-by: Colin McCabe <colinm@hq.newdream.net>

vstart.sh: don't depend on /usr/bin/host

Signed-off-by: Colin McCabe <colinm@hq.newdream.net>

mds: use common helper to journal a client session close

We saw a bug where an ESession close was followed by an EMetaBlob on that
session (see 6d0dc4bf64b2792d6fc007268c5a42ae4e2e583c).  My best guess is
that a session timeout raced with a request waiting on locks (only the
explicit client close path was calling request_kill).  To avoid that,
introduce a helper to journal client close so that the common work (killing
any pending requests AND releasing prealloc inos) happen in all cases.

Fixes #708 (I hope!).

Signed-off-by: Sage Weil <sage@newdream.net>

mds: tolerate (with warning) replayed op with bad prealloc_inos

This comes up when an ESesssion close is followed by an EMetaBlob that
uses a prealloc_ino.  That isn't supposed to happen (it's probably a corner
case with session timeout vs a request waiting on locks that didn't
get killed/canceled?).  But tolerate it during replay just the same.

Works around #708.

Signed-off-by: Sage Weil <sage@newdream.net>

mds: improve debug output on ESession journal replay

Signed-off-by: Sage Weil <sage@newdream.net>

OSD,ReplicatedPG: Do not run snap_trimmer while the pg is degraded

snap_trimmer causes replica crashes if the replica is missing
objects.

Signed-off-by: Samuel Just <samuelj@hq.newdream.net>

cconf: fix usage parsing, add --resolve search

--resolve-search is used to resolve a search path result

keyring: default keyring file name is 'keyring'

update accordingly the tools, scripts, man page

cauthtool: default keyring format is plaintext, add --bin

config: keyring uses a search path again

filejournal: rewrite completion handling, fix ordering on full->notfull

Rewriting the completion handling to be simpler, clearer, so that it is
easier to maintain a strict completion ordering invariant.

This also fixes an ordering bug: When restarting journal, we defer
initially until we get a committed_thru from the previous commit and then
do all those completions.  That same logic needs to also apply to new items
submitted during that commit interval.  This was broken before, but the
simpler structure fixes it.  Fixes #666.

Tested-by: Jim Schutt <jaschut@sandia.gov>
Signed-off-by: Sage Weil <sage@newdream.net>

PG: activate should not enqueue snap_trimmer on a replica

Previously, activate would queue_snap_trim() for replicas if snap_trimq
ended up non-empty, guaranteeing a crash for any replica starting up
while purged_snaps lagged behind pool->cached_removed_snaps.

This should fix #702.

Signed-off-by: Samuel Just <samuelj@hq.newdream.net>

common: fix buffer::list::decode_base64

buffer::list::decode_base64 needs to check for decode failures.

Signed-off-by: Colin McCabe <colinm@hq.newdream.net>

qa: add xattr check

Signed-off-by: Sage Weil <sage@newdream.net>

Merge branch 'testing' into unstable

Conflicts:
configure.ac

Fix confusing comment about gtest automake hookup.

unit: add IncorrectBase64Encoding test

Signed-off-by: Colin McCabe <colinm@hq.newdream.net>

unit: Add test/base64.cc

Signed-off-by: Colin McCabe <colinm@hq.newdream.net>

Add a target to build but not run unittests.

Use with "make -C src unittests".

ReplicatedPG: Fix oi.size bug in _rollback_to

_rollback_to calls _delete_head before cloning the clone into place.
_delete_head sets the object info size to 0.  _rollback_to now resets
the size to match the rolled back object.  Previously, this bug
manifested as a failed assert in scrub when checking the object sizes.

Signed-off-by: Samuel Just <samuelj@hq.newdream.net>

ReplicatedPG: register_object_context and register_snapset_context cleanup

Previously, get_object_context and get_snapset_context did not register
the resulting objects.  In some cases, these objects would not get
registered and multiple copies would end up created.  This caused a bug
in find_object_context where get_snapset_context could return an object
distinct from the one referenced by the object returned from
get_object_context.

Signed-off-by: Samuel Just <samuelj@hq.newdream.net>

Fix src/test/run-cli-tests to work with any cwd.

ReplicatedPG: snap_trimmer work around

Currently, an OSD bug is causing snap_trimq to contain some snaps
already in purged_snaps.  This work around should let kvmtest
come back up.  A real fix is still needed.

Signed-off-by: Samuel Just <samuelj@hq.newdream.net>

Merge branch 'clitests-3' into unstable

Adjust clitests after cauthtool changes.

Merge commit '735eb400dc617c599f8cb42af91bab00931eeaff' into clitests-z

Adjust clitests after cauthtool changes.

Merge commit 'e9a70f15029d397ebf0414e5f16fda321af5f55b' into clitests-4

Fix osdmaptool error reporting.

uclient: Switch how inodes link to dentries a bit.

Inodes now have a set of parent dentries, rather than a single
pointer. This allows the cache to accurately represent multiple
hard links.
Various minor adjustments were made so that this change in
format works and is error checked.

Signed-off-by: Greg Farnum <gregf@hq.newdream.net>

auth: change the plaintext keyring format

Revert "client: Remove the I_COMPLETE flag from the parent directory in relink_inode."

This reverts commit c43455cee4b7b45de6bd04454a40bc7016f2d6d1. We don't
need this fix any more since we now handle hard links properly!

Signed-off-by: Greg Farnum <gregf@hq.newdream.net>

conf: ConfFile can parse bufferlists

osd: avoid creating some temporary coll_t objects

PG::coll caches the value of coll_t(this->info.pgid). So use PG::coll
when appropriate rather than constructing a new object.

Signed-off-by: Colin McCabe <colinm@hq.newdream.net>

osd: de-globalize PG::oldest_update

Making oldest_update a class variable complicates log merging and wastes
space in the PG struct. Even though memory is big, cachelines are still
small. Just calculate it when we need it.

Signed-off-by: Colin McCabe <colinm@hq.newdream.net>

osd: clean up loop in proc_replica_log

We don't need to update lu on (almost) every iteration, only on the
final one. Use a const iterator.

Signed-off-by: Colin McCabe <colinm@hq.newdream.net>

osd: remove unused PG global

Signed-off-by: Colin McCabe <colinm@hq.newdream.net>