os: fix minor typo in function defs

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

os: fix some obvious error handling problems

Fix some errors like checking errno when it may not have been set, doing
other operations which may change the value of errno and then checking
it

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

Makefile: use new Spirit headers where available

Use new boost::spirit header files where available, to eliminate the
annoying compiler warning on newer systems.

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

Makefile: remove unecessary header check

We already check for libcrypto++ using PKG_CHECK_MODULES; we don't need
to fish for header files.

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

Makefile: use CXXFLAGS more consistently

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

test: Add test_rw

Test reading and writing lots of objects from the object store.

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

msgr: don't need to reinstall signals after daemon

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

mds: respawn must unblock signals before exec

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

common: move signal blocking into signal.cc

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

common: add signal_mask_to_str

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

units: RandomRoundTrips: fix endptr for buffer

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

workunits: direct_io_test: fix error message

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

workunits: direct_io_test: add cmdline options

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

workunits: direct_io_test: test more iterations

Test seeking around in an O_DIRECT file to see if we read what we
should.

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

workunits: add direct_io_test

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

common: pthread_cond_signal: don't need lock

from the man page:

The pthread_cond_broadcast() or pthread_cond_signal() functions may be
called by a thread whether or not it currently owns the mutex that
threads calling pthread_cond_wait() or pthread_cond_timedwait() have
associated with the condition variable during their waits.

The man page goes on to suggest that sometimes you might want to hold
the lock when signalling. This would be the case if you had some
other variable that could only change when the lock was held, and you
wanted to ensure that that variable did not change prior to the waiter
being woken. That is not the case here, so it's irrelevant.

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

init-ceph: more verbose status

Signed-off-by: Colin McCabe <colinm@hq.newdream.net>

signals: signal.cc: trim includes

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

mds: store migrator lock set over course of export

We were recalculating the migrator locks at the beginning and end of
export, but we were getting inconsistent sets at the end point, causing us
to unlock the wrong set of bounds.  Instead, calculate the set when we
first start and again once we're frozen and things are set in stone.  When
we're done, unlock that same set.  Cleanup up the set as needed.

Signed-off-by: Sage Weil <sage@newdream.net>

common: re-install sighandlers after daemon()

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

common: move signal handler stuff into signal.cc

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

cephtool: handle init failures correctly

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

cephtool: fix usage a bit

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

common: fix common_usage a bit

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

test: add new unit test "gather" for C_Gather.

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

units: base64 should test more round-trips

Test 1000 round trips.

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

units: better names for the base64 test

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

units: don't need -lcrypto

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

mon: Allow ceph mds fail <name>

Formerly we only allowed "ceph mds fail <rank>", and also failed to
check if rank was correctly parsed.

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

health: fix health display for MDSes

When there are laggy MDSes, we should set health to WARN. Failed MDSes
should set health to FAIL. Stopped MDSes should not affect health.

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

mds: add comment explaining MDSMap::max_mds

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

automake: check for libedit

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

osd: avoid polluting peer_info with acting[0]

This can confuse code that iterates over peer_info and finds the primary
(with bad info).

Signed-off-by: Sage Weil <sage@newdream.net>

osd: make misdirected request warnings specify osdmap epoch

Signed-off-by: Sage Weil <sage@newdream.net>

vstart: set pgp_bits to a sane value

We need to specify pgp_bits as well or else we get the default (which makes
no sense when it's way bigger than pg_bits).

Signed-off-by: Sage Weil <sage@newdream.net>

osd: disallow pgp_num > pg_num on osdmap creation

Signed-off-by: Sage Weil <sage@newdream.net>

Revert "objecter: use raw_pg_to_pg when needed"

This reverts commit cfd87ceefb46358adaa1751975c8d3a6b063bdf9.

The client side behavior here is correct: we should feed the raw pg into
osdmap->pg_to_acting_osds.  The real problem is(was!) that pgp_num > pg_num
in current maps, which is illegal.

Signed-off-by: Sage Weil <sage@newdream.net>

mon: make 'pg map <pgid>' output more explicit

Show effective pgid in parens.

Signed-off-by: Sage Weil <sage@newdream.net>

Merge branch 'testing' into unstable

Conflicts:
src/mds/journal.cc

osd: rebind heartbeat_messenger (with cluster one) when wrongly marked down

This keeps things clean.

Signed-off-by: Sage Weil <sage@newdream.net>

messenger: let rebind() avoid multiple ports

We need to rebind two messengers, which means avoiding both old ports.

Signed-off-by: Sage Weil <sage@newdream.net>

osd: drop messages from before we moved back to boot state

We want to make sure we ignore any messages sent to us before we moved
back to the boot state (after being wrongly marked down).  This is only
a problem currently while we are in the BOOT state and waiting to be
re-added to the map, because we may then call _share_map_incoming and
send something on the new rebound messenger to an old peer.  Also assert
that we are !booting there to be sure.

Signed-off-by: Sage Weil <sage@newdream.net>

Merge remote branch 'origin/overload2' into unstable

Make non-runnable source files not have execute bit set.

Make run-cli-tests not abort on first failure.

Make clitests avoid existing ceph.conf files.

Add TODO note for cauthtool -c conflict.

This triggered in unrelated ways while testing CEPH_CONF
support.

Command line -c should still override CEPH_CONF from env.

Sanitize environment before running clitests.

This avoids CEPH_KEYRING etc from slipping in.

cfuse: fix crash when bad address provided

auth: new rotating secret ttl should depend on now() + ttl

Before it only depended on the previous rotating secret (which was
always bigger than g_clock.now()). Since the tickets rotation is
never being done exactly when the old ticket expires (probably takes
a few seconds after that), then we ended up having tickets that expire
much sooner than we expected.

Merge remote branch 'newdream/unstable' into unstable

Revert "unit tests: do standard ceph init before tests"

This reverts commit 77f90978dc38d025e05300f7650a550ae15704fa.

Unit tests should not parse the normal "-c ceph.conf" command line
arguments, they should not read config files, etc. If something
needs initializing for a specific unit tests, we'll either fix it
to not need it, initialize it just for that, or figure some nicer
way of doing this.

The commit also broke "make distcheck".

Make git ignore *.t.err files generated by clitests.

Make git ignore more generated files in src/gtest.

Patch cram so it is able to write *.err files outside the source tree.

https://bitbucket.org/brodie/cram/issue/9/allow-read-only-directories-for-t

Found by "make distcheck".

Clean up test virtualenv on "make clean".

Found by "make distcheck".

Include the cli tests in a dist tarball.

Found by "make distcheck".

Also distribute pre-downloaded tarballs.

Found by "make distcheck".

Teach run-cli-tests about build dirs.

An optional argument points can tell it where to put
generated files (in this case, virtualenv). Provide
the argument in Makefile.am.

Options are still passed to cram, so you can say
"./src/test/run-cli-tests -i".

MDS: Use new C_Gather::get_num_remaining() in MDCache.

It was using get_num(), which now reports the number created.
This probably wouldn't have worked previously except that
~C_Gather::C_GatherSub was inappropriately calling rm_sub().

Signed-off-by: Greg Farnum <gregf@hq.newdream.net>

C_Gather: Set debug #ifdefs to remove set.

This way when we're confident it works right, we can
remove the set<Context*> and just rely on ref counting.

Further optimizations would include using a spinlock
rather than a mutex, or possibly even just switching
sub_[created|existing]_count to be atomics.

Signed-off-by: Greg Farnum <gregf@hq.newdream.net>

C_Gather: Rewrite for thread safety.

Previously, C_Gather wasn't thread safe at all,
and there was an issue with creating subs while some
subs were being finished.
These issues are now fixed.

Signed-off-by: Greg Farnum <gregf@hq.newdream.net>

Rename variable in run-cli-tests.

Emphasize the fact that the path is the source dir, not the build dir.

run-cli-tests is in srcdir not in build dir.

Found by "make distcheck".

Include run-cli-tests in release tarball.

Found by "make distcheck".

Merge branch 'tests-broken' into unstable

Fix clitests for cconf usage change.

mds: call MonClient::shutdown when doing a journal dump.

Previously we got a failed assert since nothing was calling this.

Signed-off-by: Greg Farnum <gregf@hq.newdream.net>

Merge branch 'tests-broken' into unstable

Fix clitests for cauthtool usage change.

Merge commit 'cfae10b8f8b0d91f37dc6eb72f3b3f8285bb15e7' into tests-broken-2

Plaintext keyring format is supposed to be user-friendly, so test it.

Now that cauthtool has two kinds of keyrings, test them both.

Fix a bug where "cauthtool --create-keyring" (no --bin) wrote garbage.

This only triggered when running without --gen-key or --add-key.

os: don't crash on no-journal case

JournalingObjectStore::commit_start should handle the case where journal is
null. This will occur if the user doesn't configure a journal.

Signed-off-by: Colin McCabe <colinm@hq.newdream.net>

common: Add CEPH_CONF override

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

unit tests: do standard ceph init before tests

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

qa: Add tiobench test

Signed-off-by: Colin McCabe <colinm@hq.newdream.net>

mon: Implement reweight-by-utilization

Signed-off-by: Colin McCabe <colinm@hq.newdream.net>

mon: some PGMap cleanups

Const cleanup. Don't do multiple lookups for the same item in a
container.

Signed-off-by: Colin McCabe <colinm@hq.newdream.net>

osd: adjust_osd_weights: small const cleanup

Signed-off-by: Colin McCabe <colinm@hq.newdream.net>

vstart.sh: don't depend on /usr/bin/host

Signed-off-by: Colin McCabe <colinm@hq.newdream.net>

mds: use common helper to journal a client session close

We saw a bug where an ESession close was followed by an EMetaBlob on that
session (see 6d0dc4bf64b2792d6fc007268c5a42ae4e2e583c).  My best guess is
that a session timeout raced with a request waiting on locks (only the
explicit client close path was calling request_kill).  To avoid that,
introduce a helper to journal client close so that the common work (killing
any pending requests AND releasing prealloc inos) happen in all cases.

Fixes #708 (I hope!).

Signed-off-by: Sage Weil <sage@newdream.net>

mds: tolerate (with warning) replayed op with bad prealloc_inos

This comes up when an ESesssion close is followed by an EMetaBlob that
uses a prealloc_ino.  That isn't supposed to happen (it's probably a corner
case with session timeout vs a request waiting on locks that didn't
get killed/canceled?).  But tolerate it during replay just the same.

Works around #708.

Signed-off-by: Sage Weil <sage@newdream.net>

mds: improve debug output on ESession journal replay

Signed-off-by: Sage Weil <sage@newdream.net>

OSD,ReplicatedPG: Do not run snap_trimmer while the pg is degraded

snap_trimmer causes replica crashes if the replica is missing
objects.

Signed-off-by: Samuel Just <samuelj@hq.newdream.net>

cconf: fix usage parsing, add --resolve search

--resolve-search is used to resolve a search path result

keyring: default keyring file name is 'keyring'

update accordingly the tools, scripts, man page

cauthtool: default keyring format is plaintext, add --bin

config: keyring uses a search path again

filejournal: rewrite completion handling, fix ordering on full->notfull

Rewriting the completion handling to be simpler, clearer, so that it is
easier to maintain a strict completion ordering invariant.

This also fixes an ordering bug: When restarting journal, we defer
initially until we get a committed_thru from the previous commit and then
do all those completions.  That same logic needs to also apply to new items
submitted during that commit interval.  This was broken before, but the
simpler structure fixes it.  Fixes #666.

Tested-by: Jim Schutt <jaschut@sandia.gov>
Signed-off-by: Sage Weil <sage@newdream.net>

PG: activate should not enqueue snap_trimmer on a replica

Previously, activate would queue_snap_trim() for replicas if snap_trimq
ended up non-empty, guaranteeing a crash for any replica starting up
while purged_snaps lagged behind pool->cached_removed_snaps.

This should fix #702.

Signed-off-by: Samuel Just <samuelj@hq.newdream.net>

common: fix buffer::list::decode_base64

buffer::list::decode_base64 needs to check for decode failures.

Signed-off-by: Colin McCabe <colinm@hq.newdream.net>

qa: add xattr check

Signed-off-by: Sage Weil <sage@newdream.net>

Merge branch 'testing' into unstable

Conflicts:
configure.ac

Fix confusing comment about gtest automake hookup.

unit: add IncorrectBase64Encoding test

Signed-off-by: Colin McCabe <colinm@hq.newdream.net>

unit: Add test/base64.cc

Signed-off-by: Colin McCabe <colinm@hq.newdream.net>

Add a target to build but not run unittests.

Use with "make -C src unittests".