Plaintext keyring format is supposed to be user-friendly, so test it.

Now that cauthtool has two kinds of keyrings, test them both.

Fix a bug where "cauthtool --create-keyring" (no --bin) wrote garbage.

This only triggered when running without --gen-key or --add-key.

cauthtool: default keyring format is plaintext, add --bin

common: fix buffer::list::decode_base64

buffer::list::decode_base64 needs to check for decode failures.

Signed-off-by: Colin McCabe <colinm@hq.newdream.net>

qa: add xattr check

Signed-off-by: Sage Weil <sage@newdream.net>

Merge branch 'testing' into unstable

Conflicts:
configure.ac

filejournal: rewrite completion handling, fix ordering on full->notfull

Rewriting the completion handling to be simpler, clearer, so that it is
easier to maintain a strict completion ordering invariant.

This also fixes an ordering bug: When restarting journal, we defer
initially until we get a committed_thru from the previous commit and then
do all those completions.  That same logic needs to also apply to new items
submitted during that commit interval.  This was broken before, but the
simpler structure fixes it.  Fixes #666.

Tested-by: Jim Schutt <jaschut@sandia.gov>
Signed-off-by: Sage Weil <sage@newdream.net>

PG: activate should not enqueue snap_trimmer on a replica

Previously, activate would queue_snap_trim() for replicas if snap_trimq
ended up non-empty, guaranteeing a crash for any replica starting up
while purged_snaps lagged behind pool->cached_removed_snaps.

This should fix #702.

Signed-off-by: Samuel Just <samuelj@hq.newdream.net>

Fix confusing comment about gtest automake hookup.

unit: add IncorrectBase64Encoding test

Signed-off-by: Colin McCabe <colinm@hq.newdream.net>

unit: Add test/base64.cc

Signed-off-by: Colin McCabe <colinm@hq.newdream.net>

Add a target to build but not run unittests.

Use with "make -C src unittests".

ReplicatedPG: Fix oi.size bug in _rollback_to

_rollback_to calls _delete_head before cloning the clone into place.
_delete_head sets the object info size to 0.  _rollback_to now resets
the size to match the rolled back object.  Previously, this bug
manifested as a failed assert in scrub when checking the object sizes.

Signed-off-by: Samuel Just <samuelj@hq.newdream.net>

ReplicatedPG: register_object_context and register_snapset_context cleanup

Previously, get_object_context and get_snapset_context did not register
the resulting objects.  In some cases, these objects would not get
registered and multiple copies would end up created.  This caused a bug
in find_object_context where get_snapset_context could return an object
distinct from the one referenced by the object returned from
get_object_context.

Signed-off-by: Samuel Just <samuelj@hq.newdream.net>

Fix src/test/run-cli-tests to work with any cwd.

ReplicatedPG: snap_trimmer work around

Currently, an OSD bug is causing snap_trimq to contain some snaps
already in purged_snaps.  This work around should let kvmtest
come back up.  A real fix is still needed.

Signed-off-by: Samuel Just <samuelj@hq.newdream.net>

Merge branch 'clitests-3' into unstable

Adjust clitests after cauthtool changes.

Merge commit '735eb400dc617c599f8cb42af91bab00931eeaff' into clitests-z

Adjust clitests after cauthtool changes.

Merge commit 'e9a70f15029d397ebf0414e5f16fda321af5f55b' into clitests-4

Fix osdmaptool error reporting.

uclient: Switch how inodes link to dentries a bit.

Inodes now have a set of parent dentries, rather than a single
pointer. This allows the cache to accurately represent multiple
hard links.
Various minor adjustments were made so that this change in
format works and is error checked.

Signed-off-by: Greg Farnum <gregf@hq.newdream.net>

auth: change the plaintext keyring format

Revert "client: Remove the I_COMPLETE flag from the parent directory in relink_inode."

This reverts commit c43455cee4b7b45de6bd04454a40bc7016f2d6d1. We don't
need this fix any more since we now handle hard links properly!

Signed-off-by: Greg Farnum <gregf@hq.newdream.net>

conf: ConfFile can parse bufferlists

osd: avoid creating some temporary coll_t objects

PG::coll caches the value of coll_t(this->info.pgid). So use PG::coll
when appropriate rather than constructing a new object.

Signed-off-by: Colin McCabe <colinm@hq.newdream.net>

osd: de-globalize PG::oldest_update

Making oldest_update a class variable complicates log merging and wastes
space in the PG struct. Even though memory is big, cachelines are still
small. Just calculate it when we need it.

Signed-off-by: Colin McCabe <colinm@hq.newdream.net>

osd: clean up loop in proc_replica_log

We don't need to update lu on (almost) every iteration, only on the
final one. Use a const iterator.

Signed-off-by: Colin McCabe <colinm@hq.newdream.net>

osd: remove unused PG global

Signed-off-by: Colin McCabe <colinm@hq.newdream.net>

osd: call prior_set_affected only if we have one

Don't call prior_set_affected if the prior set hasn't been built. This
will be the case unless we're a primary doing peering.

Signed-off-by: Colin McCabe <colinm@hq.newdream.net>

osd: prevent PG objects from being copied

Signed-off-by: Colin McCabe <colinm@hq.newdream.net>

osd: Put all prior_set fields into a struct

Keep all the prior set stuff together.

Signed-off-by: Colin McCabe <colinm@hq.newdream.net>

Remove outdated TODO note.

The test originally used cat <<EOF, which made
the mon$id in the config file get expanded at
that time.

Add CLI tests for osdmaptool and friends.

Uses a python package "cram" as test runner.
Requires PIP (python-pip.deb) installed on the
build machine, to actually run these tests.

The cram application itself is included as a
tarball that gets installed in a virtualenv
when the tests are run. cram is GPL.

Git ignored files cleanup.

Make gitignore entries not match recursively.

I wanted to introduce a directory "osdmaptool" to contain cli tests
for that tool, but all the files there were ignored because of these
rules.  Better be explicit about what you want ignored.

Move all ignores for generated binaries to be together.

Fixed "testecph" typo.

Added ignores for: testdout_streambuf testsignal_handlers testtimers.

osd: OSD::queue_pg_for_deletion: avoid double del

Signed-off-by: Colin McCabe <colinm@hq.newdream.net>

osd: OSD::queue_pg_for_deletion: avoid double del

Signed-off-by: Colin McCabe <colinm@hq.newdream.net>

mds: avoid double-pinning stray inodes

We make multiple iterations through populate_mydir().  Only pin each stray
once.  Fixes #689 and crashes like

mds/CInode.h: In function 'virtual void CInode::bad_get(int)':
mds/CInode.h:1088: FAILED assert(ref_set.count(by) == 0)
ceph version 0.24 (180a4176035521940390f4ce24ee3eb7aa290632)
1: (CInode::bad_put(int)+0) [0x827b090]
2: (MDSCacheObject::get(int)+0x153) [0x813e463]
3: (MDCache::populate_mydir()+0x8a) [0x81a7e5a]
4: (MDCache::_create_system_file_finish(Mutation*, CDentry*,
Context*)+0x181) [0x819f501]
5: (C_MDC_CreateSystemFile::finish(int)+0x29) [0x81d6c29]
6: (finish_contexts(std::list<Context*, std::allocator<Context*> >&,
int)+0x6b) [0x81d663b]
7: (Journaler::_finish_flush(int, long long, utime_t, bool)+0x983) [0x82f2f53]
8: (Journaler::C_Flush::finish(int)+0x3f) [0x82fb24f]
9: (Objecter::handle_osd_op_reply(MOSDOpReply*)+0x801) [0x82d8e31]
10: (MDS::_dispatch(Message*)+0x2ae5) [0x80eaa15]
11: (MDS::ms_dispatch(Message*)+0x62) [0x80eb142]
12: (SimpleMessenger::dispatch_entry()+0x899) [0x80b8649]
13: (SimpleMessenger::DispatchThread::entry()+0x22) [0x80b30f2]

Signed-off-by: Sage Weil <sage@newdream.net>

debian: make update_pbuilder.sh a bit smarter

Signed-off-by: Sage Weil <sage@newdream.net>

keyring: can parse plain text keyring files

ReplicatedPG: Fix bug in rollback

Previously, _rollback_to assumed that the rollback was a noop if
ctx->clone_obc was set and it's prior version matches head's version.
However, this broke in sequences like:

Write "snap1 contents" to oid "blah"
create snapshot "snap1"
Write "snap2 contents" to oid "blah"
create snapshot "snap2"
rollback oid "blah" to snapshot "snap1"

In this case, make_writeable would have just cloned head to the snap2
clone, but the relevant clone is actually "snap1".  _rollback_to now
verifies that the most recent clone is the correct one before assuming
that head is already correct.

Signed-off-by: Samuel Just <samuelj@hq.newdream.net>

Port encoding tests over to gtest.

Use Google Test framework for unit tests.

Use ``make check`` to run the tests.

The src/gtest directory comes from ``svn export
http://googletest.googlecode.com/svn/tags/release-1.5.0 src/gtest``
and running "git add -f src/gtest".

gtest is licensed under the New BSD license, see src/gtest/COPYING.
For more on Google Test, see http://code.google.com/p/googletest/

Changed autogen.sh regenerate gtest automake files too. Make sure to
run ``./autogen.sh && ./configure`` after merging this commit, or
incremental builds may fail. The automake integration is inspired
heavily by the protobuf project, and may still be problematic.

Make git ignore files generated by gtest compilation.

Currently putting in just one new-style unit test, refactoring old
tests to fit will come in separate commits.

Note: if you are starting daemons, listening on TCP ports, using
multiple machines, mounting filesystems, etc, it's not a unit test
and does not belong in this setup. A framework for system/integration
tests will be provided later.

Make git ignore generated files.

os: don't crash on no-journal case

JournalingObjectStore::commit_start should handle the case where journal is
null. This will occur if the user doesn't configure a journal.

Signed-off-by: Colin McCabe <colinm@hq.newdream.net>

v0.24.1

test_split.sh: add many_pools test

Signed-off-by: Colin McCabe <colinm@hq.newdream.net>

ReplicatedPG: get_object_context ssc refcount leak

If obc->obs.ssc is non-null, the second get_snapset_context ends up
leaking a snapset reference.

Signed-off-by: Samuel Just <samuelj@hq.newdream.net>

mds: fix _dout_lock recursion recursion

The get_snaps() method also something to dout.  We need to take care to
not do that as part of the ostream operator<< chain.  Fixes #684.

Signed-off-by: Sage Weil <sage@newdream.net>

mds: take rdlocks on bounding dftlocks; clean up migrator lock code

We need to take an rdlock on bounding dirfrags during migration for a
rather irritating reason: when we export the bound inode, we need to send
scatterlock state for the dirfrags as well, so that the new auth also gets
the correct info.  If we race with a refragment, this info is useless, as
we can't redivvy it up.  And it's needed for the scatterlocks to work
properly: when the auth is in a sync/lock state it keeps each dirfrag's
portion in the local (auth OR replica) dirfrag.

So: take a rdlock on the bounding dirfrags to avoid this.  Clean up the
Locker bulk rdlock interface while we're at it to be more general and
useful.

Also, while we're here, do an rdlock_try at this point.  Note that we still
are going to fail more often than before, since dftlocks will frequently
be scattered if there has been a recent fragmentation.  There is some
inevitable conflict here between refragmentation (which wants dftlock
in MIX) and exports (which want it SYNC).  TODO.

Signed-off-by: Sage Weil <sage@newdream.net>

mds: make thrash_exports select random frags

We were always picking the first frag.

Signed-off-by: Sage Weil <sage@newdream.net>

mds: force dirfrag fragmention when replaying metablob

We can have non-auth (and thus ambiguously fragmented) dirs in our cache.
When those get replayed, adjust our fragmentation as needed.

Signed-off-by: Sage Weil <sage@newdream.net>

ReplicatedPG: register_object_context and register_snapset_context cleanup

Previously, get_object_context and get_snapset_context did not register
the resulting objects.  In some cases, these objects would not get
registered and multiple copies would end up created.  This caused a bug
in find_object_context where get_snapset_context could return an object
distinct from the one referenced by the object returned from
get_object_context.

Signed-off-by: Samuel Just <samuelj@hq.newdream.net>

librados: check for initialization before doing certain operations

librados: fix api declaration

librados: add rados->version, include librados.h from .hpp

librados-config: add man page

librados-config: added a command line tool to dump librados version

ReplicatedPG: clone_overlap should contain one entry per clone

Previously, writefull and _delete_head would remove the last
entry from snapset.clone_overlap.  Now, the last entry becomes
an empty interval_set.  clone_overlap should contain one entry
per clone.

The missing entries previously caused a bug in _rollback_to where
iter would be clone_overlap.end().

Signed-off-by: Samuel Just <samuelj@hq.newdream.net>

osd: Create all_osds_die test

Signed-off-by: Colin McCabe <colinm@hq.newdream.net>

mon: mark osds down for not sending MOSDPGStat

PGMonitor::prepare_pg_stats should check to see if the stats in the
MOSDPgStats message are the same as the ones we already have. If so, no
need to create an incremental; just send an ACK and return false.

The leading Monitor now marks osds as down if they haven't sent a
MOSDPGStat message in the last 15 minutes.

Signed-off-by: Colin McCabe <colinm@hq.newdream.net>

mon: Always forward the PGStats to the leader

Always forward the PGStats to the leader, even if they are the same as
the old PGStats. The leader will mark as down osds that haven't sent
PGStats for a few minutes.

Signed-off-by: Colin McCabe <colinm@hq.newdream.net>

osd: Introduce osd_mon_report_interval_max

After every g_conf.osd_mon_report_interval_max seconds, we send out a PG
stat update even if nothing has changed. This is to let the monitors
know that we're alive.

Signed-off-by: Colin McCabe <colinm@hq.newdream.net>

mon: don't allow Monitor to be copied

Signed-off-by: Colin McCabe <colinm@hq.newdream.net>

mon: remove obsolete comment

Signed-off-by: Colin McCabe <colinm@hq.newdream.net>

osd: Rename osd_mon_report_interval

Rename osd_mon_report_interval to osd_mon_report_interval_min.

Signed-off-by: Colin McCabe <colinm@hq.newdream.net>

mon: Introduce Monitor::leader_since

Introduce Monitor::leader_since to keep track of when the current
monitor became the leader.

Signed-off-by: Colin McCabe <colinm@hq.newdream.net>

Merge branch 'standby_replay' into unstable

mds: Add is_any_replay() method and fill it in as appropriate.

This way we don't need to remember to call all three of is_replay(),
is_standby_replay(), is_oneshot_replay().

Signed-off-by: Greg Farnum <gregf@hq.newdream.net>

Merge remote branch 'origin/unstable' into standby_replay

Conflicts:
src/cmds.cc
src/mds/MDS.cc
src/mds/MDS.h

librados: add library api versioning

journaler: delete Contexts on finish() in new functions.

Previously we weren't, and leaked memory.

Signed-off-by: Greg Farnum <gregf@hq.newdream.net>

mdcache: change replay trimming a bit.

Previously we were re-inserting dentrys on the open list. But if
there weren't any other available dentrys to trim, this could
have led to an infinite loop!
Now, we save them in a list and pop them back in once the trim
is done.

Signed-off-by: Greg Farnum <gregf@hq.newdream.net>

MDS: rename replay Contexts -- they were ambiguous at best.

Signed-off-by: Greg Farnum <gregf@hq.newdream.net>

MDS: add gids to the logger file names.

This is just to make differentiating between the standby's files
and stuff easier.

Signed-off-by: Greg Farnum <gregf@hq.newdream.net>

mdlog: return EAGAIN if replay falls off the tail of the journal.

This can happen when we're following an active journal, and
would previously cause the MDS to shut down. Now we return EAGAIN,
so the MDS can recover as it likes.
Currently, that recovery is a simple respawn, as when we discover
we've fallen behind via probing.

Signed-off-by: Greg Farnum <gregf@hq.newdream.net>

journaler: Add init_headers function, call when reading head off disk.

Uninitialized headers were causing a failed assert during replay,
and there's no good reason to leave them set at their defaults just
because the *current* incarnation of this MDS has never written to
disk!

Signed-off-by: Greg Farnum <gregf@hq.newdream.net>

mds: After probing the journal, reset if we've fallen behind.

Previously, if the journal got trimmed and we missed log entries,
we failed out in the journaling step and stopped.
This is still possible and needs to be fixed, but pre-emptively checking
that we're still in the live part of the journal narrows the race range.

Signed-off-by: Greg Farnum <gregf@hq.newdream.net>

MDS: make standby_trim_segments functional. Hurray, hot standbys work!

Signed-off-by: Greg Farnum <gregf@hq.newdream.net>

mdlog: Add some helper functions for accessing segments map data.

Signed-off-by: Greg Farnum <gregf@hq.newdream.net>

mdcache: adjust trim() to handle running during standby-replay.

This just means it needs to handle files on the open list and not
trim them. Add a check for that with an assert, and keep them alive.

Signed-off-by: Greg Farnum <gregf@hq.newdream.net>

elist: add a clear_list function.

Signed-off-by: Greg Farnum <gregf@hq.newdream.net>

lru: change control flow and an assert to keep purpose clearer.

Signed-off-by: Greg Farnum <gregf@hq.newdream.net>

MDSMonitor: Remove STATE_ONESHOT_REPLAY from takeover logic in tick().

If something dies during a journal-check we shouldn't have anybody
doing standby for them, so assert out!

Signed-off-by: Greg Farnum <gregf@hq.newdream.net>

MDSMonitor: Do not set the rank of an MDS in standby-replay
or oneshot-replay modes.

This was causing issues with identification in various circumstances,
and turns out to be unnecessary. The MDS now will set its whoami
variable from the standby_for_rank field if that's appropriate.

Signed-off-by: Greg Farnum <gregf@hq.newdream.net>

MDS: MDSMonitor: if MDS is in standby-replay and its leader goes down,
take over as the MDS!

This means we can now exit standby-replay.

Signed-off-by: Greg Farnum <gregf@hq.newdream.net>

MDLog: don't change expire_pos or read_pos on replay.

These are unnecessary or rendered irrelevant by previous commit
removing read_pos from the on-disk Header.

Signed-off-by: Greg Farnum <gregf@hq.newdream.net>

Journaler: Remove the unused read_pos field.

Rename it to unused_field, fill the in-memory read_pos
from header.expire_pos, and fill unused_field with the expire_pos
for safety.
(The on-disk header pos was used to fill in read_pos, but it was
always reset to expire_pos before being used and was only ever
set at the end of replay.)

Signed-off-by: Greg Farnum <gregf@hq.newdream.net>

MDS: miscellaneous standby-replay fixes and cleanups.

Signed-off-by: Greg Farnum <gregf@hq.newdream.net>

MDS: make use of the hooks to start standby-replay.

This doesn't include trim, and there's no way to exit the replay!

Signed-off-by: Greg Farnum <gregf@hq.newdream.net>

osd, rados: pgls filter cleanups

objecter: use raw_pg_to_pg when needed

Signed-off-by: Colin McCabe <colinm@hq.newdream.net>

MDS: Implement the hooks for standby_replay.

This commit adds the necessary state checks and machinery
for the MDS to go through a "looping" replay.
It does not yet implement online trimming, nor is there any
way to get the MDS into or out of a standby_replay state.

Signed-off-by: Greg Farnum <gregf@hq.newdream.net>

journaler: add reread_head_and_probe function.

It does both so callers don't need to implement
intermediate bottom-half handlers.

Signed-off-by: Greg Farnum <gregf@hq.newdream.net>

mds: add expire_pos to the ESubtreeMap.

This will allow more efficient trimming during standby_replay.

Signed-off-by: Greg Farnum <gregf@hq.newdream.net>

mds: extend the use of uint64_t instead of (signed) loff_t, et al.

Signed-off-by: Greg Farnum <gregf@hq.newdream.net>

mds: rename is_standby_replay() to is_oneshot_replay.
This better represents its current purpose.

mds: Create new STATE_ONESHOT_REPLAY for the MDS.

This takes over the previous behavior of STATE_STANDBY_REPLAY,
allowing standby-replay to be used for the upcoming continuous-replay
that will enable hot standbys.

Signed-off-by: Greg Farnum <gregf@hq.newdream.net>