Merge branch 'wip-rados-sync'

test_rados_sync: check that second sync does nada

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

rados_sync: more fixes

* separate BackedUpObject::from_path and BackedUpObject::from_file.

* librados functions return negative values on error, but most may
return positive values on success, even things like setxattr.

* implement read_xattrs_from_rados

* change rados_sync printout a bit

* fix up test_rados_sync xattr tests

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

osd: warn when obc locator doesn't match ops

This will hopefully help us track down #1028.

Signed-off-by: Sage Weil <sage@newdream.net>

rados_sync: fix memory leak, other misc fixes

* Store BackedUpObject in auto_ptr to avoid memory leaks

* better comment for BackedUpObject::get_fs_path()

* xattrs: handle only_in_a list separately from diff list, since
librados complains if you call setxattr(foo) and there is already an
xattr foo.

* xattrs: add xattrs_to_str for debugging purposes

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

osdmap: refactor mapping; don't assert on missing pool

We were asserting on a pg with a missing pool fed to pg_to_acting_osds
because raw_to_temp_osds called raw_pg_to_pg.  Refactor to let us look up
the pool only once, and return gracefully instead of crashing.

Signed-off-by: Sage Weil <sage@newdream.net>

test_rados_sync: test xattr preservation

test xattr preservation across import/export

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

test_rados_sync: add import/export test

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

rados_sync: complain if import src is inaccessible

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

rados_sync: fix --create for import

Fix import's pool creation faculty.

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

add test_rados_sync.sh

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

rados_sync: fix import a bit

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

rados_sync: nicer error formatting

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

common: be a little less scary in our startup warning

- be less scary
- be helpful and tell them where to go

Signed-off-by: Sage Weil <sage@newdream.net>

rados_sync: misc bugfixes

Avoid using a temporary c_str pointer when it goes out of scope.

Complain if XATTR_FULLNAME is empty, as well as missing.

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

rados_sync: nicer printouts

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

man: mkcephfs: small fixes

Signed-off-by: Sage Weil <sage@newdream.net>

rados_sync: do_export: fix diff'ing

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

rados_sync: more improvements to xattr_test

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

mkcephfs.man: update man page

Not beautiful, but at least it's accurate.

Signed-off-by: Sage Weil <sage@newdream.net>

rados_sync: Add xattr_test

Add xattr_test to test if the underlying filesystem supports xattrs

Fix BackedUpObject::get_fs_path a bit.

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

Merge branch 'stable'

osd: used fixed size types for fiemap/mapext/sparseread encoding

The client expects <uint64_t,uint64_t>, so this breaks on any 32-bit osd.

Signed-off-by: Sage Weil <sage@newdream.net>

cfuse: don't -d

Signed-off-by: Sage Weil <sage@newdream.net>

mds: assert auth on journal_cow_dentry

We have no business doing cow (or journaling) non-auth dentries.

Signed-off-by: Sage Weil <sage@newdream.net>

mds: don't journal src when not auth on rename

If we aren't auth for the srcdn, don't put it in the journal, or else we'll
barf on journal replay.

This fixes a crash reproduced with

sudo mkdir mnt/foo
sudo touch mnt/foo/a
sudo ln mnt/foo/a mnt/foo/b
sudo rm mnt/foo/a

sudo mkdir mnt/bar
sudo touch mnt/bar/nothing

./ceph mds tell 0 export_dir /bar 1

sudo mv mnt/foo/b mnt/bar/b

+ mds restart.

Signed-off-by: Sage Weil <sage@newdream.net>

PG: choose_acting needs the value of the osd, not its index

This caused two osds to keep flipping the acting set between [2] and
[0,2] when osd.0 was far behind and needed a backlog. This is visible
as toggling between peering and peering+degraded.

Signed-off-by: Josh Durgin <josh.durgin@dreamhost.com>

Create rados_sync tool to back up rados pools

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

stop.sh: Avoid bashisms.

I have a habit of running "sh -x stop.sh" whenever it seems
to fail, and that runs it with dash, not bash. Since it
doesn't actually need the bashisms, remove them.

Signed-off-by: Tommi Virtanen <tommi.virtanen@dreamhost.com>

stop.sh: Whitespace.

Signed-off-by: Tommi Virtanen <tommi.virtanen@dreamhost.com>

osd: fix include in cosd.cc too

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

osd: rearrange #includes to get our assert

Make sure we include boostchart headers before our common/assert.h so that
ours clobbers theirs.  Otherwise the generic one will clobber ours and our
assert output won't get logged or be as pretty.

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

mon: fix multi-osd 'ceph in|out N..' operations

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

ceph_argparse: ignore dashes after equals sign

When parsing argv, ignore dashes after equals signs. This is so that
things like --log-file=/tmp/foo-file will work correctly.

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

Merge branch 'wip_pg_refactor'

PG: strays don't peer (only the primary does)

Signed-off-by: Josh Durgin <josh.durgin@dreamhost.com>

PG: clear peering flag when we transition from Peering to Reset

This is safe because the only other transitions are to Pending (still
peering) and Active, which clears the state itself.

Signed-off-by: Josh Durgin <josh.durgin@dreamhost.com>

Merge branch 'stable'

osdmap: fix temp osd pg mapping

If you feed in a raw pg (full precision) you should get the same mapping
out as when you plug in the effective/reduced precision pg.  The
raw_to_temp_osds() wasn't doing that, which gave you results like

flak:src 04:01 PM $ ./ceph pg map 0.4
2011-05-05 16:01:18.524051 mon <- [pg,map,0.4]
2011-05-05 16:01:18.524987 mon2 -> 'osdmap e11 pg 0.4 (0.4) -> up [1,0] acting [0]' (0)
flak:src 04:01 PM $ ./ceph pg map 0.7ed4
2011-05-05 16:01:21.755490 mon <- [pg,map,0.7ed4]
2011-05-05 16:01:21.755996 mon1 -> 'osdmap e11 pg 0.7ed4 (0.4) -> up [1,0] acting [1,0]' (0)

The objecter was feeding in raw pgs, so this was sending requests to the
wrong nodes.

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

mon: do not stop mds0 unless all other nodes have also stopped

If we are the root node or the tableserver, we have to shut down last.
(And even then, if we have client sessions, we can't fully shut down, we
can only kill ourselves!)

Fixes: #1048 (sorta)
Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

Merge branch 'stable'

Conflicts:
src/mds/Resetter.cc

PG: handle MOSDPGLog messages in Active state.

We previously didn't, but we definitely need to as we can go
active while waiting on strays to send in logs to recover missing
objects.

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

ceph_crypto: Fix ceph::crypto::init mutex for NSS.

Even after ceph::crypto::shutdown, the library looked
already initialized; this broke the ForkDeathTest.MD5
in "make check", and NSS-using daemons.

See 921d4b3d8b79485a6786f8ca75b2a96ea377da84 for more.

Signed-off-by: Tommi Virtanen <tommi.virtanen@dreamhost.com>

v0.27.1

ceph::crypto::init: add PTHREAD_MUTEX_INITIALIZER

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

mds: fix --reset-journal

Don't fork.  (Already fixed in master branch by the start_with_nonce
refactor, so this is just for 0.27.1.)

Signed-off-by: Sage Weil <sage@newdream.net>

obsync: remove misguided strip_owner

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

test-obsync.py: allow better nonce,better printout

Support deterministic nonces. Better debug printouts.

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

libceph: initialize keyring after conf is parsed

Init the keyring in ceph_mount, after the user has a change to load a conf
file or parse command line args.

Signed-off-by: Sage Weil <sage@newdream.net>

osdmap: small cleanup

Signed-off-by: Sage Weil <sage@newdream.net>

fix some shadowing arguments

Small subset of what -Wshadow turns up.

Signed-off-by: Sage Weil <sage@newdream.net>

crypto: fix non-reentrancy of ceph::crypto::init

This could be called multiple times from common_preinit.

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

test-obsync: use s3-tests configuration file

Use the same configuration file format as s3-tests. This should make it
easier for people to run obsync tests!

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

osd: fix GetInfo down check

The PgPriorSet::down set can have lots of stuff it in without it affecting
peering completion.  We just need to look at the some_down flag to tell us
if any nodes in the _cur_ set are down, which indicates no progress is
possible (unless/until someone starts up again or last_epoch_started moves
forward in time).

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

osd: some comment, debug output cleanup

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

osd: reg_last_scrub on pg load

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

obsync: remove omit_owner for acls

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

obsync: implement --force option

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

obsync: be more verbose about set_xml_acl errors

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

boto_tool: add getacl, setacl

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

obsync: Fix ACL parsing yet again

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

osd: GetLog, GetMissing cleanups, fixes

Added missing continue in GetMissing ctor.

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

osd: only transition to Pending from GetInfo cons

No need to do so in get_infos().  The need_up_thru requirement will only
get better as last_epoch_started floor moves forward in time, not worse.

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

osd: consistent naming

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

osd: handle notify+info explicitly in GetInfo state

This fixes a few things:
 - do not proceed past GetInfo if there are down osds.  ever.
 - if we get a new info that moves last_epoch_started forward,
   rebuild prior, because we may have eliminated said down osds.
 - if we get dup info, do nothing
 - if we get new info, see if we can proceed to GetLog

This is all simpler/cleaner by handling Notify/Info (they're the same)
explicitly in the GetInfo state and not falling back to the parent
state handler.

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

osd: statechart whitespace

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

osd: initialize pg state event counters

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

osd: fix GetInfo querying

Don't query for info we already have, or have already requested.  Remove
unneeded helper so that this is simpler and we have access to the info
we need.

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

osd: handle event notify/info/log from Initial

We shouldn't post a creation event and jump into peering/stray based on
pg creation when we are about to process more information or else we will
send out unnecessary queries.  Instead, handle those from Initial and jump
to the appropriate state.

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

rgw: don't output optional DisplayName if not set

Don't output optional DisplayName if not set. Be a little more explicit
about zeroing other optional fields during xml parsing.

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

osd: debug handle_*

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

rgw: don't assume XML is valid

XML parsing functions in RGW now return a bool, indicating whether they
were able to get the fields they needed to out of the XML.
If any field returns false, the parsing is deemed to have failed.

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

osd: fix min_time in state stats

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

osd: rename states to reflect nesting; fix enter/exit msgs

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

OSD: fill in rctx properly for pg->handle_create in get_or_create_pg

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

osd: first pass at pg peering stats

The numbers are a bit off it seems.  Also lots of potential for cleanup
here.  But it (basically) works!

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

osd: use const char * state names

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

OSD: assert contents exist when erasing from last_scrub_map.

Insert PG into last_scrub_map on creation so that this doesn't
break right away.

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

PG: proc_replica_info, oinfo not info

The method param info shadowed PG::info.

osd: move directly to Reset state on pg load

Add Initial -> Reset transition on pg load.  This avoids doing any
activation-type stuff (like sending messages) before we are ready.  In
particularly, we want to advance through any new OSDMaps and only
send out queries/notifies/whatever when we get to the activate_map
stage.

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

OSD: start PG state machine when loading pre-existing PGs

This caused a crash when restarting a killed OSD because the Initial
state was receiving the ActMap event.

Signed-off-by: Josh Durgin <josh.durgin@dreamhost.com>

PG: ReplicaActive must repond to requests from discover_all_missing

If the peer does not yet have the pg during GetMissing, there won't be
a peer_missing entry for that peer.  In that case, discover_all_missing
can legitimately request a missing set after the pg has gone active.

Signed-off-by: Samuel Just <samuel.just@dreamhost.com>

uclient: fill in InodeCap::wanted member on send_cap.

Previously it was never used, which I think led to spamming the MDS
with cap messages!

Hopefully this won't reveal any new cap-handling bugs...

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

uclient: only try to update caps on the auth MDS.

Previously we would send updates on things like the max_size we
wanted to the first MDS in our list, which was bad if the auth mds
had a higher number. Now, only send them (and update bookkeeping)
for the auth MDS.

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

PG: collapse crashed transitions to happen on any unexpected event

Signed-off-by: Josh Durgin <josh.durgin@dreamhost.com>

PG: use a state_name member instead of overriding get_state_name

Also add debugging to each state constructor. Since dout uses
the recovery machine context, anything using it in the constructor
must be a state, not a simple_state.

Signed-off-by: Josh Durgin <josh.durgin@dreamhost.com>

Revert "osd: simplify check for unconsumed events"

This reverts commit ab34a3ce3e757a54816bd9b884c3f900361d4930.

It turns out that unconsumed_event supersedes checking outer states. :(

Signed-off-by: Samuel Just <samuel.just@dreamhost.com>

PG: Primary should also discard the ActMap event

Signed-off-by: Samuel Just <samuel.just@dreamhost.com>

PG: ActMap should be dicarded if no outer state handles it

osd: simplify check for unconsumed events

No need for the Crashed pseudo state.

Signed-off-by: Sage Weil <sage@newdream.net>

osd: make debug output include state name

Signed-off-by: Sage Weil <sage@newdream.net>

osd: fix event names

Signed-off-by: Sage Weil <sage@newdream.net>

PG.h: transition to crashed on unhandled message

obsync: improve ACL handling again

LocalAcl: store ACLs in memory. They're very small, and the tempfile
stuff was just getting cumbersome.

LocalAcl.equal: do deep comparison of ACLs, not just seeing if the XML
is the same.

Strip owner when setting an ACL. We never want to try to set the owner.

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

obsync: fix some bugs

* Allow parsing of AclPolicy elements that don't have owner_id fields.

* Put all XML attributes in the correct namespace when generating ACL XML

* Fix FileStore.get_acl

* test-obsync: better formatting for obsync command lines

* test-obsync: test ACL-syncing stuff

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

osd: feed new pg mapping into state machine

instead of recalculating it.  Also pass the last map into warm_restart,
while we're at it.  Drop the Reset state constructor and instead repost
the AdvMap event before transitioning.

Signed-off-by: Sage Weil <sage@newdream.net>

osdmap: fix some constedness

Signed-off-by: Sage Weil <sage@newdream.net>

osd: turn off recovery oid sets

This is slow, eats memory, and dumps huge amounts of crap to the debug
logs when enabled.  Leave it off unless we are actually hunting down a bug.

Signed-off-by: Sage Weil <sage@newdream.net>

PG: remove peer_info_requested member

This is internal to the GetInfo state now.

Signed-off-by: Josh Durgin <josh.durgin@dreamhost.com>

PG: don't become clean in purge_strays

Our state is already clean here.

Signed-off-by: Josh Durgin <josh.durgin@dreamhost.com>