mds: don't skip inodes in journal that may be trimmed during replay

During replay we trim non-auth inodes on EExport or EImportFinish abort.
Subtree trimming may be delayed, too.

Skip parents if the diri is in the same blob, or if it is journaled in the
current segment *and* it is in a subtree that is unambiguously auth.  We can't
easily be more precise than that because the actual event we care about on
replay is EExport, but the migrator doesn't twiddle auth bits to false until
later.

Also, reset last_journaled on import.

This fixes replay bugs like

2011-04-13 18:15:18.064029 7f65588ef710 mds1.journal EImportStart.replay 10000000015 bounds []
2011-04-13 18:15:18.064034 7f65588ef710 mds1.journal EMetaBlob.replay 2 dirlumps by unknown0
2011-04-13 18:15:18.064040 7f65588ef710 mds1.journal EMetaBlob.replay dir 10000000010
2011-04-13 18:15:18.064046 7f65588ef710 mds1.journal EMetaBlob.replay missing dir ino  10000000010
mds/journal.cc: In function 'void EMetaBlob::replay(MDS*, LogSegment*)', in thread '0x7f65588ef710'
mds/journal.cc: 407: FAILED assert(0)
 ceph version 0.25-683-g653580a (commit:653580ae84c471c34872f14a0308c78af71f7243)
 1: (ceph::__ceph_assert_fail(char const*, char const*, int, char const*)+0x53) [0xa53d26]
 2: (EMetaBlob::replay(MDS*, LogSegment*)+0x7eb) [0x7a737d]

Fixes: #994
Signed-off-by: Sage Weil <sage@newdream.net>

config: warn about old-style conf section names

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

man: Update cmds documentation.

You always need to specify a rank if you do journal-check.

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

vstart.sh: use new-style section names in config

Use new-style section names in vstart.sh.
Also update sample.ceph.conf.

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

mon:don't check for old-style monitor section name

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

cconf: update man page

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

objecter: log when we defer a write because of FULL osdmap flag

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

mkcephfs, init-ceph: tolerate complete lack of a type

We were bailing out of mkcephfs with a config with no mds's defined
(because we set -e and grep returns an error here).

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

config: do not accept old-style section names

Stop accepting old-style section names of the form $type$id.  Instead,
we want section names of the form $type.$id.  So [osd0] will no longer
be a valid section name; instead, use [osd.0].

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

cconf: fix usage; clean up some code

cconf: fix obsolete usage message. Add --list-all-sections flag.
Use new ceph_argparse stuff. Update tests.

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

config: normalize key names, cleanup

Normalize key names in md_config_t::get_val and md_config_t::set_val

Remove unused fields from struct config_option.

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

rgw: fix other err related issues

also remove the now redundant formatter->flush()

rgw: adjustments to error handling

fixing mixup between s3 error code and s3 error message

libceph: implement ceph_conf_set and ceph_conf_get

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

mds: init metablob MDLog* for EImportStart

This will initialize metablob.my_offset, which makes the parent inode
journaling logic work properly.

Signed-off-by: Sage Weil <sage@newdream.net>

init-ceph: no log_dir default

Signed-off-by: Sage Weil <sage@newdream.net>

mds: fix journal offset types

Always uint64_t!

Signed-off-by: Sage Weil <sage@newdream.net>

mds: show migration state names on cancel

Signed-off-by: Sage Weil <sage@newdream.net>

rgw: rework error handling a bit

Rados Gateway: get rid of RGWOp::err. We already have req_state::err and
that represents the same thing.

Standardize nomenclature for errors. 'errno' is our internal
representation of the error. 'code' is what is returned by S3.
'message' is the message at the end. Improve rgw_err.

dump_errno shouldn't modify req_state, but just dump the error.
A new function set_req_state_err sets the error based on an 'errno'.

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

config: add test for override ordering, comment

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

config: de-globalize reading config file

Reading a config file into any md_config_t structure except g_conf used
to be impossible. This is because the config_option code used to
contain explicit references to g_conf. Those have been removed, so now
any md_config_t should be able to read a configuration file.

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

radosgw_admin: fix make check

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

config: make md_config_t.name a value, not ptr

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

rgw: don't modify object owner when setting acls

rgw: allow changing acl using canned acl

radosgw_admin: add 'bucket unlink' option

mkcephfs: Actually do a mkfs.btrfs

Signed-off-by: Wido den Hollander <wido@widodh.nl>
Signed-off-by: Tommi Virtanen <tommi.virtanen@dreamhost.com>

MonitorStore: use sync_filesystem when available

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

dout: log_per_instance should work with log_file

Now log_per_instance (the symlink dance) works with both log_file and
log_dir. This will facilitate gradually removing log_dir.

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

RadosModel: error handling fixes

ReadOp should read the recieve length to prevent buffer error.

Check error codes on WriteOp and ReadOp.

Signed-off-by: Samuel Just <rexludorum@gmail.com>

filestore: fix do_getxattr check

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

FileStore: give better error message about xattrs

Fixes #952.

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

mds: fix dn unlocking on export_reverse

Triggered by mds_kill_import_at 5.  We were clearing the export_locks
prior to calling export_unlock (der!).

Signed-off-by: Sage Weil <sage@newdream.net>

mds: during export list target second

We need to maintain the invariant that (dir_auth.first==whoami) == is_auth.

Signed-off-by: Sage Weil <sage@newdream.net>

mds: do not start_new_segment on replay_start

We do not need to start a new segment after replay.  And in fact must not
journal an ESubtreeMap prior to doing resolve!

Signed-off-by: Sage Weil <sage@newdream.net>

mds: fix bad import_state check on handle_export_discover

This populates import_state[] with an bad value and leads to crashes like

mds/Migrator.h: In function 'static const char* Migrator::get_import_statename(int)', in thread '0x7f5ea8c97710'
mds/Migrator.h: 112: FAILED assert(0)
 ceph version 0.25-670-g85bd67e (commit:85bd67e0ab58876ad807b44ab2154e84b90a4f30)
 1: (ceph::__ceph_assert_fail(char const*, char const*, int, char const*)+0x53) [0xa53ad6]
 2: (Migrator::get_import_statename(int)+0x68) [0x91ea0f]
 3: (Migrator::show_importing()+0x174) [0x90f640]

Signed-off-by: Sage Weil <sage@newdream.net>

mds: queue rejoin_waiters on rejoin_ack survivor

For recovering nodes, we eventually open_snap_parents and much later
requeue these waiters.  A surviving node wasn't requeueing them at all.

Signed-off-by: Sage Weil <sage@newdream.net>

mds: fix resolve

This was broken by a01fba175b646f6 when an ambiguous import was changed
from CDIR_AUTH_UNKNOWN to <whoami,whoami> and disambiguate_imports wasn't
updated accordingly.  The result was inconsistent results for subtree
ownership on different nodes.

This updates disambiguate_imports to match that EImportStart::replay
change.

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

mds: don't check_rstats on non-auth or frozen dirs

If we are, say, auth but frozen (mid-import) the dir content isn't valid
and check_rstats will likely fail.

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

mds: fix _freeze_dir assert for refragment case

The is_freezeable_dir() is true at freeze time but not forever after over
the lifetime of the freeze.  We split later on and _freeze_dir on the new
fragments, so this assertion isn't necessarily true then.

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

mds: fix choose_lock_state() on xlocked object

This crops up on inodes during clientreplay when we reconnect the cap
on the newly created (and still xlocked) object.

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

osd: Use syncfs when available

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

rgw: create bucket with empty name should return a valid error

rgw: recreation of bucket returns success

unless it was owned by a different user, at which case it
returns -EEXIST.

mds: update rstats on stray dir when you rename over existing inode.

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

sample.ceph.conf: add log file and pid file

These really should be included in a sample...

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

vstart.sh: use "log file" instead of "log dir"

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

rgw: listing non existent bucket returns NoSuchBucket

Merge remote branch 'origin/mon_mds'

osd: move MAX_CEPH_OBJECT_NAME_LEN into object.h

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

osd: check obj name length to avoid ENAMETOOLONG

Since the object store is ultimately based on ext3, ext4, or btrfs, and
object names ultimately get translated into file names, we need to
impose a corresponding limit on the length of ceph object names.

Otherwise, the "writeback" thread in the FileStore gets ENAMETOOLONG,
and the transaction does not succeed, even though we journalled it.

Perhaps we will extend or eliminate MAX_CEPH_OBJECT_NAME_LEN at some
point by using prehashing or some other technique. Until then, we need
to be sure to check for this.

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

librbd: don't write to stdout

Signed-off-by: Josh Durgin <josh.durgin@dreamhost.com>

Add test_mutate

Add test_mutate, in an effort to track down an objecter bug.

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

mdsmap: initialize standby_for_rank

This is initialized in MDSMonitor anyway; do so where for completeness.

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

mon: simplify mds follow checks

Instead of assigning followers in the last_beacon laggy check loop, do it
at the end, the same way we let standby nodes take over.

This also fixes a bug where a non-standby node (say, up:replay) that used
to be up:standby-replay and has standby_for_rank set gets reset back to
up:standby-replay.

Fixes: #1001
Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

mon: simplify mds laggy check

We should never have a laggy standby, so technically this doesn't change
any behavior, but it makes the flow less confusing.

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

mon: don't take over for a standby-replay

If a standby-replay is laggy we shouldn't "take over" for them (they're
not part of the cluster yet).  They should be removed like a regular
standby.

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

rados-tool: use init_with_config interface

Programs that use both librados and common_init should use
init_with_config.

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

mds: improve scatterlog debug msg

mds: clear flush state on rejoin ack

If we sent scatterlock state during rejoin, the auth will send us an inode
base.  Clear scatterlock flush state if that happens.

Fixes: #637
Signed-off-by: Sage Weil <sage@newdream.net>

mds: send any dirty scatterlock state on rejoin

Not just inodes for auth dirfrags, but for any inode with dirty scatterlock
state.  Include the root inode.

Signed-off-by: Sage Weil <sage@newdream.net>

mds: reset dirty->flushing on rejoin scatterflush

Reset dirty/flushing state during rejoin.

Signed-off-by: Sage Weil <sage@newdream.net>

mds: drop debugging cruft

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

mds: make _create_system_file dirty dentries properly

Properly dirty the new dentries so they get written to the directory
objects later on.

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

mds: fix create_mydir_hierarchy to save dir

Mark the dentries dirty so they get saved to disk (they're not journaled!).
This fixes rstat problems on startup, where populate_mydir was recreating
the entries and munging rstats accordingly.

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

radosacl: read Ceph configuration file

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

cephtool: don't print anything on SIGTERM, SIGINT

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

mds: don't crash on bad export_dir command

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

mds: fix file_eval on subtree roots

We were going from mix->sync when we shouldn't.  Fix mis-coded filelock
and look at _lock_ state, not inode's!

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

Merge remote branch 'origin/dead-code'

osd: fix ref leak on pg when queueing

op_wq.queue() takes a ref; don't take one here too.  We were leaking like
crazy.

Signed-off-by: Sage Weil <sage@newdream.net>

osd: take reference for RepModify

We put in the completions on done; take the matching reference.

Signed-off-by: Sage Weil <sage@newdream.net>

osd: fix race in op enqueuing

This is never really exposed except when op_threads == 0.

Signed-off-by: Sage Weil <sage@newdream.net>

mon: simplify osd health output

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

osd: only log scrub errors (not ok's)

Otherwise we fill up the error log with "foo is ok!" messages.

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

TestSnaps: Fix compile error

Introduced in 0e371de79e4047b92317dee353f6d75c2aba4260.

Signed-off-by: Samuel Just <samuel.just@dreamhost.com>

cfuse: pass through SIGTERM, SIGINT to FUSE

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

ceph_fuse_ll_main: restructure error handling

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

librbdtest: check for error on out of bounds I/O

Signed-off-by: Josh Durgin <josh.durgin@dreamhost.com>

librbd: check for out of bounds I/O in all forms of read/write

This was found by qemu-io tests, which tried to read and write past
the end of an rbd image. The test hung waiting for a completion that
was never scheduled, since it did not check the return value of
rbd_aio_write.

Reported-by: Stefan Hajnoczi <stefanha@gmail.com>
Signed-off-by: Josh Durgin <josh.durgin@dreamhost.com>

cfuse recognizing same xattr subset as kernel client

Hopefully this patch is formatted/signed off correctly.

Signed-off-by: Brian Chrisman <brchrisman@gmail.com>

TestSnaps.cc: allow client id to be overridden

CEPH_CLIENT_ID environment variable if set now overrides the rados
client id for testsnaps

Signed-off-by: Samuel Just <samuel.just@dreamhost.com>

rgw: utility, not daemon

- we don't want to open a log file
- we don't want to print a stability warning
- we don't want to fork (not that we do, but anyway!)

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

CDir: check_rstats will now print out dir stats whenever there's a bug.

Previously it only printed out dir stats at high debug levels, which
meant you could get output of the dentries without seeing what the
totals were supposed to be!

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

obsync: preserve ACLs

Preserve ACLs by default. Also add --no-preserve-acls option to disable
this behavior.

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

obsync: escape obj names between S3 and local FS

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

osd: futz with stat again.

We really need to fill in the result, even if it's that the object
doesn't exist!

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

test/osd: Add latency stat collection to TestSnaps.cc/RadosModel.h

Signed-off-by: Samuel Just <samuel.just@dreamhost.com>

ReplicatedPG: fix error in snap_trimmer

newsnaps continued to be used after it was swapped with coi.snaps.

Signed-off-by: Samuel Just <samuel.just@dreamhost.com>

crush, clitest: Port old test_crushtool.sh to clitest.

Also test --help, while we're at it.

Signed-off-by: Tommi Virtanen <tommi.virtanen@dreamhost.com>

osd: more futzing with stat

We can get here when the object doesn't exist if the client specifies
may read and may write (in this case, Filer::probe).  Look at the exists
bit in the object context.  If the object is supposed to exist, we should never get ENOENT from stat.

Signed-off-by: Sage Weil <sage@newdream.net>

libceph: Make header usable from plain old C.

Fixes: #986
Signed-off-by: Tommi Virtanen <tommi.virtanen@dreamhost.com>

crush: Remove dead code.

The Makefile never integrated with the surrounding automake
setup, and is unused.

The test helper has failed to compile for quite a long time.

Signed-off-by: Tommi Virtanen <tommi.virtanen@dreamhost.com>

crush: Remove dead code.

Looks like these never went anywhere.

Signed-off-by: Tommi Virtanen <tommi.virtanen@dreamhost.com>

radosgw: Remove PHP setting from VirtualHost documentation

Signed-off-by: Wido den Hollander <wido@widodh.nl>
Signed-off-by: Sage Weil <sage@newdream.net>

osd: Remove dead code.

RAID4PG has been "temporarily ripped out" for 3.5 years.

Signed-off-by: Tommi Virtanen <tommi.virtanen@dreamhost.com>

msg, os: Remove dead code.

Looks like these never went anywhere.

Signed-off-by: Tommi Virtanen <tommi.virtanen@dreamhost.com>

test-obsync.py: add test for --follow-symlinks

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

test-obsync: some fixes, be more verbose

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

boto_tool.py: fix rmbucket

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>