mds: add 'mds verify scatter' and re-add some scatter asserts

Check on ifile and inest gather that stats match single-frag dirs.

Signed-off-by: Sage Weil <sage@newdream.net>

mds: fix put_xlock() assert for slave masters

If we are a master of a slave, the state will be LOCK.

Signed-off-by: Sage Weil <sage@newdream.net>

mds: rename 'mix stale' => 'mix_stale'

For unambigous debug output

Signed-off-by: Sage Weil <sage@newdream.net>

mds: request unscatter when MIX_STALE on replica

This means implementing REQUNSCATTER.

Eventually this should use TEMPSYNC, but that isn't fully implemented yet.

Signed-off-by: Sage Weil <sage@newdream.net>

mds: disable tempsync

Tempsync is not implemented in the filelock state machine.  Never use it,
at lesat for now!

Signed-off-by: Sage Weil <sage@newdream.net>

mds: finish_scatter_update on auth dirfrags too

We can update the dirfrag accounted on auth dirfrags at scatter time too.

Signed-off-by: Sage Weil <sage@newdream.net>

mds: use helper for scatter dirfrag update; use on local dirfrags

Any time we scatter is an opportunity to update the dirfrag with the
accounted scatter stat if it is out of date.  We should use that
opportunity even when the dirfrag is on the same node as the inode (i.e.,
not just through decode_lock_state).

Signed-off-by: Sage Weil <sage@newdream.net>

mds: add some scatterlock notes

Signed-off-by: Sage Weil <sage@newdream.net>

ceph: remove bad assert for old frag stat

It's normal for old fragstat info to be mismatched (stat !=
accounted_stat).

Signed-off-by: Sage Weil <sage@newdream.net>

mds: match conditions in finish_scatter_gather_update_accounted

This needs to match the frozen check in finish_scatter_gather_update.

Signed-off-by: Sage Weil <sage@newdream.net>

mds: handle MIX_STALE on auth too

Signed-off-by: Sage Weil <sage@newdream.net>

mds: scatter_info_t ancestor for nest_info_t and frag_info_t

This will facilitate using generic code for the inest and ifile
scatterlocks.

Signed-off-by: Sage Weil <sage@newdream.net>

mds: only mark auth dirfrags stale in start_scatter

Signed-off-by: Sage Weil <sage@newdream.net>

mds: mark scatterlock stale if any auth dirfrags appear stale

The auth needs to move to MIX_STALE for the same reasons a replica does:
if, on scatter, any dirfrags have an old accounted_*stat, the lock needs to
be marked stale (or updated... TODO!).

Signed-off-by: Sage Weil <sage@newdream.net>

mds: do not update accounted_*stat if auth and frozen

The auth can't update a frozen dirfrag for the same reason a replica
can't.

Signed-off-by: Sage Weil <sage@newdream.net>

mds: mark scatterlock stale if dir is frozen, not inode

It's the dir we're auth for and that might potentially be frozen.

Signed-off-by: Sage Weil <sage@newdream.net>

Merge branch 'unstable' into mix_stale

rados: benchmark using unique object names

Include hostname and pid in object name, so that instances running on
different hosts write to unique objects.

Signed-off-by: Sage Weil <sage@newdream.net>

debian packaging: set --sbindir=/sbin

We want mkcephfs and mount.ceph to be under /sbin.

Signed-off-by: Colin McCabe <colinm@hq.newdream.net>

config: fix sigsegv handler

Fixed this with sigabrt, forgot to do sigsegv too.

See 7a688a9f999a6b9d3bcdcbebbd8cd984afc70e31.

Signed-off-by: Sage Weil <sage@newdream.net>

filestore: disable 'filestore btrfs snap' when SNAP_DESTROY is missing

We want to enable the new snap stuff by default.  But we also want to work
with the default configuration on old kernels.

The only downside here is that someone might explicitly enable it, only to
have it disabled on started because their kernel is old.  They'll get a
bright yellow warning in that case, at least.

Signed-off-by: Sage Weil <sage@newdream.net>

Makefile.am: include the libcrush headers when installing

Signed-off-by: Wido den Hollander <wido@widodh.nl>

Merge branch 'testing' into unstable

uclient: Warn on truncate_[size|seq] changes for non-file inodes.

mds: Init system CInodes to have a truncate_size of -1.
This should help with bug #518.

client: match initialization with mds

(see Server::prepare_new_inode())

Signed-off-by: Sage Weil <sage@newdream.net>

client: only do truncate on regular files

Signed-off-by: Sage Weil <sage@newdream.net>

debian: add pkg-config as build-depends

Signed-off-by: Wido den Hollander <wido@widodh.nl>

init-ceph: make lockfile dir configuration (redhat)

Reported-by: Ed Burnette <ed.burnette@sas.com>
Signed-off-by: Sage Weil <sage@newdream.net>

object.h: const cleanup

Signed-off-by: Colin McCabe <colinm@hq.newdream.net>

logrotate: separate rule for stat/*.log

Logrotate seems to ignore the entire rule if any part of the file list
is not found.  This happens on nodes with only monitors.

Signed-off-by: Sage Weil <sage@newdream.net>

osd::PG: Update PG comments

Signed-off-by: Colin McCabe <colinm@hq.newdream.net>

test: create test_unfound.sh

Create test_unfound.sh to test handling unfound objects.

Move more test functions into test/test_common.sh to facilitate code
reuse.

Allow the user to keep the temporary directory around after the test is
over by setting KEEP_TEMPDIR.

Signed-off-by: Colin McCabe <colinm@hq.newdream.net>

fix make distcheck, make uninstall

Make distclean was failing because make uninstall was broken. (There were
still leftover files after running make install + make uninstall.)

To fix this, use automake's built-in installation mechanisms rather than
manually installing files using the install-data-local target.

EXTRA_DIST: fix paths to use srcdir where necessary

Signed-off-by: Colin McCabe <colinm@hq.newdream.net>

Merge remote branch 'origin/mds_frags' into unstable

Merge remote branch 'origin/testing' into unstable

Conflicts:
configure.ac

filestore: automatically choose appropriate journaling mode

The three modes each get an explicit config option that defaults to false.
You can choose one explicitly by enabling one of those.  Otherwise, we
will choose an appropriate mode automatically based on detected btrfs
ioctls.

Signed-off-by: Sage Weil <sage@newdream.net>

v0.22.2

filestore: use updated btrfs ioctls

Switch to the interface finally merged for 2.6.37-rc1.

Signed-off-by: Sage Weil <sage@newdream.net>

btrfs: update ioctls.h

This is what was finally merged for 2.6.37-rc1.

Signed-off-by: Sage Weil <sage@newdream.net>

Get "make dist" working, fix gui build issues

* Fix VPATH builds (i.e., builds where srcdir != builddir).
Don't assume that we can get a source files named blah with ./blah.
Use $(srcdir)/blah instead.

* When doing "make dist", inject the .git_version file directly into the
ceph tarball

* Add tools/gui_resources.h to noinst_HEADERS

* Add ceph_tool_gui_DATA to all_sources

Signed-off-by: Colin McCabe <colinm@hq.newdream.net>

mds: detect small dirs that should be merged, and merge them

Signed-off-by: Sage Weil <sage@newdream.net>

mds: hit dir popularity on unlink

Signed-off-by: Sage Weil <sage@newdream.net>

osd: write potentially large pg info to object, not xattr [format change]

Write past_intervals and snap_collections to a separate object instead of
an attr on the collection directory.  This avoids exceeding the underlying
filesystem xattr limits during thrashing recovery.  The struct_v on the
small info xattr is used to indicate the format of the biginfo object.

Also fixed pg deletion to clean out log and biginfo objects.

Added incompat format flag.

Signed-off-by: Sage Weil <sage@newdream.net>

cephtool-gui : more helpful error on pixbuf fail

Signed-off-by: Colin McCabe <colinm@hq.newdream.net>

osd: snap_trimmer: flush between collection sets

We need to make sure the objects whose collection sets we just adjusted
are reflected on disk when we make the next pass on the next snapid.

Signed-off-by: Sage Weil <sage@newdream.net>

mds: auth_pin head/snap pairs for all need_snapflush entries

This ensures that when snap metadata is flushed, we will be auth on both
inodes and be able to do the update properly.  This isn't the nicest
solution ever, since it can make migrations laggy, but it's the simplest.

Signed-off-by: Sage Weil <sage@newdream.net>

mds: Refactor need_snapflush into CInode helpers

Signed-off-by: Sage Weil <sage@newdream.net>

configure.ac: default to --enable-gtk

Default to enabling gtk rather than disabling it. Gracefully handle
cases where the user tries to enable it but it cannot be enabled.

Makefile.am: Add missing headers to noinst_HEADERS.

Signed-off-by: Colin McCabe <colinm@hq.newdream.net>

osd: fix decoding of legacy (v2) coll_t

It was u8, not int.

Signed-off-by: Sage Weil <sage@newdream.net>

mds: use list instead of vector for trim_unlinked_inodes

Signed-off-by: Sage Weil <sage@newdream.net>

mds: fix use-after-free iterator no-no in remove_inode_recursive()

We can't close_dirfrag and use the iterator if it's pointing to the
released element.

Signed-off-by: Sage Weil <sage@newdream.net>

Merge branch 'mds_journal' into unstable

mds: log if trim_non_auth does anything, since it shouldn't
be now except on rollbacks.

mds: Call trim_non_auth_subtree when appropriate.

mds: add function MDCache::trim_non_auth_subtree

Trims the subtree rooted at the given dir from cache, except
for those portions linking to directories on other MDSes.
Meant for use during replay.

debian: fix changelog

(This was actually in the 0.22.1-1 package we built.)

Signed-off-by: Sage Weil <sage@newdream.net>

Mutex: add more checks to lockdep

When lockdep is enabled, use PTHREAD_MUTEX_ERRORCHECK instead of
PTHREAD_MUTEX_NORMAL for non-recursive mutexes.

Signed-off-by: Colin McCabe <colinm@hq.newdream.net>

ceph: gui: update copyright foo

Signed-off-by: Colin McCabe <colinm@hq.newdream.net>

cephtool: gui: handle bad input in view_node

Signed-off-by: Colin McCabe <colinm@hq.newdream.net>

cephtool: only initialize the tokenizer once

Only initialize the tokenizer once. It gets cranky if it we call
tok_init more than once.

Signed-off-by: Colin McCabe <colinm@hq.newdream.net>

cephtool: fix initialization race

Call GuiMonitor::link_elements before GuiMonitor::connect_signals.

It doesn't seem safe to set up callbacks before the GUI elements are
fully initialized.

Signed-off-by: Colin McCabe <colinm@hq.newdream.net>

cephtool: join GUI thread before shutting down

Join GUI thread before shutting down.

Move open_icon function.

Delete unused get_widgets function.

Signed-off-by: Colin McCabe <colinm@hq.newdream.net>

cephtool gui: install and locate gui_resources

Make install now installs the gui resource files into
/usr/share/cephtool/gui_resources (or wherever we configure it to go
using configure). We also support grabbing the resources out of the
local source tree, for when we're running the program from there.

run_gui: catch exceptions and explain what they are, rather than letting
them go to the top level.

GuiMonitor::open_icon: const cleanup.

Signed-off-by: Colin McCabe <colinm@hq.newdream.net>

Add the Ceph monitoring GUI

This adds a graphical monitoring mode to the ceph cluster monitoring tool.  Its
functionality is similar to ./ceph -w. With ./ceph -g, you can watch over the
whole cluster graphically. It uses GTK2.

Signed-off-by: Colin McCabe <colinm@hq.newdream.net>

qa: add rbd test

SubmittingPatches: initial version

Largely based on Linux's version.  Includes the Signed-off-by stuff at
the top, and a bit more modern description of how to prepare/send patches
using git format-patch and send-email.

Signed-off-by: Sage Weil <sage@newdream.net>

qa: add basic rbd test

mds: Migrator needs to add_dir_context all the way to root.
It was going to the default subtree root, which doesn't
work when we've just created a new subtree root out of the given dir!

osd: fix unneeded get_object_context() (and leak) in _rollback_to

All we want is the name of the head sobject_t, which is 'soid' in the
parent frame.

Signed-off-by: Sage Weil <sage@newdream.net>

cephfs: remove unused variables

Signed-off-by: Sage Weil <sage@newdream.net>

config: fix signal handler recursion

Avoid having old handler pointer match the new handler.

Avoid calling an old handler if it pointer is null.

Signed-off-by: Sage Weil <sage@newdream.net>

objecter: refactor interface with object_locator_t

This paves the way for a locator that lets the user specify an arbitrary
string to hash for placement (instead of the object name).  It also
captures everything that would affect placement (pool, preferred, etc.)
in a single type.

Just the client side; no server side or protocol changes yet.

Signed-off-by: Sage Weil <sage@newdream.net>

mds: pin NEEDSNAPFLUSH only when adding item

This is mainly paranoia.

Signed-off-by: Sage Weil <sage@newdream.net>

debian: change compat to 6 to match debhelper require

Reported-by: Laszlo Boszormenyi <gcs@debian.hu>
Signed-off-by: Sage Weil <sage@newdream.net>

osd: handle missing objects on snap read

The old check in handle_op doesn't work because we don't provide a snap
context on read, and we haven't loaded one off disk.  Instead, handle
it in the pg queue worker.  If find_object_context() returns EAGAIN, then
wait_for_missing_object.

Signed-off-by: Sage Weil <sage@newdream.net>

mds: store dir inode in separate object; fetch from both.  incompat flag.

This avoids setting large xattrs.  There's no reason the inode needs to be
on the same object as the dir(frag) data.

Signed-off-by: Sage Weil <sage@newdream.net>

clarify CDir/CInode content comments a little bit

filestore: can force use of stale snaps

also, overwrite the commit_seq with the current version in case we
forced stale snaps.

filestore: don't revert to old snapshots on startup

This should fix bug #55

filestore: read commit_seq before mounting (btrfs ioctls)

ceph.cc: delete deadcode

Signed-off-by: Colin McCabe <colinm@hq.newdream.net>

Move ceph.cc to tools/

Signed-off-by: Colin McCabe <colinm@hq.newdream.net>

configure.ac: add ./configure option for gtk2

Signed-off-by: Colin McCabe <colinm@hq.newdream.net>

mds: fix split use after free; merge works

Signed-off-by: Sage Weil <sage@newdream.net>

mds: simplify fragtree_t printer

val/bits^split

Signed-off-by: Sage Weil <sage@newdream.net>

mds: implement command 'merge_dir path frag'

Signed-off-by: Sage Weil <sage@newdream.net>

mds: implement frag.parse()

mds: requeue dir if we can't split now due to dftlock

Signed-off-by: Sage Weil <sage@newdream.net>

mds: check/take wrlock on dirfragtreelock; unwind after freeze if needed

Signed-off-by: Sage Weil <sage@newdream.net>

mds: move fragment checks into shared helper

Signed-off-by: Sage Weil <sage@newdream.net>

mds: don't replicate new frags (at least for now)

Lease commented out stubs in place.

mds: clean up merge() callchain

Signed-off-by: Sage Weil <sage@newdream.net>

mds: generalize split/merge call chain a bit

Still need work at the lower levels.

Signed-off-by: Sage Weil <sage@newdream.net>

mds: reimplement split_dir

Do not use an mdrequest; the old approach was totally broken wrt freezing,
locks, and deadlock.

First freeze, then lock, just like migration.

We still need to add a wrlock of the dirfragtreelock.

Signed-off-by: Sage Weil <sage@newdream.net>

client: fix dup entries in multifrag readdir

We need a next_offset of 0 for non-leftmost frags.  Otherwise we set
our dentry offsets incorrectly and the next_offset we return to teh readdir
callback doesn't line up.  This was causing the first readdir on a large
multifrag directory to duplicate the last two items.

Signed-off-by: Sage Weil <sage@newdream.net>

mds: add 'mds bal split bits' config option (default 3)

This is how many bits we fragment by, by default.

Signed-off-by: Sage Weil <sage@newdream.net>

messenger: always unlock existing pipes, even if they're lossy

client: Initialize Inode::truncate_size to 0 instead of -1, and check prior_size
on truncation.

truncate_size needs to precisely match the defaults on the MDS, or we run into
problems when importing new inodes. No idea why it was previously set
to not match.
If we don't think the inode has any size, it doesn't need to truncate either.
This should fix #518.

Merge remote branch 'origin/testing' into unstable

Conflicts:
configure.ac
src/rados.cc