OSD: queue ops based on message priority

Signed-off-by: Samuel Just <sam.just@inktank.com>

OSD: use PrioritizedQueue for OpWQ

The OpWQ PriorityQueue replaces OSD::op_queue, PG::op_queue,
and PG::qlock.  The syncronization is now done as part of the
usual WorkQueue syncronization pattern.

Signed-off-by: Samuel Just <sam.just@inktank.com>

WorkQueue: Add WorkQueueVal for passing params by val

Signed-off-by: Samuel Just <sam.just@inktank.com>

common: Add PriorititizedQueue

Signed-off-by: Samuel Just <sam.just@inktank.com>

Pipe: we don't queue DispatchQueue codes on an actual pipe

The dispatch queue event codes are now queued directly and
won't end up in a real Pipe.

Signed-off-by: Samuel Just <sam.just@inktank.com>

common: add RefCountedObj.cc with intrusive_ptr hooks

Signed-off-by: Samuel Just <sam.just@inktank.com>

java: remove redundant src.dir

Previous wip-fix-javadocs had an oversight, redefining src.dir.

Signed-off-by: Noah Watkins <noahwatkins@gmail.com>

doc: reorder some openstack/rbd instructions

Move client creation to the section on setting up client auth, so you
don't skip it if you already have pools created.

Move CEPH_ARGS setting to the section on configuring OpenStack, since
it's a change for the OpenStack services, not purely ceph client
configuration.

A couple people were confused by the placement of these parts, and
they make more sense in these sections.

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

Merge branch 'wip-client-asok'

java: fix build.xml formatting

set noet ts=2 sw=2 sws=2

Signed-off-by: Noah Watkins <noahwatkins@gmail.com>

java: fix javadoc builds

Don't build JavaDoc for tests, and fix the missing src.dir variable.

Signed-off-by: Noah Watkins <noahwatkins@gmail.com>

osdc/ObjectCacher: only return ENOENT if ObjectSet is flagged

The fs client can't handle ENOENT from the cache, but librbd wants it.
Also, the fs client will send down multiple ObjectExtents per io, but that
is incompatible with the ENOENT behavior.

Indicate which behavior we want via the ObjectSet, and update librbd to
explicitly ask for it.  This fixes the fs client, which is currently
broken (it returns ENOENT on read).

Signed-off-by: Sage Weil <sage@inktank.com>

client: unregister commands on shutdown

Signed-off-by: Sage Weil <sage@inktank.com>

client: fix null dentry crash on dump_cache

Dentries can be NULL!

Signed-off-by: Sage Weil <sage@inktank.com>

client: dump mds session info

Signed-off-by: Sage Weil <sage@inktank.com>

client: add dump_cache asok command

Signed-off-by: Sage Weil <sage@inktank.com>

common: dumpers for ceph_{file,dir}_layout

Signed-off-by: Sage Weil <sage@inktank.com>

client: add mds_requests asok command

Signed-off-by: Sage Weil <sage@inktank.com>

Makefile: fix hadoop lib build

Signed-off-by: Sage Weil <sage@inktank.com>

Makefile: use libclient.la for libcephfs

Avoid building these files twice!

Signed-off-by: Sage Weil <sage@inktank.com>

Merge branch 'next'

Merge branch 'wip-client-leaks' into next

client: fix null put in ~MetaSession

Signed-off-by: Sage Weil <sage@inktank.com>

librbd: fix create existence checking

cda9e516b8bb09b8846814cc8d4ee2879a53b2d5 made us return 0 when the
image already existed, causing copy to erroneosly ignore an existing
image. Separate the case where we know the image exists from being
unable to tell whether it exists because of e.g. an authentication
problem.

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

librbd: debug when copy occurs

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

Merge remote-tracking branch 'gh/wip-javadoc'

Merge remote-tracking branch 'gh/wip-librbd-remove-cleanup'

osd: add 'osd debug drop op probability'

This is meant to exercise the kclient's timeout and osd reconnect logic
by dropping some client requests on the floor.

Signed-off-by: Sage Weil <sage@inktank.com>

mon: require pgnum in 'ceph osd pool create <poolname> <pgnum> [<pgp_num>]' command

The default of 8 is virtually never the right answer.  Require the initial
pg count to be explicitly provided.

Signed-off-by: Sage Weil <sage@inktank.com>

librbd: return actual error when detecting format fails during creation

This bit a couple users today, when bad osd caps resulted in a very
confusing error message.

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

Merge remote branch 'origin/wip-rbd-read'

Reviewed-by: Josh Durgin <josh.durgin@inktank.com>

Merge remote-tracking branch 'gh/wip-client-symlinks'

Reviewed-by: Sam Lang <sam.lang@inktank.com>

java: add symlink/readlink tests

Signed-off-by: Noah Watkins <noahwatkins@gmail.com>

test_libcephfs: fix, add symlink loop tests

The first test did

 /a/b/file
 /a/b/sym -> /a/b

and opened /a/b/sym/file, which is valid.  Change it to

 /a/b/file
 /a/b/sym -> /a/b/sym

which is not.

Add another test that does

 /a -> /b
 /b -> /c
 /c -> /a

Signed-off-by: Sage Weil <sage@inktank.com>

debug: adjust default debug levels

Trim out most noise, keep things that are interesting.

Notably, we are logging each message sent and received, and we are logging
the filestore operations when they get queued.  Those may still benefit
from being turned off in high IOPS environments.

Signed-off-by: Sage Weil <sage@inktank.com>

Merge branch 'next'

Merge branch 'wip-client-leaks' into next

client: simplify/fix symlink loop check

Checking that we visit a symlink isn't correct; for example, the below is
valid, and we visit /b twice.

 /a/b -> c
 /a/c/d -> /a/b

In order to do this "correctly", I think we would need to track the pairs
of paths and symlinks we are resolving.  But, reading the man pages,
ELOOP is actually just defined as traversing more than MAXSYMLINKS syms.
(It appears to be 20 on my machine.)

Just do that instead.

Signed-off-by: Sage Weil <sage@inktank.com>

client: fix path_walk for directory symlinks

Signed-off-by: Sage Weil <sage@inktank.com>

OSDMonitor: remove max_devices and max_osd interdependency

Higher max_osd than max_devices doesn't hurt anything (and is the
normal way to add more osds). Higher max_devices than max_osds are
filtered out of crush results since e541c0f8d871172ec61962372efca943308e5fe,
so they don't matter either.

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

mds: re-try_set_loner() after doing evals in eval(CInode*, int mask)

Consider a case where current loner is A and wanted loner is B.
At the top of the function we try to set the loner, but that may fail
because we haven't processed the gathered caps yet for the previous
loner.  In the body we do that and potentially drop the old loner, but we
do not try_set_loner() again on the desired loner.

Try after our drop.  If it succeeds, loop through the eval's one more time
so that we can issue caps approriately.

This fixes a hang induced by a simple loop like:

 while true ; do echo asdf >> mnt.a/foo ; tail mnt.b/foo ; done &
 while true ; do ls mnt.a mnt.b ; done

(The second loop may not be necessary.)

Signed-off-by: Sage Weil <sage@inktank.com>

Merge branch 'next'

Pull in types.h fix

si_t was not properly converting values < 100KB

Signed-off-by: Dan Mick <dan.mick@inktank.com>

osdc/ObjectCacher: only call flush callback if we transitions to clean

If we race with e.g. truncate and are in bh_write_commit but the oset
is already clean, we should not call the flush callback (again).

This is reproduced by:

 - kludging slow osd replies into the code (e.g., 2 second delay)
 - mount ceph-fuse with --client-oc-max-dirty-age 1
 - dd if=/dev/zero of=mnt/foo count=1
   sleep 1
   truncate --size 0 mnt/foo
 -> crash

Signed-off-by: Sage Weil <sage@inktank.com>

cleaned up scripts
Signed-off-by: tamil <tamil.muthamizhan@inktank.com>

client: ensure we don't leak MClientReply

We are careful to clear this reference when processing it.

Add an assert here.  There's no way we can get 2 quick replies because
of the kick-back below.

Signed-off-by: Sage Weil <sage@inktank.com>

ceph-fuse: fix leak of args

Also fix up the helper we use to have fewer sharp edges.

Signed-off-by: Sage Weil <sage@inktank.com>

osdc/ObjectCacher: fix leak on readahead

If we initiate io (success == false) but have no waiter, we need to
delete the OSDRead.

This affects libcephfs/ceph-fuse, but not librbd, which does no readahead.

Signed-off-by: Sage Weil <sage@inktank.com>

ceph.spec.in:  Build debuginfo subpackage.

This is a partial fix for bug 3471.  Enable building of debuginfo package.
Some distributions enable this automatically by installing additional rpm
macros, on others it needs to be explicity added to the spec file.

test: add cli test for missing args to rbd

This includes 'rbd mv foo', which used to crash

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

rbd: check for second argument to mv/rename

Without this check, 'rbd mv foo' crashed trying to use a NULL char* as
a string.

Reported-by: Andrey Korolyov <andrey@xdel.ru>
Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

rbd: check for second argument to mv/rename

Without this check, 'rbd mv foo' crashed trying to use a NULL char* as
a string.

Reported-by: Andrey Korolyov <andrey@xdel.ru>
Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

Merge branch 'wip-java-test'

test.sh: Adding LD_LIBRARY_PATH so JUnit can find .so files.
Removing useless java.library.path references.

Signed-off-by: Joe Buck <jbbuck@gmail.com>
Reviewed-by: Noah Watkins <noahwatkins@gmail.com>

doc/cluster-ops/pools.rst: Added documentation for min_size

Signed-off-by: Samuel Just <sam.just@inktank.com>
Reviewed-by: Josh Durgin <josh.durgin@inktank.com>

client: fix SnapRealm leak

Start ref count at 0; get_snap_realm() will increment it after alloc.

Fix the ref drop order so that the xlist is empty.

Signed-off-by: Sage Weil <sage@inktank.com>

client: debug SnapRealm reference counting

Signed-off-by: Sage Weil <sage@inktank.com>

vstart: allow minimum pool size of one

A minimum pool size of 2 was introduced by 13486857cf. This sets the
minimum to one so that basic vstart environments work.

Signed-off-by: Noah Watkins <noahwatkins@gmail.com>
Reviewed-by: Samuel Just <sam.just@inktank.com>

client: fix leak of Cap

Signed-off-by: Sage Weil <sage@inktank.com>

client: fix leak of session release msg on session close

Signed-off-by: Sage Weil <sage@inktank.com>

client: only start invalidator thread if cb != NULL

Signed-off-by: Sage Weil <sage@inktank.com>

ceph-fuse: deallocate messenger, g_ceph_context on stop

This lets us use valgrind to find leaks.

Signed-off-by: Sage Weil <sage@inktank.com>

doc: add-or-rm-mons.rst: fix a formatting typo

(also forgot the John's reviewed-by on the last commit)

Signed-off-by: Joao Eduardo Luis <joao.luis@inktank.com>
Reviewed-by: John Wilkins <john.wilkins@inktank.com>

doc: add-or-rm-mons.rst: make paths clearer

Some users have been incurring into problems adding new monitors while
following these steps. Some of these problems are due to the meaning of
'{path}' being a bit ambiguous. This patch removes said ambiguity by
replacing '{path}' with '{tmp}', supposed to be a temporary directory
containing the files necessary to add the monitor (monmap and keyring).

Fixes: #3438 #3463
Signed-off-by: Joao Eduardo Luis <joao.luis@inktank.com>

client: give get_caps() out-arg a less confusing name

No functional change.

Call this arg "have" and not "got", since we only take a ref on what we
need.

Signed-off-by: Sage Weil <sage@inktank.com>

client: do not gratuitously drop FILE_CACHE ref in _read()

The get_caps() had a confusing out-arg called "got" that is really what
caps we *have*; it only takes a ref on the *need* cap.  We should only
put that one explicitly (CEPH_CAP_FILE_RD).  The _write() method already
does this properly, but _read() did not.

Fixes: #3470
Signed-off-by: Sage Weil <sage@inktank.com>

client: assert cap refs don't go negative

This is the root cause of #3470.

Signed-off-by: Sage Weil <sage@inktank.com>

Merge branch 'next'

librbd: take parent lock when examining fields it protects

This hasn't actually caused any problems, I just noticed
while looking through the code.

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

OSDMap.cc: Add pool name to OSDMap dump

Otherwise, we can't use ceph osd dump --format=json to map pool name
onto pool id.

Signed-off-by: Samuel Just <sam.just@inktank.com>
Reviewed-by: Josh Durgin <josh.durgin@inktank.com>

rbd: fix snap unprotect, which was succeeding while clones existed

1) use right snap id when forming parent spec to search for children
2) add test case for "unprotect with extant children"

Signed-off-by: Dan Mick <dan.mick@inktank.com>

librbd: no need to scan snapshots for parents during remove

At this point we already know no snapshots exist.

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

script clean up

Signed-off-by: tamil <tamil.muthamizhan@inktank.com>

Added a function get_cmd_op
Signed-off-by: tamil <tamil.muthamizhan@inktank.com>

build:  Add RPM release string generated from git describe.

Fix for bug 3451.  Use the commit count and sha1 from git describe to
construct a release string for rpm packages.

Merge branch 'master' of https://github.com/ceph/ceph

doc: Clarified text to reflect requirement for majority, not odd number of monitors.

fixes: 3464

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

Merge remote-tracking branch 'gh/wip-fix-symlinks'

Conflicts:
qa/qa_scripts/load-bucket-1000-obj.pl
src/test/libcephfs/test.cc

Merge remote-tracking branch 'gh/wip-mds'

ceph.spec.in:  Remove ceph version requirement from ceph-fuse package.

The ceph-fuse rpm package now only requires ceph as a pre-req, not a specific
version.

rgw_admin: do not throw error when start-date and end-date are not
passed to usage::trim()

Signed-off-by: caleb miles <caleb.miles@inktank.com>

libcephfs_jni.cc: mtime and atime are Long data types. Changing the accessor methods to
reflect this fact

Signed-off-by: Joe Buck <jbbuck@gmail.com>
Reviewed-by: Noah Watkins <noahwatkins@gmail.com>

configure: fail when missing junit dependency

Signed-off-by: Noah Watkins <noahwatkins@gmail.com>

Makefile: include Java test suite artifacts

Automake has problems handling the naming convention used by Java for
inner classes (x$y.class).

Signed-off-by: Noah Watkins <noahwatkins@gmail.com>

Makefile: include Java unit test runner

Signed-off-by: Noah Watkins <noahwatkins@gmail.com>

Makefile: only add source files to EXTRA_DIST

Prevents a make dist on a built tree from including the compiled
bytecode files produced from compiling the Java tests.

Signed-off-by: Noah Watkins <noahwatkins@gmail.com>

Makefile: use real file for make target

Signed-off-by: Noah Watkins <noahwatkins@gmail.com>

Makefile: remove redundant EXTRA_DIST

Already set at the beginning of the Makefile.am

Signed-off-by: Noah Watkins <noahwatkins@gmail.com>

Changing build.xml to produce a jar instead of class files Adding a
TestSuite class to run all tests
Remove the libcephfs-test.jar when running ant clean

Signed-off-by: Joe Buck <jbbuck@gmail.com>
Reviewed-by: Noah Watkins <noahwatkins@gmail.com>

Adding libcephfs-java.jar to .gitignore

Signed-off-by: Joe Buck <jbbuck@gmail.com>
Reviewed-by: Noah Watkins <noahwatkins@gmail.com>

Adding a simple workunit that executes one libcephfs-java test

Signed-off-by: Joe Buck <jbbuck@gmail.com>
Reviewed-by: Noah Watkins <noahwatkins@gmail.com>

Moving test java files into a proper heirarchy. Moving the compilation
of tests classes from build.xml to Makefile and editing configure.ac to
look for the junit4 jar in the default location of /usr/share/java. It
is still possible to build and run tests from build.xml as well as
Makefile.

Signed-off-by: Joe Buck <jbbuck@gmail.com>
Reviewed-by: Noah Watkins <noahwatkins@gmail.com>

java: fix return type on JNI function

Return value of declaration was is a JNI specific jlong type, while a
the return type of the definition was long. g++ not happy.

Signed-off-by: Noah Watkins <noahwatkins@gmail.com>

vstart.sh: allow shorter MON, OSD, MDS count env vars

This will save me some typing.

Signed-off-by: Sage Weil <sage@inktank.com>

osdmap: make flag names match

It's 'ceph osd set noup', so make the flag name 'noup', to avoid any
confusion.

Signed-off-by: Sage Weil <sage@inktank.com>

mon: make osdmap flags incur a health warning

This will ensure that users will see a health warning when, for instance,
NOUP or PAUSE[RD|WR|EXEC] flags are set.

Signed-off-by: Sage Weil <sage@inktank.com>

doc: Rewrote index for install section per new IA.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

doc: Removed source/index from top-level toc tree per new IA.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

doc: Moved doc/source files to doc/install per new IA.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

doc: Syntax cleanup for new IA. Fix tip. Clean up for generating keys.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>