Merge branch 'next'

Merge branch 'wip-client-leaks' into next

OSDMonitor: remove max_devices and max_osd interdependency

Higher max_osd than max_devices doesn't hurt anything (and is the
normal way to add more osds). Higher max_devices than max_osds are
filtered out of crush results since e541c0f8d871172ec61962372efca943308e5fe,
so they don't matter either.

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

mds: re-try_set_loner() after doing evals in eval(CInode*, int mask)

Consider a case where current loner is A and wanted loner is B.
At the top of the function we try to set the loner, but that may fail
because we haven't processed the gathered caps yet for the previous
loner.  In the body we do that and potentially drop the old loner, but we
do not try_set_loner() again on the desired loner.

Try after our drop.  If it succeeds, loop through the eval's one more time
so that we can issue caps approriately.

This fixes a hang induced by a simple loop like:

 while true ; do echo asdf >> mnt.a/foo ; tail mnt.b/foo ; done &
 while true ; do ls mnt.a mnt.b ; done

(The second loop may not be necessary.)

Signed-off-by: Sage Weil <sage@inktank.com>

Merge branch 'next'

Pull in types.h fix

si_t was not properly converting values < 100KB

Signed-off-by: Dan Mick <dan.mick@inktank.com>

osdc/ObjectCacher: only call flush callback if we transitions to clean

If we race with e.g. truncate and are in bh_write_commit but the oset
is already clean, we should not call the flush callback (again).

This is reproduced by:

 - kludging slow osd replies into the code (e.g., 2 second delay)
 - mount ceph-fuse with --client-oc-max-dirty-age 1
 - dd if=/dev/zero of=mnt/foo count=1
   sleep 1
   truncate --size 0 mnt/foo
 -> crash

Signed-off-by: Sage Weil <sage@inktank.com>

cleaned up scripts
Signed-off-by: tamil <tamil.muthamizhan@inktank.com>

client: ensure we don't leak MClientReply

We are careful to clear this reference when processing it.

Add an assert here.  There's no way we can get 2 quick replies because
of the kick-back below.

Signed-off-by: Sage Weil <sage@inktank.com>

ceph-fuse: fix leak of args

Also fix up the helper we use to have fewer sharp edges.

Signed-off-by: Sage Weil <sage@inktank.com>

osdc/ObjectCacher: fix leak on readahead

If we initiate io (success == false) but have no waiter, we need to
delete the OSDRead.

This affects libcephfs/ceph-fuse, but not librbd, which does no readahead.

Signed-off-by: Sage Weil <sage@inktank.com>

ceph.spec.in:  Build debuginfo subpackage.

This is a partial fix for bug 3471.  Enable building of debuginfo package.
Some distributions enable this automatically by installing additional rpm
macros, on others it needs to be explicity added to the spec file.

test: add cli test for missing args to rbd

This includes 'rbd mv foo', which used to crash

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

rbd: check for second argument to mv/rename

Without this check, 'rbd mv foo' crashed trying to use a NULL char* as
a string.

Reported-by: Andrey Korolyov <andrey@xdel.ru>
Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

rbd: check for second argument to mv/rename

Without this check, 'rbd mv foo' crashed trying to use a NULL char* as
a string.

Reported-by: Andrey Korolyov <andrey@xdel.ru>
Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

Merge branch 'wip-java-test'

test.sh: Adding LD_LIBRARY_PATH so JUnit can find .so files.
Removing useless java.library.path references.

Signed-off-by: Joe Buck <jbbuck@gmail.com>
Reviewed-by: Noah Watkins <noahwatkins@gmail.com>

doc/cluster-ops/pools.rst: Added documentation for min_size

Signed-off-by: Samuel Just <sam.just@inktank.com>
Reviewed-by: Josh Durgin <josh.durgin@inktank.com>

client: fix SnapRealm leak

Start ref count at 0; get_snap_realm() will increment it after alloc.

Fix the ref drop order so that the xlist is empty.

Signed-off-by: Sage Weil <sage@inktank.com>

client: debug SnapRealm reference counting

Signed-off-by: Sage Weil <sage@inktank.com>

vstart: allow minimum pool size of one

A minimum pool size of 2 was introduced by 13486857cf. This sets the
minimum to one so that basic vstart environments work.

Signed-off-by: Noah Watkins <noahwatkins@gmail.com>
Reviewed-by: Samuel Just <sam.just@inktank.com>

client: fix leak of Cap

Signed-off-by: Sage Weil <sage@inktank.com>

client: fix leak of session release msg on session close

Signed-off-by: Sage Weil <sage@inktank.com>

client: only start invalidator thread if cb != NULL

Signed-off-by: Sage Weil <sage@inktank.com>

ceph-fuse: deallocate messenger, g_ceph_context on stop

This lets us use valgrind to find leaks.

Signed-off-by: Sage Weil <sage@inktank.com>

doc: add-or-rm-mons.rst: fix a formatting typo

(also forgot the John's reviewed-by on the last commit)

Signed-off-by: Joao Eduardo Luis <joao.luis@inktank.com>
Reviewed-by: John Wilkins <john.wilkins@inktank.com>

doc: add-or-rm-mons.rst: make paths clearer

Some users have been incurring into problems adding new monitors while
following these steps. Some of these problems are due to the meaning of
'{path}' being a bit ambiguous. This patch removes said ambiguity by
replacing '{path}' with '{tmp}', supposed to be a temporary directory
containing the files necessary to add the monitor (monmap and keyring).

Fixes: #3438 #3463
Signed-off-by: Joao Eduardo Luis <joao.luis@inktank.com>

client: give get_caps() out-arg a less confusing name

No functional change.

Call this arg "have" and not "got", since we only take a ref on what we
need.

Signed-off-by: Sage Weil <sage@inktank.com>

client: do not gratuitously drop FILE_CACHE ref in _read()

The get_caps() had a confusing out-arg called "got" that is really what
caps we *have*; it only takes a ref on the *need* cap.  We should only
put that one explicitly (CEPH_CAP_FILE_RD).  The _write() method already
does this properly, but _read() did not.

Fixes: #3470
Signed-off-by: Sage Weil <sage@inktank.com>

client: assert cap refs don't go negative

This is the root cause of #3470.

Signed-off-by: Sage Weil <sage@inktank.com>

Merge branch 'next'

OSDMap.cc: Add pool name to OSDMap dump

Otherwise, we can't use ceph osd dump --format=json to map pool name
onto pool id.

Signed-off-by: Samuel Just <sam.just@inktank.com>
Reviewed-by: Josh Durgin <josh.durgin@inktank.com>

rbd: fix snap unprotect, which was succeeding while clones existed

1) use right snap id when forming parent spec to search for children
2) add test case for "unprotect with extant children"

Signed-off-by: Dan Mick <dan.mick@inktank.com>

script clean up

Signed-off-by: tamil <tamil.muthamizhan@inktank.com>

Added a function get_cmd_op
Signed-off-by: tamil <tamil.muthamizhan@inktank.com>

build:  Add RPM release string generated from git describe.

Fix for bug 3451.  Use the commit count and sha1 from git describe to
construct a release string for rpm packages.

Merge branch 'master' of https://github.com/ceph/ceph

doc: Clarified text to reflect requirement for majority, not odd number of monitors.

fixes: 3464

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

Merge remote-tracking branch 'gh/wip-fix-symlinks'

Conflicts:
qa/qa_scripts/load-bucket-1000-obj.pl
src/test/libcephfs/test.cc

Merge remote-tracking branch 'gh/wip-mds'

ceph.spec.in:  Remove ceph version requirement from ceph-fuse package.

The ceph-fuse rpm package now only requires ceph as a pre-req, not a specific
version.

rgw_admin: do not throw error when start-date and end-date are not
passed to usage::trim()

Signed-off-by: caleb miles <caleb.miles@inktank.com>

libcephfs_jni.cc: mtime and atime are Long data types. Changing the accessor methods to
reflect this fact

Signed-off-by: Joe Buck <jbbuck@gmail.com>
Reviewed-by: Noah Watkins <noahwatkins@gmail.com>

configure: fail when missing junit dependency

Signed-off-by: Noah Watkins <noahwatkins@gmail.com>

Makefile: include Java test suite artifacts

Automake has problems handling the naming convention used by Java for
inner classes (x$y.class).

Signed-off-by: Noah Watkins <noahwatkins@gmail.com>

Makefile: include Java unit test runner

Signed-off-by: Noah Watkins <noahwatkins@gmail.com>

Makefile: only add source files to EXTRA_DIST

Prevents a make dist on a built tree from including the compiled
bytecode files produced from compiling the Java tests.

Signed-off-by: Noah Watkins <noahwatkins@gmail.com>

Makefile: use real file for make target

Signed-off-by: Noah Watkins <noahwatkins@gmail.com>

Makefile: remove redundant EXTRA_DIST

Already set at the beginning of the Makefile.am

Signed-off-by: Noah Watkins <noahwatkins@gmail.com>

Changing build.xml to produce a jar instead of class files Adding a
TestSuite class to run all tests
Remove the libcephfs-test.jar when running ant clean

Signed-off-by: Joe Buck <jbbuck@gmail.com>
Reviewed-by: Noah Watkins <noahwatkins@gmail.com>

Adding libcephfs-java.jar to .gitignore

Signed-off-by: Joe Buck <jbbuck@gmail.com>
Reviewed-by: Noah Watkins <noahwatkins@gmail.com>

Adding a simple workunit that executes one libcephfs-java test

Signed-off-by: Joe Buck <jbbuck@gmail.com>
Reviewed-by: Noah Watkins <noahwatkins@gmail.com>

Moving test java files into a proper heirarchy. Moving the compilation
of tests classes from build.xml to Makefile and editing configure.ac to
look for the junit4 jar in the default location of /usr/share/java. It
is still possible to build and run tests from build.xml as well as
Makefile.

Signed-off-by: Joe Buck <jbbuck@gmail.com>
Reviewed-by: Noah Watkins <noahwatkins@gmail.com>

java: fix return type on JNI function

Return value of declaration was is a JNI specific jlong type, while a
the return type of the definition was long. g++ not happy.

Signed-off-by: Noah Watkins <noahwatkins@gmail.com>

vstart.sh: allow shorter MON, OSD, MDS count env vars

This will save me some typing.

Signed-off-by: Sage Weil <sage@inktank.com>

osdmap: make flag names match

It's 'ceph osd set noup', so make the flag name 'noup', to avoid any
confusion.

Signed-off-by: Sage Weil <sage@inktank.com>

mon: make osdmap flags incur a health warning

This will ensure that users will see a health warning when, for instance,
NOUP or PAUSE[RD|WR|EXEC] flags are set.

Signed-off-by: Sage Weil <sage@inktank.com>

doc: Rewrote index for install section per new IA.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

doc: Removed source/index from top-level toc tree per new IA.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

doc: Moved doc/source files to doc/install per new IA.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

doc: Syntax cleanup for new IA. Fix tip. Clean up for generating keys.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

doc: Syntax cleanup for new IA. Added reference to repo.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

doc: Syntax cleanup for new IA.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

doc: Syntax cleanup for new IA. Removed steps for building docs.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

doc: Syntax cleanup for new IA. Removed info for building documentation.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

doc: Syntax cleanup for new IA.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

doc: update the rest of the table for debian wheezy

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

Merge remote-tracking branch 'upstream/wip_recovery_reserve'

Reviewed-by: Samuel Just <sam.just@inktank.com>

doc/: document recovery reservation process

Signed-off-by: Mike Ryan <mike.ryan@inktank.com>

pg: recovery reservations

This extends the backfill reservation system to work with log-based
recovery. The Active and RepActive states of the PG state machine are
greatly expanded to deal with the increased complexity of handling both
recovery and backfill reservations.

Signed-off-by: Mike Ryan <mike.ryan@inktank.com>

doc: Wheezy is now using kernel 3.2.0; say so

doc: Fix per-daemon public/private settings: "network" -> "addr"

doc: Clarify "pool size", copies, and replicas more

doc: fix Hadoop config option typo

Signed-off-by: Noah Watkins <noahwatkins@gmail.com>

doc: Made changes to the CSS to make admonitions more prominent.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

doc: Added lines between title and body. Pre IA cleanup.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

doc: Updated syntax for consistent usage prior to IA updates.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

doc: Updated index for removal of legacy openstack install.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

doc: Minor edit to admonitions.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

doc: Updated syntax prior to IA updates.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

doc: Updated syntax usage prior to IA updates.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

doc: Added new info per Ross's request.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

doc: Fix and minor edit for admonitions.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

doc: Minor edits for admonitions.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

doc: Edits from Peter Reiher's feedback, and minor edits for admonitions.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

doc: Minor edits for admonitions.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

doc: Added topic for adding OSDs and adjusting CRUSH weights.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

Merge branch 'master' of https://github.com/ceph/ceph

doc: Removed legacy OpenStack installation.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

doc: Added topic for adding an OSD and adjusting CRUSH weights.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

ceph.spec.in:  Remove ceph version requirement from ceph-fuse package.

The ceph-fuse rpm package now only requires ceph as a pre-req, not a specific
version.

Update log file when rgw is not running

Signed-off-by: tamil <tamil.muthamizhan@inktank.com>

osd/: add pool min_size parameter for min acting set size

Otherwise, a pg might go active with a single osd in the
acting set.  If that osd subsequently dies, we potentially
loose client writes.  Note: it's still possible for the
acting set to exceed min_size but fail to obey the spirit
of the user's crush settings (e.g., min_size is 2, but both
osds happen to be no the sam node).

Signed-off-by: Samuel Just <sam.just@inktank.com>
Reviewed-by: Sage Weil: <sage@inktank.com>

Merge remote-tracking branch 'upstream/wip_lost_unfound_event'

Reviewed-by: Sage Weil <sage@inktank.com>

qa: Script to run fio and template file

Signed-off-by: Sam Lang <sam.lang@inktank.com>

Merge remote-tracking branch 'upstream/wip-xattr'

Reviewed-by: Samuel Just <sam.just@inktank.com>

Makefile: add missing rgw_resolve.h to dist tarball

Signed-off-by: Sage Weil <sage@inktank.com>

client: kick waiters for an mds session to open on mds recovery

We already kicked waiters for request, but we need to kick waiters on open
too (e.g., a client trying to mount).

Signed-off-by: Sage Weil <sage@inktank.com>

qa: disable xfstest 45 until mount issue is resolved on precise

Meh

Signed-off-by: Sage Weil <sage@inktank.com>

qa: disable xfstest 45 until mount issue is resolved on precise

Meh

Signed-off-by: Sage Weil <sage@inktank.com>