librbd: remove unused private variable

Signed-off-by: Noah Watkins <noahwatkins@gmail.com>

TrackedOp: remove unused private variable

Signed-off-by: Noah Watkins <noahwatkins@gmail.com>

librbd: rename howmany to avoid conflict

A howmany macro exists on some platforms in standard headers, but there
really isn't any sort of standard that I've found. We just avoid the
conflict entirely this way.

Signed-off-by: Noah Watkins <noahwatkins@gmail.com>

rados_sync: fix mismatched tag warning

Signed-off-by: Noah Watkins <noahwatkins@gmail.com>

rados_sync: remove unused private variable

Signed-off-by: Noah Watkins <noahwatkins@gmail.com>

mon: check for sys/vfs.h existence

Signed-off-by: Noah Watkins <noahwatkins@gmail.com>

make: increase maximum template recursion depth

With clang on OSX spirit blows up without this.

Signed-off-by: Noah Watkins <noahwatkins@gmail.com>

Merge pull request #891 from ceph/wip-filestore-remount

allow various threaded services to be restarted to allow mount->umount->mount to work

Reviewed-by: Greg Farnum <greg@inktank.com>

Merge pull request #879 from xinglin/coverity-fixes

Coverity fixes

The rgw patch is
Reviewed-by: Yehuda Sadeh <yehuda@inktank.com>
The rest is
Reviewed-by: Sage Weil <sage@inktank.com>

common/WorkQueue: allow start() after stop()

Signed-off-by: Sage Weil <sage@inktank.com>

os/FileStore: allow mount after umount

Clear the stop flag on successful shutdown so that we can start again
later.

Signed-off-by: Sage Weil <sage@inktank.com>

common/Finisher: allow finisher to be restarted

Allow a start() after stop() by clearing the stop flag on a successful
stop.

Signed-off-by: Sage Weil <sage@inktank.com>

Merge pull request #843 from ceph/wip-osd-metadata

feed osd info about os, kernel, memory, arch to the mons

Reviewed-by: Joao Eduardo Luis <joao.luis@inktank.com>
Reviewed-by: Loic Dachary <loic@dachary.org>

Merge pull request #860 from dachary/wip-6827

Reviewed-by: Josh Durgin <josh.durgin@inktank.com>

test/mon/workloadgen: added check of return value for statfs()

check the return value of statfs() in update_osd_stat()

Signed-off-by: Xing Lin <xinglin@cs.utah.edu>
test/mon/workloadgen: fixed typo in error message

Signed-off-by: Xing Lin <xinglin@cs.utah.edu>

rgw/rgw_op: added check of return value for rgw_unlink_bucket()

checked the return value of rgw_unlink_bucket() in RGWCreateBucket::execute()

Signed-off-by: Xing Lin <xinglin@cs.utah.edu>

os/WBThrottle: added check of return value for posix_fadvise()

check the return value of posix_fadvise() in WBThrottle::entry()

Signed-off-by: Xing Lin <xinglin@cs.utah.edu>

test/filestore: add check of return values in StoreTest::SetUp

add return value check for function calls, including mkdir, mkfs
and mount

Signed-off-by: Xing Lin <xinglin@cs.utah.edu>
test/filestore: fix return value check for mkdir

allow EEXIST from mkdir()

Signed-off-by: Xing Lin <xinglin@cs.utah.edu>

test/filestore/workloadgen: added check of return value for mkdir

check return value of mkdir

Signed-off-by: Xing Lin <xinglin@cs.utah.edu>
test/filestore/workloadgen: fix return value check for mkdir

allow EEXIST from mkdir()

Signed-off-by: Xing Lin <xinglin@cs.utah.edu>

Merge pull request #889 from dachary/wip-osd-metadata

depends on #843 : CPU info + check osd metadata

osd: include CPU info

It will be handy when trying to figure out CPU bound problems / benchmarks.

Signed-off-by: Loic Dachary <loic@dachary.org>

pybind: syntax check osd metadata

Signed-off-by: Loic Dachary <loic@dachary.org>

ceph-disk: blacklist /dev/fd0

blkid -s TYPE /dev/fd0 has been verified to hang forever on a
H8DMR-82 supermicro motherboard running

3.8.0-33-generic #48~precise1-Ubuntu SMP Thu Oct 24 16:28:06 UTC 2013
x86_64

It is unlikely that ceph will ever be used on floppy disks, they
can be blacklisted.

http://tracker.ceph.com/issues/6827 fixes: #6827

Signed-off-by: Loic Dachary <loic@dachary.org>

test/ceph_decoder: add return value check for read_file()

check the return value of read_file function call

Signed-off-by: Xing Lin <xinglin@cs.utah.edu>

doc/rados/operations/crush-map: describe crush locations, hook

Signed-off-by: Sage Weil <sage@inktank.com>

add script/run-coverity

Keep this in-tree.

Signed-off-by: Sage Weil <sage@inktank.com>

Merge pull request #887 from jdurgin/wip-peek-meta

osd: read into correct variable for magic string

Reviewed-by: Sage Weil <sage@inktank.com>

doc: Updated scrub defaults and added note about deep scrubbing.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

osd: read into correct variable for magic string

4d140a71a1a48081b449b7d8dde808eb6e74c6b2 refactored this and
introduced a bug. peek_meta() was accidentally reading into magic,
then replacing magic with val, which was always the empty string,
resulting in the osd always failing to start due to 'mismatched'
magic values.

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

Merge pull request #881 from ceph/wip-objectstore

osd: clean up the osd / objectstore separation

Reviewed-by: Samuel Just <sam.just@inktank.com>

doc: Fixed hyperlink to the manual installation section.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

doc: Added a link to get packages.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

osd/OSDMap: fix typo and crush types helper

Bah!

Signed-off-by: Sage Weil <sage@inktank.com>

Merge pull request #882 from ceph/wip-6699

sysvinit, upstart: use df -P when weighting new OSDs

Reviewed-by: Noah Watkins <noah.watkins@inktank.com>

Merge pull request #876 from javacruft/wip-missed-module

Mark libcls_kvs as a module

Reviewed-by: Sage Weil <sage@inktank.com>

Merge pull request #841 from ceph/wip-crush-chassis

osd/OSDMap: add 'chassis' to default type hierarchy

Reviewed-by: Loic Dachary <loic@dachary.org>

Merge pull request #883 from idryomov/wip-readme

README: update a list of build deps for rpm-based systems

Reviewed-by: Sage Weil <sage@inktank.com>

osd/OSDMap: add region, pdu, pod types while we are at it

One use noted that they have a 'pdu' type in their type hierarchy that
typically spans multiple racks.  Others are known to use the 'pod'
terminology; add that to.  And I can imagine 'region' above datacenter.

Factor this into a helper to make things a bit less fragile.

Signed-off-by: Sage Weil <sage@inktank.com>

osd/OSDMap: add 'chassis' to default type hierarchy

A chassis is usually bigger than a host but smaller than a rack.  This will
be useful for a broad class of modern hardware that sticks multiple hosts
in the same chassis (in sleds, or on cards, or blades, or whatever).

Signed-off-by: Sage Weil <sage@inktank.com>

README: update a list of build deps for rpm-based systems

A list of build dependencies for rpm-based OSes is missing a few items.
This fills in the gaps.

Signed-off-by: Ilya Dryomov <ilya.dryomov@inktank.com>

Merge remote-tracking branch 'gh/next'

Partial revert "mon: osd pool set syntax relaxed, modify unit tests"

This reverts commit 08327fed8213a5d24cd642e12b38a171b98924cb, except
for the hashpspool bit.  We switched back to an integer argument in
commit 337195f04653eed8e8f153a5b074f3bd48408998.

Signed-off-by: Sage Weil <sage@inktank.com>

Merge remote-tracking branch 'gh/next'

sysvinit, upstart: use df -P when weighting new OSDs

This avoids parsing out the wrong value when a long device name makes
df wrap over two lines.

Fixes: #6699
Reported-by: Jan Harkes <jaharkes@cs.cmu.edu>
Reviewed-by: Noah Watkins <noah.watkins@inktank.com>
Signed-off-by: Sage Weil <sage@inktank.com>

os/ObjectStore: add {read,write}_meta

Move these from the OSD.  Use a generic implementation in ObjectStore that
hopefully all backends can share (so that it can remain in sync with the
start/stop scripts, ceph-disk, and other orchestration machinery).

Signed-off-by: Sage Weil <sage@inktank.com>

osd: move peek_journal_fsid() into ObjectStore (from OSD)

This kills the last FileJournal reference in the OSD!

Signed-off-by: Sage Weil <sage@inktank.com>

os/ObjectStore: generalize the FileStore's target_version

This kills the last FileStore reference in the OSD.

Signed-off-by: Sage Weil <sage@inktank.com>

osd: construct ObjectStore outside of OSD

This lets ceph_osd.cc handle the config details and use it directly for
all of the random command-line stuff, eliminating a bunch of mostly-
useless static wrappers in OSD.

Signed-off-by: Sage Weil <sage@inktank.com>

osd: use ObjectStore::create() helper to create ObjectStore impl

No more knowledge of FileStore!

Signed-off-by: Sage Weil <sage@inktank.com>

os/ObjectStore: add static create() method

Generic way to create an ObjectStore implementation of the required type,
so that users don't need to know anything about it.

Signed-off-by: Sage Weil <sage@inktank.com>

osd: drop obsolete 'filestore' bool option

Signed-off-by: Sage Weil <sage@inktank.com>

osd: include misc osd config info in metadata sent to the mon

addr info, pathnames.

Signed-off-by: Sage Weil <sage@inktank.com>

mon/OSDMonitor: include osd metadata in 'ceph report'

Signed-off-by: Sage Weil <sage@inktank.com>

mon/OSDMonitor: move osd metadata dump into a helper

Signed-off-by: Sage Weil <sage@inktank.com>

Merge pull request #838 from xinglin/boost-program-option-check

autoconf: add check for the boost_program_options library

Reviewed-by: Noah Watkins <noah.watkins@inktank.com>

Merge pull request #829 from ceph/port/detect-clang

conf: use better clang detection

PG: don't query unfound on empty pgs

When the replica responds, it responds with a notify
rather than a log, which the primary then ignores since
it is already in the peer_info map.  Rather than fix that
we'll simply not send queries to peers we already know to
have no unfound objects.

Fixes: #6910
Signed-off-by: Samuel Just <sam.just@inktank.com>
Reviewed-by: Sage Weil <sage@inktank.com>
Reviewed-by: David Zafman <david.zafman@inktank.com>

PG: retry GetLog() each time we get a notify in Incomplete

If for some reason there are no up OSDs in the history which
happen to have usable copies of the pg, it's possible that
there is a usable copy elsewhere on the cluster which will
become known to the primary if it waits.

Fixes: #6909
Signed-off-by: Samuel Just <sam.just@inktank.com>
Reviewed-by: Greg Farnum <greg@inktank.com>
Reviewed-by: Sage Weil <sage@inktank.com>

Mark libcls_kvs as a module

This was missed by the changes in commit 909a733fe7119fc1bf123b3739e3acc6f2135b6a

Signed-off-by: James Page <james.page@ubuntu.com>

Merge pull request #859 from ceph/wip-pr781

  fix the bug  ctypes.util.find_library to search for librados failed on...

Merge pull request #864 from javacruft/wip-debian-feedback

Misc fixes from current Debian packaging

Reviewed-by: Sage Weil <sage@inktank.com>

Merge pull request #873 from ceph/wip-mds-assert

mds: Add assertion to catch object mutation error

Reviewed-by: Sage Weil <sage@inktank.com>

test: remove zero-copy read_fd test temporarily

This fails since zero-copy from read_fd was temporarily disabled by
03d63c4b2d63b655924c5657637e85abdef40899.

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

doc: clarify crush rule create-simple and fix typos

update the description of osd crush rule create-simple using terms that
match the keywords from the crushmap to avoid confusion.

fix missing closing parenthesis in osd crush commands

Signed-off-by: Loic Dachary <loic@dachary.org>
Reviewed-by: Josh Durgin <josh.durgin@inktank.com>

doc: fix formatting typo in mon configuration

Signed-off-by: Loic Dachary <loic@dachary.org>
Reviewed-by: Josh Durgin <josh.durgin@inktank.com>

doc: improve ceph-mon usage, fix ceph tell examples

The ceph-mon command usage is updated to document all of the ceph-mon
specific options.

The ceph tell usage examples for log and debug are using a deprecated syntax.

Signed-off-by: Loic Dachary <loic@dachary.org>
Reviewed-by: Josh Durgin <josh.durgin@inktank.com>

Merge pull request #862 from ceph/wip-6829

Reviewed-by: Josh Durgin <josh.durgin@inktank.com>

Merge pull request #871 from dmick/wip-6894

Reviewed-by: Josh Durgin <josh.durgin@inktank.com>

Merge pull request #872 from ceph/wip-5871

mds: remove superfluous warning of releasing lease

Reviewed-by: Sage Weil <sage@inktank.com>

Merge pull request #874 from liewegas/wip-readme

README: add yum command line

README: add yum command line

This makes it easy to cut and paste. Yay!

Signed-off-by: Sage Weil <sage@inktank.com>

mds: Add assertion to catch object mutation error

Signed-off-by: Yan, Zheng <zheng.z.yan@intel.com>

mds: remove superfluous warning of releasing lease

When receiving the lease release message, it's possible that the lease
has already expired and the corresponding dentry has been trimmed from
the cache.

Fixes #5871

Signed-off-by: Yan, Zheng <zheng.z.yan@intel.com>

mon: osd dump should dump pool snaps as array, not object

Fixes: #6894
Signed-off-by: Dan Mick <dan.mick@inktank.com>

Merge pull request #835 from ceph/wip-6705

qa: workunits: mon: ping.py: test 'ceph ping'

Reviewed-by: Josh Durgin <josh.durgin@inktank.com>

Merge branch 'wip-zero-copy-bufferlist-last'

Reviewed-by: Samuel Just <sam.just@inktank.com>

buffer: turn off zero-copy reads for now

Some users will need to be changed to handle getting the correct
length from bufferlist::read_fd.

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

mds: Release resource before return

Close file before return.
Fix coverity issue: CID 1019571

Signed-off-by: Li Wang <liwang@ubuntukylin.com>
Reported-by: Xianxia Xiao <xianxiaxiao@ubuntukylin.com>
Reviewed-by: Josh Durgin <josh.durgin@inktank.com>

rbd: Release resource before return

Close file before return.
Fix coverity issue: CID 1019579

Signed-off-by: Li Wang <liwang@ubuntukylin.com>
Reported-by: Xianxia Xiao <xianxiaxiao@ubuntukylin.com>
Reviewed-by: Josh Durgin <josh.durgin@inktank.com>

Merge pull request #868 from ceph/wip-6896

osd: Remove bogus assert(active == acting.size())

Reviewed-by: Samuel Just <sam.just@inktank.com>

osd: Remove bogus assert(active == acting.size())

We saw this assert because active is not correctly computed.
Remove assert and incorrectly computed active count.
We already use acting.size() to determine whether to set PG_STATE_DEGRADED.

Fixes: #6896
Signed-off-by: David Zafman <david.zafman@inktank.com>

SubmittingPatches: describe github pull-request process

Signed-off-by: Sage Weil <sage@inktank.com>

Add missing stuff to clean target

Sweepup a few bits a pieces that get left behind by make clean.

Signed-off-by: James Page <james.page@ubuntu.com>

Correctly mark library modules

Mark RADOS class libraries as module so that they will be automatically
ignored when stripping binaries.

Signed-off-by: James Page <james.page@ubuntu.com>

ceph-object-corpus: revert accidental revert

From 5df3024d7847950672169069b9dc8c8dcb876019

Signed-off-by: Sage Weil <sage@inktank.com>

Merge pull request #863 from ceph/wip-6804

rgw: lower some debug message

Reviewed-by: Sage Weil <sage@inktank.com>

Merge pull request #861 from dachary/init-ceph

init: fix typo s/{$update_crush/${update_crush/

Merge pull request #832 from ceph/wip-flush-5855-review

Reviewed-by: Samuel Just <sam.just@inktank.com>
Reviewed-by: David Zafman <david.zafman@inktank.com>

buffer: enable tracking of calls to c_str()

Track buffer::ptr::c_str() to catch internal calls that use it, like
buffer::ptr::cmp(). buffer::list::c_str() will be captured by this as
well, since it will do a final buffer::ptr::c_str() and possibly
several more if it needs to rebuild into a single raw buffer.

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

buffer: try to do zero copy in read_fd

Leave the explicit read_fd_zero_copy around as well for testing.

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

buffer: attempt to size raw_pipe buffers

Make sure the requested length is below the maximum pipe size for now,
since we're only using one pipe and splicing once into and out of
it. The default max is 1MB on recent kernels, so this isn't such a
terrible limitation.

To get around this we could use multiple pipes, or keep both source and
destination fds open at the same time and call splice many times. This
is more usual usage for splice, but would require a lot more work to
restructure the filestore and messenger to handle it.

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

buffer: add methods to read and write using zero copy

Create explicit methods for testing. Make buffer::list::write_fd() use
zero-copy if all the buffers support it.  Don't automatically handle
reads yet, since we need better detection of read length first.

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

buffer: create raw pipe-based buffer

This uses a pipe to reference kernel memory so we can use splice(2) to
avoid extra data copies. Take an fd in the factory to create it, since
that's the only way to use it efficiently, which is its whole purpose.

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

buffer: add an exception with an error code

This allows e.g. raw buffer constructors to provide more specific
information about what failed, as well as a useful error string
automatically.

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

safe_io: add functions for handling splice

Like the other functions, these don't handle non-blocking I/O.

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

buffer: remove unused raw::length() method

This was accidentally introduced in
0c23a5624a80903fba7e635e8c44f38a79caf223

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

buffer: abstract raw data related methods

Create a virtual function that returns the raw data instead of
accessing it directly, so raw buffers backed by pipes can be used as
buffer::ptrs. Make raw::is_page_aligned() virtual so it will not need
to look at the raw data for a pipe-based buffer.

Signed-off-by: Josh Durgin <josh.durgin@inktank.com>

doc: Clarified description on scrub load threshold.

fixes: #6735

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

doc: Fixed instruction.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

Merge branch 'master' of https://github.com/ceph/ceph