COPYING: add Packaging: section

Again, debian-specific, but who cares.

Signed-off-by: Sage Weil <sage@inktank.com>

COPYING: add debian-style headers

This may not be necessary here, but it makes this identical to the
debian/copyright file, which is a win.

Signed-off-by: Sage Weil <sage@inktank.com>

COPYING: fix formatting

Signed-off-by: Sage Weil <sage@inktank.com>

Merge pull request #678 from ceph/wip-5981

ceph-disk: make initial journal files 0 bytes

Merge pull request #649 from ceph/wip-6422

#6422

Reviewed-by: Sage Weil <sage@inktank.com>

Merge pull request #620 from dachary/wip-erasure-doc

ErasureCode: doc updates

common, os, osd: Use common functions for safe file reading and writing

Add new safe_read_file() and safe_write_file() to update files atomically
Used instead of original OSD::read_meta(), OSD::write_meta() they are based on
Used by read_superblock() and write_superblock()
Used by write_version_stamp() and version_stamp_is_valid()

Fixes: #6422
Signed-off-by: David Zafman <david.zafman@inktank.com>

osd: In read_meta() leave an extra byte in buffer to nul terminate

Signed-off-by: David Zafman <david.zafman@inktank.com>

ErasureCode: update PGBackend description

Based on a dialog with Sam ( as published at http://dachary.org/?p=2320 ).

* Remove PGBackend-h.rst because PGBackend.h is now in master.

* Fix typos caught by ispell

* Update recovery links to point to PGBackend recover methods

* Workaround formating warning
  developer_notes.rst:3: WARNING: Duplicate explicit target name:
  "erasurecodepluginexample" which should be legitimate.

Signed-off-by: Loic Dachary <loic@dachary.org>

ErasureCode: doc updates

* Update to the current state of the ghobject implementaiton and the fact
  that they encode the shard_t Although the pool also contains the shard
  id, it is less relevant to understand the implementation.

* Update with the erasure code plugin infrastructure and the example
  plugin now in master.

* Move jerasure to a separate page to be expanded and link it from the
  toc

* Kill the partial read and writes notes as it will probably not be
  implemented in the near future. Kill some of the notes because they
  are no longer relevant.

* Add a definition for "chunk rank"

* Reword, update schemas, fix typos.

Signed-off-by: Loic Dachary <loic@dachary.org>

Merge pull request #652 from dachary/wip-ghobjects

common: ghobject sort order & get_filestore_key

common: document ghobject sort order rationale

Intuition differs regarding the sort order of the ghobject shard and
generation. Document the rationale for the chosen sort order.

Reviewed-by: Samuel Just <sam.just@inktank.com>
Reviewed-by: David Zafman <david.zafman@inktank.com>
Signed-off-by: Loic Dachary <loic@dachary.org>

common: ghobject get_filestore_key* use hobject counterpart

The get_filestore_key* methods are changed to just call the
corresponding hobject methods instead of providing an identical
implementation.

Reviewed-by: David Zafman <david.zafman@inktank.com>
Signed-off-by: Loic Dachary <loic@dachary.org>

mds: return -EAGAIN if standby replay falls behind

standby replay may fall behind and get -ENOENT when reading the
journal. return -EAGAIN in this case, it makes the MDS respawn itself.

fixes: #5458

Signed-off-by: Yan, Zheng <zheng.z.yan@intel.com>
Reviewed-by: Sage Weil <sage@inktank.com>

os/FileStore: report errors from _crc_load_... and _crc_save

Signed-off-by: Sage Weil <sage@inktank.com>

Merge pull request #671 from ceph/wip-tmap

remove tmap->omap auto-upgrade

Reviewed-by: Yehuda Sadeh <yehuda@inktank.com>

rados: add 'tmap-to-omap' command

Explicitly convert tmap object data to omap keys.  Removes the old tmap
content at the same time.

Signed-off-by: Sage Weil <sage@inktank.com>

rados: make 'tmap dump' gracefully handle non-tmap data

Signed-off-by: Sage Weil <sage@inktank.com>

osd: remove magical tmap -> omap conversion

This is incomplete and unfortunately unusable in its current state:

 - it would only set USES_TMAP for old encoded object_info_t and tmapput,
   but would NOT set it for tmapup
 - a config option turned that off by default.

That means that the mds conversion from tmap -> omap won't be able to use
this because any existing cluster has tmap objects without the USES_TMAP
flag set.  And we don't want to unconditionally try a tmap->omap conversion
on omap operations because there are lots of existing librados users out
there that will be negatively impacted by this.

Instead, the MDS will need to handle this conversion on the client side by
reading either tmap or omap objects and explicitly rewriting the content
with omap (while truncating the tmap data away).

The auto-conversion function was added in v0.44.

Signed-off-by: Sage Weil <sage@inktank.com>

Merge pull request #675 from ceph/wip-osd-dirty

osd: add a dirty flag for objects.

Reviewed-by: Samuel Just <sam.just@inktank.com>

osd: add ISDIRTY, UNDIRTY rados operations

ISDIRTY will query whether the dirty flag is set on an object.  UNDIRTY
will explicitly clear it.  Note that a user doing so will likely run amok
with the caching code.

Signed-off-by: Sage Weil <sage@inktank.com>

osdc/Objecter: fix return value for copy_get

We should return the return code even when we don't have an encoding error!

Signed-off-by: Sage Weil <sage@inktank.com>

osd/ReplicatedPG: mark objects dirty in make_writeable()

Signed-off-by: Sage Weil <sage@inktank.com>

osd/osd_types: object_info_t::get_flag_string()

Stop adding these ad-hoc to the operator<<.

Signed-off-by: Sage Weil <sage@inktank.com>

osd/osd_types: add object_info_t::FLAG_DIRTY

Signed-off-by: Sage Weil <sage@inktank.com>

Merge pull request #673 from liewegas/wip-usage

make rbd, rados bad command errors more friendly

Merge remote-tracking branch 'gh/next'

Conflicts:
PendingReleaseNotes

crush: invalidate rmap on create (and thus decode)

If we have an existing CrushWrapper object and decode from a bufferlist,
reset build_rmaps so that they get rebuilt.

Remove the build_rmaps() all in decode that was useless on a redecode
(because have_rmaps == true in that case and it did nothing).

Fixes: #6442
Backport: dumpling, maybe cuttlefish
Signed-off-by: Sage Weil <sage@inktank.com>
Reviewed-by: Joao Eduardo Luis <joao.luis@inktank.com>

osd/osd_types: bump encoding from 11 -> 12

Meant to do this in a1b82f2a568ba211601c12b0b33474e982a3be6f or
d421b66293fb3d815ad2cd4c787dd2c39f48d6e8 but forgot!

Signed-off-by: Sage Weil <sage@inktank.com>

rbd: be helpful with invalid command

$ rbd asdf
rbd: error parsing command 'asdf'; -h or --help for usage

Signed-off-by: Sage Weil <sage@inktank.com>

rados: do not dump usage on invalid command

I hate this; it makes it impossible to see that there was an error message.

We made this same change a while back with rbd.

Signed-off-by: Sage Weil <sage@inktank.com>

Merge pull request #666 from dmick/wip-6384

ceph.in: clean up error message when missing required parameter

Merge pull request #670 from ceph/wip-osd-whiteout

osd: add basic whiteout infrastructure

Reviewed-by: Sage Weil <sage@inktank.com>
Reviewed-by: Samuel Just <sam.just@inktank.com>

osd/osd_types: convert object_info_t::uses_tmap to a flag

Treat the second encoded bool as bits 9-16 of a (now) 16-bit flags field,
and use bit 9 (what used to be set by the use_tmap bool) as FLAG_USES_TMAP.

No encoding compatibility change.

Signed-off-by: Sage Weil <sage@inktank.com>

osd/ReplicatedPG: update all find_object_context() users to handle whiteouts

In each case, we treat the whiteout as if we got an ENOENT.

We do not change the semantics of bool exists to avoid breaking lots of
potentially fragile code.  We are only interested in changing the
user-visible behavior of the object, not the way it is internally stored
or managed.

This will likely be refined as we grow acutal users for whiteoutes in the
pool caching code.

Signed-off-by: Sage Weil <sage@inktank.com>

osd/osd_types: add WHITEOUT flag to object_info_t

Signed-off-by: Sage Weil <sage@inktank.com>

osd/osd_types: replace bool lost with a flags field

This is more generic.  We could also fold uses_tmap flag into here,
but the encoding change for that is non-trivial.

Signed-off-by: Sage Weil <sage@inktank.com>

Add unit_to_bytesize test for 'k' on input; continues fix for #4612

Signed-off-by: Dan Mick <dan.mick@inktank.com>

Merge pull request #669 from ceph/wip-6443

ReplicatedPG: don't bless C_OSD_SendMessageOnConn

Reviewed-by: Sage Weil <sage@inktank.com>

ReplicatedPG: don't bless C_OSD_SendMessageOnConn

C_OSD_SendMessageOnConn doesn't need to lock the pg.
Canceling it resulted in a leaked message.

Fixes: 6443
Signed-off-by: Samuel Just <sam.just@inktank.com>

msgr: debug delay_thread join

Signed-off-by: Sage Weil <sage@inktank.com>

Use 'k' when printing 'kilo'; accept either 'K' or 'k' as input

Fixes: #4612
Signed-off-by: Dan Mick <dan.mick@inktank.com>
Reviewed-by: Sage Weil <sage@inktank.com>

Merge pull request #659 from ceph/wip-objecter-notier

Wip objecter notier

Reviewed-by: Sage Weil <sage@inktank.com>

Merge pull request #668 from liewegas/wip-cache-stall

osdc/ObjectCacher: limit writeback IOs generated while holding lock
Reviewed-by: Josh Durgin <josh.durgin@inktank.com>

Merge pull request #663 from ceph/wip-cancel-copy

Reviewed-by: Greg Farnum <greg@inktank.com>

rbd: fix cli test

Signed-off-by: Sage Weil <sage@inktank.com>

osdc/ObjectCacher: limit writeback IOs generated while holding lock

While analyzing a log from Mike Dawson I saw a long stall while librbd's
objectcacher was starting lots (many hundreds) of IOs.  Limit the amount of
time we spend doing this at a time to allow IO replies to be processed so
that the cache remains responsive.

I'm not sure this warrants a tunable (which we would need to add for both
libcephfs and librbd).

Signed-off-by: Sage Weil <sage@inktank.com>

rgw: quiet down warning message

Fixes: #6123
We don't want to know about failing to read region map info
if it's not found, only if failed on some other error. In
any case it's just a warning.

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>
Reviewed-by: Sage Weil <sage@inktank.com>

osd/ReplicatedPG: fix iterator corruption in cancel_copy_ops()

The cancel_copy() method removes the entry from copy_ops.  Move the
iterator forward before calling.

Fixes segfault when thrashing osds with a copy-from workload.

Signed-off-by: Sage Weil <sage@inktank.com>

Merge pull request #664 from ceph/wip-6445

Wip 6445
Reviewed-by: Josh Durgin <josh.durgin@inktank.com>

ceph_argparse.py: clean up error reporting when required param missing

Treat "need 1, got 0" as a special case, and change the message to
"missing required parameter <x>".  Also, when failing for that reason,
print the command concise description and its helptext.

Fixes: #6384
Signed-off-by: Dan Mick <dan.mick@inktank.com>

Merge pull request #665 from ceph/wip-6444

Wip 6444
Reviewed-by: Josh Durgin <josh.durgin@inktank.com>

rbd.cc: add readonly option for "rbd map"

The device could only be set to rw(default) when mapping
now. This patch only handle the user space, because the
kernel part has been completed.

Signed-off-by: Guangliang Zhao <guangliang@unitedstack.com>
Reviewed-by: Josh Durgin <josh.durgin@inktank.com>

PendingReleaseNotes: update regarding librados change

Fix related to issue #6444

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

Merge pull request #660 from ceph/wip-fs-crc

sloppy / opportunistic CRC tracking in the filestore

Reviewed-by: Samuel Just <sam.just@inktank.com>

os/FileStore: add sloppy crc tracking

Opportunistically track CRCs for data we write and verify it for data
we read.

Signed-off-by: Sage Weil <sage@inktank.com>

rgw: drop async pool create completion reference

Fixes: #6444
Backport: dumpling
If pool creation fails (e.g., due to -EEXIST) then we leak the
completion object. Earlier we couldn't just drop the reference, as
librados have already removed the internal completion object. This fix
drop the completion reference even if got an error, which is now
possible.

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

librados: pool async create / delete does not delete completion handle

Backport: dumpling
The pool async delete / create function used to delete the internal
completion object. However, caller still holds the allocated completion
object, which it can't drop a reference to (as it'd try to deallocate
the already freed internal object). This fix removes the internal object
deletion, a following commit will fix a related leak (#6444) by having
the application (radosgw) drop the reference even if got an error.

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

Merge pull request #662 from dmick/next

Invoke python with /usr/bin/env python instead of directly

Merge pull request #661 from ceph/wip-copy-cleanups

Wip copy cleanups

Reviewed-by: Sage Weil <sage@inktank.com>

Invoke python with /usr/bin/env python instead of directly

Fixes: #6311
Signed-off-by: Dan Mick <dan.mick@inktank.com>

ReplicatedPG: remove unused CopyOp::waiting member, rename function for accuracy

We never placed any ops here, and so we weren't ever requeuing any ops.

Signed-off-by: Greg Farnum <greg@inktank.com>

ReplicatedPG: remove useless pcop param from start_copy

Signed-off-by: Greg Farnum <greg@inktank.com>

ReplicatedPG: use our already-found iterator instead of going back into map

We have an iterator pointing at the element we want; no need to search
the map again in order to grab the element or remove it.

Signed-off-by: Greg Farnum <greg@inktank.com>

rgw: fix leak in RGWMetadataManager::remove()

Backport: dumpling
Fixes: #6445
handler->get() returns a newly allocated obj, need to delete it when
done.

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

common/SloppyCRCMap: add type to sloppily track crcs

Signed-off-by: Sage Weil <sage@inktank.com>
sloppy

OSD: unset_honor_cache_redirects() on Objecter

Signed-off-by: Greg Farnum <greg@inktank.com>

Objecter: add "honor_cache_redirects" flag covering cache settings

When set to false, we do not redirect based on the cache_pool data
in the OSDMap. We'll use this so the OSDs can actually fetch data
into the cache pools on promotion!
Signed-off-by: Greg Farnum <greg@inktank.com>

rbd.cc: propagate some errors to user-space when they're available

There was a bunch of situations in which we would have a proper error to
propagate to user-space but we would always return '1' (EXIT_FAILURE).

Signed-off-by: Joao Eduardo Luis <jecluis@gmail.com>
(cherry picked from commit 7e722245a717038c49f432ae19d9874c25066bb6)

Merge remote-tracking branch 'gh/next'

Conflicts:
src/common/crc32c_intel_fast.c

Merge pull request #658 from dmick/next

ceph.in: fix missing exception variable in failure to open -o file

Reviewed-by: Sage Weil <sage@inktank.com>

ceph.in: fix missing exception variable in failure to open -o file

Fixes: #6424
Signed-off-by: Dan Mick <dan.mick@inktank.com>

Merge pull request #657 from ceph/wip-6397

Wip 6397

Reviewed-by: Josh Durgin <josh.durgin@inktank.com>

rgw: don't append NULL char before json parsing

Parser handles that by itself.

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

ceph_json: use different string constructor for parser buffer

Fixes: #6397
Previous implementation did not user the constructor with the length
param.

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>

Merge pull request #643 from dachary/master

autoconf: fix build out of tree

Reviewed-by: Sage Weil <sage@inktank.com>

doc: changed journal aio default to true.

fixes: #6389

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

qa: workunits: mon: test snaps ops using rbd.

Regression test for #6047

Signed-off-by: Joao Eduardo Luis <jecluis@gmail.com>
(cherry picked from commit b2b0f202ea8a0028e7e27664b3ea6b9b8cdafe6e)

Merge pull request #654 from ceph/wip-testrados

fix some issues with ceph_test_rados

Reviewed-by: Samuel Just <sam.just@inktank.com>

ceph_test_rados: remove useless snapc setup

We update this on snap create and delete; no need to do it any other
time.

Signed-off-by: Sage Weil <sage@inktank.com>

ceph_test_rados: update for copy_from in begin, not finish

Signed-off-by: Sage Weil <sage@inktank.com>

common/crc32c_intel_fast: avoid reading partial trailing word

The optimized intel code reads in word-sized chunks, knowing that the
allocator will only hand out memory in word-sized increments.   This makes
valgrind unhappy.  Whitelisting doesn't work because for some reason there
is no caller context (probably because of some interaction with yasm?).

Instead, just use the baseline code for the last few bytes.  This should
not be significant.

Signed-off-by: Sage Weil <sage@inktank.com>
Reviewed-by: Greg Farnum <greg@inktank.com>
(cherry picked from commit 39c89dcfed0587f822e2226f2de8e4092449af29)

Conflicts:
src/test/common/test_crc32c.cc

Merge pull request #650 from dachary/wip-6425-2

pybind: update osd blacklist tests for nonce

pybind: update osd blacklist tests for nonce

Update the unit tests to reflect a) that the nonce is no longer mandatory,
b) that it must be an integer.

http://tracker.ceph.com/issues/6426 refs #6426

Reviewed-by: Joao Eduardo Luis <joao.luis@inktank.com>
Signed-off-by: Loic Dachary <loic@dachary.org>

test/common/get_command_descriptions: null terminate c string

This fixes a bunch of trailing goop I see on my machine.

Signed-off-by: Sage Weil <sage@inktank.com>

Merge remote-tracking branch 'gh/next'

Conflicts:
src/pybind/ceph_argparse.py

Merge pull request #648 from dmick/wip-6425

ceph_argparse.py, cephtool/test.sh: fix blacklist with no nonce

Reviewed-by: Sage Weil <sage@inktank.com>

ceph_test_rados: improve debug output

Signed-off-by: Sage Weil <sage@inktank.com>

ceph_test_rados: fix update_object_full

Update at current snap, not the last snap we did an update.

Broken this this was introduced in 996af2d8fd8e60bcdce8e9408249b974521de24e

Signed-off-by: Sage Weil <sage@inktank.com>

ceph_argparse.py, cephtool/test.sh: fix blacklist with no nonce

It's legal to give a CephEntityAddr to osd blacklist with no nonce,
so allow it in the valid() method; also add validation of any nonce
given that it's a long >= 0.

Also fix comment on CephEntityAddr type description in MonCommands.h,
and add tests for invalid nonces (while fixing the existing tests to remove
the () around expect_false args).

Fixes: #6425
Signed-off-by: Dan Mick <dan.mick@inktank.com>

Merge pull request #646 from liewegas/wip-6385

qa/run_xfstests.sh: use old xfstests until we adapt to new org

Reviewed-by: Josh Durgin <josh.durgin@inktank.com>

Merge pull request #647 from ceph/wip-ceph-cli-env

improve ceph clie CEPH_ARGS handling

Reviewed-by: Josh Durgin <josh.durgin@inktank.com>

Revert "ceph: parse CEPH_ARGS environment variable"

This reverts commit 67a95b9880c9bc6e858150352318d68d64ed74ad.

We now put CEPH_ARGS in the actual args we parse in python, which are passed
to rados piecemeal later.  This lets you put things like --id ... in there
that need to be parsed before librados is initialized.

Add CEPH_ARGS at the end of sys.argv

This allows, for instance, to pass a different client name to ceph by
exporting CEPH_ARGS="--id client_id".

Signed-off-by: Benoît Knecht <benoit.knecht@fsfe.org>
Signed-off-by: Sage Weil <sage@inktank.com>

qa/run_xfstests.sh: use old xfstests until we adapt to new org

Tests were rearranged upstream; use an old version for the time being
until we can refactor run_xfstests.sh to cope.  See #6385

Signed-off-by: Sage Weil <sage@inktank.com>

os: Simplify collection_list* funcs by removing dynamic_cast

Signed-off-by: David Zafman <david.zafman@inktank.com>

Merge pull request #645 from liewegas/wip-6346

Reviewed-by: Greg Farnum <greg@inktank.com>

Merge pull request #631 from ceph/wip-5857-8

Wip 5857 8

Reviewed-by: Sage Weil <sage@inktank.com>

Merge pull request #546 from ceph/wip-5862

Wip 5862

Reviewed-by: Samuel Just <sam.just@inktank.com>

os: Make write_version_stamp() private

Signed-off-by: David Zafman <david.zafman@inktank.com>