SimpleMessenger: remove void send_keepalive.

Nobody uses this; they all call the version that returns an int.

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

Merge branch 'wip-mon-stats'

mon: add mds, mon info to cluster_logger

Signed-off-by: Sage Weil <sage@newdream.net>

mdsmap: rename get_num_*_mds() methods

Signed-off-by: Sage Weil <sage@newdream.net>

mon: report basic cluster stats via perfcounters

These are basic point-in-time cluster stats.

Signed-off-by: Sage Weil <sage@newdream.net>

crush: drop unused label

Signed-off-by: Sage Weil <sage@newdream.net>

Merge remote branch 'gh/stable'

crush: fix force to behave with non-root TAKE

If the (first) TAKE in the crush rule is not the root, see if they picked
a point somewhere beneath the appropriate part of the hierachy.  If not,
continue with a normal mapping.

Previously we would simply error out in this case and map nothing.

Signed-off-by: Sage Weil <sage@newdream.net>

crush: simplify force argument check

force isn't used past this point, only force_pos.  Collapse the if
conditions.

Signed-off-by: Sage Weil <sage@newdream.net>

workunits: print tests pjd runs

This will tell us which ones actually failed within a test suite.

Signed-off-by: Josh Durgin <josh.durgin@dreamhost.com>

Merge branch 'wip_pgls'

pybind: add object locator support to pybind pool listing

list_objects returns Object().  Object therefore now has an optional
locator_key parameter which will set up the object locator on Object()
methods to allow objects returned from list_objects with locator keys to
be used normally.

Signed-off-by: Samuel Just <samuel.just@dreamhost.com>

rados.cc: add --object-locator and object locator output to ls

--object-locator locator causes io to use the specified locator.  For
objects with non-empty locators, rados pool ls will output the locator
as well.

Signed-off-by: Samuel Just <samuel.just@dreamhost.com>

ReplicatedPG: collection_list_handle_t is now an hobject_t

Signed-off-by: Samuel Just <samuel.just@dreamhost.com>

osd: delay pg list on a snapid until missing is empty

We cannot determine from the missing set whether an object existed
at a given snap.

Signed-off-by: Samuel Just <samuel.just@dreamhost.com>

msgr: turn up socket debug printouts

These shouldn't be too common and will help in debugging
socket leaks.

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

udev: drop device number from name

The device number depends on how many rbd images have been
mapped. Removing it makes the name determined solely by the name,
image, and snapshot that are mapped, for ease of scripting or persistence
across reboots.

Signed-off-by: Josh Durgin <josh.durgin@dreamhost.com>

pybind: trivial fix of missing argument

Signed-off-by: Henry C Chang <henry.cy.chang@gmail.com>

crush: whitespace

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

osdmap: initialize cluster_snapshot_epoch

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

crush: set max_devices=0 for map with empty buckets

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

crush: fix stepping on unallocated memory

If size is 0 we can't write here.

Reported-by: pankaj singh <psingh.ait@gmail.com>
Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

client: trim lru after flushing dirty data

Shouldn't matter, but it would be interesting to see if this affects
#1737.

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

client: unmount cleanup

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

client: wait for sync writes even with cache enabled

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

client: send umount warnings to log, not stderr

stderr isn't usually open anyway.

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

ObjectStore,ReplicatedPG: remove old collection_list_partial

No need for the old collection_list_partial instance: it's cleaner to
just use an hobject_t as the collection list handle.

Signed-off-by: Samuel Just <samuel.just@dreamhost.com>

librados,Objecter,PG: list objects now includes the locator key

Previously, there was no way to recover the locator key used to create
and object.  Now, rados_objects_list_next and ObjectIterator will return
the key as well as the object name.

Signed-off-by: Samuel Just <samuel.just@dreamhost.com>

hobject_t: encode max properly

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

hobject_t: make filestore_hobject_key_t 64 bits

So we can return 0x100000000 when max=true.

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

os/HashIndex: some minimal debug output

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

ObjectStore: Add collection_list_partial for hash order

Signed-off-by: Samuel Just <samuel.just@dreamhost.com>

hobject_t: define explicit hash, operator<<; drop implicit sobject_t()

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

object.h: Sort hobject_t by nibble reversed hash

To match the HashIndex ordering, we need to sort hobject_t by the nibble
reversed hash.  We store objects in the filestore in a directory tree
with the least significant nibble at the top and the most at the bottom
to facilitate pg splitting in the future.

Signed-off-by: Samuel Just <samuel.just@dreamhost.com>

hobject_t: sort by (max, hash, oid, snap)

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

hobject_t: define max value

Create a max value that is greater than all other values.

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

gitignore: Ignore src/keyring, as created by vstart.sh

Commit 86c34ba9ee8c883b71a8449c3c261154365c35ae changed
the filename but not .gitignore.

Signed-off-by: Tommi Virtanen <tommi.virtanen@dreamhost.com>

ReplicatedPG: don't crash on empty data_subset in sub_op_push

If data_subset is empty (i.e., the data we pulled is no longer useful),
we should mark complete false and continue rather than fail the
assert in range_end().

Signed-off-by: Samuel Just <samuel.just@dreamhost.com>

workunits: fix secret file and temp file removal for kernel rbd

Signed-off-by: Josh Durgin <josh.durgin@dreamhost.com>

ReplicatedPG: do not ->put() scrub messages when adding to a WorkQueue.

This function is passing a reference from PG::active_rep_scrub to
the req_scrub_wq, not eliminating the reference (and the WorkQueue
doesn't grab a new reference itself, either).
The other alternative is to convert the WorkQueue to grab a
reference, but since they can cycle through the WorkQueue more than
once, and need to be ->put() outside the WorkQueue, I don't like
that option.
This should fix #1758.

Also add an assert to PG::_request_scrub_map to check on the other
possible cause of this bug (and fix the indentation).

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

workunits: make rbd kernel workunit executable

Signed-off-by: Josh Durgin <josh.durgin@dreamhost.com>

doc: Reorganize pip calls to use a requirements file.

The conditional before running pip install was unnecessary,
"pip install" on already installed packages is fast (as long
as it's not --upgrade), and --quiet makes it not spam the
console.

Signed-off-by: Tommi Virtanen <tommi.virtanen@dreamhost.com>

doc: Switch diagram tools from dia to ditaa.

Now you can create diagrams easily with the ".. ditaa::"
directive in the Sphinx documents.

admin/build-doc now checks for debs required for building
the documentation, or just lists commands missing for hosts
not using dpkg.

For more on Ditaa, see http://ditaa.sourceforge.net/

Signed-off-by: Tommi Virtanen <tommi.virtanen@dreamhost.com>

filestore: send back op error to log, not stderr

Signed-off-by: Sage Weil <sage@newdream.net>

doc: fix typo

Signed-off-by: Sage Weil <sage@newdream.net>

workunits: add some tests for kernel rbd

This covers some snapshot and resize functions that aren't tested by fs benchmarks.

Signed-off-by: Josh Durgin <josh.durgin@dreamhost.com>

rbd: the showmapped command shouldn't connect to the cluster

Signed-off-by: Josh Durgin <josh.durgin@dreamhost.com>

ceph-rbdnamer: include snapshot name if present

Signed-off-by: Josh Durgin <josh.durgin@dreamhost.com>

rbd, mount.ceph: use pre-stored secret if available

If a secret is specified, store and use it, but otherwise
check for a pre-existing secret to use.

Signed-off-by: Josh Durgin <josh.durgin@dreamhost.com>

secret: add is_kernel_secret function

This will let us know whether we can add a key mount option
if no secret is specified.

Signed-off-by: Josh Durgin <josh.durgin@dreamhost.com>

secret: fix error check

add_key will return -1 when an error occurs, which should be handled at a higher level and not printed here.

Signed-off-by: Josh Durgin <josh.durgin@dreamhost.com>

rbd: allow snapshots to be mapped

unmap and showmapped already support snapshots. map should too.

Signed-off-by: Josh Durgin <josh.durgin@dreamhost.com>

test_rados.py: clean up after EEXIST test

This extra pool caused subsequent pool tests to fail.

Signed-off-by: Josh Durgin <josh.durgin@dreamhost.com>

Merge remote branch 'gh/stable'

doc: fix rst syntax

Signed-off-by: Sage Weil <sage@newdream.net>

doc: document monitor cluster expansion/contraction

Pretty sure my rst syntax is wrong.

Signed-off-by: Sage Weil <sage@newdream.net>

cephtool: fix shutdown

Fix 'ceph -w' brokenness from commit ad13d0b7.

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

filejournal: make FileJournal::open() arg slightly less weird

Pass in fs_op_seq (last_committed_seq), not the next expected seq, so we
can avoid subtracting and adding 1 in odd places.

Signed-off-by: Sage Weil <sage@newdream.net>

Merge branch 'stable'

vstart.sh: .ceph_keyring -> keyring

Signed-off-by: Sage Weil <sage@newdream.net>

filejournal: remove bogus check in read_entry

It is perfectly fine to read events that are older than the fs's seq from
the journal; open() will skip them when positioning the read pointer on
open.

Also, this code is nonsensical; it always failed the assertion.

Signed-off-by: Sage Weil <sage@newdream.net>

filejournal: set last_committed_seq based on fs, not journal

last_committed_seq is the last seq committed to the fs, not the journal.
Set it when we begin replay with the fs provided value, not from the newest
entry in the journal.

Signed-off-by: Sage Weil <sage@newdream.net>

mon: stub perfcounters for monitor, cluster

The 'mon' perfcounter is for the local daemon and is always registered.

The 'cluster' perfcounter is for cluster state, and is only registered
(and thus only shows up via the admin socket) when the current daemon is
part of the cluster quorum.

No actual counters yet.

Signed-off-by: Sage Weil <sage@newdream.net>

osd: safely requeue waiting_for_ondisk waiters on_role_change

This could conceivably cause the reply ordering mismatch seen in bug
#1490.  Not sure why we didn't also fix this caller when we fixed that
bug last time :).

Signed-off-by: Sage Weil <sage@newdream.net>

osd: rename {take -> requeue}_object_waiters

It calls osd->requeue_ops(), so make naming more consistent and avoid
confusing people like me.

Signed-off-by: Sage Weil <sage@newdream.net>

rados.py: add list_pools method

Signed-off-by: Eric Chen <Eric_YH_Chen@wistron.com>
Signed-off-by: Josh Durgin <josh.durgin@dreamhost.com>

Merge branch 'stable'

Doc: add a conceptual overview of the peering process

Signed-off-by: Mark Kampe <mark.kampe@dreamhost.com>

mds: remove obsolete doc

crush: ignore forcefed input that doesn't exist

This might happen if, e.g., the file_layout specifies an osd that later
is removed from the cluster entirely.  Just ignore it instead of making
upper layers duplicate this check.

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

Revert "CrushWrapper: ignore forcefeed if it does not exist"

This reverts commit 6fbab6da6942c238d40a6b4f1680a7e6da463289.

This fails a unit test.

And I change my mind.. I think this is most cleanly handled inside crush, so
we don't duplicate the same check that is generating the error with an different
data structure.

v0.39

OSDMap: build_simple_from_conf pg_num should not be 0 with one osd

Previously, pg_num would end up set to 0 if osd.0 is the only osd.

Signed-off-by: Samuel Just <samuel.just@dreamhost.com>

objecter: initialize global_op_flags to zero

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

Doc: delete gratuitous index.html

It was not an index, and seems to contain recommendations
for system configuration.  I have renamed it to confusing.txt
and will merge it in a future commit.

Signed-off-by: Mark Kampe <mark.kampe@dreamhost.com>

Doc: complete reversion of architecture.rst

(abandon in progress improvements until everything works)

Signed-off-by: Mark Kampe <mark.kampe@dreamhost.com>

Doc: deleted gratuitious PlanningImplementation.html,

which was a copy of PlanningImplementation.txt
(and not html at all).

restored previous index.rst, which was overwritten with a copy
of PlanninImplementation.txt, but removed all of the recursively
included content from the document.

I will cherry-pick merge the new contents in a subsequent commit.

Signed-off-by: Mark Kampe <mark.kampe@dreamhost.com>

Doc: Restore the previous version of architecture.rst

it was accidentally overwritten with a version of the product
had a somewhat different audience/focus and a few sphinx
formatting errors.

I will cherry-pick the corrections in a subsequent commit.

Signed-off-by: Mark Kampe <mark.kampe@dreamhost.com>

doc: change state model from .svg to .png

Signed-off-by: Mark Kampe <mark.kampe@dreamhost.com>

fixed ubuntu version typo

CrushWrapper: ignore forcefeed if it does not exist

Signed-off-by: Samuel Just <samuel.just@dreamhost.com>

librbd: report an error if rbd header does not match

This will fail on future incompatible versions of the header format.

Signed-off-by: Josh Durgin <josh.durgin@dreamhost.com>

Merge branch 'wip_local_reads'

hadoop: apache license.

We haven't made explicit that the Hadoop Java code is under the Apache
License. Do so (with permission from the other contributors, thanks!).

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

mds: fix blocking in standby replay thread

We need to hold mylock before waiting on the cond or else we get

./common/Cond.h: In function 'int Cond::Wait(Mutex&)', in thread '7f37fe0c8700'
./common/Cond.h: 46: FAILED assert(mutex.is_locked())
 ceph version 0.38-2-g73f99a1 (commit:73f99a189f491866da2be88adcfe0bd512282755)
 1: (MDLog::_replay_thread()+0x2483) [0x6c4393]
 2: (MDLog::ReplayThread::entry()+0xd) [0x4decbd]
 3: (()+0x6d8c) [0x7f3803e8fd8c]
 4: (clone()+0x6d) [0x7f38028d504d]
 ceph version 0.38-2-g73f99a1 (commit:73f99a189f491866da2be88adcfe0bd512282755)
 1: (MDLog::_replay_thread()+0x2483) [0x6c4393]
 2: (MDLog::ReplayThread::entry()+0xd) [0x4decbd]
 3: (()+0x6d8c) [0x7f3803e8fd8c]
 4: (clone()+0x6d) [0x7f38028d504d]
*** Caught signal (Aborted) **
 in thread 7f37fe0c8700

Signed-off-by: Sage Weil <sage@newdream.net>

global: make daemon banner print explicit

This eliminates some flags and avoids annoying cases where the banner is
printed but we don't want to see it.

Signed-off-by: Sage Weil <sage@newdream.net>

mds: fix usage text

Filename is not optional.

Signed-off-by: Sage Weil <sage@newdream.net>

mds: adjust flock lock state on export

Looks like this was missed when flocklock was added.  Did a quick grep and
it doesn't look like it is missing anywhere else.

Signed-off-by: Sage Weil <sage@newdream.net>

Objecter: loop the right direction when searching for local replicas

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

doc: Add peering state diagram

Signed-off-by: Samuel Just <samuel.just@dreamhost.com>

Makefile: ipaddr.h, pick_address.h

Signed-off-by: Sage Weil <sage@newdream.net>

Makefile: add missing uuid.h to tarball

Signed-off-by: Sage Weil <sage@newdream.net>

Objecter: fix local reads in recalc_op_target

We want to use the actual OSD, not the index into the array!

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

osd: subscribe to next map if flagged FULL

This ensures the osd finds out when we become un-full in a timely manner.

Fixes: #1755
Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

mds: encode truncate_pending in inode

Otherwise we don't actually journal this value, and we get confused when
we replay a start_truncate and try to restart it.

Fixes: #1756
Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

uclient: remove filer_flags and use Objecter::global_op_flags instead

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

Objecter: add a new global_op_flags that is passed to every Op constructor.

We can use this for a global use of LOCALIZE_READS (and are about
to do so!).

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

Objecter: remove unused variable in op_submit

These flags are probably relics from when the function got split;
they belong in send_op now.

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

uclient: remove useless if-else based on snapid

These are the same command anyway!

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

debian init: Do not stop or start daemons when installing or upgrading

Signed-off-by: Wido den Hollander <wido@widodh.nl>