debian: guard upstart {start,stop} with -x check

Sigh.

Signed-off-by: Sage Weil <sage@inktank.com>

Merge branch 'wip-deb-removal' into next

Tested by Tamil, Gary.

Merge pull request #334 from ceph/wip-mon

Reviewed-by: Joao Eduardo Luis <joao.luis@inktank.com>

debian: add radosgw.postinst

Start radosgw-all job.

Signed-off-by: Sage Weil <sage@inktank.com>

debian: invoke-rc.d does not work with upstart jobs

Broken by 19c5ac37ef87aeb3d3c30aa35cd61b6f3a8414bf.

Signed-off-by: Sage Weil <sage@inktank.com>

fix test users of LevelDBStore

Need to pass in cct.

Signed-off-by: Sage Weil <sage@inktank.com>

Merge pull request #335 from ceph/wip-5176

Reviewed-by: Samuel Just <sam.just@inktank.com>

os/LevelDBStore: add perfcounters

Signed-off-by: Sage Weil <sage@inktank.com>

mon: make compaction bounds overlap

When we trim items N to M, compact over range (N-1) to M so that the
items in the queue will share bounds and get merged.  There is no harm in
compacting over a larger range here when the lower bound is a key that
doesn't exist anyway.

Signed-off-by: Sage Weil <sage@inktank.com>

os/LevelDBStore: merge adjacent ranges in compactionqueue

If we get behind and multiple adjacent ranges end up in the queue, merge
them so that we fire off compaction on larger ranges.

Signed-off-by: Sage Weil <sage@inktank.com>

Merge pull request #333 from ceph/wip-5203

Reviewed-by: Sage Weil <sage@inktank.com>

mon: fix leak of health_monitor and config_key_service

Switch to using regular pointers here.  The lifecycle of these services is
very simple such that refcounting is overkill.

Signed-off-by: Sage Weil <sage@inktank.com>

mon: return instead of exit(3) via preforker

This lets us run all the locally-scoped dtors so that leak checking will
work.

Signed-off-by: Sage Weil <sage@inktank.com>

mon: Monitor: backup monmap using all ceph features instead of quorum's

When a monitor is freshly created and for some reason its initial sync is
aborted, it will end up with an incorrect backup monmap.  This monmap is
incorrect in the sense that it will not contain the monitor's names as
it will expect on the next run.

This results from us being using the quorum features to encode the monmap
when backing it up, instead of CEPH_FEATURES_ALL.

Fixes: #5203
Signed-off-by: Joao Eduardo Luis <joao.luis@inktank.com>

debian: stop radosgw daemons on package removal

Signed-off-by: Sage Weil <sage@inktank.com>

debian: stop sysvinit ceph-mds daemons

Signed-off-by: Sage Weil <sage@inktank.com>

debian: only stop daemons on removea; not upgrade

Signed-off-by: Sage Weil <sage@inktank.com>

osd: initialize new_state field when we use it

If we use operator[] on a new int field its value is undefined; avoid
reading it or using |= et al until we initialize it.

Fixes: #4967
Backport: cuttlefish, bobtail
Signed-off-by: Sage Weil <sage@inktank.com>
Reviewed-by: David Zafman <david.zafman@inktank.com>

mds: stay in SCAN state in file_eval

If we are in the SCAN state, stay there until the recovery finishes.  Do
not jump to another state from file_eval().

Signed-off-by: Sage Weil <sage@inktank.com>
(cherry picked from commit 0071b8e75bd3f5a09cc46e2225a018f6d1ef0680)

osd: do not assume head obc object exists when getting snapdir

For a list-snaps operation on the snapdir, do not assume that the obc for the
head means the object exists.  This fixes a race between a head deletion and
a list-snaps that wrongly returns ENOENT, triggered by the DiffItersateStress
test when thrashing OSDs.

Fixes: #5183
Backport: cuttlefish
Signed-off-by: Sage Weil <sage@inktank.com>
Reviewed-by: Samuel Just <sam.just@inktank.com>

mon: compact trimmed range, not entire prefix

This will reduce the work that leveldb is asked to do by only triggering
compaction of the keys that were just trimmed.

We ma want to further reduce the work by compacting less frequently, but
this is at least a step in that direction.

Signed-off-by: Sage Weil <sage@inktank.com>

mon/MonitorDBStore: allow compaction of ranges

Allow a transaction to describe the compaction of a range of keys.  Do this
in a backward compatible say, such that older code will interpret the
compaction of a prefix + range as compaction of the entire prefix.  This
allows us to avoid introducing any new feature bits.

Signed-off-by: Sage Weil <sage@inktank.com>

os/LevelDBStore: allow compaction of key ranges

Signed-off-by: Sage Weil <sage@inktank.com>

mon: disable tdump by default

Grr.

Signed-off-by: Sage Weil <sage@inktank.com>

Merge remote-tracking branch 'gh/last'

Merge branch 'wip-5172'

Reviewed-by: Samuel Just <sam.just@inktank.com>

os/LevelDBStore: do compact_prefix() work asynchronously

We generally do not want to block while compacting a range of leveldb.
Push the blocking+waiting off to a separate thread.  (leveldb will do what
it can to avoid blocking internally; no reason for us to wait explicitly.)

This addresses part of #5176.

Signed-off-by: Sage Weil <sage@inktank.com>

osd: fix note_down_osd

Fix bug introduced in 27381c0c6259ac89f5f9c592b4bfb585937a1cfc.

Signed-off-by: Sage Weil <sage@inktank.com>

osd: fix hb con failure handler

Fix a few bugs introduced by 27381c0c6259ac89f5f9c592b4bfb585937a1cfc:

- check against both front and back cons; either one may have failed.
- close *both* front and back before reopening either.  this is
  overkill, but slightly simpler code.
- fix leak of con when marking down
- handle race against osdmap update and note_down_osd

Fixes: #5172
Signed-off-by: Sage Weil <sage@inktank.com>

Merge pull request #319 from dalgaaf/wip-da-pylint-3

Fix some smaller Python issues

Merge pull request #326 from dalgaaf/wip-da-CID-727978

kv_flat_btree_async.cc: fix AioCompletion resource leak

v0.63

HashIndex: sync top directory during start_split,merge,col_split

Otherwise, the links might be ordered after the in progress
operation tag write.  We need the in progress operation tag to
correctly recover from an interrupted merge, split, or col_split.

Fixes: #5180
Backport: cuttlefish, bobtail
Signed-off-by: Samuel Just <sam.just@inktank.com>
Reviewed-by: Sage Weil <sage@inktank.com>

Merge pull request #325 from dalgaaf/wip-da-CID-727980

kv_flat_btree_async.cc: fix AioCompletion resource leak

Merge pull request #324 from dalgaaf/wip-da-CID-727979

kv_flat_btree_async.cc: fix AioCompletion resource leak

osd/OSDMap: fix Incremental dump

The front hb addr entry may not be present.

Signed-off-by: Sage Weil <sage@inktank.com>

Merge pull request #322 from guilhem/patch-1

Reviewed-by: Sage Weil <sage@inktank.com>

kv_flat_btree_async.cc: fix AioCompletion resource leak

Call AioCompletion::release() if the completion is no longer needed.

CID 727978 (#1-2 of 2): Resource leak (RESOURCE_LEAK)
  leaked_storage: Variable "obj_aioc" going out of scope leaks the
  storage it points to.

Signed-off-by: Danny Al-Gaaf <danny.al-gaaf@bisect.de>

kv_flat_btree_async.cc: fix AioCompletion resource leak

Call AioCompletion::release() if the completion is no longer needed.

CID 727979 (#1-2 of 2): Resource leak (RESOURCE_LEAK)
  leaked_storage: Variable "a" going out of scope leaks the storage
  it points to.

Signed-off-by: Danny Al-Gaaf <danny.al-gaaf@bisect.de>

kv_flat_btree_async.cc: fix AioCompletion resource leak

Call AioCompletion::release() if the completion is no longer
needed.

CID 727980 (#1-4 of 4): Resource leak (RESOURCE_LEAK)
  leaked_storage: Variable "aioc" going out of scope leaks
  the storage it points to.

Signed-off-by: Danny Al-Gaaf <danny.al-gaaf@bisect.de>

Remove mon socket in post-stop

If ceph-mon segfault, socket file isn't removed.

By adding a remove in post-stop, upstart clean run directory properly.

Signed-off-by: Guilhem Lettron <guilhem@lettron.fr>

PendingReleaseNotes: notes about enabling HASHPSPOOL

Signed-off-by: Sage Weil <sage@inktank.com>

osdmaptool: fix cli tests

Now that the default pool flags have changed.

Signed-off-by: Sage Weil <sage@inktank.com>

Merge pull request #321 from dalgaaf/wip-da-CID-727981

kv_flat_btree_async.cc: fix AioCompletion resource leak

Merge pull request #320 from dalgaaf/wip-da-CID-727983

kv_flat_btree_async.cc: fix resource leak

doc: Updated rgw.conf example.

fixes: #4608

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

doc: Updated RGW Quickstart.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

doc: Updated index for newer terms.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

pg_pool_t: enable FLAG_HASHPSPOOL by default

Fixes: #5160
Signed-off-by: Samuel Just <sam.just@inktank.com>
Reviewed-by: Greg Farnum <greg@inktank.com>
Reviewed-by: Sage Weil <sage@inktank.com>

kv_flat_btree_async.cc: fix AioCompletion resource leak

Call AioCompletion::release() if the completion is no longer
needed to free the resources.

CID 727981 (#3 of 3): Resource leak (RESOURCE_LEAK)
  leaked_storage: Variable "top_aioc" going out of scope leaks the
  storage it points to.

Signed-off-by: Danny Al-Gaaf <danny.al-gaaf@bisect.de>

kv_flat_btree_async.cc: fix resource leak

Call AioCompletion::release() if the completion is no longer
needed to free the resources.

CID 727983 : Resource leak (RESOURCE_LEAK)
  leaked_storage: Variable "aioc" going out of scope leaks the
  storage it points to.

Signed-off-by: Danny Al-Gaaf <danny.al-gaaf@bisect.de>

ceph-disk: remove unnecessary semicolons

Signed-off-by: Danny Al-Gaaf <danny.al-gaaf@bisect.de>

ceph-disk: cast output of _check_output()

Cast output of _check_output() to str() to be able to use
str.split().

Signed-off-by: Danny Al-Gaaf <danny.al-gaaf@bisect.de>

ceph-disk: fix undefined variable

Signed-off-by: Danny Al-Gaaf <danny.al-gaaf@bisect.de>

ceph-disk: add missing spaces around operator

Signed-off-by: Danny Al-Gaaf <danny.al-gaaf@bisect.de>

Merge branch 'wip_scrub_tphandle' into next

Fixes: #5159
Reviewed-by: Sage Weil <sage@inktank.com>

PG: ping tphandle during omap loop as well

Signed-off-by: Samuel Just <sam.just@inktank.com>

PG: reset timeout in _scan_list for each object, read chunk

Signed-off-by: Samuel Just <sam.just@inktank.com>

OSD,PG: pass tphandle down to _scan_list

Signed-off-by: Samuel Just <sam.just@inktank.com>

doc: Updated Ceph FS Quick Start.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

doc: Added troubleshooting to Ceph FS index.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

doc: Added separate troubleshooting for MDS and Ceph FS.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

rgw: iterate usage entries from correct entry

Fixes: #5152
When iterating through usage entries, and when user id was
provided, we started at the user's first entry and not from
the entry indexed by the request start time.
This commit fixes the issue.

Backport: bobtail

Signed-off-by: Yehuda Sadeh <yehuda@inktank.com>
Reviewed-by: Greg Farnum <greg@inktank.com>

doc: Updates for ceph-deploy and cuttlefish.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

mon: drop unnecessary conditionals

Signed-off-by: Sage Weil <sage@inktank.com>

Merge pull request #311 from ceph/wip-5102

Reviewed-by: Sage Weil <sage@inktank.com>

Merge pull request #312 from ceph/wip-osd-hb

Reviewed-by: Samuel Just <sam.just@inktank.com>

Merge branch 'next'

modified:   src/init-ceph.in
fixed bug in init script, the "df" should be run on remote host by do_cmd,
and use $host instead of "hostname -s"

Signed-off-by: Xiaoxi Chen <xiaoxi.chen@intel.com>
(cherry picked from commit 1dd99f0fc91ee6d417325689f24601aa335b94c2)

Conflicts:

src/init-ceph.in

msgr: increase port range to 6900-7300 (from -7100)

Signed-off-by: Sage Weil <sage@inktank.com>

Merge pull request #307 from xiaoxichen/master

Reviewed-by: Sage Weil <sage@inktank.com>

modified:   src/init-ceph.in
fixed bug in init script, the "df" should be run on remote host by do_cmd,
and use $host instead of "hostname -s"

Signed-off-by: Xiaoxi Chen <xiaoxi.chen@intel.com>

osd: ping both front and back interfaces

Send ping requests to both the front and back hb addrs for peer osds.  If
the front hb addr is not present, do not send it and interpret a reply
as coming from both.  This handles the transition from old to new OSDs
seamlessly.

Note both the front and back rx times.  Both need to be up to date in order
for the peer to be healthy.

Signed-off-by: Sage Weil <sage@inktank.com>

msgr: add Messenger reference to Connection

This allows us to get the messenger associated with a connection.

Signed-off-by: Sage Weil <sage@inktank.com>

msgr: take an arbitrary set of ports to avoid binding to

We used to only need to avoid 2 ports; now we need 3.  Make it a set so we
don't have this problem later.

Signed-off-by: Sage Weil <sage@inktank.com>

osd: bind front heartbeat messenger to public_addr

Signed-off-by: Sage Weil <sage@inktank.com>

osd: send hb front addr to monitor at boot

We still aren't binding it to anything yet, or putting it in the OSDMap.

Signed-off-by: Sage Weil <sage@inktank.com>

osd: create front and back hb messenger instances

The hb_front messenger is not used yet.

Signed-off-by: Sage Weil <sage@inktank.com>

osd/OSDMap: encode front heartbeat addr

Signed-off-by: Sage Weil <sage@inktank.com>

osd/OSDMap: hb_addr -> hb_back_addr

Signed-off-by: Sage Weil <sage@inktank.com>

osd/OSDMap: new_hb_up -> new_hb_back_up

Signed-off-by: Sage Weil <sage@inktank.com>

osd/OSDMap: new_up_internal -> new_up_cluster

Signed-off-by: Sage Weil <sage@inktank.com>

osd: Add asserts for seg faults caused by corrupt OSDs

fixes: #5139

Signed-off-by: David Zafman <david.zafman@inktank.com>

osd: skip mark-me-down message if osd is not up

Fixes crash when the OSD has not successfully booted and gets a
SIGINT or SIGTERM.

Signed-off-by: Sage Weil <sage@inktank.com>

osd, mds: shut down async signal handler on exit

Signed-off-by: Sage Weil <sage@inktank.com>

rbd image_read.sh: ensure rbd is loaded

Make sure rbd is loaded before proceeding with the script.

Signed-off-by: Alex Elder <elder@inktank.com>

messages/MOSDMarkMeDown: fix uninit field

Fixes valgrind warning:
==14803== Use of uninitialised value of size 8
==14803==    at 0x12E7614: sctp_crc32c_sb8_64_bit (sctp_crc32.c:567)
==14803==    by 0x12E76F8: update_crc32 (sctp_crc32.c:609)
==14803==    by 0x12E7720: ceph_crc32c_le (sctp_crc32.c:733)
==14803==    by 0x105085F: ceph::buffer::list::crc32c(unsigned int) (buffer.h:427)
==14803==    by 0x115D7B2: Message::calc_front_crc() (Message.h:441)
==14803==    by 0x1159BB0: Message::encode(unsigned long, bool) (Message.cc:170)
==14803==    by 0x1323934: Pipe::writer() (Pipe.cc:1524)
==14803==    by 0x13293D9: Pipe::Writer::entry() (Pipe.h:59)
==14803==    by 0x120A398: Thread::_entry_func(void*) (Thread.cc:41)
==14803==    by 0x503BE99: start_thread (pthread_create.c:308)
==14803==    by 0x6C6E4BC: clone (clone.S:112)

Backport: cuttlefish
Signed-off-by: Sage Weil <sage@inktank.com>

mds: weaken reconnect assertion

See #5031.  This appears to be populated with another mds's mdsdir; just
not asserting avoids the problem for the time being.

Signed-off-by: Sage Weil <sage@inktank.com>

Merge pull request #316 from ceph/wip-sysvinit

Reviewed-by: Dan Mick <dan.mick@inktank.com>

sysvinit: fix osd weight calculation on remote hosts

We need to do df on the remote host, not locally.

Simlarly, the ceph command uses the osd key, which exists remotely; run it there.

Signed-off-by: Sage Weil <sage@inktank.com>

sysvinit: use known hostname $host instead of (incorrectly) recalculating

We would need to do hostname -s on the remote node, not the local one.
But we already have $host; use it!

Reported-by: Xiaoxi Chen <xiaoxi.chen@intel.com>
Signed-off-by: Sage Weil <sage@inktank.com>

Merge pull request #314 from ceph/wip-4228

Reviewed-by: Sage Weil <sage@inktank.com>

OSDMonitor: skip new pools in update_pools_status() and get_pools_health()

New pools won't be full.  mon->pgmon()->pg_map.pg_pool_sum[poolid] will
implicitly create an entry for poolid causing register_new_pgs() to assume that
the newly created pgs in the new pool are in fact a result of a split
preventing MOSDPGCreate messages from being sent out.

Fixes: #4813
Backport: cuttlefish
Signed-off-by: Samuel Just <sam.just@inktank.com>
Reviewed-by: Sage Weil <sage@inktank.com>

ceph-syn: specify which types of addresses to pick

Signed-off-by: Joao Eduardo Luis <joao.luis@inktank.com>

ceph-mds: specify which types of addresses to pick

Signed-off-by: Joao Eduardo Luis <joao.luis@inktank.com>

Merge pull request #315 from ceph/wip-4507

Reviewed-by: Sage Weil <sage@inktank.com>

mon: PaxosService: drop atomic_t on 'proposing'

We don't need this to be atomic -- a simple boolean is enough.

Fixes: #4507
Signed-off-by: Joao Eduardo Luis <joao.luis@inktank.com>

ceph-osd: specify which types of addresses to pick

Signed-off-by: Joao Eduardo Luis <joao.luis@inktank.com>

ceph-mon: only care about public addr during pick_addresses()

Fixes: #4228
Signed-off-by: Joao Eduardo Luis <joao.luis@inktank.com>

common: add mask argument to pick_addresses() to specify what we need

Fixes: #4228
Signed-off-by: Joao Eduardo Luis <joao.luis@inktank.com>