ceph: add a new "run_uml.sh" script to manage running a UML client

This script is used to automate most of what's required to run a
User-Mode Linux (UML) instance.  This is mainly of interest for
ceph client developers who might benefit from the debugger access
that UML affords.  It was written for ceph development but isn't
really dependent on ceph.  It basically makes a few assumptions and
follows some conventions, and in doing so is able to encapsulate
most of the "tricky parts" of setting up to run a UML instance.

Signed-off-by: Alex Elder <elder@dreamhost.com>

rgw: adjust log level

rgw: some cleanup

rgw: only use plain PUT processor when !chunked_upload

Merge remote branch 'gh/wip-osd-retry-attempt'

Merge remote branch 'gh/wip-admin-socket'

perfcounters: fix unittest for new admin_socket interface

Broken by b389685afa1be00b5147855bf71c50042bfbfa6c.

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

Makefile: disable untitest_interval_tree

Segfaults. Valgrind errors. Accessing uninitialized memory.

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

unittest_interval_tree: make it compile

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

osd: read op should claim_append data instead of claim

rgw: remove object before writing both xattrs and data

otherwise we'll leak xattrs from previous incarnation

rgw: create plain processor for small objects

rgw: fix multipart PUT

latest revamp broke it, missed calling RGWPutObjProcessor::prepare(s)
where needed.

rgw: rearrange PutObj::execute()

groundwork for different handling of small object PUTs

rgw: different atomic handling for small objects

mon: fix uninitialized cluster_logger_registered

Signed-off-by: Sage Weil <sage@newdream.net>

objecter: ignore replies from old request attempts

If we know the request attempt, ignore old attempts.

If we do not know the attempt (because the server is old), accept the
reply.  This could lead to doing some ACK callbacks we shouldn't in
extreme failure/recovery scenarios, but that is better than doing
the callbacks out of order.

Partially fixes: #1490
Signed-off-by: Sage Weil <sage@newdream.net>

osd: encode retry attempt in MOSDOp[Reply]

In addition to the boolean flag, also encode the exact retry attempt.

Return -1 if we don't know.

Signed-off-by: Sage Weil <sage@newdream.net>

mon: document quorum_status, mon_status

Fixes: #1824
Signed-off-by: Sage Weil <sage@newdream.net>

mon: fix misplaced else

Broken by 435c29448a10ec343f5a2b7195d94c72de5b1a25.

Signed-off-by: Sage Weil <sage@newdream.net>

Merge remote branch 'gh/wip-mon-timeouts'

ceph: speak new admin socket protocol

Signed-off-by: Sage Weil <sage@newdream.net>

admin_socket: fix, extend admin_socket unit tests

Signed-off-by: Sage Weil <sage@newdream.net>

admin_socket: string commands

Commands are strings.  Old __be32 works too.  'help' to list available
commands.

Signed-off-by: Sage Weil <sage@newdream.net>

mon: elector needs to reset leader_acked on every election start

Otherwise you never reset the leader_acked after a failed
election attempt, so if mon 0 is available on the first round
but then fails, you never make progress!

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

mon: instrument elector so you can stop participating in the quorum

Add new monitor commands "quorum exit" and "quorum enter" to use it.

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

mon: kill client sessions when we're not in quorum

After a timeout of 2*mon_lease length (ie, two election rounds),
kill existing client sessions so they can reconnect to a
monitor that's (hopefully) remained in the quorum. Let any
new client sessions stick around for a mon_lease interval, then
do the same to them.

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

OCF RA: fix variable name

debian: build ceph-resource-agents

admin_socket: refactor

Combine AdminSocketConfigObs with AdminSocket so that we can interact
with it via the cct.  Simpler class structure.  Less pointer indirection.

Signed-off-by: Sage Weil <sage@newdream.net>

rbd: add a command to delete all snapshots of an image

This makes deleting images with many snapshots easier.

Signed-off-by: Josh Durgin <josh.durgin@dreamhost.com>

admin_socket: whitespace

Signed-off-by: Sage Weil <sage@newdream.net>

librbd: don't remove an image that still has snapshots

Return -EBUSY instead. After the header is removed, the snapshots
can't be removed or read, so make sure they're gone before proceeding.

Signed-off-by: Josh Durgin <josh.durgin@dreamhost.com>

SimpleMessenger: clarify when ms_bind_ipv6 is used

Signed-off-by: Josh Durgin <josh.durgin@dreamhost.com>

qa: add a slightly more stressful anchortable test

This creates more than 8 links.

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

qa: fix mdstable script for proper injectargs use.

This script is fairly primitive, but somebody might find it useful...

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

rados: fix run-length option parsing for rados load-gen

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

Merge pull request #8 from kylemarsh/master

Remove cloudfiles requirement from obsync.

qa: load-gen-mix-small-long

30 minutes

Signed-off-by: Sage Weil <sage@newdream.net>

obsync: make obsync run without cloudfiles installed

Cloudfiles probably shouldn't be a requirement for running obsync, so this
commit makes it optional.

osd: fix misdirect check for requests with old epochs

get_map() assumes the epoch passed is valid.  Check here in the caller.

Signed-off-by: Sage Weil <sage@newdream.net>

osd: check that we're supposed to be getting a PG before waitlisting requests.

This was broken in fa722de6708d3e92037df6289cc29ece12c8ea66.

Fix it by checking if the mapping was correct in the sender's epoch, and
either drop it (if valid) or handle_misdirected_request() if not.

Also fix the documentation for op_is_queueable() to not be a gigantic lie.

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>
Signed-off-by: Sage Weil <sage@newdream.net>

rados: gracefully report errors from 'ls'

Catch the exception thrown by the iterator when the OSD returns errors.

Signed-off-by: Sage Weil <sage@newdream.net>

osd: return EINVAL on bad PGLS[_FILTER] handle

Fixes: #1875
Signed-off-by: Sage Weil <sage@newdream.net>

librados: return int64_t pool ids

468e28ee60ee2fe625d2680c792a4bcb9ef19951 missed the get_id() functions.

Signed-off-by: Josh Durgin <josh.durgin@dreamhost.com>

rados.py: use uint64_t for auids

Signed-off-by: Josh Durgin <josh.durgin@dreamhost.com>

radosgw-admin: add eol following info

testrados: replace testreadwrite and testsnaps with testrados

testrados can act as testreadwrite or testsnaps by changing the
command line options for the weight of each operation type.

Signed-off-by: Josh Durgin <josh.durgin@dreamhost.com>

RadosModel: check for out of order replies within WriteOps

A single WriteOp already does multiple aio_writes. Each aio_write
gets a unique tid that is checked upon completion. There's no reason
to loop over the ranges twice since we can use the done flag instead
of the set of completions in WriteOp::finished().

Signed-off-by: Josh Durgin <josh.durgin@dreamhost.com>

RadosModel: allow TestOps to pass data to their finish methods

This will allow nested writes to keep track of which write actually
completed.  Also remove finish() and _finish() from TestOp subclasses
that had the same implementation as the superclass.

Signed-off-by: Josh Durgin <josh.durgin@dreamhost.com>

RadosModel: make object write ranges configurable

Signed-off-by: Josh Durgin <josh.durgin@dreamhost.com>

osd: add a monitor timeout via MPGStatsAck messages

Keep track of when we have outstanding updates, and while we do, make
sure the monitor responds within a timeout (default 30 seconds). If
it doesn't, reconnect!

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

Fix invalid docdir_SCRIPTS usage with >=automake-1.11.2

librados: take lock in rollback

We're poking through the osdmap; need to hold the lock here.

Signed-off-by: Sage Weil <sage@newdream.net>

objecter: assert lock held in op_submit

Signed-off-by: Sage Weil <sage@newdream.net>

librados: call aio_operate() with lock held

Signed-off-by: Sage Weil <sage@newdream.net>

rgw: create default constructors for some structs

this will silence valgrind a bit

workunits: update rbd test for new error format

Signed-off-by: Josh Durgin <josh.durgin@dreamhost.com>

config: use autoconf $libdir for default rados class dir

Fixes: #1722
Signed-off-by: Sage Weil <sage@newdream.net>

.gitignore: src/ocf/ceph

Signed-off-by: Sage Weil <sage@newdream.net>

Spec: conditionally build ceph-resource-agents package

Put OCF resource agents in a separate subpackage,
to be enabled with a separate build conditional
(--with ocf).

Make the subpackage depend on the resource-agents
package, which provides the ocf-shellfuncs library
that the Ceph RAs use.

Signed-off-by: Florian Haas <florian@hastexo.com>

Add OCF-compliant resource agent for Ceph daemons

Add a wrapper around the ceph init script that makes
MDS, OSD and MON configurable as Open Cluster Framework
(OCF) compliant cluster resources. Allows Ceph
daemons to tie in with cluster resource managers that
support OCF, such as Pacemaker (http://www.clusterlabs.org).

Disabled by default, configure --with-ocf to enable.

Signed-off-by: Florian Haas <florian@hastexo.com>

mon: fix full ratio updates

- update them independently
- only if we are leader
- fix type for nearfull_ratio

Signed-off-by: Sage Weil <sage@newdream.net>

mon: don't ignore first full ratio update callback

We get a callack on startup.  Don't ignore it.

Signed-off-by: Sage Weil <sage@newdream.net>

mon: only update full_ratio if we're the leader

Signed-off-by: Sage Weil <sage@newdream.net>

Merge remote branch 'gh/wip-cleanup'

mon: make full ratio config change callback safe

We can't propose_pending() from any context; do this in the tick() thread,
with the proper locking.  Among other things, this fixes the crash on
startup that is now triggered due to eba235f2.

Signed-off-by: Sage Weil <sage@newdream.net>

clitests: update for new error format

This was changed in 1f434da8a3ca4db830d1f3b0d87e5df941d85f2d

Signed-off-by: Josh Durgin <josh.durgin@dreamhost.com>

clitests: update monmaptool test

e93961c11119942eae3a4cd14a79f779a5a4d277 changed output format.

Signed-off-by: Josh Durgin <josh.durgin@dreamhost.com>

init script: be LSB compliant for exit code on status

An exit code of 1 on status is defined in LSB as
"program is dead, but pid file exists". Check for existence
of this pid file, and only set the exit status 1 if it's still there.
Set it to 3 ("program is not running") otherwise.

Reference: http://refspecs.linuxbase.org/LSB_3.1.0/LSB-Core-generic/LSB-Core-generic/iniscrptact.html

Signed-off-by: Florian Haas <florian@hastexo.com>

keyring: print more useful errors to log/err

Signed-off-by: Sage Weil <sage@newdream.net>

common: trigger all observers on startup

Among other things, this makes err-to-stderr and friends initialize
properly in the DoutStreamBuf.

Signed-off-by: Sage Weil <sage@newdream.net>

common: make cpp_strerror output prettier

Signed-off-by: Sage Weil <sage@newdream.net>

librados: check for monclient::init() error

I think this fixes #1835.

Signed-off-by: Sage Weil <sage@newdream.net>

qa: load-gen-mix-small.sh

rgw: turn on cache by default

mds: assert if we get an EINVAL on our truncate

Signed-off-by: Sage Weil <sage@newdream.net>

osd: get fsid from monmap, not osdmap

We may not have a valid OSDMap in all of these cases (notably, during
boot).  Always take the fsid from the monmap, which will be valid after
we've authenticated.

This fixes messages like

2011-12-29 08:53:44.530830 7ff3595e2700 mon.a@0(leader).pg v5 handle_statfs on fsid 00000000-0000-0000-0000-000000000000 != f8a6383d-5fbe-4f65-907e-f8d09e1d540d

on the monitor from MPGStats messages with a bad fsid right after osd boot.

Signed-off-by: Sage Weil <sage@newdream.net>

monc: get latest monmap during authentication

Tell the monitor which monmap version we have in our initial auth message.
Make the monitor send the latest monmap if it has something newer.  This
ensures that once authentication completes the monclient has the latest
monmap and a valid fsid.

Fixes: #1848
Signed-off-by: Sage Weil <sage@newdream.net>

osd: catch authenticate error on startup

Signed-off-by: Sage Weil <sage@newdream.net>

osdmap: add const markers to some unfixed functions

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

rgw: removing swift user index when removing user

rgw-admin: remove subuser index when required

rgw: clone operation should only update index for main category

rgw: fix cache interface (was not overloading method)

rgw: fix bucket creation

rgw: write bucket info in one operation

Objecter: fix local reads one more time.

Document it a little since we've gotten it wrong so often.

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

filestore: fix config observer

Actually, I don't think this was fully implemented to begin with, so it's
not a 'fix' per se.  This will let you use injectargs to adjust the
filestore config options during runtime.

Signed-off-by: Sage Weil <sage@newdream.net>

MOSDPGRepScrub: Fix typo in MOSDPGRepScrub

Signed-off-by: Samuel Just <samuel.just@dreamhost.com>

Merge branch 'wip-signal'

MOSDRepScrub: use header.version for payload version

Signed-off-by: Samuel Just <samuel.just@dreamhost.com>

Merge branch 'stable'

monmap: iterate over addr_name when printing summary

The rank is now ordered by IP address. We should iterate over
addr_name.

Signed-off-by: Henry C Chang <henry.cy.chang@gmail.com>

monmap: clear addr_name map on calculating ranks

We should clear addr_name before filling it. Otherwise, the removed
mon will stay there and cause incorrect rank assignment.

Signed-off-by: Henry C Chang <henry.cy.chang@gmail.com>

interval_set: fix truncation of _size

_size is type of int64_t. Use int to store the value of _size
will cause value truncation.

Signed-off-by: Henry C Chang <henry.cy.chang@gmail.com>

osd: remove SIGTERM cruft

The default handler will exit(0).  The got_sigterm stuff was dead code.

Signed-off-by: Sage Weil <sage@newdream.net>

mon: drop special SIGTERM handler

Default does exit(0).

Signed-off-by: Sage Weil <sage@newdream.net>

mds: drop special SIGTERM handler

Default does exit(0).

Signed-off-by: Sage Weil <sage@newdream.net>

exit(0) on SIGTERM by default

Signed-off-by: Sage Weil <sage@newdream.net>