cmp: fix 5-uple operator==

Doh!

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

osd: do not backfill if any objects are missing on the primary

Someday we need to do something smarter so that a single unfound object
doesn't hold up replication of other objects.  For now, this is the
simplest thing to do.

Signed-off-by: Sage Weil <sage@newdream.net>

osd: handle backfill_target for pick_newest_available

The it may not be missing on the backfill_target if it is after the
last_backfill marker.

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

osd: return EINVAL if multi op specified with no src object name

This avoids crashing later in do_osd_ops() with something like

osd/ReplicatedPG.cc: In function 'int ReplicatedPG::do_osd_ops(ReplicatedPG::OpContext*, std::vector<OSDOp, std::allocator<OSDOp> >&, ceph::bufferlist&)', in thread '7f27e2d7e700'
osd/ReplicatedPG.cc: 1386: FAILED assert(src_obc)

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

hobject_t: fix operator==, !=

These weren't comparing key.

While we're at it, clean this up by using generic macros for writing
these operators, so we don't get it wrong half the time.

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

cmp.h: define macros for creating comparison operators

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

Merge remote branch 'gh/master' into wip-backfill

.gitignore: src/ocf/ceph

Signed-off-by: Sage Weil <sage@newdream.net>

Spec: conditionally build ceph-resource-agents package

Put OCF resource agents in a separate subpackage,
to be enabled with a separate build conditional
(--with ocf).

Make the subpackage depend on the resource-agents
package, which provides the ocf-shellfuncs library
that the Ceph RAs use.

Signed-off-by: Florian Haas <florian@hastexo.com>

Add OCF-compliant resource agent for Ceph daemons

Add a wrapper around the ceph init script that makes
MDS, OSD and MON configurable as Open Cluster Framework
(OCF) compliant cluster resources. Allows Ceph
daemons to tie in with cluster resource managers that
support OCF, such as Pacemaker (http://www.clusterlabs.org).

Disabled by default, configure --with-ocf to enable.

Signed-off-by: Florian Haas <florian@hastexo.com>

mon: fix full ratio updates

- update them independently
- only if we are leader
- fix type for nearfull_ratio

Signed-off-by: Sage Weil <sage@newdream.net>

mon: don't ignore first full ratio update callback

We get a callack on startup.  Don't ignore it.

Signed-off-by: Sage Weil <sage@newdream.net>

mon: only update full_ratio if we're the leader

Signed-off-by: Sage Weil <sage@newdream.net>

Merge remote branch 'gh/wip-cleanup'

mon: make full ratio config change callback safe

We can't propose_pending() from any context; do this in the tick() thread,
with the proper locking.  Among other things, this fixes the crash on
startup that is now triggered due to eba235f2.

Signed-off-by: Sage Weil <sage@newdream.net>

clitests: update for new error format

This was changed in 1f434da8a3ca4db830d1f3b0d87e5df941d85f2d

Signed-off-by: Josh Durgin <josh.durgin@dreamhost.com>

clitests: update monmaptool test

e93961c11119942eae3a4cd14a79f779a5a4d277 changed output format.

Signed-off-by: Josh Durgin <josh.durgin@dreamhost.com>

init script: be LSB compliant for exit code on status

An exit code of 1 on status is defined in LSB as
"program is dead, but pid file exists". Check for existence
of this pid file, and only set the exit status 1 if it's still there.
Set it to 3 ("program is not running") otherwise.

Reference: http://refspecs.linuxbase.org/LSB_3.1.0/LSB-Core-generic/LSB-Core-generic/iniscrptact.html

Signed-off-by: Florian Haas <florian@hastexo.com>

keyring: print more useful errors to log/err

Signed-off-by: Sage Weil <sage@newdream.net>

common: trigger all observers on startup

Among other things, this makes err-to-stderr and friends initialize
properly in the DoutStreamBuf.

Signed-off-by: Sage Weil <sage@newdream.net>

common: make cpp_strerror output prettier

Signed-off-by: Sage Weil <sage@newdream.net>

librados: check for monclient::init() error

I think this fixes #1835.

Signed-off-by: Sage Weil <sage@newdream.net>

qa: load-gen-mix-small.sh

rgw: turn on cache by default

osd: explicitly track leading edge of backfill

backfill_pos is the leading edge; last_backfill is the trailing edge.
Anything inbetween is either pushed, doesn't exist, or in
backfills_in_flight.

For operations on non-degraded (in-progress) objects in that window, book
the stats update in pending_backfill_updates so that it will get applied
when last_backfill is advanced.

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

mds: assert if we get an EINVAL on our truncate

Signed-off-by: Sage Weil <sage@newdream.net>

osd: get fsid from monmap, not osdmap

We may not have a valid OSDMap in all of these cases (notably, during
boot).  Always take the fsid from the monmap, which will be valid after
we've authenticated.

This fixes messages like

2011-12-29 08:53:44.530830 7ff3595e2700 mon.a@0(leader).pg v5 handle_statfs on fsid 00000000-0000-0000-0000-000000000000 != f8a6383d-5fbe-4f65-907e-f8d09e1d540d

on the monitor from MPGStats messages with a bad fsid right after osd boot.

Signed-off-by: Sage Weil <sage@newdream.net>

monc: get latest monmap during authentication

Tell the monitor which monmap version we have in our initial auth message.
Make the monitor send the latest monmap if it has something newer.  This
ensures that once authentication completes the monclient has the latest
monmap and a valid fsid.

Fixes: #1848
Signed-off-by: Sage Weil <sage@newdream.net>

osd: catch authenticate error on startup

Signed-off-by: Sage Weil <sage@newdream.net>

osdmap: add const markers to some unfixed functions

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

rgw: removing swift user index when removing user

rgw-admin: remove subuser index when required

osd: fix push completion check

Only check backfill if we pushed to the backfill target.  And avoid teh hash
lookup in the general case.

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

rgw: clone operation should only update index for main category

rgw: fix cache interface (was not overloading method)

rgw: fix bucket creation

rgw: write bucket info in one operation

Objecter: fix local reads one more time.

Document it a little since we've gotten it wrong so often.

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

Merge remote branch 'upstream/master' into wip-backfill

Conflicts:
src/include/object.h

Signed-off-by: Samuel Just <samuel.just@dreamhost.com>

ReplicatedPG: objects currently begin backfilled are degraded

pending_stat_updates has also been renamed to pending_backfill_updates.

Signed-off-by: Samuel Just <samuel.just@dreamhost.com>

ReplicatedPG: fill in backfill_peer in on_activate

Previously, there was a race between issue_repop/do_op and
start_recovery_ops.

Signed-off-by: Samuel Just <samuel.just@dreamhost.com>

ReplicatedPG: only pull in one backfill peer at a time

Signed-off-by: Samuel Just <samuel.just@dreamhost.com>

filestore: fix config observer

Actually, I don't think this was fully implemented to begin with, so it's
not a 'fix' per se.  This will let you use injectargs to adjust the
filestore config options during runtime.

Signed-off-by: Sage Weil <sage@newdream.net>

MOSDPGRepScrub: Fix typo in MOSDPGRepScrub

Signed-off-by: Samuel Just <samuel.just@dreamhost.com>

PG: update stats from master only if not backfilling

Signed-off-by: Samuel Just <samuel.just@dreamhost.com>

PG: backfill info should be cleared on recovery reset

Signed-off-by: Samuel Just <samuel.just@dreamhost.com>

ReplicatedPG: init backfill infos to last_backfill

We can scan starting from last_backfill to avoid rescanning portions
of the collection recovered by normal recovery.  collection_list_partial
now includes begin if present.  next will be <= the next object in the
collection.  This way we can scan starting at last_backfill without
skipping last_backfill.

Signed-off-by: Samuel Just <rexludorum@gmail.com>

ReplicatedPG: update last_backfill when pushes complete

Signed-off-by: Samuel Just <samuel.just@dreamhost.com>

ReplicatedPG: simplify recover_backfill

Signed-off-by: Samuel Just <samuel.just@dreamhost.com>

Merge branch 'wip-signal'

MOSDRepScrub: use header.version for payload version

Signed-off-by: Samuel Just <samuel.just@dreamhost.com>

Merge branch 'stable'

monmap: iterate over addr_name when printing summary

The rank is now ordered by IP address. We should iterate over
addr_name.

Signed-off-by: Henry C Chang <henry.cy.chang@gmail.com>

monmap: clear addr_name map on calculating ranks

We should clear addr_name before filling it. Otherwise, the removed
mon will stay there and cause incorrect rank assignment.

Signed-off-by: Henry C Chang <henry.cy.chang@gmail.com>

interval_set: fix truncation of _size

_size is type of int64_t. Use int to store the value of _size
will cause value truncation.

Signed-off-by: Henry C Chang <henry.cy.chang@gmail.com>

osd: remove SIGTERM cruft

The default handler will exit(0).  The got_sigterm stuff was dead code.

Signed-off-by: Sage Weil <sage@newdream.net>

mon: drop special SIGTERM handler

Default does exit(0).

Signed-off-by: Sage Weil <sage@newdream.net>

mds: drop special SIGTERM handler

Default does exit(0).

Signed-off-by: Sage Weil <sage@newdream.net>

exit(0) on SIGTERM by default

Signed-off-by: Sage Weil <sage@newdream.net>

ReplicatedPG: Initialize blocked_by in ObjectContext constructor

Signed-off-by: Samuel Just <samuel.just@dreamhost.com>

Merge pull request #7 from kylemarsh/wip-obsync-swift-metadata

obsync: pull object metadata from swift store

ReplicatedPG: take references for blocked_by and blocking

Signed-off-by: Samuel Just <samuel.just@dreamhost.com>

obsync: pull object metadata from swift store

Obsync wasn't pulling object metadata from swift stores and thus wasn't
syncing metadata when reading from a swift store.  This commit fixes that.

Merge remote branch 'upstream/wip-backfill-ordering' into wip-backfill

PG: add some documentation

Signed-off-by: Samuel Just <samuel.just@dreamhost.com>

ReplicatedPG: delay op while snapdir is missing/degraded

We cannot get/update a snapcontext if snapdir is missing/degraded.

Signed-off-by: Samuel Just <samuel.just@dreamhost.com>

ReplicatedPG: don't manage waiting_on_backfill in start/finish_recovery_op

Set waiting_on_backfill in recover_backfill and clear in do_scan.

Signed-off-by: Samuel Just <samuel.just@dreamhost.com>

rgw: fix subuser key name when purging subuser keys

radosgw-admin: add --purge-keys option

ReplicatedPG: apply_repop: apply local_t before op_t

We create snap_collections in local_t and clone into them in op_t.

Signed-off-by: Samuel Just <samuel.just@dreamhost.com>

librados: return -EROFS when trying to write to a snapshot

operate_read doesn't need this check because it does not write.

Signed-off-by: Josh Durgin <josh.durgin@dreamhost.com>

librados: make getxattrs ENOMEM return negative

This is more consistent with the rest of librados.

Signed-off-by: Josh Durgin <josh.durgin@dreamhost.com>

PG: Do not update_snap_collections for log entries > last_backfill

Signed-off-by: Samuel Just <samuel.just@dreamhost.com>

PG: Fix stat debug output

Signed-off-by: Samuel Just <samuel.just@dreamhost.com>

calc_acting: Prefer up[0] as primary if possible

Previously, we could get into a state where although up[0] has been
fully backfilled, acting[0] could be selected as a primary if it is able
to pull another peer into the acting set.  This also collects the logic
of choosing the best info into a helper function.

Signed-off-by: Samuel Just <samuel.just@dreamhost.com>

rgw: add timeout to init path

MOSDRepScrub,ReplicatedPG: Add scrub_to to MOSDRepScrub

When scrub_from is set, also set scrub_to to the primary's
last_update_applied (which will also be the official last_update before
finalizing scrub began).  The replica instead of waiting for
last_update_applied to catch up to last_update will wait for
last_update_applied to catch up to active_rep_scrub->scrub_to.  This
avoids a race where the replica scrub is requeued before all of the
currently queued sub-ops have been processed.

Signed-off-by: Samuel Just <samuel.just@dreamhost.com>

mon: update man page to document --mkfs stuff

Signed-off-by: Sage Weil <sage@newdream.net>

mds: misc assertions about truncation

Signed-off-by: Sage Weil <sage@newdream.net>

osd: EINVAL on truncate to huge object size

Signed-off-by: Sage Weil <sage@newdream.net>

Merge pull request #6 from kylemarsh/wip-obsync-swift

Wip obsync swift

rgw: remove temp context in prepare_get_obj

rgw: fix xml parser internal structure leak

rgw: fix a leak of acl structure (in req_state)

rgw: remove temp context in prepare_get_obj

rgw: fix xml parser internal structure leak

rgw: fix a leak of acl structure (in req_state)

Merge branch 'wip-osd-maybe-created'

Merge branch 'wip-osd-fsid'

doc: fix typo

Signed-off-by: Sage Weil <sage@newdream.net>

osd: --get-journal-fsid

Signed-off-by: Sage Weil <sage@newdream.net>

filejournal: uuid for fsid

Decode old header struct, but encode new class using more normal encoding
style.  Embed in a bufferlist for later extensibility.  Use the first
64 bits of the uuid for the per-entry magic, as before.

When we load an old fsid, we mirror the 64-bits.

Signed-off-by: Sage Weil <sage@newdream.net>

filestore: make fsid uuid_d instead of uint64_t

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

osd: --get-osd-fsid and --get-cluster-fsid

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

osd: store osd_fsid as text in osd_data dir

along with ceph_fsid (the cluster fsid) and a few other things.

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

osd: include osd_fsid in OSDSuperblock

Generated during mkfs.

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

osd: rename OSDSuperblock::fsid -> cluster_fsid

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

doc: fix mon cluster expansion docs

Signed-off-by: Sage Weil <sage@newdream.net>

mon: pull addr from ceph.conf, mon_host as needed when joining mon cluster

Signed-off-by: Sage Weil <sage@newdream.net>

mon: fix setting of mon addr when joining a cluster

Signed-off-by: Sage Weil <sage@newdream.net>