debian: fix update_pbuilder.sh

mon: rename mon_lease_wiggle_room -> mon_allowed_clock_drift

mon: backoff clock drift warnings

osd: write (empty) log, bounds on remove_pg start

This zeros the log, and the bounds, when we start pg removal.  Previously
we just removed the log and didn't write the (empty) bounds, breaking
cosd startup later when the old bounds are totally wrong.

Signed-off-by: Sage Weil <sage@newdream.net>

rgw: fix content length encoding

filestore: flush using sync(2) hammer

Since we can't easily detect ext3 (let alone whether we have data=journal),
by default use sync(2) as an overly large hammer to flush all prior applied
ops to disk.  If the option is explicitly enabled, use fsync(2) on a
file to implicitly flush the journal and prior writes.  Admins should only
enable this if they have ext2 in data=journal mode.

mds: don't try to recover filelocks if the client didn't encode any

osd: simplify class waiter list

No reason to break it down by pg_t?

rgw: make gateway dns name configurable

client: fill in num_fwd in messages to mds

osd: class load shouldn't hang when failed to load

Fixes bug #332. This happened if either the class existed, and it was either
corrupted, or failed to load from any other reason.

qa: echo output

Merge branch 'snap_cap' into unstable

Merge branch 'testing' into unstable

mds: fix send_message_client_counted helper

Don't use the outgoing message connection (usually there is none!).. use
the connection argument.  Der.  Broken since 6d770abe.

mon: add 'mds compat rm_* id' commands to adjust mdsmap compat set

This'll be helpful if someone inadvertantly starts up a new cmds, the
compat set updates, and then they can't start old cmds instances.

Of course, that will only work if the new cmds didn't write any new format
metadata!

mon: automatically incorporate new incompat features into mdsmap

mds: include compatset in beacon message

mds: add incompat clientranges bit for the format change

qa: add snap test for cap writeback

This used to fail/hang before the cap cloning business was fixed up.

mds: non-head requests always rdlock as_anon

This ensures we can't do a snapped GETATTR and rdlock with EXCL on a
directory and miss out on cap metadata still with the client.

mds: write flushsnap cap metadata into old_inode if appropriate

Don't have a test case for this yet, unfortunately, but it looks
straightforward at least. :)

mds: ensure that rdlock on snap filelock flushes data

Do the head filelock sync 'anonymously', so that we can_rdlock(-1) (no
particular client) and thus can't rdlock in the EXCL state.

mds: rdlock head when snapped inode is snap->sync

mds: do not clone caps to snapped inodes

Instead, explicitly track which locks need to be flushed (via a FLUSHSNAP)
with a LOCK_SNAP_SYNC lock state.

Restructures the handle_client_caps.

Also changes the client ranges format in the inode to keep a follows for
each client (basically 'flushed through') so that the client ranges can
get cleaned out later when it gets cowed.

mds: group finishers after eval_cap_gather does all locks

This will reduce some churn, since we can update all the lock states before
worrying about anyone trying to take more than one (and failing, again).

config: set osd_min_down_reports to 3.

osd: only access failure_queue while under heartbeat_lock.

osd: Adjust failure reporting.

When a failure report is sent to the mon, the failed OSD is added to
pending_failures. If the OSD gets a heartbeat from an OSD in pending_failures,
it sends an MOSDFailure message repealing the previous failure report.
If an OSD is marked as failed but a message hasn't been sent, it's simply
removed from the failed list.

osdmon: Adjust failure reporting.

MOSDFailure can now be a failure or a not-failure report. If it is a
failure, OSDMon will add it to a map of failure reports until a given OSD
exceeds the minimum reports/reporters to qualify as failed, then marks it
down.
Also, only propose new actually marking an osd failed
OSD behavior is not changed, and currently the min reports/reporters are
set to 1 so external OSDMon behavior will also stay the same.

makefile: define docdir for old automake versions

Notably centos5.

Reported-by: Thomas Mueller <thomas@chaschperli.ch>
Signed-off-by: Sage Weil <sage@newdream.net>

monmaptool: man page typo fix

Signed-off-by: Sage Weil <sage@newdream.net>

osdmap: only decode internal addresses if map is new enough version

Merge branch 'testing' into unstable

rados: -i and -o are still there for other commands

Signed-off-by: Sage Weil <sage@newdream.net>

ceph.spec.in: fix docdir paths

_docdir is /usr/share/doc, not /usr/share/doc/ceph (as it is with debian).

ceph.spec.in: fix sample.ceph.conf chown

Reported-by: Xiaoguang Liu <syslxg@gmail.com>

rados: fix usage

osd: fix heartbeat to/from map updates

- always make _inst match _to and _from (don't adjust in note_down_osd)
- only mark down old hb connection in update_heartbeat_peers
- if old peer isn't down, send them a map
- don't print dup new/old messages

Signed-off-by: Sage Weil <sage@newdream.net>

osd: cover map_in_progress by osd_lock instead of an individual lock.
The separate lock is no longer needed and removing it reduces lock contention
and makes it easier to avoid races elsewhere.

osd: Unlock osd_lock in _dispatch before locking handle_map_lock

osd: switching dispatch_running to be a counter
Now it works with multiple messengers dispatching.

osd: guard _dispatch to prevent execution of new messages while the map is updating

osd: adjust map_in_progress guarding

cosd: adjust client/cluster messenger setup to be more consistent
and poison better

config: Error out when you can't parse an addr from the config file.

Also, fix up a few other addr parsing cases to break properly!

osd: use the client_messenger for the logclient.

osdmap: remove unused versions of get_[cluster_]inst

OSD: use get_cluster_inst instead of get_inst when checking other OSD instances

osd: when checking OSD identities via require_same_or_newer_map, use cluster_addr

osd: add Mutex and flag to cover execution of handle_map_lock.
Fixes a crash when the cluster and client messenger both dispatch an
OSDMap and their handling gets intertwined.

osd: be more careful with cluster/client messenger use.

osd: register the OSD on cluster_messenger if needed

config: correctly notify when OPT_ADDR config options are found.

config: add OPT_ADDR type, move "public_addr"/"cluster_addr" processing there
Necessary side effect: move public_addr/cluster_addr into g_conf.

messages: add cluster_addr to MOSDBoot, use it in OSD and OSDMonitor

cosd: move messenger existence checks to where they're useful

cosd: create separate cluster/client messengers if separate addresses are provided.

msgr: set up bind and Accepter::bind to take in addresses and bind to them

config: rename g_my_addr to g_public_addr, add g_cluster_addr

osdmap: move osd_cluster_addr decoding, and make sure that size matches osd_addr

osdmap: Make sure osd_cluster_addr matches osd_addr size on decode

osd: remove messenger pointer, fix calls to it in PG and ReplicatedPG

osd: use cluster/client_messenger as appropriate.

Modify send_incremental_map to choose based on the type of the entity.

osdmap: add osd_cluster_addr to full map
Include it in lookups and add get_cluster_inst et al to match get_inst et al

osd: make new cluster_messenger, client_messenger pointers.

Don't remove old messenger, just alias it to client_messenger.

osdmap: make room in incremental for separate cluster/client OSD addrs.

osd: fix replies to dup/already-committed requests

We can safely reply if oldv is _older_ than what's on disk.  Otherwise the
request ends up on the list and never gets removed again.

Signed-off-by: Sage Weil <sage@newdream.net>

Merge branch 'testing' into unstable

assert: only include acconfig.h ifdef __CEPH__

Signed-off-by: Sage Weil <sage@newdream.net>

librados.hpp fix

[ The following text is in the "UTF-8" character set. ]
    [ Your display is set for the "iso-8859-1" character set.  ]
    [ Some characters may be displayed incorrectly. ]

Hi,

I just realized librados.hpp could compile only if "using namespace
std;" is declared before "#include <rados/librados.hpp>", because
"vector" used without std namespace, and I think it's wrong.
It can fix following patch.

syuu

Signed-off-by: Sage Weil <sage@newdream.net>

mon: fix signed/unsigned compile warning

osd: fix map sharing with old heartbeat peers

The addr is in old_inst, since it's an old peer.  Fixes a crash like

osd/OSD.cc: In function 'void OSD::_share_map_outgoing(const entity_inst_t&)':
osd/OSD.cc:1791: FAILED assert(inst.name.is_osd())
 1: (OSD::update_heartbeat_peers()+0x1d3f) [0x4da66f]
 2: (OSD::activate_map(ObjectStore::Transaction&, std::list<Context*, std::allocator<Context*> >&)+0x8ee) [0x4db61e]
 3: (OSD::handle_osd_map(MOSDMap*)+0x233a) [0x4e506a]
 4: (OSD::_dispatch(Message*)+0x230) [0x4ef400]
 5: (OSD::ms_dispatch(Message*)+0x39) [0x4efe39]
 6: (SimpleMessenger::dispatch_entry()+0x749) [0x461fa9]
 7: (SimpleMessenger::DispatchThread::entry()+0x1c) [0x458f6c]
 8: (Thread::_entry_func(void*)+0xa) [0x46cf1a]
 9: (()+0x69ca) [0x7f978d6fb9ca]
 10: (clone()+0x6d) [0x7f978c91b6cd]

introduced by 9bfb8da9f925642bca46528a999124cd8b28ba2a.

Signed-off-by: Sage Weil <sage@newdream.net>

mds: fix cap encoding skipping when snaprealm differs

We were avoiding adding a new cap, but _any_ issue is problematic, not just
adds (which we can't really be sure about anyway due to races with client
cap release).

Signed-off-by: Sage Weil <sage@newdream.net>

osdmap: show flags

Signed-off-by: Sage Weil <sage@newdream.net>

Merge branch 'locks' into unstable

msgr: Add CEPH_FEATURE_FLOCK to default features set, remove extraneous data from protocol

ceph_fs: use __le64 instead of __u64 for over-the-wire data

mds: new low-level debug output, and turn down previous debugs

debian: add ceph-client-tools dep to ceph

Signed-off-by: Thomas Mueller <thomas@chaschperli.ch>
Signed-off-by: Sage Weil <sage@newdream.net>

debian: move utils rbd,rados,csyn to ceph-client-tools

Signed-off-by: Thomas Mueller <thomas@chaschperli.ch>
Signed-off-by: Sage Weil <sage@newdream.net>

debian: move mount.ceph to ceph-client-tools

Signed-off-by: Thomas Mueller <thomas@chaschperli.ch>
Signed-off-by: Sage Weil <sage@newdream.net>

Merge branch 'testing' into unstable

debian: move fuse-utils dep to ceph-fuse

Reported-by: Thomas Mueller <thomas@chaschperli.ch>
Signed-off-by: Sage Weil <sage@newdream.net>

cclass: fix .so loading file

The only thing I've found, is that the *.so files are included in the -devel
rpm. This leads to the fact that the 'find' in cclass doesn't return any
files. I'd suggest the attached change in the script.

Christian

Signed-off-by: Sage Weil <sage@newdream.net>

osd: send latest osdmap when we stop sending heartbeats to peer

Otherwise, they may still expect them, and may mark us down.

osd: avoid most of handle_osd_map if there are no new maps in message

We don't want to take the time to flush things to disk and shut down all
the worker threads if there is nothing new in the osdmap update (as is
usually the case).

Signed-off-by: Sage Weil <sage@newdream.net>

osd: send heartbeat request from update_heartbeat_peers

This keeps our from_stamps in a consistent state, and sends the hb request
sooner rather than later.

Signed-off-by: Sage Weil <sage@newdream.net>

mon: drop redundant pg_temp mappings

mon: make backward-compat mon id's start at '0', not 'a'

Signed-off-by: Sage Weil <sage@newdream.net>

osd: add asserts when indexing pg log by reqid

This should help catch callers that submit dup entries with the same
request id, causing other problems down the line.

mds: recover filelocks properly on client reconnect

mds: debug output and some comments.

mds: locking. Compare iterator to right list!

mds: locking. Fix waiting lock count map deletion

mds: drop distributed locks on waiting filelock messages, so they don't block

mds: better printing on lock messages

mds: replace accidnetal __u64 with uint64_t

mds: Determine if there are file locks based on flockbl size, not dirty cap bit

mds: need to size values read from a bufferlist