qa: add snaptest-snap-rm-cmp

This (usually) reproduced a bug where:

 - we write a big file
 - snap it
 - remove it.  this makes the mds cow it.
 - cp the snapped version.
   - mds syncs the head
   - client starts writeback
   - (sometimes!) client sends other caps back to the mds
     - mds does null flushsnap, not realizing a real one is still coming

mds: remove forward-on-nonauth-rdlock behavior

The problem is that we may be rdlocking items with a different auth than
the main item we are modifying, so forwarding based on lock state is
inconsistent with our requirement that we be on the modified item's auth.

Either we can somehow mark whether the locked item is the "main thing" we
are operating on, or we can drop the forward behavior from the locker and
put any forwarding heuristics elsewhere.  I'm opting for the latter.

mds: oops, fix null snapflush fix

mds: clean up {have,get}_inode() definitions

mds: fix null snapflush inode lookup

Don't use pick_inode_snap is totally wrong (it depends on the current set
of snaps, etc.).. look up the inode directly via the ino and last snapid,
which we have.  Fixes a failure at the assert.

Reported-by: Thomas Mueller <thomas@chaschperli.ch>
Signed-off-by: Sage Weil <sage@newdream.net>

rgw: fix commit warning.
size_t is a long unsigned, not a long long unsigned.

qa: add simple snaprealm test script.

mds: handle no flushsnap

We won't get a flushsnap when the client has EXCL/WR caps but no dirty
data.  The MDS needs to release the snapped inode's locks when it gets a
normal update but no FLUSHSNAP.

qa: snaptest-capwb check no snapflush case first

qa: snaptest-upchildreams.sh should clean up after itself

qa: add capwb check for case where client doesn't send flushsnap

mds: fix rdlock referral on snapped inode to head

Note: this still needs some fixing, as the head and snapped inodes may be
on different MDSs!

mds: drop x/wrlocks before, rdlocks after sending reply

This lets us issue the most leases/caps possible.  It also ensure we can
issue caps in the snapped namespace when we are still on the head inode
(previously, releasing the rdlock twiddled the state, the client didn't
get say Frc, and hung indefinitely).

client: direct requests in snapped namespace based on nonsnap parent

We fixed snapdir before.. but we need to do the same for the entire snapped
portion of the namespace.

qa: add snaptest-estale.sh

Verify requests withing snapped namespace are directed to the proper
MDS.  We should never get ESTALE, only ENOENT.

qa: make snaptest-2 output less ugly

mds: make inode first track dn first on rename

This mirrors the logic in cc8f5ac47c77d1e336e16d8deb024d507e0e8c59.  Make
the renamed inode first match the destdn to avoid problems down the line.
Do this after we've (potentially) cowed the inode in the journal_cow_dentry
on srcdn.

mds: make new inodes follow dn->first

We can get a dn->first that is greater than the parent dir's seq.  Notably,
when we do something like

 mkdir foo
 mkdir foo/.snap/a
 rmdir foo/.snap/a
 rmdir foo

Here, the foo dentry has a high seq, and subsequent mkdir foo should make
sure we give the new foo dir inode the same seq (and not a lower one from
the parent).  Otherwise, things get confused later on.

mds: flush log on cap writeback if !dirty and unstable locks

The problem is if we revoke caps, nothing is dirty, but we do writeback
because we are adjusting max_size.  Then we have to wait for the log to
flush even though the revocation should proceed immediately.  To move
things along, flush the log immediately.

This still isn't ideal.. it would be nice to allow the locking to continue
and adjust max_size in parallel, but that isn't always possible, and will
require some more thought.

mds: show cdentry authpin debug state

qa: show rm/cp progress on snaptest-2

qa: add test that client updates realm children on snap update

client: correctly direct snapdir requests

Use real dir (and its caps), not the virtual snapdir.

qa: add snap-rm-diff.sh to look for issues with snapshot integrity.
Currently passes the script, although running these steps manually
(especially with smaller files) fails a fair percentage of the time for me.

mds: only kick head on snap rdlock if in SNAP_SYNC state

We may, e.g., be in the SCAN state, which is totally unrelated to the
head!

monclient: gracefully error out when given an invalid monmap path

osd: update missing_loc earlier in push

This just avoids l=-1 from showing up in the logs, makes the logic a bit
cleaner (keeps missing and missing_loc in sync).

Signed-off-by: Sage Weil <sage@newdream.net>

debian: fix tcmalloc dependency

Depend on libgoogle-perftools0, not libtcmalloc-minimal0, since we link
against libtcmalloc, not libtcmalloc-minimal.  Duh.

Signed-off-by: Sage Weil <sage@newdream.net>

Merge branch 'tcmalloc' into unstable

ceph.spec.in: require, build with tcmalloc

debian: require tcmalloc

mds: only kick head on snap rdlock if auth

- If we are non-auth, stick with the snap, and the auth will do the
inference.
- If we are auth, the head had better exist, because our lock is
pinned in an unreadable state for some reason.  Assert as much.

Merge branch 'testing' into unstable

filestore: fix throttling on journal, op_queue for parallel and writeahead

filestore: fix race in op enqueuing to ensure throttle limit is honors

objectstore: fix transaction get_num_bytes

The separate bytes field isn't used; use encoded bytes count for now.

mon: mon_clock_drift_* for consistency

Merge branch 'testing' into unstable

msg: use RefCountedObject; overload get() only to cast return type

Signed-off-by: Sage Weil <sage@newdream.net>

osd: whitespace

osd: improve l_osd_buf accuracy

buffer: fix/improve debug

msgr: don't leak message when sending to a closed connection

osd: log push ops as push, not pull

logger: fix logger counter reset

Reset inc keys after each line; reset all keys on full reset.

Signed-off-by: Sage Weil <sage@newdream.net>

Merge branch 'testing' into unstable

Conflicts:
configure.ac

ceph v0.21.1

mon: use elector's epoch

This fixes a race with successive elections: we may see a new election
(X+1), then get a victory (X).  The victory is ignored (rightly so).  But
then a paxos follows that which assumes X, and our check was against
mon_epoch, only updated on election victory.. and we are inconsistent and
crash.

So, just get rid of private mon_epoch and use the elector's value.

Signed-off-by: Sage Weil <sage@newdream.net>

Makefile: include logrotate.conf in tarball

debian: fix update_pbuilder.sh

mon: rename mon_lease_wiggle_room -> mon_allowed_clock_drift

mon: backoff clock drift warnings

osd: write (empty) log, bounds on remove_pg start

This zeros the log, and the bounds, when we start pg removal.  Previously
we just removed the log and didn't write the (empty) bounds, breaking
cosd startup later when the old bounds are totally wrong.

Signed-off-by: Sage Weil <sage@newdream.net>

rgw: fix content length encoding

filestore: flush using sync(2) hammer

Since we can't easily detect ext3 (let alone whether we have data=journal),
by default use sync(2) as an overly large hammer to flush all prior applied
ops to disk.  If the option is explicitly enabled, use fsync(2) on a
file to implicitly flush the journal and prior writes.  Admins should only
enable this if they have ext2 in data=journal mode.

tcmalloc: add support for tcmalloc.

Right now it's only used on the MDS and OSD, but it can be added to mons too.

mds: don't try to recover filelocks if the client didn't encode any

osd: simplify class waiter list

No reason to break it down by pg_t?

rgw: make gateway dns name configurable

client: fill in num_fwd in messages to mds

osd: class load shouldn't hang when failed to load

Fixes bug #332. This happened if either the class existed, and it was either
corrupted, or failed to load from any other reason.

qa: echo output

Merge branch 'snap_cap' into unstable

Merge branch 'testing' into unstable

mds: fix send_message_client_counted helper

Don't use the outgoing message connection (usually there is none!).. use
the connection argument.  Der.  Broken since 6d770abe.

mon: add 'mds compat rm_* id' commands to adjust mdsmap compat set

This'll be helpful if someone inadvertantly starts up a new cmds, the
compat set updates, and then they can't start old cmds instances.

Of course, that will only work if the new cmds didn't write any new format
metadata!

mon: automatically incorporate new incompat features into mdsmap

mds: include compatset in beacon message

mds: add incompat clientranges bit for the format change

qa: add snap test for cap writeback

This used to fail/hang before the cap cloning business was fixed up.

mds: non-head requests always rdlock as_anon

This ensures we can't do a snapped GETATTR and rdlock with EXCL on a
directory and miss out on cap metadata still with the client.

mds: write flushsnap cap metadata into old_inode if appropriate

Don't have a test case for this yet, unfortunately, but it looks
straightforward at least. :)

mds: ensure that rdlock on snap filelock flushes data

Do the head filelock sync 'anonymously', so that we can_rdlock(-1) (no
particular client) and thus can't rdlock in the EXCL state.

mds: rdlock head when snapped inode is snap->sync

mds: do not clone caps to snapped inodes

Instead, explicitly track which locks need to be flushed (via a FLUSHSNAP)
with a LOCK_SNAP_SYNC lock state.

Restructures the handle_client_caps.

Also changes the client ranges format in the inode to keep a follows for
each client (basically 'flushed through') so that the client ranges can
get cleaned out later when it gets cowed.

mds: group finishers after eval_cap_gather does all locks

This will reduce some churn, since we can update all the lock states before
worrying about anyone trying to take more than one (and failing, again).

config: set osd_min_down_reports to 3.

osd: only access failure_queue while under heartbeat_lock.

osd: Adjust failure reporting.

When a failure report is sent to the mon, the failed OSD is added to
pending_failures. If the OSD gets a heartbeat from an OSD in pending_failures,
it sends an MOSDFailure message repealing the previous failure report.
If an OSD is marked as failed but a message hasn't been sent, it's simply
removed from the failed list.

osdmon: Adjust failure reporting.

MOSDFailure can now be a failure or a not-failure report. If it is a
failure, OSDMon will add it to a map of failure reports until a given OSD
exceeds the minimum reports/reporters to qualify as failed, then marks it
down.
Also, only propose new actually marking an osd failed
OSD behavior is not changed, and currently the min reports/reporters are
set to 1 so external OSDMon behavior will also stay the same.

makefile: define docdir for old automake versions

Notably centos5.

Reported-by: Thomas Mueller <thomas@chaschperli.ch>
Signed-off-by: Sage Weil <sage@newdream.net>

monmaptool: man page typo fix

Signed-off-by: Sage Weil <sage@newdream.net>

osdmap: only decode internal addresses if map is new enough version

Merge branch 'testing' into unstable

rados: -i and -o are still there for other commands

Signed-off-by: Sage Weil <sage@newdream.net>

ceph.spec.in: fix docdir paths

_docdir is /usr/share/doc, not /usr/share/doc/ceph (as it is with debian).

ceph.spec.in: fix sample.ceph.conf chown

Reported-by: Xiaoguang Liu <syslxg@gmail.com>

rados: fix usage

osd: fix heartbeat to/from map updates

- always make _inst match _to and _from (don't adjust in note_down_osd)
- only mark down old hb connection in update_heartbeat_peers
- if old peer isn't down, send them a map
- don't print dup new/old messages

Signed-off-by: Sage Weil <sage@newdream.net>

osd: cover map_in_progress by osd_lock instead of an individual lock.
The separate lock is no longer needed and removing it reduces lock contention
and makes it easier to avoid races elsewhere.

osd: Unlock osd_lock in _dispatch before locking handle_map_lock

osd: switching dispatch_running to be a counter
Now it works with multiple messengers dispatching.

osd: guard _dispatch to prevent execution of new messages while the map is updating

osd: adjust map_in_progress guarding

cosd: adjust client/cluster messenger setup to be more consistent
and poison better

config: Error out when you can't parse an addr from the config file.

Also, fix up a few other addr parsing cases to break properly!

osd: use the client_messenger for the logclient.

osdmap: remove unused versions of get_[cluster_]inst

OSD: use get_cluster_inst instead of get_inst when checking other OSD instances

osd: when checking OSD identities via require_same_or_newer_map, use cluster_addr