Merge remote branch 'origin/testing' into unstable

mds: eval inodes with caps after import

qa: add test for snapcap writeback of auth bits

qa: test xattr snap wb

osd: disable potentially dangerous dead code

Greg got a segfault accessing the OSDOP& first reference. Not clear why,
but this whole block is dead code.

backtrace: fix segfault in tcmalloc.
The print function is only called when we're about to crash anyway,
and the datamember 'foo' is allocated by ptmalloc, not tcmalloc. Freeing
it via tcmalloc causes its own crash which pollutes our debugging and
incorrectly sticks tcmalloc into the stack. So, just don't free.

mds: drop old thrash_exports time limit

osdmaptool: print useful error instead of crashing if osdmap is corrupt

crush: return error instead of BUGing on bad forcefed mapping

The forcefed mapping relies on a parent map.  However, the current
implementation assumes that the parent mapping is unique for all rules. If
that is not the case (i.e., some osd exists in multiple hierarchies) then
we cannot assert that the TAKE matches the calculated force_context.

For now, we can just fail the mapping in that case (we don't use forcefed
mappings yet).  The real solution is probably to define parent maps for
all possible hierarchies (i.e., starting at each unique TAKE starting
point).

Signed-off-by: Sage Weil <sage@newdream.net>

mds: return error to client on invalid mds op

e.g., if the client sends a filelock request and we don't support it :)

mds: fix ENOTEMPTY checking on rmdir/rename

We can't trust the inode rstat size without holding the locks.  We can
look at our auth frags and though without fear of a false positive
ENOTEMPTY, however.

Rename the function, introduce a helper for the locked check, update
comments, etc.

mds: fix pick_inode_snap

Return when we find something.

mds: fix intermediate snapped inode updates

Pass head inode to pick_inode_snap!

osd: disable potentially dangerous dead code

Greg got a segfault accessing the OSDOP& first reference. Not clear why,
but this whole block is dead code.

utime: microsecond -> nanosecond resolution

Strictly speaking, this changes the encoding.  But, the encoding was
broken before, because ceph_timespec in ns but we were actually encoding
us.

But it's all subsecond resolution, so who cares.  Just change it!

Merge branch 'testing' into unstable

mds: make null snapflush helper, and call on cap removal too

Move remove_client_cap() from MDCache->Locker while we're at it!

mds: simplify/fix early null snapflush check, clean up comment

osd: carry ondisk write lock for cloned objects

This fixes a race when reading and deleting objects, as evidenced by

 cp bigfile a
 mkdir .snap/foo
 rmdir a
 diff bigfile .snap/foo/a    <-- reads cloned object before it hits disk

Reproduced by snaptest-snap-rm-cmp.sh.

Signed-off-by: Sage Weil <sage@newdream.net>

mds: fix crash when REQSCATTER races with an actual scatter/MIX

mds: fix null snapflush logic

We only want to do a null snapflush if we _know_ there isn't another one
coming: that is, there aren't any outstanding issued excl/wr cap bits at
the client.  The old test has the bitwise NOT backwards.  We can also
limit the test to the bits we care about.

mds: don't send null ack in do_snap_update

(In this case, it's a null flushsnap.)

qa: add snaptest-snap-rm-cmp

This (usually) reproduced a bug where:

 - we write a big file
 - snap it
 - remove it.  this makes the mds cow it.
 - cp the snapped version.
   - mds syncs the head
   - client starts writeback
   - (sometimes!) client sends other caps back to the mds
     - mds does null flushsnap, not realizing a real one is still coming

mds: remove forward-on-nonauth-rdlock behavior

The problem is that we may be rdlocking items with a different auth than
the main item we are modifying, so forwarding based on lock state is
inconsistent with our requirement that we be on the modified item's auth.

Either we can somehow mark whether the locked item is the "main thing" we
are operating on, or we can drop the forward behavior from the locker and
put any forwarding heuristics elsewhere.  I'm opting for the latter.

auth: fix skipping of ~/ if $HOME subst fails

We were breaking out of the loop entirely, and failing to check the rest
of the items in the path list.  Doh!

mds: oops, fix null snapflush fix

mds: clean up {have,get}_inode() definitions

mds: fix null snapflush inode lookup

Don't use pick_inode_snap is totally wrong (it depends on the current set
of snaps, etc.).. look up the inode directly via the ino and last snapid,
which we have.  Fixes a failure at the assert.

Reported-by: Thomas Mueller <thomas@chaschperli.ch>
Signed-off-by: Sage Weil <sage@newdream.net>

rgw: fix commit warning.
size_t is a long unsigned, not a long long unsigned.

qa: add simple snaprealm test script.

mds: handle no flushsnap

We won't get a flushsnap when the client has EXCL/WR caps but no dirty
data.  The MDS needs to release the snapped inode's locks when it gets a
normal update but no FLUSHSNAP.

qa: snaptest-capwb check no snapflush case first

qa: snaptest-upchildreams.sh should clean up after itself

qa: add capwb check for case where client doesn't send flushsnap

mds: fix rdlock referral on snapped inode to head

Note: this still needs some fixing, as the head and snapped inodes may be
on different MDSs!

mds: drop x/wrlocks before, rdlocks after sending reply

This lets us issue the most leases/caps possible.  It also ensure we can
issue caps in the snapped namespace when we are still on the head inode
(previously, releasing the rdlock twiddled the state, the client didn't
get say Frc, and hung indefinitely).

client: direct requests in snapped namespace based on nonsnap parent

We fixed snapdir before.. but we need to do the same for the entire snapped
portion of the namespace.

qa: add snaptest-estale.sh

Verify requests withing snapped namespace are directed to the proper
MDS.  We should never get ESTALE, only ENOENT.

qa: make snaptest-2 output less ugly

mds: make inode first track dn first on rename

This mirrors the logic in cc8f5ac47c77d1e336e16d8deb024d507e0e8c59.  Make
the renamed inode first match the destdn to avoid problems down the line.
Do this after we've (potentially) cowed the inode in the journal_cow_dentry
on srcdn.

mds: make new inodes follow dn->first

We can get a dn->first that is greater than the parent dir's seq.  Notably,
when we do something like

 mkdir foo
 mkdir foo/.snap/a
 rmdir foo/.snap/a
 rmdir foo

Here, the foo dentry has a high seq, and subsequent mkdir foo should make
sure we give the new foo dir inode the same seq (and not a lower one from
the parent).  Otherwise, things get confused later on.

mds: flush log on cap writeback if !dirty and unstable locks

The problem is if we revoke caps, nothing is dirty, but we do writeback
because we are adjusting max_size.  Then we have to wait for the log to
flush even though the revocation should proceed immediately.  To move
things along, flush the log immediately.

This still isn't ideal.. it would be nice to allow the locking to continue
and adjust max_size in parallel, but that isn't always possible, and will
require some more thought.

mds: show cdentry authpin debug state

qa: show rm/cp progress on snaptest-2

qa: add test that client updates realm children on snap update

client: correctly direct snapdir requests

Use real dir (and its caps), not the virtual snapdir.

qa: add snap-rm-diff.sh to look for issues with snapshot integrity.
Currently passes the script, although running these steps manually
(especially with smaller files) fails a fair percentage of the time for me.

mds: only kick head on snap rdlock if in SNAP_SYNC state

We may, e.g., be in the SCAN state, which is totally unrelated to the
head!

monclient: gracefully error out when given an invalid monmap path

osd: update missing_loc earlier in push

This just avoids l=-1 from showing up in the logs, makes the logic a bit
cleaner (keeps missing and missing_loc in sync).

Signed-off-by: Sage Weil <sage@newdream.net>

debian: fix tcmalloc dependency

Depend on libgoogle-perftools0, not libtcmalloc-minimal0, since we link
against libtcmalloc, not libtcmalloc-minimal.  Duh.

Signed-off-by: Sage Weil <sage@newdream.net>

client: fix xattr cap writeback

client: fix capsnap writeback of uid/gid/mode/xattrs

Some metadata wasn't making it into CapSnap and was subsequently getting
written back zeroed to the MDS.

Signed-off-by: Sage Weil <sage@newdream.net>

Merge branch 'tcmalloc' into unstable

ceph.spec.in: require, build with tcmalloc

debian: require tcmalloc

mds: only kick head on snap rdlock if auth

- If we are non-auth, stick with the snap, and the auth will do the
inference.
- If we are auth, the head had better exist, because our lock is
pinned in an unreadable state for some reason.  Assert as much.

Merge branch 'testing' into unstable

filestore: fix throttling on journal, op_queue for parallel and writeahead

filestore: fix race in op enqueuing to ensure throttle limit is honors

objectstore: fix transaction get_num_bytes

The separate bytes field isn't used; use encoded bytes count for now.

mon: mon_clock_drift_* for consistency

Merge branch 'testing' into unstable

msg: use RefCountedObject; overload get() only to cast return type

Signed-off-by: Sage Weil <sage@newdream.net>

osd: whitespace

osd: improve l_osd_buf accuracy

buffer: fix/improve debug

msgr: don't leak message when sending to a closed connection

osd: log push ops as push, not pull

logger: fix logger counter reset

Reset inc keys after each line; reset all keys on full reset.

Signed-off-by: Sage Weil <sage@newdream.net>

Merge branch 'testing' into unstable

Conflicts:
configure.ac

ceph v0.21.1

mon: use elector's epoch

This fixes a race with successive elections: we may see a new election
(X+1), then get a victory (X).  The victory is ignored (rightly so).  But
then a paxos follows that which assumes X, and our check was against
mon_epoch, only updated on election victory.. and we are inconsistent and
crash.

So, just get rid of private mon_epoch and use the elector's value.

Signed-off-by: Sage Weil <sage@newdream.net>

Makefile: include logrotate.conf in tarball

debian: fix update_pbuilder.sh

mon: rename mon_lease_wiggle_room -> mon_allowed_clock_drift

mon: backoff clock drift warnings

osd: write (empty) log, bounds on remove_pg start

This zeros the log, and the bounds, when we start pg removal.  Previously
we just removed the log and didn't write the (empty) bounds, breaking
cosd startup later when the old bounds are totally wrong.

Signed-off-by: Sage Weil <sage@newdream.net>

rgw: fix content length encoding

filestore: flush using sync(2) hammer

Since we can't easily detect ext3 (let alone whether we have data=journal),
by default use sync(2) as an overly large hammer to flush all prior applied
ops to disk.  If the option is explicitly enabled, use fsync(2) on a
file to implicitly flush the journal and prior writes.  Admins should only
enable this if they have ext2 in data=journal mode.

tcmalloc: add support for tcmalloc.

Right now it's only used on the MDS and OSD, but it can be added to mons too.

mds: don't try to recover filelocks if the client didn't encode any

osd: simplify class waiter list

No reason to break it down by pg_t?

rgw: make gateway dns name configurable

client: fill in num_fwd in messages to mds

osd: class load shouldn't hang when failed to load

Fixes bug #332. This happened if either the class existed, and it was either
corrupted, or failed to load from any other reason.

qa: echo output

Merge branch 'snap_cap' into unstable

Merge branch 'testing' into unstable

mds: fix send_message_client_counted helper

Don't use the outgoing message connection (usually there is none!).. use
the connection argument.  Der.  Broken since 6d770abe.

mon: add 'mds compat rm_* id' commands to adjust mdsmap compat set

This'll be helpful if someone inadvertantly starts up a new cmds, the
compat set updates, and then they can't start old cmds instances.

Of course, that will only work if the new cmds didn't write any new format
metadata!

mon: automatically incorporate new incompat features into mdsmap

mds: include compatset in beacon message

mds: add incompat clientranges bit for the format change

qa: add snap test for cap writeback

This used to fail/hang before the cap cloning business was fixed up.

mds: non-head requests always rdlock as_anon

This ensures we can't do a snapped GETATTR and rdlock with EXCL on a
directory and miss out on cap metadata still with the client.

mds: write flushsnap cap metadata into old_inode if appropriate

Don't have a test case for this yet, unfortunately, but it looks
straightforward at least. :)

mds: ensure that rdlock on snap filelock flushes data

Do the head filelock sync 'anonymously', so that we can_rdlock(-1) (no
particular client) and thus can't rdlock in the EXCL state.

mds: rdlock head when snapped inode is snap->sync

mds: do not clone caps to snapped inodes

Instead, explicitly track which locks need to be flushed (via a FLUSHSNAP)
with a LOCK_SNAP_SYNC lock state.

Restructures the handle_client_caps.

Also changes the client ranges format in the inode to keep a follows for
each client (basically 'flushed through') so that the client ranges can
get cleaned out later when it gets cowed.