mds: remove compiler warning in CInode

mds: fix get_projected_srnode to actually find an srnode,
instead of returning the (possibly NULL) last projected_node has set

Also, add brief documentation.

mds: remove unnecessary silent fallout from add_primary_dentry.

mds: drop projected_snaprealm_ptr

Can also get this from the projected_nodes list.

mds: drop projected_xattrs_ptr

We don't need these if we just look at the projected_nodes list, just like
get_projected_inode() and get_previous_projected_inode().

mds: allow you to DELETE snapshots in root directory too

Merge branch 'unstable' into rootsnap

osd: disable potentially dangerous dead code

Greg got a segfault accessing the OSDOP& first reference. Not clear why,
but this whole block is dead code.

backtrace: fix segfault in tcmalloc.
The print function is only called when we're about to crash anyway,
and the datamember 'foo' is allocated by ptmalloc, not tcmalloc. Freeing
it via tcmalloc causes its own crash which pollutes our debugging and
incorrectly sticks tcmalloc into the stack. So, just don't free.

mds: fix pick_inode_snap

Return when we find something.

mds: fix intermediate snapped inode updates

Pass head inode to pick_inode_snap!

utime: microsecond -> nanosecond resolution

Strictly speaking, this changes the encoding.  But, the encoding was
broken before, because ceph_timespec in ns but we were actually encoding
us.

But it's all subsecond resolution, so who cares.  Just change it!

backtrace: fix segfault in tcmalloc.
The print function is only called when we're about to crash anyway,
and the datamember 'foo' is allocated by ptmalloc, not tcmalloc. Freeing
it via tcmalloc causes its own crash which pollutes our debugging and
incorrectly sticks tcmalloc into the stack. So, just don't free.

mds: allow snaps in root dir. This may be too large a stick, though

mds: CInode should set projected_snaprealm_ptr to NULL if we pop the last one!

mds: project_snaprealm in project_and_dirty_inode. Fix users.

mds: journal snaprealm changes in MDCache::journal_cow_dentry,
if a new snapnode exists.

This means that you shouldn't journal them elsewhere if they go through
journal_cow_dentry, so remove from mksnap and rmsnap!

mds: implement get_previous_projected_xattrs; use in MDCache::cow_inode().

Fixes #351

mds: move snaprealm projection to operate cooperatively with inode projection.

mds: move inode and xattr projection into projected_nodes list.

start switching to use projected_nodes in projection and journaling code

mds: CInode: create new projection_node with pointers for
inode, xattrs, and snaprealm.

notes on snaprealm projection in project_inode situations

mds: CDentry. Remove needlessly redundant inline if-else.

qa: add simple snaprealm test script.

Merge branch 'testing' into unstable

mds: make null snapflush helper, and call on cap removal too

Move remove_client_cap() from MDCache->Locker while we're at it!

mds: simplify/fix early null snapflush check, clean up comment

osd: carry ondisk write lock for cloned objects

This fixes a race when reading and deleting objects, as evidenced by

 cp bigfile a
 mkdir .snap/foo
 rmdir a
 diff bigfile .snap/foo/a    <-- reads cloned object before it hits disk

Reproduced by snaptest-snap-rm-cmp.sh.

Signed-off-by: Sage Weil <sage@newdream.net>

mds: fix crash when REQSCATTER races with an actual scatter/MIX

mds: fix null snapflush logic

We only want to do a null snapflush if we _know_ there isn't another one
coming: that is, there aren't any outstanding issued excl/wr cap bits at
the client.  The old test has the bitwise NOT backwards.  We can also
limit the test to the bits we care about.

mds: don't send null ack in do_snap_update

(In this case, it's a null flushsnap.)

qa: add snaptest-snap-rm-cmp

This (usually) reproduced a bug where:

 - we write a big file
 - snap it
 - remove it.  this makes the mds cow it.
 - cp the snapped version.
   - mds syncs the head
   - client starts writeback
   - (sometimes!) client sends other caps back to the mds
     - mds does null flushsnap, not realizing a real one is still coming

mds: remove forward-on-nonauth-rdlock behavior

The problem is that we may be rdlocking items with a different auth than
the main item we are modifying, so forwarding based on lock state is
inconsistent with our requirement that we be on the modified item's auth.

Either we can somehow mark whether the locked item is the "main thing" we
are operating on, or we can drop the forward behavior from the locker and
put any forwarding heuristics elsewhere.  I'm opting for the latter.

auth: fix skipping of ~/ if $HOME subst fails

We were breaking out of the loop entirely, and failing to check the rest
of the items in the path list.  Doh!

mds: oops, fix null snapflush fix

mds: clean up {have,get}_inode() definitions

mds: fix null snapflush inode lookup

Don't use pick_inode_snap is totally wrong (it depends on the current set
of snaps, etc.).. look up the inode directly via the ino and last snapid,
which we have.  Fixes a failure at the assert.

Reported-by: Thomas Mueller <thomas@chaschperli.ch>
Signed-off-by: Sage Weil <sage@newdream.net>

rgw: fix commit warning.
size_t is a long unsigned, not a long long unsigned.

qa: add simple snaprealm test script.

mds: handle no flushsnap

We won't get a flushsnap when the client has EXCL/WR caps but no dirty
data.  The MDS needs to release the snapped inode's locks when it gets a
normal update but no FLUSHSNAP.

qa: snaptest-capwb check no snapflush case first

qa: snaptest-upchildreams.sh should clean up after itself

qa: add capwb check for case where client doesn't send flushsnap

mds: fix rdlock referral on snapped inode to head

Note: this still needs some fixing, as the head and snapped inodes may be
on different MDSs!

mds: drop x/wrlocks before, rdlocks after sending reply

This lets us issue the most leases/caps possible.  It also ensure we can
issue caps in the snapped namespace when we are still on the head inode
(previously, releasing the rdlock twiddled the state, the client didn't
get say Frc, and hung indefinitely).

client: direct requests in snapped namespace based on nonsnap parent

We fixed snapdir before.. but we need to do the same for the entire snapped
portion of the namespace.

qa: add snaptest-estale.sh

Verify requests withing snapped namespace are directed to the proper
MDS.  We should never get ESTALE, only ENOENT.

qa: make snaptest-2 output less ugly

mds: make inode first track dn first on rename

This mirrors the logic in cc8f5ac47c77d1e336e16d8deb024d507e0e8c59.  Make
the renamed inode first match the destdn to avoid problems down the line.
Do this after we've (potentially) cowed the inode in the journal_cow_dentry
on srcdn.

mds: make new inodes follow dn->first

We can get a dn->first that is greater than the parent dir's seq.  Notably,
when we do something like

 mkdir foo
 mkdir foo/.snap/a
 rmdir foo/.snap/a
 rmdir foo

Here, the foo dentry has a high seq, and subsequent mkdir foo should make
sure we give the new foo dir inode the same seq (and not a lower one from
the parent).  Otherwise, things get confused later on.

mds: Use project_past_parent and pop_projected_snaprealm instead of
add_past_parent hack.

Adjusted pop_projected to invalidate caches if needed, and removed
project_past_parent's deletion of projected snaprealm.
Removed add_past_parent.

mds: use snaprealm projection in rmsnap

mds: use snaprealm projection methods for mksnap

mds: Move SnapRealm::project_past_parent to the CInode and fix users.

For now, delete the projected version of the inode so it matches (or fixes?)
old behavior. Once users have been fixed to use pop_projected_snaprealm et al,
remove that.

mds: move snaprealm projection into CInode

mds: add SnapRealm projection methods

mds: rename SnapRealm::snaprealm to SnapRealm::srnode

mds: switch all SnapRealm users to make use of snaprealm.

mds: create a new sr_t struct to hold versioned data of a SnapRealm.

mds: flush log on cap writeback if !dirty and unstable locks

The problem is if we revoke caps, nothing is dirty, but we do writeback
because we are adjusting max_size.  Then we have to wait for the log to
flush even though the revocation should proceed immediately.  To move
things along, flush the log immediately.

This still isn't ideal.. it would be nice to allow the locking to continue
and adjust max_size in parallel, but that isn't always possible, and will
require some more thought.

mds: show cdentry authpin debug state

qa: show rm/cp progress on snaptest-2

qa: add test that client updates realm children on snap update

client: correctly direct snapdir requests

Use real dir (and its caps), not the virtual snapdir.

qa: add snap-rm-diff.sh to look for issues with snapshot integrity.
Currently passes the script, although running these steps manually
(especially with smaller files) fails a fair percentage of the time for me.

mds: only kick head on snap rdlock if in SNAP_SYNC state

We may, e.g., be in the SCAN state, which is totally unrelated to the
head!

monclient: gracefully error out when given an invalid monmap path

osd: update missing_loc earlier in push

This just avoids l=-1 from showing up in the logs, makes the logic a bit
cleaner (keeps missing and missing_loc in sync).

Signed-off-by: Sage Weil <sage@newdream.net>

debian: fix tcmalloc dependency

Depend on libgoogle-perftools0, not libtcmalloc-minimal0, since we link
against libtcmalloc, not libtcmalloc-minimal.  Duh.

Signed-off-by: Sage Weil <sage@newdream.net>

client: fix xattr cap writeback

client: fix capsnap writeback of uid/gid/mode/xattrs

Some metadata wasn't making it into CapSnap and was subsequently getting
written back zeroed to the MDS.

Signed-off-by: Sage Weil <sage@newdream.net>

Merge branch 'tcmalloc' into unstable

ceph.spec.in: require, build with tcmalloc

debian: require tcmalloc

mds: only kick head on snap rdlock if auth

- If we are non-auth, stick with the snap, and the auth will do the
inference.
- If we are auth, the head had better exist, because our lock is
pinned in an unreadable state for some reason.  Assert as much.

Merge branch 'testing' into unstable

filestore: fix throttling on journal, op_queue for parallel and writeahead

filestore: fix race in op enqueuing to ensure throttle limit is honors

objectstore: fix transaction get_num_bytes

The separate bytes field isn't used; use encoded bytes count for now.

mon: mon_clock_drift_* for consistency

Merge branch 'testing' into unstable

msg: use RefCountedObject; overload get() only to cast return type

Signed-off-by: Sage Weil <sage@newdream.net>

osd: whitespace

osd: improve l_osd_buf accuracy

buffer: fix/improve debug

msgr: don't leak message when sending to a closed connection

osd: log push ops as push, not pull

logger: fix logger counter reset

Reset inc keys after each line; reset all keys on full reset.

Signed-off-by: Sage Weil <sage@newdream.net>

Merge branch 'testing' into unstable

Conflicts:
configure.ac

ceph v0.21.1

mon: use elector's epoch

This fixes a race with successive elections: we may see a new election
(X+1), then get a victory (X).  The victory is ignored (rightly so).  But
then a paxos follows that which assumes X, and our check was against
mon_epoch, only updated on election victory.. and we are inconsistent and
crash.

So, just get rid of private mon_epoch and use the elector's value.

Signed-off-by: Sage Weil <sage@newdream.net>

Makefile: include logrotate.conf in tarball

debian: fix update_pbuilder.sh

mon: rename mon_lease_wiggle_room -> mon_allowed_clock_drift

mon: backoff clock drift warnings

osd: write (empty) log, bounds on remove_pg start

This zeros the log, and the bounds, when we start pg removal.  Previously
we just removed the log and didn't write the (empty) bounds, breaking
cosd startup later when the old bounds are totally wrong.

Signed-off-by: Sage Weil <sage@newdream.net>

rgw: fix content length encoding

filestore: flush using sync(2) hammer

Since we can't easily detect ext3 (let alone whether we have data=journal),
by default use sync(2) as an overly large hammer to flush all prior applied
ops to disk.  If the option is explicitly enabled, use fsync(2) on a
file to implicitly flush the journal and prior writes.  Admins should only
enable this if they have ext2 in data=journal mode.

tcmalloc: add support for tcmalloc.

Right now it's only used on the MDS and OSD, but it can be added to mons too.