mds: allow cap updates to root inode

kclient: fix snap_rwsem vs s_mutex deadlock in ceph_inode_set_size

Call ceph_check_caps outside of the snap_rwsem.  Fixes this lockdep
warning:

[84919.839574] cp/2724 is trying to acquire lock:
[84919.839574]  (&s->s_mutex){--..}, at: [<ffffffffa00fa0f3>] ceph_check_caps+0x
968/0xc04 [ceph]
[84919.839574]
[84919.839574] but task is already holding lock:
[84919.839574]  (&mdsc->snap_rwsem){----}, at: [<ffffffffa00f3803>] ceph_write_b
egin+0x1d9/0x696 [ceph]
[84919.839574]
[84919.839574] which lock already depends on the new lock.
[84919.839574]
[84919.839574]
[84919.839574] the existing dependency chain (in reverse order) is:
[84919.839574]
[84919.839574] -> #1 (&mdsc->snap_rwsem){----}:
[84919.839574]        [<ffffffff8025e4bd>] validate_chain+0x9ef/0xce8
[84919.839574]        [<ffffffff8025eee6>] __lock_acquire+0x730/0x7b9
[84919.839574]        [<ffffffff8025eff4>] lock_acquire+0x85/0xa9
[84919.839574]        [<ffffffff8061577d>] down_write+0x43/0x77
[84919.839574]        [<ffffffffa010ab3c>] ceph_mdsc_handle_reply+0x960/0xa72 [c
eph]
[84919.839574]        [<ffffffffa00e7520>] ceph_dispatch+0x4eb/0x5f6 [ceph]
[84919.839574]        [<ffffffffa0103906>] try_read+0x15cf/0x17da [ceph]
[84919.839574]        [<ffffffffa0103da0>] con_work+0x28f/0x18a9 [ceph]
[84919.839574]        [<ffffffff8024cb7c>] run_workqueue+0xf5/0x209
[84919.839574]        [<ffffffff8024d88b>] worker_thread+0xdb/0xe8
[84919.839574]        [<ffffffff8025078c>] kthread+0x49/0x79
[84919.839574]        [<ffffffff8020d17a>] child_rip+0xa/0x20
[84919.839574]        [<ffffffffffffffff>] 0xffffffffffffffff
[84919.839574]
[84919.839574] -> #0 (&s->s_mutex){--..}:
[84919.839574]        [<ffffffff8025e14f>] validate_chain+0x681/0xce8
[84919.839574]        [<ffffffff8025eee6>] __lock_acquire+0x730/0x7b9
[84919.839574]        [<ffffffff8025eff4>] lock_acquire+0x85/0xa9
[84919.839574]        [<ffffffff80614fd2>] mutex_lock_nested+0x116/0x2f4
[84919.839574]        [<ffffffffa00fa0f3>] ceph_check_caps+0x968/0xc04 [ceph]
[84919.839574]        [<ffffffffa00e9c19>] ceph_inode_set_size+0xe1/0xf4 [ceph]
[84919.839574]        [<ffffffffa00f2e3c>] ceph_write_end+0x16f/0x1b4 [ceph]
[84919.839574]        [<ffffffff8027e33c>] generic_file_buffered_write+0x1a2/0x2
d4
[84919.839574]        [<ffffffff8027e958>] __generic_file_aio_write_nolock+0x354
/0x3be
[84919.839574]        [<ffffffff8027ebe4>] generic_file_aio_write+0x66/0xc2
[84919.839574]        [<ffffffffa00f1737>] ceph_aio_write+0x969/0xb52 [ceph]
[84919.839574]        [<ffffffff802aa3eb>] do_sync_write+0xe2/0x126
[84919.839574]        [<ffffffff802aabbc>] vfs_write+0xae/0x137
[84919.839574]        [<ffffffff802ab072>] sys_write+0x47/0x6f
[84919.839574]        [<ffffffff8020c0db>] system_call_fastpath+0x16/0x1b
[84919.839574]        [<ffffffffffffffff>] 0xffffffffffffffff
[84919.839574]
[84919.839574] other info that might help us debug this:
[84919.839574]
[84919.839574] 2 locks held by cp/2724:
[84919.839574]  #0:  (&sb->s_type->i_mutex_key#12){--..}, at: [<ffffffff8027ebcd
>] generic_file_aio_write+0x4f/0xc2
[84919.839574]  #1:  (&mdsc->snap_rwsem){----}, at: [<ffffffffa00f3803>] ceph_wr
ite_begin+0x1d9/0x696 [ceph]
[84919.839574]
[84919.839574] stack backtrace:
[84919.839574] Pid: 2724, comm: cp Not tainted 2.6.29 #16
[84919.839574] Call Trace:
[84919.839574]  [<ffffffff8025dac3>] print_circular_bug_tail+0xc7/0xd2
[84919.839574]  [<ffffffff8025e14f>] validate_chain+0x681/0xce8
[84919.839574]  [<ffffffff8028352a>] ? get_page_from_freelist+0x3c6/0x6b5
[84919.839574]  [<ffffffff8025eee6>] __lock_acquire+0x730/0x7b9
[84919.839574]  [<ffffffff8025eff4>] lock_acquire+0x85/0xa9
[84919.839574]  [<ffffffffa00fa0f3>] ? ceph_check_caps+0x968/0xc04 [ceph]
[84919.839574]  [<ffffffff80614fd2>] mutex_lock_nested+0x116/0x2f4
[84919.839574]  [<ffffffffa00fa0f3>] ? ceph_check_caps+0x968/0xc04 [ceph]
[84919.839574]  [<ffffffffa00fa0f3>] ? ceph_check_caps+0x968/0xc04 [ceph]
[84919.839574]  [<ffffffffa00fa0f3>] ceph_check_caps+0x968/0xc04 [ceph]
[84919.839574]  [<ffffffff8025a70e>] ? get_lock_stats+0x34/0x5e
[84919.839574]  [<ffffffffa00e9c19>] ceph_inode_set_size+0xe1/0xf4 [ceph]
[84919.839574]  [<ffffffffa00f2e3c>] ceph_write_end+0x16f/0x1b4 [ceph]
[84919.839574]  [<ffffffff8027e33c>] generic_file_buffered_write+0x1a2/0x2d4
[84919.839574]  [<ffffffff8027e958>] __generic_file_aio_write_nolock+0x354/0x3be
[84919.839574]  [<ffffffff8027ebe4>] generic_file_aio_write+0x66/0xc2
[84919.839574]  [<ffffffffa00f1737>] ceph_aio_write+0x969/0xb52 [ceph]
[84919.839574]  [<ffffffff802bd728>] ? touch_atime+0xee/0x110
[84919.839574]  [<ffffffff80329414>] ? nfs_file_read+0x107/0x116
[84919.839574]  [<ffffffff802aa3eb>] do_sync_write+0xe2/0x126
[84919.839574]  [<ffffffff8025ef04>] ? __lock_acquire+0x74e/0x7b9
[84919.839574]  [<ffffffff8025a746>] ? put_lock_stats+0xe/0x27
[84919.839574]  [<ffffffff802508a3>] ? autoremove_wake_function+0x0/0x38
[84919.839574]  [<ffffffff802d1d5b>] ? dnotify_parent+0x6c/0x74
[84919.839574]  [<ffffffff803d5f70>] ? security_file_permission+0x11/0x13
[84919.839574]  [<ffffffff802aabbc>] vfs_write+0xae/0x137
[84919.839574]  [<ffffffff802ab072>] sys_write+0x47/0x6f
[84919.839574]  [<ffffffff8020c0db>] system_call_fastpath+0x16/0x1b

mon: set seq properly on mds takeover

osd: fix sub_op_push wakeup on pulled object

soid was a ref to op->.. move delete op to the end.

object: pass const refs to comparators

Merge commit 'origin/rados' into rados

Need to fix rados_list call, and ReplicatedPG PGLS code (translate
sobject_t -> object_t).

Conflicts:

src/librados.cc
src/os/FileStore.cc
src/osd/ReplicatedPG.cc
src/testradospp.cc

rados: pgls small cleanup

rados: pgls fixes, uses context

filestore: nicer filenames for CEPH_NOSNAP objects

osd: clear reqid in backlog log entries

This avoids confusion where the version and reqid don't match, and
a single reqid appears multiple times in the pg log.

osd: don't index BACKLOG caller_ops

mds: keep only one dir commit in flight

Ordering is not guaranteed, so putting multiple commits in flight
is not safe.. the osd may commit the older data on top of the new.

osd: rev osd protocol, disk format

kclient: specify object id as string

raods: minor and merge fixes

rados: list pg, first take, partially works

osd: add PGLS op

osd: nicer pg log object names

osd: clean up object_t args

osdc: clean up object_t args

rados: clean up object_t args

osd: kill pobject_t (use sobject_t throughout)

os: const ref (p)object_t arguments where possible

osd: make object_t a string

osd: fix obc ref counting

osd: fix object context registration

The probjected object state wasn't working because the obc
wasn't making it into the map.

osd: fix replication

The shipped transaction wasn't getting applied to disk.

filestore: fix build error on 32-bit

objecter, rados: constify write bufferlist& refs

rados: c++ aio methods

mds todo

uclient: fix snaprealm update in add_update_cap

Make conditional consistent with the in->snaprealm clearing in the
cap removal path.

This was throwing a bad assertion during mds restart.

mds: purge preallocated inos/files when client disconnected

When a client is kicked out of the cluster, purge any data written to
preallocated inos.  This should be the first object in the file sequence.

kclient: correctly set REPLAY flag in requests on replay

mds: replay all old client requests before handling new requests

Adds a new CLIENTREPLAY state between REJOIN and ACTIVE.  It it's strictly
necessary for anyone to know the MDS is handling it's backlog first, but
it doesn't hurt.

crushtool: fix warning

mds: no early reply when request has slaves

Doing an early reply when there are slaves means we need to be able to
reliably replay that op as well, and the complexity needed to do that
when we're locking stuff on multiple MDS's is so not worth it.  These
ops are pretty rare anyway.

rados: add pg (non-object) ops

Some ops run against the whole pg, not individual objects.  Setting the
PGOP flag selects a different write path that skips missing object checks
(ignores oid).

rados: fix warning

rados: test aio write

rados: rename aio_free to aio_release, fix bug

filestore: add collection_list_partial

class: add cls_read api function

todo

rados: first pass at aio interface

class: able to update classes in runtime

class: classhandler locking cleanup

mds todos

osd: cleanup types

logger: fix warning

osd: include client ticket in MOSDOp

One step closer to stabilizing the client <-> osd protocol.

logger: limit precision of averages

initscript: fix instance check, again

cosd: bad disks in cosd3

cosd: fix typo

autoconf: check for openssl dev files

class: added file

kclient: max trim_caps actually work

mds: trim client state based on # caps, not real memory utilization

mem: gather meminfo stats

mds: encapsulate /proc examination in MemoryModel; calc heap size

mds: some infrastructure to recall state from clients when under memory pressure

Also some logging to monitor mds inode and cap stats.

vstart: pipe down

kclient: trim caps on demand

kclient: rework iterate_session_caps

Do not drop s_cap_lock if we failed to get an inode ref.  Othwerise we
risk the next *n pointer being invalid.

kclient: make session cap list an LRU; combine touch with check for issued caps

This both makes the issued cap check better (only traverses caps until we
get what we want), and combines the touch_cap step to bump it to the front
of the LRU.

So far all callers do the touch, so the touch arg is of dubious value..

class: added a crypto class that does md5 and sha1

class: dlopen uses RTLD_NOW instead of lazy loading

Merge branch 'rados' of ssh://ceph.newdream.net/git/ceph into rados

class: rdcall implemented

vstart: fewer pgs

osdmaptool: fix usage

buffer: fix hexdump formatting

osd: ship transaction (not op) to replicas

This simplifies the code path on the replica.  It avoids duplicating
computation, which can be a win even for trivial ops when snaps are
involved.  For active objects, it will avoid the computation as well.

Currently parallel execution will still happen if you specify a flag.
However, an object method should probably also be able to specify ||
execution is better in cases where the operation is deterministic and
|| exec will mean less data over the network.

Disable unused vector<T*> template, since it confuses the
vector<const char *> encoder.

kclient: avoid null resv ctx dereference

osd: move object_info_t, exists, size into ObjectState

The main goal is to capture everything needed by the op context
(the object_info_t, exists, size) in something that doesn't include all
of ObjectContext (such as teh current access mode, num writers, and other
things that only the primary needs) so that the sub_op_modify setup is
as simple as possible.

This kills the annoying exists, size args in all the helpers.

class: dependent classes are loaded automatically

class: utility to load classes

kclient: fix cap resv BUG

filer: fix probing when recovered size is 0

Fixes a bug where it wraps around to a negative (large)
file size.

kclient: put readdir max entries in mount options

kclient: rework cap reservation accounting a bit

Invariants:
total = used + reserved + avail
len(caps_list) = reserved + avail

Previously, reserved was part of avail, which was confusing.  Also
fixed up the reserve func such that the above invariants are always
true.

initscript: fix instance check

cosd: journal to a dedicated disk

osd: fix PG::IndexLog unindex()

The REMOVE entries won't be in the objects map.

initscript: remove notreelog by default

This screws us if we put the journal file on the same btrfs volume.  Not
that it works that well anyway, but it works even worse this way.  And
since FileStore never calls fsync(), it's fine.

script: fix req format in osd latency check

filestore: stop sync thread before journal

Otherwise we get sync thread interaction with freed journal.

osd: create journal of specified size during mkfs

kclient: avoid d_time reuse s.t. leases and dir rdcache can coexist

We want to be able to remember a lease even when we are issued
RDCACHE on the entire dir.  (Otherwise, we fail to release the
dentry when doing an op, and have to wait for the revoke round
trip.)

So avoid reusing d_time for the rdcache_gen.  Unconditionally set
it in update_dentry_lease.

Also, force inclusion of a no-op inode update if we need to include
the dentry lease release, even when the dir caps aren't changing.

mds: look at loner issued|wanted in file_eval

rados: aio prototypes

librados: display result _after_ wait

class: don't add a class when no valid binary is supplied

osd: don't send reply on message that got EAGAIN

osd: show error string in reply msg printout

mds: fix EXCL -> * check in file_eval to use loner_wanted, not issued

We should leave EXCL if the loner doesn't want the EXCL bits
(WR, EXCL, BUFFER), not if it's not issued (which is transitory).

vstart: set debug levels in conf, not cmd line

This lets you restart things more easily.

librados: remove length args from C++ interface

The bufferlists remove any need for an additional length arg.

Return ERANGE when buffers are too small.

makefile: don't build fakesyn