rados: can set snapshot sequence

rados: fixes for dynamic oids

memorymodel: fix crash on weird input

rados: rados.initialize returns negative on error

rados: rados_initialize returns negative on error

osd: add 'osd pool rmsnap poolname snapname' command

mon: create pool snaps

osd: use the pool snapc if client doesn't specify one

osd: handle removal of pool snaps

Use helper to build effective removed_snaps set (regardless of
whether they are explicitly specified in the pg_pool_t or implicity
via the pool snaps).  Keep a copy of that set in the OSD's PGPool
so we can track changes.

osd: purge snaps on a per-pool basis

Maintain a refcounted PGPool object in the OSD to track pool-wide
state (such as the latest SnapContext, snap trimming info).

Doesn't trim per-pool snaps just yet.

encoding: kill T* templates

These are a bit sneaky because they match things like 'const char *'
in a non-obvious way.  We aren't using them, so turn them off for now!

kclient: parse expanded pg_pools in osdmap (now with snap info)

We just ignore the new information; the MDS is coordinating all of our
snap efforts.

rados: include pool_snap_info in pg_pools

Include info about snaps global to each pg_pool in the pg_pool_t (and
thus OSDMap).  These snap contexts will be used when a snapc is not
explicitly specified by the client.

Note that the pool-wide snaps are (presently) mutually exclusive with
client-controlls snaps (as used by ceph) because a mixture of @snaps and
@removed_snaps doesn't clearly defined which snaps do not exist (they
share the namespace).

rados: fix includdes

rados: comment SnapContext fields

mds: share max_size updates even if cap is suppressed

Not sure about this one.  :/

kclient: use capsnap to get snapped file size

kclient: independently track size of address space

We do vmtruncate asynchronously, but must update i_size immediately.
This is partly to avoid dropping dirty snapped pages.  But we
can't use i_size for writepages because that will reflect the
truncated size, not the size of the pre-trunc snapped state.

kclient: fix truncate_pending up in fill_file_bits

The pending++ should match up 1:1 with the pending--.. so only
inc if we are also going to queue!

kclient: do all truncation outside of i_lock, via helper

ceph_setattr was calling vmtruncate inside of i_lock, which is
bad news (vmtruncate may block on page locks).  Make it use the
existing vmtruncate helper (which we really want _everyone_ to
use!).

kclient: move max_size update logic into ceph_get_cap_refs; fix race

It was previously possible to check for max_size, see it was large
enough, unlock i_lock, and go into the cap wait loop.  If a racing
thread reduces max_size, we will spin forever.

Break the cycle by moving hte max_size logic into get_cap_refs.  If
we are waiting and need a larger max_size, set a flag, so that we
recheck (possibly calling ceph_check_caps) and wait again.

mds: allow cap updates to root inode

kclient: fix snap_rwsem vs s_mutex deadlock in ceph_inode_set_size

Call ceph_check_caps outside of the snap_rwsem.  Fixes this lockdep
warning:

[84919.839574] cp/2724 is trying to acquire lock:
[84919.839574]  (&s->s_mutex){--..}, at: [<ffffffffa00fa0f3>] ceph_check_caps+0x
968/0xc04 [ceph]
[84919.839574]
[84919.839574] but task is already holding lock:
[84919.839574]  (&mdsc->snap_rwsem){----}, at: [<ffffffffa00f3803>] ceph_write_b
egin+0x1d9/0x696 [ceph]
[84919.839574]
[84919.839574] which lock already depends on the new lock.
[84919.839574]
[84919.839574]
[84919.839574] the existing dependency chain (in reverse order) is:
[84919.839574]
[84919.839574] -> #1 (&mdsc->snap_rwsem){----}:
[84919.839574]        [<ffffffff8025e4bd>] validate_chain+0x9ef/0xce8
[84919.839574]        [<ffffffff8025eee6>] __lock_acquire+0x730/0x7b9
[84919.839574]        [<ffffffff8025eff4>] lock_acquire+0x85/0xa9
[84919.839574]        [<ffffffff8061577d>] down_write+0x43/0x77
[84919.839574]        [<ffffffffa010ab3c>] ceph_mdsc_handle_reply+0x960/0xa72 [c
eph]
[84919.839574]        [<ffffffffa00e7520>] ceph_dispatch+0x4eb/0x5f6 [ceph]
[84919.839574]        [<ffffffffa0103906>] try_read+0x15cf/0x17da [ceph]
[84919.839574]        [<ffffffffa0103da0>] con_work+0x28f/0x18a9 [ceph]
[84919.839574]        [<ffffffff8024cb7c>] run_workqueue+0xf5/0x209
[84919.839574]        [<ffffffff8024d88b>] worker_thread+0xdb/0xe8
[84919.839574]        [<ffffffff8025078c>] kthread+0x49/0x79
[84919.839574]        [<ffffffff8020d17a>] child_rip+0xa/0x20
[84919.839574]        [<ffffffffffffffff>] 0xffffffffffffffff
[84919.839574]
[84919.839574] -> #0 (&s->s_mutex){--..}:
[84919.839574]        [<ffffffff8025e14f>] validate_chain+0x681/0xce8
[84919.839574]        [<ffffffff8025eee6>] __lock_acquire+0x730/0x7b9
[84919.839574]        [<ffffffff8025eff4>] lock_acquire+0x85/0xa9
[84919.839574]        [<ffffffff80614fd2>] mutex_lock_nested+0x116/0x2f4
[84919.839574]        [<ffffffffa00fa0f3>] ceph_check_caps+0x968/0xc04 [ceph]
[84919.839574]        [<ffffffffa00e9c19>] ceph_inode_set_size+0xe1/0xf4 [ceph]
[84919.839574]        [<ffffffffa00f2e3c>] ceph_write_end+0x16f/0x1b4 [ceph]
[84919.839574]        [<ffffffff8027e33c>] generic_file_buffered_write+0x1a2/0x2
d4
[84919.839574]        [<ffffffff8027e958>] __generic_file_aio_write_nolock+0x354
/0x3be
[84919.839574]        [<ffffffff8027ebe4>] generic_file_aio_write+0x66/0xc2
[84919.839574]        [<ffffffffa00f1737>] ceph_aio_write+0x969/0xb52 [ceph]
[84919.839574]        [<ffffffff802aa3eb>] do_sync_write+0xe2/0x126
[84919.839574]        [<ffffffff802aabbc>] vfs_write+0xae/0x137
[84919.839574]        [<ffffffff802ab072>] sys_write+0x47/0x6f
[84919.839574]        [<ffffffff8020c0db>] system_call_fastpath+0x16/0x1b
[84919.839574]        [<ffffffffffffffff>] 0xffffffffffffffff
[84919.839574]
[84919.839574] other info that might help us debug this:
[84919.839574]
[84919.839574] 2 locks held by cp/2724:
[84919.839574]  #0:  (&sb->s_type->i_mutex_key#12){--..}, at: [<ffffffff8027ebcd
>] generic_file_aio_write+0x4f/0xc2
[84919.839574]  #1:  (&mdsc->snap_rwsem){----}, at: [<ffffffffa00f3803>] ceph_wr
ite_begin+0x1d9/0x696 [ceph]
[84919.839574]
[84919.839574] stack backtrace:
[84919.839574] Pid: 2724, comm: cp Not tainted 2.6.29 #16
[84919.839574] Call Trace:
[84919.839574]  [<ffffffff8025dac3>] print_circular_bug_tail+0xc7/0xd2
[84919.839574]  [<ffffffff8025e14f>] validate_chain+0x681/0xce8
[84919.839574]  [<ffffffff8028352a>] ? get_page_from_freelist+0x3c6/0x6b5
[84919.839574]  [<ffffffff8025eee6>] __lock_acquire+0x730/0x7b9
[84919.839574]  [<ffffffff8025eff4>] lock_acquire+0x85/0xa9
[84919.839574]  [<ffffffffa00fa0f3>] ? ceph_check_caps+0x968/0xc04 [ceph]
[84919.839574]  [<ffffffff80614fd2>] mutex_lock_nested+0x116/0x2f4
[84919.839574]  [<ffffffffa00fa0f3>] ? ceph_check_caps+0x968/0xc04 [ceph]
[84919.839574]  [<ffffffffa00fa0f3>] ? ceph_check_caps+0x968/0xc04 [ceph]
[84919.839574]  [<ffffffffa00fa0f3>] ceph_check_caps+0x968/0xc04 [ceph]
[84919.839574]  [<ffffffff8025a70e>] ? get_lock_stats+0x34/0x5e
[84919.839574]  [<ffffffffa00e9c19>] ceph_inode_set_size+0xe1/0xf4 [ceph]
[84919.839574]  [<ffffffffa00f2e3c>] ceph_write_end+0x16f/0x1b4 [ceph]
[84919.839574]  [<ffffffff8027e33c>] generic_file_buffered_write+0x1a2/0x2d4
[84919.839574]  [<ffffffff8027e958>] __generic_file_aio_write_nolock+0x354/0x3be
[84919.839574]  [<ffffffff8027ebe4>] generic_file_aio_write+0x66/0xc2
[84919.839574]  [<ffffffffa00f1737>] ceph_aio_write+0x969/0xb52 [ceph]
[84919.839574]  [<ffffffff802bd728>] ? touch_atime+0xee/0x110
[84919.839574]  [<ffffffff80329414>] ? nfs_file_read+0x107/0x116
[84919.839574]  [<ffffffff802aa3eb>] do_sync_write+0xe2/0x126
[84919.839574]  [<ffffffff8025ef04>] ? __lock_acquire+0x74e/0x7b9
[84919.839574]  [<ffffffff8025a746>] ? put_lock_stats+0xe/0x27
[84919.839574]  [<ffffffff802508a3>] ? autoremove_wake_function+0x0/0x38
[84919.839574]  [<ffffffff802d1d5b>] ? dnotify_parent+0x6c/0x74
[84919.839574]  [<ffffffff803d5f70>] ? security_file_permission+0x11/0x13
[84919.839574]  [<ffffffff802aabbc>] vfs_write+0xae/0x137
[84919.839574]  [<ffffffff802ab072>] sys_write+0x47/0x6f
[84919.839574]  [<ffffffff8020c0db>] system_call_fastpath+0x16/0x1b

mon: set seq properly on mds takeover

osd: fix sub_op_push wakeup on pulled object

soid was a ref to op->.. move delete op to the end.

object: pass const refs to comparators

Merge commit 'origin/rados' into rados

Need to fix rados_list call, and ReplicatedPG PGLS code (translate
sobject_t -> object_t).

Conflicts:

src/librados.cc
src/os/FileStore.cc
src/osd/ReplicatedPG.cc
src/testradospp.cc

rados: pgls small cleanup

rados: pgls fixes, uses context

filestore: nicer filenames for CEPH_NOSNAP objects

osd: clear reqid in backlog log entries

This avoids confusion where the version and reqid don't match, and
a single reqid appears multiple times in the pg log.

osd: don't index BACKLOG caller_ops

mds: keep only one dir commit in flight

Ordering is not guaranteed, so putting multiple commits in flight
is not safe.. the osd may commit the older data on top of the new.

osd: rev osd protocol, disk format

kclient: specify object id as string

raods: minor and merge fixes

rados: list pg, first take, partially works

osd: add PGLS op

osd: nicer pg log object names

osd: clean up object_t args

osdc: clean up object_t args

rados: clean up object_t args

osd: kill pobject_t (use sobject_t throughout)

os: const ref (p)object_t arguments where possible

osd: make object_t a string

osd: fix obc ref counting

osd: fix object context registration

The probjected object state wasn't working because the obc
wasn't making it into the map.

osd: fix replication

The shipped transaction wasn't getting applied to disk.

filestore: fix build error on 32-bit

objecter, rados: constify write bufferlist& refs

rados: c++ aio methods

mds todo

uclient: fix snaprealm update in add_update_cap

Make conditional consistent with the in->snaprealm clearing in the
cap removal path.

This was throwing a bad assertion during mds restart.

mds: purge preallocated inos/files when client disconnected

When a client is kicked out of the cluster, purge any data written to
preallocated inos.  This should be the first object in the file sequence.

kclient: correctly set REPLAY flag in requests on replay

mds: replay all old client requests before handling new requests

Adds a new CLIENTREPLAY state between REJOIN and ACTIVE.  It it's strictly
necessary for anyone to know the MDS is handling it's backlog first, but
it doesn't hurt.

crushtool: fix warning

mds: no early reply when request has slaves

Doing an early reply when there are slaves means we need to be able to
reliably replay that op as well, and the complexity needed to do that
when we're locking stuff on multiple MDS's is so not worth it.  These
ops are pretty rare anyway.

rados: add pg (non-object) ops

Some ops run against the whole pg, not individual objects.  Setting the
PGOP flag selects a different write path that skips missing object checks
(ignores oid).

rados: fix warning

rados: test aio write

rados: rename aio_free to aio_release, fix bug

filestore: add collection_list_partial

class: add cls_read api function

todo

rados: first pass at aio interface

class: able to update classes in runtime

class: classhandler locking cleanup

mds todos

osd: cleanup types

logger: fix warning

osd: include client ticket in MOSDOp

One step closer to stabilizing the client <-> osd protocol.

logger: limit precision of averages

initscript: fix instance check, again

cosd: bad disks in cosd3

cosd: fix typo

autoconf: check for openssl dev files

class: added file

kclient: max trim_caps actually work

mds: trim client state based on # caps, not real memory utilization

mem: gather meminfo stats

mds: encapsulate /proc examination in MemoryModel; calc heap size

mds: some infrastructure to recall state from clients when under memory pressure

Also some logging to monitor mds inode and cap stats.

vstart: pipe down

kclient: trim caps on demand

kclient: rework iterate_session_caps

Do not drop s_cap_lock if we failed to get an inode ref.  Othwerise we
risk the next *n pointer being invalid.

kclient: make session cap list an LRU; combine touch with check for issued caps

This both makes the issued cap check better (only traverses caps until we
get what we want), and combines the touch_cap step to bump it to the front
of the LRU.

So far all callers do the touch, so the touch arg is of dubious value..

class: added a crypto class that does md5 and sha1

class: dlopen uses RTLD_NOW instead of lazy loading

Merge branch 'rados' of ssh://ceph.newdream.net/git/ceph into rados

class: rdcall implemented

vstart: fewer pgs

osdmaptool: fix usage

buffer: fix hexdump formatting

osd: ship transaction (not op) to replicas

This simplifies the code path on the replica.  It avoids duplicating
computation, which can be a win even for trivial ops when snaps are
involved.  For active objects, it will avoid the computation as well.

Currently parallel execution will still happen if you specify a flag.
However, an object method should probably also be able to specify ||
execution is better in cases where the operation is deterministic and
|| exec will mean less data over the network.

Disable unused vector<T*> template, since it confuses the
vector<const char *> encoder.

kclient: avoid null resv ctx dereference

osd: move object_info_t, exists, size into ObjectState

The main goal is to capture everything needed by the op context
(the object_info_t, exists, size) in something that doesn't include all
of ObjectContext (such as teh current access mode, num writers, and other
things that only the primary needs) so that the sub_op_modify setup is
as simple as possible.

This kills the annoying exists, size args in all the helpers.

class: dependent classes are loaded automatically

class: utility to load classes

kclient: fix cap resv BUG