radostool: 'ls' fixes

librados: fix locking on sync methods

objclass: fix compilation

class: makefile, include fixes

conf: avoid parsing daemon related config options when not needed

osd: copy soid out of iterator

A ref into the iterator is inherently risky.

kclient: filemap_write_and_wait_range not exported < 2.6.30

Include a warning that snap flushing may not work.

cosd: put mds on ceph4

osd: fix use-after-free on osd

push_to_replica is called on a sobject_t ref from the missing map,
and then removes the item from said missing map.  Reorder to avoid
the soid mangling.

osd: write pg info _after_ updating log

Otherwise the log bounds don't match the PG::Info!

mds: restore session state on load; only save opened sessions

osd: remove bad assertions from IndexedLog::print()

librados: add/fix locking

librados: rename AioCompletion::put -> release

filestore: escape / and leading . in object names

Conflicts:

src/testrados.c

mds: allow online changes in mds_log_max_segments, events

mds: move 'buf' column to right

osd: only update peer_info if !noop

mds: log memory stats to mds%d.mem

librados: basic snap api?

Not actually implemented.

radostool: add 'get' and 'put'

radostool: add simple radostool shell

So far just 'lspools' works.

add Completion class

This should eventually replace Context.  The main difference is instead
of

   context->finish(r);
   delete context;

you do

   completion->complete(r);

and the completion should delete this as needed.  It's more flexible
because it doesn't require a new heap allocation for each caller
reference.  And 'delete this' is legal, so long as you do not access any
member fields after.

objclass: trivialmap

objclass: add support for c++ methods

librados: clean up snap and ctx a bit

Define PoolCtx constructor, methods.

buffer: add ability to claim ownership of memory allocated via new or malloc()

librados: aio completion notification via a callback

Added testradoscio.

rados: can set snapshot sequence

rados: fixes for dynamic oids

memorymodel: fix crash on weird input

rados: rados.initialize returns negative on error

rados: rados_initialize returns negative on error

osd: add 'osd pool rmsnap poolname snapname' command

mon: create pool snaps

osd: use the pool snapc if client doesn't specify one

osd: handle removal of pool snaps

Use helper to build effective removed_snaps set (regardless of
whether they are explicitly specified in the pg_pool_t or implicity
via the pool snaps).  Keep a copy of that set in the OSD's PGPool
so we can track changes.

osd: purge snaps on a per-pool basis

Maintain a refcounted PGPool object in the OSD to track pool-wide
state (such as the latest SnapContext, snap trimming info).

Doesn't trim per-pool snaps just yet.

encoding: kill T* templates

These are a bit sneaky because they match things like 'const char *'
in a non-obvious way.  We aren't using them, so turn them off for now!

kclient: parse expanded pg_pools in osdmap (now with snap info)

We just ignore the new information; the MDS is coordinating all of our
snap efforts.

rados: include pool_snap_info in pg_pools

Include info about snaps global to each pg_pool in the pg_pool_t (and
thus OSDMap).  These snap contexts will be used when a snapc is not
explicitly specified by the client.

Note that the pool-wide snaps are (presently) mutually exclusive with
client-controlls snaps (as used by ceph) because a mixture of @snaps and
@removed_snaps doesn't clearly defined which snaps do not exist (they
share the namespace).

rados: fix includdes

rados: comment SnapContext fields

mds: share max_size updates even if cap is suppressed

Not sure about this one.  :/

kclient: use capsnap to get snapped file size

kclient: independently track size of address space

We do vmtruncate asynchronously, but must update i_size immediately.
This is partly to avoid dropping dirty snapped pages.  But we
can't use i_size for writepages because that will reflect the
truncated size, not the size of the pre-trunc snapped state.

kclient: fix truncate_pending up in fill_file_bits

The pending++ should match up 1:1 with the pending--.. so only
inc if we are also going to queue!

kclient: do all truncation outside of i_lock, via helper

ceph_setattr was calling vmtruncate inside of i_lock, which is
bad news (vmtruncate may block on page locks).  Make it use the
existing vmtruncate helper (which we really want _everyone_ to
use!).

kclient: move max_size update logic into ceph_get_cap_refs; fix race

It was previously possible to check for max_size, see it was large
enough, unlock i_lock, and go into the cap wait loop.  If a racing
thread reduces max_size, we will spin forever.

Break the cycle by moving hte max_size logic into get_cap_refs.  If
we are waiting and need a larger max_size, set a flag, so that we
recheck (possibly calling ceph_check_caps) and wait again.

mds: allow cap updates to root inode

kclient: fix snap_rwsem vs s_mutex deadlock in ceph_inode_set_size

Call ceph_check_caps outside of the snap_rwsem.  Fixes this lockdep
warning:

[84919.839574] cp/2724 is trying to acquire lock:
[84919.839574]  (&s->s_mutex){--..}, at: [<ffffffffa00fa0f3>] ceph_check_caps+0x
968/0xc04 [ceph]
[84919.839574]
[84919.839574] but task is already holding lock:
[84919.839574]  (&mdsc->snap_rwsem){----}, at: [<ffffffffa00f3803>] ceph_write_b
egin+0x1d9/0x696 [ceph]
[84919.839574]
[84919.839574] which lock already depends on the new lock.
[84919.839574]
[84919.839574]
[84919.839574] the existing dependency chain (in reverse order) is:
[84919.839574]
[84919.839574] -> #1 (&mdsc->snap_rwsem){----}:
[84919.839574]        [<ffffffff8025e4bd>] validate_chain+0x9ef/0xce8
[84919.839574]        [<ffffffff8025eee6>] __lock_acquire+0x730/0x7b9
[84919.839574]        [<ffffffff8025eff4>] lock_acquire+0x85/0xa9
[84919.839574]        [<ffffffff8061577d>] down_write+0x43/0x77
[84919.839574]        [<ffffffffa010ab3c>] ceph_mdsc_handle_reply+0x960/0xa72 [c
eph]
[84919.839574]        [<ffffffffa00e7520>] ceph_dispatch+0x4eb/0x5f6 [ceph]
[84919.839574]        [<ffffffffa0103906>] try_read+0x15cf/0x17da [ceph]
[84919.839574]        [<ffffffffa0103da0>] con_work+0x28f/0x18a9 [ceph]
[84919.839574]        [<ffffffff8024cb7c>] run_workqueue+0xf5/0x209
[84919.839574]        [<ffffffff8024d88b>] worker_thread+0xdb/0xe8
[84919.839574]        [<ffffffff8025078c>] kthread+0x49/0x79
[84919.839574]        [<ffffffff8020d17a>] child_rip+0xa/0x20
[84919.839574]        [<ffffffffffffffff>] 0xffffffffffffffff
[84919.839574]
[84919.839574] -> #0 (&s->s_mutex){--..}:
[84919.839574]        [<ffffffff8025e14f>] validate_chain+0x681/0xce8
[84919.839574]        [<ffffffff8025eee6>] __lock_acquire+0x730/0x7b9
[84919.839574]        [<ffffffff8025eff4>] lock_acquire+0x85/0xa9
[84919.839574]        [<ffffffff80614fd2>] mutex_lock_nested+0x116/0x2f4
[84919.839574]        [<ffffffffa00fa0f3>] ceph_check_caps+0x968/0xc04 [ceph]
[84919.839574]        [<ffffffffa00e9c19>] ceph_inode_set_size+0xe1/0xf4 [ceph]
[84919.839574]        [<ffffffffa00f2e3c>] ceph_write_end+0x16f/0x1b4 [ceph]
[84919.839574]        [<ffffffff8027e33c>] generic_file_buffered_write+0x1a2/0x2
d4
[84919.839574]        [<ffffffff8027e958>] __generic_file_aio_write_nolock+0x354
/0x3be
[84919.839574]        [<ffffffff8027ebe4>] generic_file_aio_write+0x66/0xc2
[84919.839574]        [<ffffffffa00f1737>] ceph_aio_write+0x969/0xb52 [ceph]
[84919.839574]        [<ffffffff802aa3eb>] do_sync_write+0xe2/0x126
[84919.839574]        [<ffffffff802aabbc>] vfs_write+0xae/0x137
[84919.839574]        [<ffffffff802ab072>] sys_write+0x47/0x6f
[84919.839574]        [<ffffffff8020c0db>] system_call_fastpath+0x16/0x1b
[84919.839574]        [<ffffffffffffffff>] 0xffffffffffffffff
[84919.839574]
[84919.839574] other info that might help us debug this:
[84919.839574]
[84919.839574] 2 locks held by cp/2724:
[84919.839574]  #0:  (&sb->s_type->i_mutex_key#12){--..}, at: [<ffffffff8027ebcd
>] generic_file_aio_write+0x4f/0xc2
[84919.839574]  #1:  (&mdsc->snap_rwsem){----}, at: [<ffffffffa00f3803>] ceph_wr
ite_begin+0x1d9/0x696 [ceph]
[84919.839574]
[84919.839574] stack backtrace:
[84919.839574] Pid: 2724, comm: cp Not tainted 2.6.29 #16
[84919.839574] Call Trace:
[84919.839574]  [<ffffffff8025dac3>] print_circular_bug_tail+0xc7/0xd2
[84919.839574]  [<ffffffff8025e14f>] validate_chain+0x681/0xce8
[84919.839574]  [<ffffffff8028352a>] ? get_page_from_freelist+0x3c6/0x6b5
[84919.839574]  [<ffffffff8025eee6>] __lock_acquire+0x730/0x7b9
[84919.839574]  [<ffffffff8025eff4>] lock_acquire+0x85/0xa9
[84919.839574]  [<ffffffffa00fa0f3>] ? ceph_check_caps+0x968/0xc04 [ceph]
[84919.839574]  [<ffffffff80614fd2>] mutex_lock_nested+0x116/0x2f4
[84919.839574]  [<ffffffffa00fa0f3>] ? ceph_check_caps+0x968/0xc04 [ceph]
[84919.839574]  [<ffffffffa00fa0f3>] ? ceph_check_caps+0x968/0xc04 [ceph]
[84919.839574]  [<ffffffffa00fa0f3>] ceph_check_caps+0x968/0xc04 [ceph]
[84919.839574]  [<ffffffff8025a70e>] ? get_lock_stats+0x34/0x5e
[84919.839574]  [<ffffffffa00e9c19>] ceph_inode_set_size+0xe1/0xf4 [ceph]
[84919.839574]  [<ffffffffa00f2e3c>] ceph_write_end+0x16f/0x1b4 [ceph]
[84919.839574]  [<ffffffff8027e33c>] generic_file_buffered_write+0x1a2/0x2d4
[84919.839574]  [<ffffffff8027e958>] __generic_file_aio_write_nolock+0x354/0x3be
[84919.839574]  [<ffffffff8027ebe4>] generic_file_aio_write+0x66/0xc2
[84919.839574]  [<ffffffffa00f1737>] ceph_aio_write+0x969/0xb52 [ceph]
[84919.839574]  [<ffffffff802bd728>] ? touch_atime+0xee/0x110
[84919.839574]  [<ffffffff80329414>] ? nfs_file_read+0x107/0x116
[84919.839574]  [<ffffffff802aa3eb>] do_sync_write+0xe2/0x126
[84919.839574]  [<ffffffff8025ef04>] ? __lock_acquire+0x74e/0x7b9
[84919.839574]  [<ffffffff8025a746>] ? put_lock_stats+0xe/0x27
[84919.839574]  [<ffffffff802508a3>] ? autoremove_wake_function+0x0/0x38
[84919.839574]  [<ffffffff802d1d5b>] ? dnotify_parent+0x6c/0x74
[84919.839574]  [<ffffffff803d5f70>] ? security_file_permission+0x11/0x13
[84919.839574]  [<ffffffff802aabbc>] vfs_write+0xae/0x137
[84919.839574]  [<ffffffff802ab072>] sys_write+0x47/0x6f
[84919.839574]  [<ffffffff8020c0db>] system_call_fastpath+0x16/0x1b

mon: set seq properly on mds takeover

osd: fix sub_op_push wakeup on pulled object

soid was a ref to op->.. move delete op to the end.

object: pass const refs to comparators

Merge commit 'origin/rados' into rados

Need to fix rados_list call, and ReplicatedPG PGLS code (translate
sobject_t -> object_t).

Conflicts:

src/librados.cc
src/os/FileStore.cc
src/osd/ReplicatedPG.cc
src/testradospp.cc

rados: pgls small cleanup

rados: pgls fixes, uses context

filestore: nicer filenames for CEPH_NOSNAP objects

osd: clear reqid in backlog log entries

This avoids confusion where the version and reqid don't match, and
a single reqid appears multiple times in the pg log.

osd: don't index BACKLOG caller_ops

mds: keep only one dir commit in flight

Ordering is not guaranteed, so putting multiple commits in flight
is not safe.. the osd may commit the older data on top of the new.

osd: rev osd protocol, disk format

kclient: specify object id as string

raods: minor and merge fixes

rados: list pg, first take, partially works

osd: add PGLS op

osd: nicer pg log object names

osd: clean up object_t args

osdc: clean up object_t args

rados: clean up object_t args

osd: kill pobject_t (use sobject_t throughout)

os: const ref (p)object_t arguments where possible

osd: make object_t a string

osd: fix obc ref counting

osd: fix object context registration

The probjected object state wasn't working because the obc
wasn't making it into the map.

osd: fix replication

The shipped transaction wasn't getting applied to disk.

filestore: fix build error on 32-bit

objecter, rados: constify write bufferlist& refs

rados: c++ aio methods

mds todo

uclient: fix snaprealm update in add_update_cap

Make conditional consistent with the in->snaprealm clearing in the
cap removal path.

This was throwing a bad assertion during mds restart.

mds: purge preallocated inos/files when client disconnected

When a client is kicked out of the cluster, purge any data written to
preallocated inos.  This should be the first object in the file sequence.

kclient: correctly set REPLAY flag in requests on replay

mds: replay all old client requests before handling new requests

Adds a new CLIENTREPLAY state between REJOIN and ACTIVE.  It it's strictly
necessary for anyone to know the MDS is handling it's backlog first, but
it doesn't hurt.

crushtool: fix warning

mds: no early reply when request has slaves

Doing an early reply when there are slaves means we need to be able to
reliably replay that op as well, and the complexity needed to do that
when we're locking stuff on multiple MDS's is so not worth it.  These
ops are pretty rare anyway.

rados: add pg (non-object) ops

Some ops run against the whole pg, not individual objects.  Setting the
PGOP flag selects a different write path that skips missing object checks
(ignores oid).

rados: fix warning

rados: test aio write

rados: rename aio_free to aio_release, fix bug

filestore: add collection_list_partial

class: add cls_read api function

todo

rados: first pass at aio interface

class: able to update classes in runtime

class: classhandler locking cleanup

mds todos

osd: cleanup types

logger: fix warning