cosd: bad disks in cosd3

cosd: fix typo

autoconf: check for openssl dev files

class: added file

kclient: max trim_caps actually work

mds: trim client state based on # caps, not real memory utilization

mem: gather meminfo stats

mds: encapsulate /proc examination in MemoryModel; calc heap size

mds: some infrastructure to recall state from clients when under memory pressure

Also some logging to monitor mds inode and cap stats.

vstart: pipe down

kclient: trim caps on demand

kclient: rework iterate_session_caps

Do not drop s_cap_lock if we failed to get an inode ref.  Othwerise we
risk the next *n pointer being invalid.

kclient: make session cap list an LRU; combine touch with check for issued caps

This both makes the issued cap check better (only traverses caps until we
get what we want), and combines the touch_cap step to bump it to the front
of the LRU.

So far all callers do the touch, so the touch arg is of dubious value..

class: added a crypto class that does md5 and sha1

class: dlopen uses RTLD_NOW instead of lazy loading

Merge branch 'rados' of ssh://ceph.newdream.net/git/ceph into rados

class: rdcall implemented

vstart: fewer pgs

osdmaptool: fix usage

buffer: fix hexdump formatting

osd: ship transaction (not op) to replicas

This simplifies the code path on the replica.  It avoids duplicating
computation, which can be a win even for trivial ops when snaps are
involved.  For active objects, it will avoid the computation as well.

Currently parallel execution will still happen if you specify a flag.
However, an object method should probably also be able to specify ||
execution is better in cases where the operation is deterministic and
|| exec will mean less data over the network.

Disable unused vector<T*> template, since it confuses the
vector<const char *> encoder.

kclient: avoid null resv ctx dereference

osd: move object_info_t, exists, size into ObjectState

The main goal is to capture everything needed by the op context
(the object_info_t, exists, size) in something that doesn't include all
of ObjectContext (such as teh current access mode, num writers, and other
things that only the primary needs) so that the sub_op_modify setup is
as simple as possible.

This kills the annoying exists, size args in all the helpers.

class: dependent classes are loaded automatically

class: utility to load classes

kclient: fix cap resv BUG

filer: fix probing when recovered size is 0

Fixes a bug where it wraps around to a negative (large)
file size.

kclient: put readdir max entries in mount options

kclient: rework cap reservation accounting a bit

Invariants:
total = used + reserved + avail
len(caps_list) = reserved + avail

Previously, reserved was part of avail, which was confusing.  Also
fixed up the reserve func such that the above invariants are always
true.

initscript: fix instance check

cosd: journal to a dedicated disk

osd: fix PG::IndexLog unindex()

The REMOVE entries won't be in the objects map.

initscript: remove notreelog by default

This screws us if we put the journal file on the same btrfs volume.  Not
that it works that well anyway, but it works even worse this way.  And
since FileStore never calls fsync(), it's fine.

script: fix req format in osd latency check

filestore: stop sync thread before journal

Otherwise we get sync thread interaction with freed journal.

osd: create journal of specified size during mkfs

kclient: avoid d_time reuse s.t. leases and dir rdcache can coexist

We want to be able to remember a lease even when we are issued
RDCACHE on the entire dir.  (Otherwise, we fail to release the
dentry when doing an op, and have to wait for the revoke round
trip.)

So avoid reusing d_time for the rdcache_gen.  Unconditionally set
it in update_dentry_lease.

Also, force inclusion of a no-op inode update if we need to include
the dentry lease release, even when the dir caps aren't changing.

mds: look at loner issued|wanted in file_eval

rados: aio prototypes

librados: display result _after_ wait

class: don't add a class when no valid binary is supplied

osd: don't send reply on message that got EAGAIN

osd: show error string in reply msg printout

mds: fix EXCL -> * check in file_eval to use loner_wanted, not issued

We should leave EXCL if the loner doesn't want the EXCL bits
(WR, EXCL, BUFFER), not if it's not issued (which is transitory).

vstart: set debug levels in conf, not cmd line

This lets you restart things more easily.

librados: remove length args from C++ interface

The bufferlists remove any need for an additional length arg.

Return ERANGE when buffers are too small.

makefile: don't build fakesyn

osd: some cleanup, todos

kclient: fix READ|WRITE check

FLAG, not OP.

osd: remove some dead code

osd: prepare clone before write op

This simplifies tracking (no need to set values aside we'll need for
clone).  Instead, we just make_writeable() before any write op to ensure
the clone exists.

osd: track ObjectContext for cloned objects

This orders access to a newly cloned object.  This is really only important
when you have a racing clone creation and a clone read.  The read will
look at the head's context and expect the clone to be there, but we may
not have applied the write to disk yet.  So, we set up an obc for the
cloned object too (with the same mode as the head).

osd: implement rmw mode

osd: move everything into do_op, log helper

osd: only register the ObjectContext if we go on to write

We only need it to be registered if we are carrying state over some period
of time, which isn't the case for reads.

osd: unify read and write paths

osd: break apart write stages, transactions

We break the write preparation into three stages.  First we run the ops
vector and build the op_t transaction.  If it is non-empty, we build a
clone_t transaction to run before it, and a local_t that updates the osd's
PG log and metadata.

Take care to preserve old exists, size, and version values before running
the ops vector as those are clobbered but need to be send to the replica
osds.

filestore: apply multiple Transactions as a unit

This lets the user build a few different Transactions and submit them to
the store for commit as a unit.

osd: clean out zero->delete munging

osd: clean up op_modify a bit

class: when class not found, don't wait forever

class: fix class removal via classmon

class: cmon doesn't crash if can't find requested class

class: some cleanup

class: paxos distribution of class operations fixes

class: some fixes, testrados works again

class: same version, multiple archs work

osd: unify ReadOpContext and WriteOpContext -> OpContext

osd: refactor pick_read_snap into find_object_context

This gets us a bit closer to unifying the read and write paths.

osd: always set snapid in MOSDOp

This reverts ced9929bffc36347a6521a861a482433249e978c.

osd: check/change object mode in response to ops; fixes.

make: fix libtestclass.so name

class: fix class storage

class: add architecture to version

osd: some ObjectContext changes

osd: don't look at snapid if may_write().. it's not defined (see snapc!)

osd: fix pg locking in handle_op

class: remove default test class

class: osd specifies class version when fetching class

osd: ProjectedObject -> ObjectContext; object access mode state notes

osd: reorg handle_op; turn off preprocess_op

None of the preprocess stuff is working at the moment.. just skip it all
for now.

class: fix a class version issue

class: string class version can be specified

rados: add 'remove' operation

rados: supply a C++ api

class: don't return nonexisting method

osd: describe osd ops as READ, WRITE, or READ|WRITE

An op is either a pure read (read, stat), a pure (blind) write (write
extent, delete), or read+write (e.g., read/modify/write).

Writes with read portions that are captured by ProjectedObjectInfo (size,
truncate attr) can pretend to be purely write (as they are now).

objecter: kill inc_locks.

These aren't needed or used since there is a generic blacklist mechanism
in the osdmap (that is simpler and more robust).

osd: add WriteOpContext; some refactoring

Push as much write state into the WriteOpContext as possible; use
RepGather only for addition items necessary for the op replication.

osd: push all the read state into OpContext

Instead of referencing items on the stack, put everything important
directly in the OpContext.

librados: don't care about mds messages

librados: use generic C_SafeCond and wait safely for acks

class: fix warning

osd: return immediately after -EAGAIN

osd: don't free message on EAGAIN after get_class

librados: keep bufferlist on the stack

class: pass context to method execution

osd: some interface change in do_read_ops, uses context

rados: look up pool by name

kclient: import into fs/staging