osd: track last_complete_ondisk over pushes, too.

osd: revamp complete_thru code

Use last_complete_ondisk terminology throughout.

osd: some infrastructure for primary to trim replica logs

osd: fix pg log trim on the non-primary

rados: less chatty

rados: shutdown on exit

librados: add shutdown to c++ interface

kclient: initialize readdir next_offset on dir open

Otherwise we don't compensate for . and .. properly.

kclient: update client for statfs changes

osd: add pg log sizes, bottoms to pg_stat_t et al

This will allow us to see the pg logging overhead, esp once pg
logs are kept for longer on disk.

kclient: clean out old debug cruft

rados: fix statfs definition

Isolate posix lameness to uclient only.  Unify 'rados df' and
'rados dfpools'

mds: change readdir wire format again

Do not include dentry offsets; they're not useful.

kclient: fix readdir vs rm

Okay, do not rely on MDS to provide dentry positioning information,
since it is all relative to the start _string_ we provide, and that
can change directory position without notice.

Simplify readdir a bit wrt seeks.  A seek to 0, a new frag, or
prior to the current chunk resets buffered state.

For each frag, we walk through chunks, always in order.  We set
dentry positions/offsets based on the frag and position within our
sweep across the frag.  Successive chunks are grabbed from the MDS
relative to a filename (not offset), so concurrent
insertions/removals don't bother us (although we will not see
insertions lexicographically prior to our position).

objectstore: use nstrings to store all attrs

Holding const char *'s isn't really ever safe, since it's not clear
that they are string constants, or that that is even safe.

rados: prettify dfpools output

kclient: fix dout() macro protection of x, mask

kclient: fix pps calculation to factor in pg pool

This was missed the first time around.

osd: fix pps calculation from pgid.ps() and pgid.pool()

The final placement seed needs to factor in pool, but that can't be
fed into stable_mod or you get weird results (for example, 1.ff and
1.adff won't necessary map to the same thing because of the
stable_mod).  Add pool to the stable_mod result, instead.  The seed
itself doesn't need to be bounded; it's just an input for CRUSH.
Just so long as there are a limited number of such inputs for a given
pool.

rados: Now properly writes 0-byte files on a get.

There are more debug statements in librados and Objercter too.

mon: implement 'mds setmap <epoch>' to (re)set mdsmap

mon: clean up some mdsmon stuff

last_beacon should include pending_inc mds's, no more, no
less.

Make the osdmon bcast send to non-in mds's too.

librados: added a write-full method.

Switched ./rados to use it for put.

rados: clean up output a bit

librados: clean up librados debug output a bit

config: no -p shorthand for --pid-file

It's not used by anything anyway.

Merge commit '114ad5177f281b96ba6bbebe9ed85e2a4aec783f' into rados

Conflicts:

src/include/ceph_fs.h

kclient: fix skipped entires in dcache_readdir

I'm not sure why the old code incremented f_pos and looked at the
prev entry, but it was wrong.

kclient: fix non-dcache readdir offset calculation

Needs to factor in frag_is_leftmost to account for . and .., just
like the fi->offset calculation in readdir_prepopulate.  Fixes the
problem where an ls on a large dir returns duplicate entries.

kclient: specify smallish blksize for directories

This is mainly just because /bin/ls will use the size, or blocks,
or blksize to decide how big of a buffer to allocate for getdents,
and the default of 4MB is unreasonably big.  64k seems like an
okay number, I guess.

osd: fix cloned object context

Screws up subsequent reads on cloned objects.  And the bad ref
counting was leaking memory.

Objecter: fixed a bug in snaps.

Worked around a situtation where you could delete a callback before it was followed.

mon/Objecter: Snapshot creation/removal now waits for proper epoch to return.

rev osd disk format, protocol due to crush, osdmap mapping changes

osdmaptool: crush regression test

osd: include pg pool in pg to placement seed mapping

This prevents different pools from overlaying on top of each other.

crush: fix perm_choose bug

We would get incorrect results if we calculated the same mapping
twice in a row in certain cases.  Der.  Also, the permutation
calculation was basically just wrong.

rados: submit snap creation and removal to the system.

mon: Now handles snapshot removals too.

mon:Added server-side handling of MPoolSnap.
Currently assumes it's a snap-create message.

osd: bail out of backlog generation early if osd is stopping

Currently killing the osd can take a very long time if the backlog
is being built.  Fix that.

Client-side support for creating/removing pool snapshots.

kclient: fix di->off calculation

The dentry dir offset calculation wasn't taking into account the
possibility of multiple readdi requests, which in turn meant bad results
for readdir-from-dcache.

Since doing this on the client side was a mess, the MDS includes a dentry
offset for each readdir dentry within the dirfrag.  This value is stored
in di->offset (with adjustment in leftmost frag for . and ..), and that's
the value that's passed back via filldir.

kclient: fix I_COMPLETE

The previous use of I_READDIR vs I_COMPLETE was flawed, mainly because
the state was maintained on a per-inode basis, but readdir proceeds on a
per-file basis.

Instead of flags, maintain a counter in the inode that is incremented each
time a dentry is released.  When readdir starts, note the counter, and if
it is the same when readdir completes, AND we did not do any forward
seeks on the file handle, AND prepopulate succeeded on each hunk, then we
can set I_COMPLETE.

mds: mark CDir objects with parent ino, dname

mkcephfs: fix btrfs mount option

mds: lower default cache size (now ~3.5GB on x86_64)

osd: cleanup log trim check

todo

debug: fix log reopen

No need to delete, nothing is on the heap.

osd: fix PGOP check

s3: return objects mtime

s3: partial implementation of get bucket

s3: handle 'get bucket' opereation

rados:Added basic df functionality to rados and fixed librados.cc to handle statfs_reply messages

objecter: add hook to get notification on new osdmap

debian: add build depends libssl-dev, libfcgi-dev

osd: autodetect PGOP flag if there are PG ops

Avoids requiring the client to specify.

rados: rename radostool -> rados

rados: external acls [beginning of] implementation

s3: fastcgi s3 gateway

objecter: unify read and write paths

No longer any reason to segregate read and write paths.

osd: you may, but need not, specify READ|WRITE flag in MOSDOp.

The OSD will implicitly set the bits based on your OSDOps or class method
calls.  The client may still find it useful to specify these expicitly
for it's own informational purposes.

Make sure the MOSDOpReply has bits set based on the _actual_ op performed.

Note that as things stand, this will confuse the Objecter, who relies on
these bits to choose read or modify reply paths and doesn't know a priori
what mode a method is.

uClient: Fixed a copying error and a double lock.

Switched Client to use objecter's statfs methods.

Rebase and better naming.

Added support for MStatfs to librados and Objecter.

mds: turn off mds ref sets

mds: kill unused CInode.last_open_journaled

kclient: include full path names (in parens) in debugfs mdsc

kclient: fix cap reconnect path generation

This was preventing all caps from reconnecting on mds restart.

uclient: mark down failed mds

cosd: one mds for now

mds: use boost::pool for CInode, CDentry, CDir, Capability

osd: fail gracefully if OSDOp.data is empty

This happens for MOSDOpReply, currently.

mon: use pool_stat_t for pool summation in PGMap

pg_stat_t has a lot of pg-specific fields we don't need for the
pool and total summations.

mds: cut back on hash_map usage

These use lots of memory, and aren't necessary for smallish maps.

mds: fix inotable encoding

ALWAYS use proper interval_set encoders (not the .m), or else the
.size() methods won't behave after decoding.

librados: add const to aio_write bl arg

librados: make get pool stats work

mon: process MGetPoolStats

osd: fix encoding/decoding of [sub]op response

kclient: fix typo

buffer: append individual chars

osd: fix MOSDOp printout

rados: add new headers

librados: client side for getting pg stats

No server side yet!

kclient: make /debug/ceph/client#/mdsc filenames work, cleanup

Just print #ino/path for dentries, since that's what goes over the
wire.

radostool: lssnap

Added a current bandwidth meter to radostool bench.

Prints out once/second or at every write, whichever is slowest.

osd: destroy messengers on shutdown

monclient: avoid hang during startup

osd: fix huge memory leak (MOSDOp)

radostool: select snaps, rm objects

rados: get rid of wrcall

rados: rename rdcall to call

class: add cls_setxattr

class: set method flags on registration

osd: don't call may_read/may_write prematurely (revert previous)

osd: update rwm flags for incoming ops