rados: Now properly writes 0-byte files on a get.

There are more debug statements in librados and Objercter too.

mon: implement 'mds setmap <epoch>' to (re)set mdsmap

mon: clean up some mdsmon stuff

last_beacon should include pending_inc mds's, no more, no
less.

Make the osdmon bcast send to non-in mds's too.

librados: added a write-full method.

Switched ./rados to use it for put.

rados: clean up output a bit

librados: clean up librados debug output a bit

config: no -p shorthand for --pid-file

It's not used by anything anyway.

Merge commit '114ad5177f281b96ba6bbebe9ed85e2a4aec783f' into rados

Conflicts:

src/include/ceph_fs.h

kclient: fix skipped entires in dcache_readdir

I'm not sure why the old code incremented f_pos and looked at the
prev entry, but it was wrong.

kclient: fix non-dcache readdir offset calculation

Needs to factor in frag_is_leftmost to account for . and .., just
like the fi->offset calculation in readdir_prepopulate.  Fixes the
problem where an ls on a large dir returns duplicate entries.

kclient: specify smallish blksize for directories

This is mainly just because /bin/ls will use the size, or blocks,
or blksize to decide how big of a buffer to allocate for getdents,
and the default of 4MB is unreasonably big.  64k seems like an
okay number, I guess.

osd: fix cloned object context

Screws up subsequent reads on cloned objects.  And the bad ref
counting was leaking memory.

Objecter: fixed a bug in snaps.

Worked around a situtation where you could delete a callback before it was followed.

mon/Objecter: Snapshot creation/removal now waits for proper epoch to return.

rev osd disk format, protocol due to crush, osdmap mapping changes

osdmaptool: crush regression test

osd: include pg pool in pg to placement seed mapping

This prevents different pools from overlaying on top of each other.

crush: fix perm_choose bug

We would get incorrect results if we calculated the same mapping
twice in a row in certain cases.  Der.  Also, the permutation
calculation was basically just wrong.

rados: submit snap creation and removal to the system.

mon: Now handles snapshot removals too.

mon:Added server-side handling of MPoolSnap.
Currently assumes it's a snap-create message.

osd: bail out of backlog generation early if osd is stopping

Currently killing the osd can take a very long time if the backlog
is being built.  Fix that.

Client-side support for creating/removing pool snapshots.

kclient: fix di->off calculation

The dentry dir offset calculation wasn't taking into account the
possibility of multiple readdi requests, which in turn meant bad results
for readdir-from-dcache.

Since doing this on the client side was a mess, the MDS includes a dentry
offset for each readdir dentry within the dirfrag.  This value is stored
in di->offset (with adjustment in leftmost frag for . and ..), and that's
the value that's passed back via filldir.

kclient: fix I_COMPLETE

The previous use of I_READDIR vs I_COMPLETE was flawed, mainly because
the state was maintained on a per-inode basis, but readdir proceeds on a
per-file basis.

Instead of flags, maintain a counter in the inode that is incremented each
time a dentry is released.  When readdir starts, note the counter, and if
it is the same when readdir completes, AND we did not do any forward
seeks on the file handle, AND prepopulate succeeded on each hunk, then we
can set I_COMPLETE.

mds: mark CDir objects with parent ino, dname

mkcephfs: fix btrfs mount option

mds: lower default cache size (now ~3.5GB on x86_64)

osd: cleanup log trim check

todo

debug: fix log reopen

No need to delete, nothing is on the heap.

osd: fix PGOP check

s3: return objects mtime

s3: partial implementation of get bucket

s3: handle 'get bucket' opereation

rados:Added basic df functionality to rados and fixed librados.cc to handle statfs_reply messages

objecter: add hook to get notification on new osdmap

debian: add build depends libssl-dev, libfcgi-dev

osd: autodetect PGOP flag if there are PG ops

Avoids requiring the client to specify.

rados: rename radostool -> rados

rados: external acls [beginning of] implementation

s3: fastcgi s3 gateway

objecter: unify read and write paths

No longer any reason to segregate read and write paths.

osd: you may, but need not, specify READ|WRITE flag in MOSDOp.

The OSD will implicitly set the bits based on your OSDOps or class method
calls.  The client may still find it useful to specify these expicitly
for it's own informational purposes.

Make sure the MOSDOpReply has bits set based on the _actual_ op performed.

Note that as things stand, this will confuse the Objecter, who relies on
these bits to choose read or modify reply paths and doesn't know a priori
what mode a method is.

uClient: Fixed a copying error and a double lock.

Switched Client to use objecter's statfs methods.

Rebase and better naming.

Added support for MStatfs to librados and Objecter.

mds: turn off mds ref sets

mds: kill unused CInode.last_open_journaled

kclient: include full path names (in parens) in debugfs mdsc

kclient: fix cap reconnect path generation

This was preventing all caps from reconnecting on mds restart.

uclient: mark down failed mds

cosd: one mds for now

mds: use boost::pool for CInode, CDentry, CDir, Capability

osd: fail gracefully if OSDOp.data is empty

This happens for MOSDOpReply, currently.

mon: use pool_stat_t for pool summation in PGMap

pg_stat_t has a lot of pg-specific fields we don't need for the
pool and total summations.

mds: cut back on hash_map usage

These use lots of memory, and aren't necessary for smallish maps.

mds: fix inotable encoding

ALWAYS use proper interval_set encoders (not the .m), or else the
.size() methods won't behave after decoding.

librados: add const to aio_write bl arg

librados: make get pool stats work

mon: process MGetPoolStats

osd: fix encoding/decoding of [sub]op response

kclient: fix typo

buffer: append individual chars

osd: fix MOSDOp printout

rados: add new headers

librados: client side for getting pg stats

No server side yet!

kclient: make /debug/ceph/client#/mdsc filenames work, cleanup

Just print #ino/path for dentries, since that's what goes over the
wire.

radostool: lssnap

Added a current bandwidth meter to radostool bench.

Prints out once/second or at every write, whichever is slowest.

osd: destroy messengers on shutdown

monclient: avoid hang during startup

osd: fix huge memory leak (MOSDOp)

radostool: select snaps, rm objects

rados: get rid of wrcall

rados: rename rdcall to call

class: add cls_setxattr

class: set method flags on registration

osd: don't call may_read/may_write prematurely (revert previous)

osd: update rwm flags for incoming ops

radostool: clean up bench args, usage

osd: include size in object_info_t

The main advantage here, aside from slightly decluttering the
code, is to avoid a stat() in get_object_context.  We just
getxattr and that will implicitly tell us if the object
exists.  (If the file exists but the OI_ATTR xattr doesn't,
the object is busted anyway.)

osd: include ondisk magic in encoding for key ondisk state structs

This will eventually allow us to incrementally migrate to
updated ondisk structures by making the decoding conditional
(dependent on the encoded version).  At least in some cases.

rados: remove testradoscio[pp] targets

rados: add helper to header

buffer: remove unused field

osd: fix up OSDOp printing

radostool now includes benchmarking functionality from testradosciopp.cc

osd: rev osd protocol

kclient: include tid in osdc debugfs dump

osd: hold op data on the specific op

msgr: calculate data crc after encode_payload, in worker thread

Faster (bc crc calc is in msgr worker thread).  Also allows
encode_payload() to manipulate data.

Removed time_t -> int conversion warnings.

mds: fix dir frag split replay

is_complete() may not be set, but split is still allowed.

osd: don't clobber pg_stats.reported when repairing stats

mds: do not fragment dirs if mds_bal_fragment_interval <= 0

radostool: cleanup

Hurray, this file works properly as a standalone.

It takes concurrent writes to maintain, minimum runtime, size of the writes, and whether or not to check for consistency. Reports total runtime, writes made, bandwidth, average & max latency, and time waiting for Rados.

Added initial testradosciopp.cc.