mds: make export targets stay in mdsmap for a while

This limits the mdsmap churn some.  Keep old targets around for at least
min-max iterations before removing them.

mds: balancer cleanup

mds: warn on dn release that dne

rbd: modify rbd on-disk header

rbd: fix push_to_qemu.pl

mon: roll mkmonfs functionality into cmon --mkfs

filestore: make mkfs() zap any file or dirs it finds

rbd: modify header, add utility to ease sync with qemu tree

osd: keep recovery ops in sync with pull

Call start_recovery_op from pull() instead of fixing every caller (some
were wrong).  This keeps the recovery state in sync with pulling state,
even when pull() has to pull something different (head, snapdir) first.

Fixes this crash:
osd/PG.cc: In function 'void PG::finish_recovery_op(const sobject_t&, bool)':
osd/PG.cc:1842: FAILED assert(recovering_oids.count(soid))
 1: (PG::finish_recovery_op(sobject_t const&, bool)+0x14e) [0x74caf6]
 2: (ReplicatedPG::sub_op_push(MOSDSubOp*)+0x1da8) [0x669292]
 3: (ReplicatedPG::do_sub_op(MOSDSubOp*)+0x109) [0x671a73]
 4: (OSD::dequeue_op(PG*)+0x23c) [0x6bda00]
 5: (OSD::OpWQ::_process(PG*)+0x21) [0x7387c9]
 6: (ThreadPool::WorkQueue<PG>::_void_process(void*)+0x28) [0x6f5e12]
 7: (ThreadPool::worker()+0x23a) [0x7f2404]
 8: (ThreadPool::WorkThread::entry()+0x19) [0x73b783]
 9: (Thread::_entry_func(void*)+0x20) [0x64f92a]
 10: /lib/libpthread.so.0 [0x7f7a12cf473a]
 11: (clone()+0x6d) [0x7f7a11f1e69d]

mon: no need for 'whoami' file in store

The monitor rank is provided during startup.  No need to verify it against
the monitor store, especially since the stores are otherwise identical.

This makes it simpler to restore/duplicate/wahtever a monitor.. just copy
the files.

reword blacklisted output so it's clearly discussing MDSes and not OSDs

uclient: don't unlink null dentry when getting null linkage in mds reply

This broke semi-recently when the mds started returning null linkages (and
associated leases).

mon: trim pgmap states even when we don't have a full quorum

paxos: recover using stashed latest when state histories don't overlap

If we don't have incremental states to catch up, jump to the latest.

mds: anchor multiversion inode before unlinking it

If we are going to create a remote dentry linking to a multiversion inode
we're unlinking, make sure it's anchored!

This is a bit fugly because it mirrors the logic in journal_cow_dentry. No
obvious way to use a generic helper for that though.

librados.h: add other TMAP definitions

also add a comment in rados.h about the defines in librados.h

mds: fix readdir pingpong on snapped dir with multiple mds

Our traverse helper will follow the auth if we're looking at snapped
metadata, but we _don't_ want that for readdir because we check auth
ourselves, and want the dir's auth, not the inode's.

Signed-off-by: Sage Weil <sage@newdream.net>

monc: pick a different mon when repicking

monc: hunting by default

Otherwise if we fail to connect to the first mon we try, we never retry.

librados: update librados to define CEPH_OSD_TMAP_SET

mon: fix mon injectargs, and simplify

osd: simplify --mkjournal, add --flush-journal

Merge branch 'osd_snapdir' into unstable

osd: nicer debug output

interval_set: fix union_of _size accounting; optimize ==

mds: fix interval_set copy of projected_free

mds: fix interval_set copy of projected_free

osd: use blank reqid for snapdir events, too

Make reqid_is_indexed() less weird.

osd: do not index by reqid if reqid not defined

osd: update purged_snaps in PG::Info on trim completion; and replicate

rbd: fix snap_seq type in rbd_header

initscripts: remove 'flushoncommit' from default btrfs mount options

osd: trim snaps via replicated osd ops

osd: make build_removed_snaps, is_removed_snap consistent

rados: update documentation to mention mkpool and rmpool

osd: fix peer_info updates on active primary

automake: some clean up

poolop: fix MPoolOpReply decoding

throttle: allow large items if we're under our max

Normally we stay under max, but for large items, take it as long as we're
currently below max.  This avoids deadlock.

osd: purged_snaps in PG::Info, queue snap trim on primary

osd: include snapdir objects in pg log for proper replication, recovery

strings: clean up pool op names

mds: allow readdir result limit in bytes

This will allow the client to bound the size of the reply it gets

debian: put proper distribution in debian changelog

version: use next version ~rc for unstable branch

This makes unstable always sort after stable, testing releases:
  0.21~rc-unstable... > 0.20.1-testing...

radosgw_admin: die after first bad argument

objecter: separately track pgmap, osdmap state machine version

Mixing these up can make our request hang on the monitor indefinitely.

mon: return correct state machine epoch in replies

testrados: fix aio api usage

librados: implement rados_stat_pool()

Merge branch 'unstable' of ceph.newdream.net:git/ceph into unstable

rados: fix typo

osd: add CEPH_PG_MAX_SIZE to header

filestore: update btrfs ioctl.h

client: un-"fix" u64 types in client/ioctl.h

msgr: fix possible overflow when sending seq

msgr: print message encoding version to aid debugging

ceph_strings: checkpatch fix

ceph_fs.h: checkpatch fixes

cmpxattr: null termination fixes

rados: add 'tmap dump'

osd: set obs.exists in projected object state during recovery

mds: warn, don't crash, on trailing garbage in dir objects

msgr: put msgvec on heap

It can get too big for the stack.

msgr: tolerate incoming seq #'s that skip ahead

This is necessary because the kclient may pull messages out of the out/sent
queues, and we can't renumber previously sent (and possibly received)
messages without breaking things entirely.

ceph: return error code returned by server

mds: drop 'closed' bit from MClientReconnect

msgr: set outgoing msg connection before encoding

This allows encode_payload to adjust behavior based on the target peer's
feature bits.

poolop: make new encoding backward compatible

This makes cea221c64 behave when messages using the old encoding (that is,
older versions of the client talk to us).

osd: fix compile error from cmpxattr, cleanup.

I think the xattr bufferlist still needs to be null terminated...

osd: fix layout return type

msgr: be less noisy about msgr throttling

osd: add cmpxattr op handling

debian: remove pull.sh calls from helper .sh scripts

atomic: cast away const on read()

(Only needed to build on lenny, this can go away someday)

osd: 'stop' command

mds: fix max_size==1 bug

We should provide a minimum of one stripe unit.

Merge branch 'string' into unstable

Conflicts:
src/client/Client.h
src/messages/MAuthReply.h
src/messages/MClientLease.h
src/osd/ReplicatedPG.cc
src/osd/osd_types.h
src/osdc/Journaler.h

types: clean up printf format warnings

bah

rgw: clean up dup #define

types: standardize on uint64_t

The problem is that on some platforms __u64 == uint64_t (x86_64), and on
others it's doesn't (ppc64).  Which means we don't know whether to define
different versions of overloaded functions for both types or just one.

So, standardize on uint64_t.  This plays nicer with STL, which defines
hash<uint64_t> on 64 bit arches but not 32 bit.  Which means we can't
standarzie on __u64 or else hash<__u64> won't work.  Bah!

endian: simplify __le* type hackery

Instead of preventing linux/types.h from being included, instead name
our types ceph_le*, and remap using #define _only_ when including the
shared kernel/userspace headers.

Also redefine some templates for both __u64 and uint64_t, which are
apparently not the same on x86_64.

ceph.spec.in: --without-hadoop --without-debug

to sync up with f13

rbdtool: --list on empty pool returns correct message

and also command doesn't hang. This fixes bug #115.

time: include _ between date and time

osd: remove bad assert in get_object_context()

This has always been fishy, and it's original purpose isn't quite clear.
The '!obc->obs.ssc' is clearly the create case, but the head_exists check
is only the case if we are getting the context for a _head, which in
many cases we're not.  In parituclarly, it fails for a snapped object
where the head doesn't exist.  We _do_ have teh ssc (from the _snapdir
object) but there is no head.

Just remove the assert entirely.. it's not clear what it's really catching.

mds: always release snap cap after flushsnap

The old condition makes no sense.  It appears to have been broken since
2008, commit a5d5e679?  Yikes.

The problem is that a flushsnap will 'release' the caps, but still leave
an open Capability on the CInode.  Then, CInode::encode_inodestat() would
& issued() when issuing caps, and a client ceph_open() would get no
caps.  The kclient is fixed up to at least not crash in that case, but even
with the fix it deadlocked.

osd: don't put() null ctx->op (message)

scripts: fix check_pglog.sh

script: add check_pglog.sh

Check pglog for zero segments, normally caused by a race between
pg log replacement (rm log, rewrite log) vs append race.

For example, see 686192a03eb7d28c7340dcab6d9671505f9cd986

mdsmap: lose angle braces, use tabs

osdmap: initially osds don't exist; create them as they boot

osd: resurrect CEPH_OSD_EXISTS flag

Mainly so we can track how many osds are in the cluster, even if they
don't start at 0.

logger: be more careful calculating variance

debian: use 'testing' or 'unstable' in place of 'git' in version suffix

librados: separate callbacks for aio ack/complete and safe

osd: clear pg REPLAY when we reinitiate peering

Among other things, a stray/bad REPLAY flag can trigger a false activation
like so:

osd/PG.cc: In function 'void PG::activate(ObjectStore::Transaction&, std::list<Context*, std::allocator<Context*> >&, std::map<int, MOSDPGInfo*, std::less<int>, std::allocator<std::pair<const int, MOSDPGInfo*> > >*)':
osd/PG.cc:1641: FAILED assert(peer_info.count(peer))
 1: (PG::activate(ObjectStore::Transaction&, std::list<Context*, std::allocator<Context*> >&, std::map<int, MOSDPGInfo*, std::less<int>, std::allocator<std::pair<int const, MOSDPGInfo*> > >*)+0x817) [0x75e637]
 2: (OSD::activate_pg(pg_t, utime_t)+0x136) [0x6bfe86]
 3: (OSD::check_replay_queue()+0x134) [0x6c0074]
 4: (OSD::tick()+0x1db) [0x6d96eb]
 5: (OSD::C_Tick::finish(int)+0x1c) [0x74844e]
 6: (SafeTimer::EventWrapper::finish(int)+0x6d) [0x7fa2cf]
 7: (Timer::timer_entry()+0x454) [0x7fb52a]
 8: (Timer::TimerThread::entry()+0x19) [0x647c09]
 9: (Thread::_entry_func(void*)+0x20) [0x659f18]
 10: /lib/libpthread.so.0 [0x7fceb73d473a]
 11: (clone()+0x6d) [0x7fceb65fe69d]

rgw: admin uses --secret instead of --key (as --key is already taken)

osd: fix critical cap parsing bugs and documentation.

msgr: fix local_pipe peer_type

Need to re-init_local_pipe() after register_entity().