osd: set obs.exists in projected object state during recovery

mds: warn, don't crash, on trailing garbage in dir objects

msgr: put msgvec on heap

It can get too big for the stack.

msgr: tolerate incoming seq #'s that skip ahead

This is necessary because the kclient may pull messages out of the out/sent
queues, and we can't renumber previously sent (and possibly received)
messages without breaking things entirely.

ceph: return error code returned by server

mds: drop 'closed' bit from MClientReconnect

msgr: set outgoing msg connection before encoding

This allows encode_payload to adjust behavior based on the target peer's
feature bits.

poolop: make new encoding backward compatible

This makes cea221c64 behave when messages using the old encoding (that is,
older versions of the client talk to us).

osd: fix compile error from cmpxattr, cleanup.

I think the xattr bufferlist still needs to be null terminated...

osd: fix layout return type

msgr: be less noisy about msgr throttling

osd: add cmpxattr op handling

debian: remove pull.sh calls from helper .sh scripts

atomic: cast away const on read()

(Only needed to build on lenny, this can go away someday)

osd: 'stop' command

mds: fix max_size==1 bug

We should provide a minimum of one stripe unit.

Merge branch 'string' into unstable

Conflicts:
src/client/Client.h
src/messages/MAuthReply.h
src/messages/MClientLease.h
src/osd/ReplicatedPG.cc
src/osd/osd_types.h
src/osdc/Journaler.h

types: clean up printf format warnings

bah

rgw: clean up dup #define

types: standardize on uint64_t

The problem is that on some platforms __u64 == uint64_t (x86_64), and on
others it's doesn't (ppc64).  Which means we don't know whether to define
different versions of overloaded functions for both types or just one.

So, standardize on uint64_t.  This plays nicer with STL, which defines
hash<uint64_t> on 64 bit arches but not 32 bit.  Which means we can't
standarzie on __u64 or else hash<__u64> won't work.  Bah!

endian: simplify __le* type hackery

Instead of preventing linux/types.h from being included, instead name
our types ceph_le*, and remap using #define _only_ when including the
shared kernel/userspace headers.

Also redefine some templates for both __u64 and uint64_t, which are
apparently not the same on x86_64.

ceph.spec.in: --without-hadoop --without-debug

to sync up with f13

rbdtool: --list on empty pool returns correct message

and also command doesn't hang. This fixes bug #115.

time: include _ between date and time

osd: remove bad assert in get_object_context()

This has always been fishy, and it's original purpose isn't quite clear.
The '!obc->obs.ssc' is clearly the create case, but the head_exists check
is only the case if we are getting the context for a _head, which in
many cases we're not.  In parituclarly, it fails for a snapped object
where the head doesn't exist.  We _do_ have teh ssc (from the _snapdir
object) but there is no head.

Just remove the assert entirely.. it's not clear what it's really catching.

mds: always release snap cap after flushsnap

The old condition makes no sense.  It appears to have been broken since
2008, commit a5d5e679?  Yikes.

The problem is that a flushsnap will 'release' the caps, but still leave
an open Capability on the CInode.  Then, CInode::encode_inodestat() would
& issued() when issuing caps, and a client ceph_open() would get no
caps.  The kclient is fixed up to at least not crash in that case, but even
with the fix it deadlocked.

osd: don't put() null ctx->op (message)

scripts: fix check_pglog.sh

script: add check_pglog.sh

Check pglog for zero segments, normally caused by a race between
pg log replacement (rm log, rewrite log) vs append race.

For example, see 686192a03eb7d28c7340dcab6d9671505f9cd986

mdsmap: lose angle braces, use tabs

osdmap: initially osds don't exist; create them as they boot

osd: resurrect CEPH_OSD_EXISTS flag

Mainly so we can track how many osds are in the cluster, even if they
don't start at 0.

logger: be more careful calculating variance

debian: use 'testing' or 'unstable' in place of 'git' in version suffix

librados: separate callbacks for aio ack/complete and safe

osd: clear pg REPLAY when we reinitiate peering

Among other things, a stray/bad REPLAY flag can trigger a false activation
like so:

osd/PG.cc: In function 'void PG::activate(ObjectStore::Transaction&, std::list<Context*, std::allocator<Context*> >&, std::map<int, MOSDPGInfo*, std::less<int>, std::allocator<std::pair<const int, MOSDPGInfo*> > >*)':
osd/PG.cc:1641: FAILED assert(peer_info.count(peer))
 1: (PG::activate(ObjectStore::Transaction&, std::list<Context*, std::allocator<Context*> >&, std::map<int, MOSDPGInfo*, std::less<int>, std::allocator<std::pair<int const, MOSDPGInfo*> > >*)+0x817) [0x75e637]
 2: (OSD::activate_pg(pg_t, utime_t)+0x136) [0x6bfe86]
 3: (OSD::check_replay_queue()+0x134) [0x6c0074]
 4: (OSD::tick()+0x1db) [0x6d96eb]
 5: (OSD::C_Tick::finish(int)+0x1c) [0x74844e]
 6: (SafeTimer::EventWrapper::finish(int)+0x6d) [0x7fa2cf]
 7: (Timer::timer_entry()+0x454) [0x7fb52a]
 8: (Timer::TimerThread::entry()+0x19) [0x647c09]
 9: (Thread::_entry_func(void*)+0x20) [0x659f18]
 10: /lib/libpthread.so.0 [0x7fceb73d473a]
 11: (clone()+0x6d) [0x7fceb65fe69d]

rgw: admin uses --secret instead of --key (as --key is already taken)

osd: fix critical cap parsing bugs and documentation.

msgr: fix local_pipe peer_type

Need to re-init_local_pipe() after register_entity().

Merge branch 'mds_snapids' into unstable

msgr: existing connection may be OPEN on connection race

Yup!

osd: add CMPXATTR defines

osdmaptool: add -h; don't assert on bad filename

ceph.spec.in: run configure

Reported by MarkN in #ceph on irc.oftc.net

Merge remote branch 'origin/msgr_throttle' into unstable

poolop: do op immediately, instead of waiting for timeout

rbd: update rbd image header format

MPoolOp: rearrange parsing, for easier kernel implementation

osd: add removed snapid to removed_snaps for unmanaged snaps

mds: add removal snap_seq to removed_snaps

This prevents lots of fragmentation in removed_snaps interval set.

mds: acquire anchor_create locks in caller

We're not allowed to call acquire_locks again once we've completed locking.
Do it in the caller.  Add a helper that will also take an rdlock to ensure
the anchor doesn't go away due to a racing operation.

objecter: fix ~Message() calls (use ->put())

mdsmap: cleanup up braces

mds: fix EXCL rdlock rule

Only the exclusive client should be able to rdlock.  (if anyone!)

No observed problems, caught by inspection.

mds: fix lock->sync rdlock rule

Observed symptom was touch foo on one node, and missing from ls on another
node.

Since auth rdlock isn't allowed for LOCk, it clearly shouldn't be for
LOCK->SYNC while e.g. wrlock modifications are still being flushed to the
journal and aren't yet applied.

filejournal: create if mkfs and journal is small OR dne.

filejournal: return error instead of asserting

mon: correctly update up map when taking over for creating|starting mds

Otherwise we can get crap like

in <0>
up <{0=4103}>
failed <>
stopped <>
4300: 192.168.141.103:6800/9446 '0' mds0.0 up:creating seq 2

Merge commit 'v0.20' into unstable

Conflicts:
src/mon/LogMonitor.cc
src/mon/MDSMonitor.cc
src/mon/Monitor.cc
src/mon/OSDMonitor.cc
src/mon/PGMonitor.cc

debian: fix up debian scripts

ceph.spec.in: updates

ceph.spec.in: from Josef

mds: fix trim_dentry on dentry under unlinked dir

We can get a dentry that is trimmable (e.g. null) under a new unlinked dir,
which has no subtree.  This will only happen on the auth.  In that case,
having no container is harmless--it's only needed for replicas.

This fixes the following crash:

mds/MDCache.cc: In function 'void MDCache::trim_dentry(CDentry*, std::map<int, MCacheExpire*, std::less<int>, std::allocator<std::pair<const int, MCacheExpire*> > >&)':
mds/MDCache.cc:4797: FAILED assert(con)
 1: (MDCache::trim(int)+0x214) [0x4ffbc4]
 2: (MDS::tick()+0x4c1) [0x48f3b1]
 3: (SafeTimer::EventWrapper::finish(int)+0x269) [0x683a89]
 4: (Timer::timer_entry()+0x819) [0x685909]
 5: (Timer::TimerThread::entry()+0xd) [0x47528d]
 6: (Thread::_entry_func(void*)+0x7) [0x48a8a7]
 7: /lib/libpthread.so.0 [0x7ffe62356fc7]
 8: (clone()+0x6d) [0x7ffe615835ad]
 NOTE: a copy of the executable, or `objdump -rdS <executable>` is needed to interpret this.

Signed-off-by: Sage Weil <sage@newdream.net>

osd: fix pg_to_acting_osds() calculation to consider pg_temp

The OSD was using pg_to_up_acting, the client uses pg_to_acting, and their
calculations of 'acting' weren't consistent because the latter did not
consider pg_temp.

Use new helpers to clean this up.

Signed-off-by: Sage Weil <sage@newdream.net>

objecter: show osds in laggy debug output

mds: fix trim_dentry on dentry under unlinked dir

We can get a dentry that is trimmable (e.g. null) under a new unlinked dir,
which has no subtree.  This will only happen on the auth.  In that case,
having no container is harmless--it's only needed for replicas.

This fixes the following crash:

mds/MDCache.cc: In function 'void MDCache::trim_dentry(CDentry*, std::map<int, MCacheExpire*, std::less<int>, std::allocator<std::pair<const int, MCacheExpire*> > >&)':
mds/MDCache.cc:4797: FAILED assert(con)
 1: (MDCache::trim(int)+0x214) [0x4ffbc4]
 2: (MDS::tick()+0x4c1) [0x48f3b1]
 3: (SafeTimer::EventWrapper::finish(int)+0x269) [0x683a89]
 4: (Timer::timer_entry()+0x819) [0x685909]
 5: (Timer::TimerThread::entry()+0xd) [0x47528d]
 6: (Thread::_entry_func(void*)+0x7) [0x48a8a7]
 7: /lib/libpthread.so.0 [0x7ffe62356fc7]
 8: (clone()+0x6d) [0x7ffe615835ad]
 NOTE: a copy of the executable, or `objdump -rdS <executable>` is needed to interpret this.

Signed-off-by: Sage Weil <sage@newdream.net>

osd: fix pg_to_acting_osds() calculation to consider pg_temp

The OSD was using pg_to_up_acting, the client uses pg_to_acting, and their
calculations of 'acting' weren't consistent because the latter did not
consider pg_temp.

Use new helpers to clean this up.

Signed-off-by: Sage Weil <sage@newdream.net>

objecter: show osds in laggy debug output

filestore: fail to mount if journal open fails

Clean up error reporting too.

filestore: fail to mount if journal open fails

Clean up error reporting too.

msgr: fix sigint/term signal handler to actually quit (by chaining)

msgr: fix sigint/term signal handler to actually quit (by chaining)

librados: fix blank pool stats

librados: fix blank pool stats

qa: make pjd clean up

mds: clean up MIN/MAX, client_ranges

Avoid double evaluation via macros...

msgr: remove pid file on SIGINT, SIGTERM

qa: make pjd clean up

mds: clean up MIN/MAX, client_ranges

Avoid double evaluation via macros...

msgr: remove pid file on SIGINT, SIGTERM

config: post-process default config options too

Previously we were only doing the ones we read out of the .conf.

config: post-process default config options too

Previously we were only doing the ones we read out of the .conf.

mon: use (robust) buffer::list::write_fd() to write to disk

mon: use (robust) buffer::list::write_fd() to write to disk

mon: m->get_session() may return null if session has closed

because the session close clears connection->priv.  We need to check at
each site anyway, either for null session, or for session->closed.  So
check for null session.

Conflicts:

src/mon/Monitor.cc
src/mon/OSDMonitor.cc
src/mon/PGMonitor.cc

mon: m->get_session() may return null if session has closed

because the session close clears connection->priv.  We need to check at
each site anyway, either for null session, or for session->closed.  So
check for null session.

configure: remove second AM_INIT_AUTOMAKE line

msgr: fix segfault sending msg on closed Connection/pipe

string fix

msgr: fix segfault sending msg on closed Connection/pipe

msgr: add message throttling; with a default max of 100MB waiting for dispatch

replace nstring with std::string

throttle: add fairness

This assumes that SignalOne() will wake people up in the right order.  Not
sure if that's true...

mds: fix snaprealm split on capless inode

mds: fix snaprealm split on capless inode

buffer: clean up namespace pollution

poolop: rename and move definitions to ceph_fs.h

This was done so that we can use it in the kclient

Makefile: define __CEPH__ in ceph builds. use it.

Avoid breakage when headers are used outside of ceph build (librados-dev)

mds: fix req use-after-free to get connection to direct reply

atomic: reverse if test so we don't break things on separately-compiled librados