osd: don't put() null ctx->op (message)

scripts: fix check_pglog.sh

script: add check_pglog.sh

Check pglog for zero segments, normally caused by a race between
pg log replacement (rm log, rewrite log) vs append race.

For example, see 686192a03eb7d28c7340dcab6d9671505f9cd986

mdsmap: lose angle braces, use tabs

osdmap: initially osds don't exist; create them as they boot

osd: resurrect CEPH_OSD_EXISTS flag

Mainly so we can track how many osds are in the cluster, even if they
don't start at 0.

logger: be more careful calculating variance

debian: use 'testing' or 'unstable' in place of 'git' in version suffix

librados: separate callbacks for aio ack/complete and safe

osd: clear pg REPLAY when we reinitiate peering

Among other things, a stray/bad REPLAY flag can trigger a false activation
like so:

osd/PG.cc: In function 'void PG::activate(ObjectStore::Transaction&, std::list<Context*, std::allocator<Context*> >&, std::map<int, MOSDPGInfo*, std::less<int>, std::allocator<std::pair<const int, MOSDPGInfo*> > >*)':
osd/PG.cc:1641: FAILED assert(peer_info.count(peer))
 1: (PG::activate(ObjectStore::Transaction&, std::list<Context*, std::allocator<Context*> >&, std::map<int, MOSDPGInfo*, std::less<int>, std::allocator<std::pair<int const, MOSDPGInfo*> > >*)+0x817) [0x75e637]
 2: (OSD::activate_pg(pg_t, utime_t)+0x136) [0x6bfe86]
 3: (OSD::check_replay_queue()+0x134) [0x6c0074]
 4: (OSD::tick()+0x1db) [0x6d96eb]
 5: (OSD::C_Tick::finish(int)+0x1c) [0x74844e]
 6: (SafeTimer::EventWrapper::finish(int)+0x6d) [0x7fa2cf]
 7: (Timer::timer_entry()+0x454) [0x7fb52a]
 8: (Timer::TimerThread::entry()+0x19) [0x647c09]
 9: (Thread::_entry_func(void*)+0x20) [0x659f18]
 10: /lib/libpthread.so.0 [0x7fceb73d473a]
 11: (clone()+0x6d) [0x7fceb65fe69d]

rgw: admin uses --secret instead of --key (as --key is already taken)

osd: fix critical cap parsing bugs and documentation.

msgr: fix local_pipe peer_type

Need to re-init_local_pipe() after register_entity().

Merge branch 'mds_snapids' into unstable

msgr: existing connection may be OPEN on connection race

Yup!

osd: add CMPXATTR defines

osdmaptool: add -h; don't assert on bad filename

ceph.spec.in: run configure

Reported by MarkN in #ceph on irc.oftc.net

Merge remote branch 'origin/msgr_throttle' into unstable

poolop: do op immediately, instead of waiting for timeout

rbd: update rbd image header format

MPoolOp: rearrange parsing, for easier kernel implementation

osd: add removed snapid to removed_snaps for unmanaged snaps

mds: add removal snap_seq to removed_snaps

This prevents lots of fragmentation in removed_snaps interval set.

mds: acquire anchor_create locks in caller

We're not allowed to call acquire_locks again once we've completed locking.
Do it in the caller.  Add a helper that will also take an rdlock to ensure
the anchor doesn't go away due to a racing operation.

objecter: fix ~Message() calls (use ->put())

mdsmap: cleanup up braces

mds: fix EXCL rdlock rule

Only the exclusive client should be able to rdlock.  (if anyone!)

No observed problems, caught by inspection.

mds: fix lock->sync rdlock rule

Observed symptom was touch foo on one node, and missing from ls on another
node.

Since auth rdlock isn't allowed for LOCk, it clearly shouldn't be for
LOCK->SYNC while e.g. wrlock modifications are still being flushed to the
journal and aren't yet applied.

filejournal: create if mkfs and journal is small OR dne.

filejournal: return error instead of asserting

mon: correctly update up map when taking over for creating|starting mds

Otherwise we can get crap like

in <0>
up <{0=4103}>
failed <>
stopped <>
4300: 192.168.141.103:6800/9446 '0' mds0.0 up:creating seq 2

Merge commit 'v0.20' into unstable

Conflicts:
src/mon/LogMonitor.cc
src/mon/MDSMonitor.cc
src/mon/Monitor.cc
src/mon/OSDMonitor.cc
src/mon/PGMonitor.cc

debian: fix up debian scripts

ceph.spec.in: updates

ceph.spec.in: from Josef

mds: fix trim_dentry on dentry under unlinked dir

We can get a dentry that is trimmable (e.g. null) under a new unlinked dir,
which has no subtree.  This will only happen on the auth.  In that case,
having no container is harmless--it's only needed for replicas.

This fixes the following crash:

mds/MDCache.cc: In function 'void MDCache::trim_dentry(CDentry*, std::map<int, MCacheExpire*, std::less<int>, std::allocator<std::pair<const int, MCacheExpire*> > >&)':
mds/MDCache.cc:4797: FAILED assert(con)
 1: (MDCache::trim(int)+0x214) [0x4ffbc4]
 2: (MDS::tick()+0x4c1) [0x48f3b1]
 3: (SafeTimer::EventWrapper::finish(int)+0x269) [0x683a89]
 4: (Timer::timer_entry()+0x819) [0x685909]
 5: (Timer::TimerThread::entry()+0xd) [0x47528d]
 6: (Thread::_entry_func(void*)+0x7) [0x48a8a7]
 7: /lib/libpthread.so.0 [0x7ffe62356fc7]
 8: (clone()+0x6d) [0x7ffe615835ad]
 NOTE: a copy of the executable, or `objdump -rdS <executable>` is needed to interpret this.

Signed-off-by: Sage Weil <sage@newdream.net>

osd: fix pg_to_acting_osds() calculation to consider pg_temp

The OSD was using pg_to_up_acting, the client uses pg_to_acting, and their
calculations of 'acting' weren't consistent because the latter did not
consider pg_temp.

Use new helpers to clean this up.

Signed-off-by: Sage Weil <sage@newdream.net>

objecter: show osds in laggy debug output

mds: fix trim_dentry on dentry under unlinked dir

We can get a dentry that is trimmable (e.g. null) under a new unlinked dir,
which has no subtree.  This will only happen on the auth.  In that case,
having no container is harmless--it's only needed for replicas.

This fixes the following crash:

mds/MDCache.cc: In function 'void MDCache::trim_dentry(CDentry*, std::map<int, MCacheExpire*, std::less<int>, std::allocator<std::pair<const int, MCacheExpire*> > >&)':
mds/MDCache.cc:4797: FAILED assert(con)
 1: (MDCache::trim(int)+0x214) [0x4ffbc4]
 2: (MDS::tick()+0x4c1) [0x48f3b1]
 3: (SafeTimer::EventWrapper::finish(int)+0x269) [0x683a89]
 4: (Timer::timer_entry()+0x819) [0x685909]
 5: (Timer::TimerThread::entry()+0xd) [0x47528d]
 6: (Thread::_entry_func(void*)+0x7) [0x48a8a7]
 7: /lib/libpthread.so.0 [0x7ffe62356fc7]
 8: (clone()+0x6d) [0x7ffe615835ad]
 NOTE: a copy of the executable, or `objdump -rdS <executable>` is needed to interpret this.

Signed-off-by: Sage Weil <sage@newdream.net>

osd: fix pg_to_acting_osds() calculation to consider pg_temp

The OSD was using pg_to_up_acting, the client uses pg_to_acting, and their
calculations of 'acting' weren't consistent because the latter did not
consider pg_temp.

Use new helpers to clean this up.

Signed-off-by: Sage Weil <sage@newdream.net>

objecter: show osds in laggy debug output

filestore: fail to mount if journal open fails

Clean up error reporting too.

filestore: fail to mount if journal open fails

Clean up error reporting too.

msgr: fix sigint/term signal handler to actually quit (by chaining)

msgr: fix sigint/term signal handler to actually quit (by chaining)

librados: fix blank pool stats

librados: fix blank pool stats

qa: make pjd clean up

mds: clean up MIN/MAX, client_ranges

Avoid double evaluation via macros...

msgr: remove pid file on SIGINT, SIGTERM

qa: make pjd clean up

mds: clean up MIN/MAX, client_ranges

Avoid double evaluation via macros...

msgr: remove pid file on SIGINT, SIGTERM

config: post-process default config options too

Previously we were only doing the ones we read out of the .conf.

config: post-process default config options too

Previously we were only doing the ones we read out of the .conf.

mon: use (robust) buffer::list::write_fd() to write to disk

mon: use (robust) buffer::list::write_fd() to write to disk

mon: m->get_session() may return null if session has closed

because the session close clears connection->priv.  We need to check at
each site anyway, either for null session, or for session->closed.  So
check for null session.

Conflicts:

src/mon/Monitor.cc
src/mon/OSDMonitor.cc
src/mon/PGMonitor.cc

mon: m->get_session() may return null if session has closed

because the session close clears connection->priv.  We need to check at
each site anyway, either for null session, or for session->closed.  So
check for null session.

configure: remove second AM_INIT_AUTOMAKE line

msgr: fix segfault sending msg on closed Connection/pipe

msgr: add message throttling; with a default max of 100MB waiting for dispatch

throttle: add fairness

This assumes that SignalOne() will wake people up in the right order.  Not
sure if that's true...

mds: fix snaprealm split on capless inode

mds: fix snaprealm split on capless inode

buffer: clean up namespace pollution

poolop: rename and move definitions to ceph_fs.h

This was done so that we can use it in the kclient

Makefile: define __CEPH__ in ceph builds. use it.

Avoid breakage when headers are used outside of ceph build (librados-dev)

mds: fix req use-after-free to get connection to direct reply

atomic: reverse if test so we don't break things on separately-compiled librados

mds: remove unused variable from Locker

debian: build-depends libatomicops-dev

Merge branch 'snaps' into unstable

mon: clean up mon snap type checks

osd: no error checking in data structure (caller should do it)

mon: don't create/delete unmanaged snaps if pool snaps exist

librados: clean up headres

objecter: do pool op result parsing in Objecter completion wrapper

librados: Adjust snapid allocation ufnctions and implement new objecter spec

objecter: Implement bufferlist-based return code for pool ops

mon: OSDMonitor fills in MPoolOpReply's bufferlist on unmanaged snap creation

msg: Give MPoolOpReply a bufferlist for reply data

mon: change the unmanaged snap interface for better distinction of reply codes
and snapid numbers.

Of course, this now means that the snapid isn't actually passed
back to the client, but that is about to change.

librados: Set selfmanaged snap functions to use int instead of int64_t, too

librados: add small bit of documentation, fix headers

mon: don't crash if a client tries to self-manage managed snaps, or vice versa

librados: add functions for client-managed snapshots in all the interfaces

objecter: New functions for client-managed snapshots.

mon: OSDMonitor handles client-managed snapshot requests.

osd: pg_pool_t gets new functions for unmanaged (ie, client-managed) snaps

msg: Add space for snapid in MPoolOp. Reply now uses an int64_t replyCode.

This allows space for a full 64-bit snapid to be returned, which is about
to be necessary.

msgr: fix atomic_t test

Missed this in merge 50285ecf5c404b456a0427eb7d6d1097ffc0ea83

Merge branch 'atomic' into unstable

Merge branch 'msgr' into unstable

Conflicts:
src/TODO
src/mds/Server.cc
src/msg/SimpleMessenger.cc
src/msg/SimpleMessenger.h
src/osd/OSD.cc

v0.20

mds: skip client snap notification on unlink

This is cheating a bit, but should be harmless.  Basically, we spit off the
snaprealm when we unlink to keep the hierarchy vs snaprealm invariants
intact.  But we don't really care if the client does so, so we skip the
client_snap notifications.

That means the client will leave unlinked inodes in the realm they were
in at the time of unlink.  I'm pretty sure that won't cause problems
later.

osd: more useful debugging on repop version, out of order completion

osd: print a bit more debug info about compat problems

mds: verify mdsmap compatset on startup