mds: fix trim_dentry on dentry under unlinked dir

We can get a dentry that is trimmable (e.g. null) under a new unlinked dir,
which has no subtree.  This will only happen on the auth.  In that case,
having no container is harmless--it's only needed for replicas.

This fixes the following crash:

mds/MDCache.cc: In function 'void MDCache::trim_dentry(CDentry*, std::map<int, MCacheExpire*, std::less<int>, std::allocator<std::pair<const int, MCacheExpire*> > >&)':
mds/MDCache.cc:4797: FAILED assert(con)
 1: (MDCache::trim(int)+0x214) [0x4ffbc4]
 2: (MDS::tick()+0x4c1) [0x48f3b1]
 3: (SafeTimer::EventWrapper::finish(int)+0x269) [0x683a89]
 4: (Timer::timer_entry()+0x819) [0x685909]
 5: (Timer::TimerThread::entry()+0xd) [0x47528d]
 6: (Thread::_entry_func(void*)+0x7) [0x48a8a7]
 7: /lib/libpthread.so.0 [0x7ffe62356fc7]
 8: (clone()+0x6d) [0x7ffe615835ad]
 NOTE: a copy of the executable, or `objdump -rdS <executable>` is needed to interpret this.

Signed-off-by: Sage Weil <sage@newdream.net>

osd: fix pg_to_acting_osds() calculation to consider pg_temp

The OSD was using pg_to_up_acting, the client uses pg_to_acting, and their
calculations of 'acting' weren't consistent because the latter did not
consider pg_temp.

Use new helpers to clean this up.

Signed-off-by: Sage Weil <sage@newdream.net>

objecter: show osds in laggy debug output

filestore: fail to mount if journal open fails

Clean up error reporting too.

msgr: fix sigint/term signal handler to actually quit (by chaining)

librados: fix blank pool stats

qa: make pjd clean up

mds: clean up MIN/MAX, client_ranges

Avoid double evaluation via macros...

msgr: remove pid file on SIGINT, SIGTERM

config: post-process default config options too

Previously we were only doing the ones we read out of the .conf.

mon: use (robust) buffer::list::write_fd() to write to disk

mon: m->get_session() may return null if session has closed

because the session close clears connection->priv.  We need to check at
each site anyway, either for null session, or for session->closed.  So
check for null session.

configure: remove second AM_INIT_AUTOMAKE line

msgr: fix segfault sending msg on closed Connection/pipe

mds: fix snaprealm split on capless inode

buffer: clean up namespace pollution

poolop: rename and move definitions to ceph_fs.h

This was done so that we can use it in the kclient

Makefile: define __CEPH__ in ceph builds. use it.

Avoid breakage when headers are used outside of ceph build (librados-dev)

mds: fix req use-after-free to get connection to direct reply

atomic: reverse if test so we don't break things on separately-compiled librados

mds: remove unused variable from Locker

debian: build-depends libatomicops-dev

Merge branch 'snaps' into unstable

mon: clean up mon snap type checks

osd: no error checking in data structure (caller should do it)

mon: don't create/delete unmanaged snaps if pool snaps exist

librados: clean up headres

objecter: do pool op result parsing in Objecter completion wrapper

librados: Adjust snapid allocation ufnctions and implement new objecter spec

objecter: Implement bufferlist-based return code for pool ops

mon: OSDMonitor fills in MPoolOpReply's bufferlist on unmanaged snap creation

msg: Give MPoolOpReply a bufferlist for reply data

mon: change the unmanaged snap interface for better distinction of reply codes
and snapid numbers.

Of course, this now means that the snapid isn't actually passed
back to the client, but that is about to change.

librados: Set selfmanaged snap functions to use int instead of int64_t, too

librados: add small bit of documentation, fix headers

mon: don't crash if a client tries to self-manage managed snaps, or vice versa

librados: add functions for client-managed snapshots in all the interfaces

objecter: New functions for client-managed snapshots.

mon: OSDMonitor handles client-managed snapshot requests.

osd: pg_pool_t gets new functions for unmanaged (ie, client-managed) snaps

msg: Add space for snapid in MPoolOp. Reply now uses an int64_t replyCode.

This allows space for a full 64-bit snapid to be returned, which is about
to be necessary.

msgr: fix atomic_t test

Missed this in merge 50285ecf5c404b456a0427eb7d6d1097ffc0ea83

Merge branch 'atomic' into unstable

Merge branch 'msgr' into unstable

Conflicts:
src/TODO
src/mds/Server.cc
src/msg/SimpleMessenger.cc
src/msg/SimpleMessenger.h
src/osd/OSD.cc

v0.20

mds: skip client snap notification on unlink

This is cheating a bit, but should be harmless.  Basically, we spit off the
snaprealm when we unlink to keep the hierarchy vs snaprealm invariants
intact.  But we don't really care if the client does so, so we skip the
client_snap notifications.

That means the client will leave unlinked inodes in the realm they were
in at the time of unlink.  I'm pretty sure that won't cause problems
later.

osd: more useful debugging on repop version, out of order completion

osd: print a bit more debug info about compat problems

mds: verify mdsmap compatset on startup

mds: add CompatSet to mdsmap

rbd: change rbd header disk format, update protocol version

msgr: never (re)open pipe when sending message directly to Connection*

mdsmap: add separate struct version for extended portion of mdsmap

cauthtool: add --gen-print-key

Just generate a random cryptokey and print it out.

auth: take key or file containing key on command line

e.g.

ceph --key AQBggdBLCJwLABAAuPVK/qJ3/ySbRvEnJHNJ8w== -s

ceph --keyfile file_with_key -s
ceph -K file_with_key -s

ceph -k keyring.bin -s

cauthtool: always print entire encoded CryptoKey

Make cauthtool -l output consistent with what you need to feed to
mount.ceph(8).

msgr: increment connect_seq when STANDBY->CONNECTING

Otherwise we get this on the peer:

msg/SimpleMessenger.cc: In function 'int SimpleMessenger::Pipe::accept()':
msg/SimpleMessenger.cc:767: FAILED assert(existing->state == STATE_CONNECTING)
 1: (SimpleMessenger::Pipe::accept()+0x14b2) [0x654888]
 2: (SimpleMessenger::Pipe::reader()+0x32) [0x65538c]
 3: (SimpleMessenger::Pipe::Reader::entry()+0x19) [0x649493]
 4: (Thread::_entry_func(void*)+0x20) [0x659b06]
 5: /lib/libpthread.so.0 [0x7fcdc782f73a]
 6: (clone()+0x6d) [0x7fcdc6a5969d]
 NOTE: a copy of the executable, or `objdump -rdS <executable>` is needed to interpret this.

Merge remote branch 'origin/mdssnaps' into unstable

filestore: default to writeahead journal, and no btrfs snaps

At least until btrfs snap deletion doesn't require a full commit (i.e. each
commit cycle doesn't do a commit for the snap creation AND another for the
old snap deletion).

rbdtool: add, use prettybyte_t type

rbdtool: add --info, --resize commands

auth: make 'admin' the default user

We don't create a 'guest' user anyway.

librados: adjust C++ aio completion creation api

sample.ceph.conf: add example on writeahead (vs parallel) journal

osd: create 'rbd' pool

debian: require hdparm, recommend btrfs-tools

debian: require hdparm, recommend btrfs-tools

mds: always use get_newest_seq (not snap) when doing cow

mds: rename move_to_realm(), add debugging (cleanup)

mds: don't cow already cowed dentry

sample.ceph.conf: updated

fetch_config: enable fetching ceph.conf from a remote location

fetch_config: always fetch if script exists and is executable

fetch_config: make /etc/ceph/sample.fetch_config +x

Makefile: fix whitespace

osd: don't capture SIGINT/SIGTERM; journal and/or btrfs snaps are sufficient.

We used to do this to avoid corrupting the filestore, but since we can now
either roll forward with the writeahead journal OR roll back using btrfs
snaps, this is useless.  It wasn't a full solution anyway.

auth: less noisy debug

mds: drop mutation locks

Saw this one, but fixed others that appear broken as well:

mds/MDCache.h: In function 'virtual Mutation::~Mutation()':
mds/MDCache.h:115: FAILED assert(pins.empty())
 1: (Mutation::~Mutation()+0x46) [0x791716]
 2: (MDCache::truncate_inode_logged(CInode*, Mutation*)+0x7b) [0x7bd6b7]
 3: (C_MDC_TruncateLogged::finish(int)+0x2c) [0x84100e]
 4: (finish_contexts(std::list<Context*, std::allocator<Context*> >&, int)+0x1af) [0x74a807]
 5: (Journaler::_finish_flush(int, long, utime_t, bool)+0x873) [0x92ea71]
 6: (Journaler::C_Flush::finish(int)+0x43) [0x936503]
 7: (Objecter::handle_osd_op_reply(MOSDOpReply*)+0xcf5) [0x8ff00f]
 8: (MDS::_dispatch(Message*)+0x1ee0) [0x726372]
 9: (MDS::ms_dispatch(Message*)+0x2f) [0x7274b9]
 10: (Messenger::ms_deliver_dispatch(Message*)+0x55) [0x719949]
 11: (SimpleMessenger::dispatch_entry()+0x4f4) [0x7074b2]
 12: (SimpleMessenger::DispatchThread::entry()+0x29) [0x7039d1]
 13: (Thread::_entry_func(void*)+0x20) [0x71412e]
 14: /lib/libpthread.so.0 [0x7f25474e073a]
 15: (clone()+0x6d) [0x7f254670a69d]

osd: fix snapset loading from _snapdir

Another masked variable!  In the same block as the last one!  Aie.

mds: clone dentry for multiversion dir if linkage is changing...

...even if the inode itself doesn't need to be cowed.  In particular, we
do the pre_cow_old_inode() thing, so it frequently doesn't need to be cowed,
but the dentry does when we are say unlinking a directory or some such.

mds: avoid null deref when hiding .ceph dir

mds: rename send_message_client to send_message_client_counted

mds: fix erroneous uses of send_message that need to be send_message_client

mds: Add new Connection-based send_message_client that uses inc_push_seq too

autoconf: Fix detection of sync_file_range.

Without this patch, on CentOS 5.4 ./configure reports that
sync_file_range is missing, but HAVE_SYNC_FILE_RANGE ends
up being defined in src/acconfig.h anyway.

Compile tested on CentOS 5.4 (which does not have sync_file_range(2)
in distro glibc) and Fedora 11 (which does).

Signed-off-by: Jim Schutt <jaschut@sandia.gov>

remove references to [group] and [mount] in sample.ceph.conf

add executables to .gitignore

mds: Fix bad pointer dereference brought about by switch to Message ref-counting

mds: xlock versionlock on rename if witnesses

This ensures that we don't pipeline dentry linkage updates when there
are witnesses.  That can cause problems because replicas don't see
projected dentry linkage info, and will get confused when they look at
the replica of the srcdn and it's, say, NULL and not srci.

mds: use Connection-based send_message in handle_discover

msg: Remove "asker" data member from MDiscover.
Fix uses.

mds: Fix some compile-time issues.

mds: Subsystems generally use the connection-based send_message when possible.

This isn't a very deep change, though -- a lot of the remaining instances
could probably be fixed up just by changing passthrough variables and whatnot.

mds: create send_message(Message *m, Connection *c) passthrough

rados: aio, reorder callback completion handler creation

mds: set trivial uses of send_message to use the Connection version.

osd: send_message via Connection when possible

osd: send reply via connection for MOSDSubOps

osd: Send messages via Connection * when possible.

Also, rename a message shadowing its trigger message so that we can.

msgr: Implement new send_message[_lazy](Message *m, Connection *con) functions.

These can reduce the number of lookups and should be able to recover
from any pipes being destroyed while the Connection is still active.

filestore: be thorough about wiping out old osd data content during mkfs

Delete any subvols or directories that we fine.

msgr: if a pipe** is passed in to submit_message, it's used.

This is a double pointer because it's possible that a Pipe has
been destroyed since the send_message call, so we want to check
that the Pipe * remains set after we've taken the main lock.

msgr: give submit_message new interface.