Merge branch 'msgr' into unstable

Conflicts:
src/TODO
src/mds/Server.cc
src/msg/SimpleMessenger.cc
src/msg/SimpleMessenger.h
src/osd/OSD.cc

v0.20

mds: skip client snap notification on unlink

This is cheating a bit, but should be harmless.  Basically, we spit off the
snaprealm when we unlink to keep the hierarchy vs snaprealm invariants
intact.  But we don't really care if the client does so, so we skip the
client_snap notifications.

That means the client will leave unlinked inodes in the realm they were
in at the time of unlink.  I'm pretty sure that won't cause problems
later.

osd: more useful debugging on repop version, out of order completion

osd: print a bit more debug info about compat problems

mds: verify mdsmap compatset on startup

mds: add CompatSet to mdsmap

rbd: change rbd header disk format, update protocol version

msgr: never (re)open pipe when sending message directly to Connection*

mdsmap: add separate struct version for extended portion of mdsmap

cauthtool: add --gen-print-key

Just generate a random cryptokey and print it out.

auth: take key or file containing key on command line

e.g.

ceph --key AQBggdBLCJwLABAAuPVK/qJ3/ySbRvEnJHNJ8w== -s

ceph --keyfile file_with_key -s
ceph -K file_with_key -s

ceph -k keyring.bin -s

cauthtool: always print entire encoded CryptoKey

Make cauthtool -l output consistent with what you need to feed to
mount.ceph(8).

msgr: increment connect_seq when STANDBY->CONNECTING

Otherwise we get this on the peer:

msg/SimpleMessenger.cc: In function 'int SimpleMessenger::Pipe::accept()':
msg/SimpleMessenger.cc:767: FAILED assert(existing->state == STATE_CONNECTING)
 1: (SimpleMessenger::Pipe::accept()+0x14b2) [0x654888]
 2: (SimpleMessenger::Pipe::reader()+0x32) [0x65538c]
 3: (SimpleMessenger::Pipe::Reader::entry()+0x19) [0x649493]
 4: (Thread::_entry_func(void*)+0x20) [0x659b06]
 5: /lib/libpthread.so.0 [0x7fcdc782f73a]
 6: (clone()+0x6d) [0x7fcdc6a5969d]
 NOTE: a copy of the executable, or `objdump -rdS <executable>` is needed to interpret this.

Merge remote branch 'origin/mdssnaps' into unstable

filestore: default to writeahead journal, and no btrfs snaps

At least until btrfs snap deletion doesn't require a full commit (i.e. each
commit cycle doesn't do a commit for the snap creation AND another for the
old snap deletion).

rbdtool: add, use prettybyte_t type

rbdtool: add --info, --resize commands

auth: make 'admin' the default user

We don't create a 'guest' user anyway.

librados: adjust C++ aio completion creation api

sample.ceph.conf: add example on writeahead (vs parallel) journal

osd: create 'rbd' pool

debian: require hdparm, recommend btrfs-tools

debian: require hdparm, recommend btrfs-tools

mds: always use get_newest_seq (not snap) when doing cow

mds: rename move_to_realm(), add debugging (cleanup)

mds: don't cow already cowed dentry

sample.ceph.conf: updated

fetch_config: enable fetching ceph.conf from a remote location

fetch_config: always fetch if script exists and is executable

fetch_config: make /etc/ceph/sample.fetch_config +x

Makefile: fix whitespace

osd: don't capture SIGINT/SIGTERM; journal and/or btrfs snaps are sufficient.

We used to do this to avoid corrupting the filestore, but since we can now
either roll forward with the writeahead journal OR roll back using btrfs
snaps, this is useless.  It wasn't a full solution anyway.

auth: less noisy debug

mds: drop mutation locks

Saw this one, but fixed others that appear broken as well:

mds/MDCache.h: In function 'virtual Mutation::~Mutation()':
mds/MDCache.h:115: FAILED assert(pins.empty())
 1: (Mutation::~Mutation()+0x46) [0x791716]
 2: (MDCache::truncate_inode_logged(CInode*, Mutation*)+0x7b) [0x7bd6b7]
 3: (C_MDC_TruncateLogged::finish(int)+0x2c) [0x84100e]
 4: (finish_contexts(std::list<Context*, std::allocator<Context*> >&, int)+0x1af) [0x74a807]
 5: (Journaler::_finish_flush(int, long, utime_t, bool)+0x873) [0x92ea71]
 6: (Journaler::C_Flush::finish(int)+0x43) [0x936503]
 7: (Objecter::handle_osd_op_reply(MOSDOpReply*)+0xcf5) [0x8ff00f]
 8: (MDS::_dispatch(Message*)+0x1ee0) [0x726372]
 9: (MDS::ms_dispatch(Message*)+0x2f) [0x7274b9]
 10: (Messenger::ms_deliver_dispatch(Message*)+0x55) [0x719949]
 11: (SimpleMessenger::dispatch_entry()+0x4f4) [0x7074b2]
 12: (SimpleMessenger::DispatchThread::entry()+0x29) [0x7039d1]
 13: (Thread::_entry_func(void*)+0x20) [0x71412e]
 14: /lib/libpthread.so.0 [0x7f25474e073a]
 15: (clone()+0x6d) [0x7f254670a69d]

osd: fix snapset loading from _snapdir

Another masked variable!  In the same block as the last one!  Aie.

mds: clone dentry for multiversion dir if linkage is changing...

...even if the inode itself doesn't need to be cowed.  In particular, we
do the pre_cow_old_inode() thing, so it frequently doesn't need to be cowed,
but the dentry does when we are say unlinking a directory or some such.

mds: avoid null deref when hiding .ceph dir

mds: rename send_message_client to send_message_client_counted

mds: fix erroneous uses of send_message that need to be send_message_client

mds: Add new Connection-based send_message_client that uses inc_push_seq too

autoconf: Fix detection of sync_file_range.

Without this patch, on CentOS 5.4 ./configure reports that
sync_file_range is missing, but HAVE_SYNC_FILE_RANGE ends
up being defined in src/acconfig.h anyway.

Compile tested on CentOS 5.4 (which does not have sync_file_range(2)
in distro glibc) and Fedora 11 (which does).

Signed-off-by: Jim Schutt <jaschut@sandia.gov>

remove references to [group] and [mount] in sample.ceph.conf

add executables to .gitignore

mds: Fix bad pointer dereference brought about by switch to Message ref-counting

mds: xlock versionlock on rename if witnesses

This ensures that we don't pipeline dentry linkage updates when there
are witnesses.  That can cause problems because replicas don't see
projected dentry linkage info, and will get confused when they look at
the replica of the srcdn and it's, say, NULL and not srci.

mds: use Connection-based send_message in handle_discover

msg: Remove "asker" data member from MDiscover.
Fix uses.

mds: Fix some compile-time issues.

mds: Subsystems generally use the connection-based send_message when possible.

This isn't a very deep change, though -- a lot of the remaining instances
could probably be fixed up just by changing passthrough variables and whatnot.

mds: create send_message(Message *m, Connection *c) passthrough

rados: aio, reorder callback completion handler creation

mds: set trivial uses of send_message to use the Connection version.

osd: send_message via Connection when possible

osd: send reply via connection for MOSDSubOps

osd: Send messages via Connection * when possible.

Also, rename a message shadowing its trigger message so that we can.

msgr: Implement new send_message[_lazy](Message *m, Connection *con) functions.

These can reduce the number of lookups and should be able to recover
from any pipes being destroyed while the Connection is still active.

filestore: be thorough about wiping out old osd data content during mkfs

Delete any subvols or directories that we fine.

msgr: if a pipe** is passed in to submit_message, it's used.

This is a double pointer because it's possible that a Pipe has
been destroyed since the send_message call, so we want to check
that the Pipe * remains set after we've taken the main lock.

msgr: give submit_message new interface.

msgr: Add a void *pipe to Connection.
This is set on Connection creation and zeroed out in ~Pipe().

msgr: remove unnecessary clone variable from submit_message

filestore: log snap_create error before asserting success

mon: do not build mon to mon authorizer if cephx is disabled

osd: fix source type checks (osd, mon)

The peer type is on the connection, no need to look at Session.  Also, we
don't currently have Sessions for outgoing connections.

osd: don't ->put() a null session in _share_map_incoming

osd: queue pg update under pg sequencer

osd: queue pg creation under pg sequencer

Avoids pg log, metadata writes from being reordered.  Had to refactor
try_create_pg to be less annoying.

mds: not dout(0) request latency

qa: set -e in workunits

mds: fix broken snaprealm split optimization for (unlinked) files

Splitting a file is trivial; do it.  No special case for 'stray'.

rgw: don't crash if HTTP_HOST isn't set

osd: avoid PGPool lookup in inner loop

Each PG already has a PGPool *.

osd: fix loading of snapset from _snapdir object attr

This happens when the head is deleted but we still have snaps.  A nested
bufferlist declaration was masking things.

osd: replace the ALLOW_MESSAGES_FROM macro with use of OSDCaps functions.

Now with less null pointer exception! Code checks for session
before dereferencing it.

osd: add a message_from_mon function

Revert "osd: replace the ALLOW_MESSAGES_FROM macro with use of OSDCaps functions"

This reverts commit 9ceb3be9a62f7b777b23a4d65b1cc302ec834e6b.
This will be coming back in another form shortly, but apparently we have
more connections without sessions on the OSD.

mds: only recover files from stale clients when auth

Replicas have client_ranges defined too, but only the auth MDS should do
the file size/mtime recovery.

Also rename clear_client_caps_after_export() for clarity, and assert inode
is_auth throughout file recover code.

osd: add some put()s of Session * that weren't being used properly.

This fixes a memory leak that could have caused problems in the future.

osd: replace the ALLOW_MESSAGES_FROM macro with use of OSDCaps functions

osd: Add is_X functions to OSDCaps (where X is mon, osd, mds).

rados: check that given pool name actually exists when deleting

mon: OSDMonitor makes sure pool ID is good, preventing crashiness

osdmap: move pool names into first part of encoding; add version to second part

This gives the kclient access to pool names while still ignoring the
osd_info_t crap.  And also will make adding more stuff to the second half
later possible without breaking the kclient.

librados: add lookup_pool()

librados: no need to include linux/types.h

debian: more librados1-dev deps

spinlock: clean up #include deps

monclient: seed RNG so we pick a random monitor

todo: move bugs to tracker

auth: cauthtool now identifies itself properly to common_init

mon: add 'get' command to AuthMon, letting you retrive one entity's keyring data

filestore: fix weird references for clone/clone_range

Not sure why that was legal to begin with?

objectstore: fix clone_range() transaction encoding

librados: clean up object listing api

osd: clear initial interval_set in build_removed_snaps

Caller may pass a non-empty set, in which case we crashed or returned a bad
result.

testrados: create/use own pool

crc32c: ifdef out dead code to shut up warning

Merge branch 'ns' into unstable

filestore: more informative error on current/ rename failure

init-ceph: include 'noatime' btrfs mount option by default

testrados: test more stuff

objecter: cleanup