objecter: show osds in laggy debug output

mds: fix trim_dentry on dentry under unlinked dir

We can get a dentry that is trimmable (e.g. null) under a new unlinked dir,
which has no subtree.  This will only happen on the auth.  In that case,
having no container is harmless--it's only needed for replicas.

This fixes the following crash:

mds/MDCache.cc: In function 'void MDCache::trim_dentry(CDentry*, std::map<int, MCacheExpire*, std::less<int>, std::allocator<std::pair<const int, MCacheExpire*> > >&)':
mds/MDCache.cc:4797: FAILED assert(con)
 1: (MDCache::trim(int)+0x214) [0x4ffbc4]
 2: (MDS::tick()+0x4c1) [0x48f3b1]
 3: (SafeTimer::EventWrapper::finish(int)+0x269) [0x683a89]
 4: (Timer::timer_entry()+0x819) [0x685909]
 5: (Timer::TimerThread::entry()+0xd) [0x47528d]
 6: (Thread::_entry_func(void*)+0x7) [0x48a8a7]
 7: /lib/libpthread.so.0 [0x7ffe62356fc7]
 8: (clone()+0x6d) [0x7ffe615835ad]
 NOTE: a copy of the executable, or `objdump -rdS <executable>` is needed to interpret this.

Signed-off-by: Sage Weil <sage@newdream.net>

osd: fix pg_to_acting_osds() calculation to consider pg_temp

The OSD was using pg_to_up_acting, the client uses pg_to_acting, and their
calculations of 'acting' weren't consistent because the latter did not
consider pg_temp.

Use new helpers to clean this up.

Signed-off-by: Sage Weil <sage@newdream.net>

filestore: fail to mount if journal open fails

Clean up error reporting too.

msgr: fix sigint/term signal handler to actually quit (by chaining)

librados: fix blank pool stats

qa: make pjd clean up

mds: clean up MIN/MAX, client_ranges

Avoid double evaluation via macros...

msgr: remove pid file on SIGINT, SIGTERM

config: post-process default config options too

Previously we were only doing the ones we read out of the .conf.

mon: use (robust) buffer::list::write_fd() to write to disk

mon: m->get_session() may return null if session has closed

because the session close clears connection->priv.  We need to check at
each site anyway, either for null session, or for session->closed.  So
check for null session.

Conflicts:

src/mon/Monitor.cc
src/mon/OSDMonitor.cc
src/mon/PGMonitor.cc

mds: fix snaprealm split on capless inode

v0.20

mds: skip client snap notification on unlink

This is cheating a bit, but should be harmless.  Basically, we spit off the
snaprealm when we unlink to keep the hierarchy vs snaprealm invariants
intact.  But we don't really care if the client does so, so we skip the
client_snap notifications.

That means the client will leave unlinked inodes in the realm they were
in at the time of unlink.  I'm pretty sure that won't cause problems
later.

osd: more useful debugging on repop version, out of order completion

osd: print a bit more debug info about compat problems

mds: verify mdsmap compatset on startup

mds: add CompatSet to mdsmap

rbd: change rbd header disk format, update protocol version

mdsmap: add separate struct version for extended portion of mdsmap

cauthtool: add --gen-print-key

Just generate a random cryptokey and print it out.

auth: take key or file containing key on command line

e.g.

ceph --key AQBggdBLCJwLABAAuPVK/qJ3/ySbRvEnJHNJ8w== -s

ceph --keyfile file_with_key -s
ceph -K file_with_key -s

ceph -k keyring.bin -s

cauthtool: always print entire encoded CryptoKey

Make cauthtool -l output consistent with what you need to feed to
mount.ceph(8).

msgr: increment connect_seq when STANDBY->CONNECTING

Otherwise we get this on the peer:

msg/SimpleMessenger.cc: In function 'int SimpleMessenger::Pipe::accept()':
msg/SimpleMessenger.cc:767: FAILED assert(existing->state == STATE_CONNECTING)
 1: (SimpleMessenger::Pipe::accept()+0x14b2) [0x654888]
 2: (SimpleMessenger::Pipe::reader()+0x32) [0x65538c]
 3: (SimpleMessenger::Pipe::Reader::entry()+0x19) [0x649493]
 4: (Thread::_entry_func(void*)+0x20) [0x659b06]
 5: /lib/libpthread.so.0 [0x7fcdc782f73a]
 6: (clone()+0x6d) [0x7fcdc6a5969d]
 NOTE: a copy of the executable, or `objdump -rdS <executable>` is needed to interpret this.

Merge remote branch 'origin/mdssnaps' into unstable

filestore: default to writeahead journal, and no btrfs snaps

At least until btrfs snap deletion doesn't require a full commit (i.e. each
commit cycle doesn't do a commit for the snap creation AND another for the
old snap deletion).

rbdtool: add, use prettybyte_t type

rbdtool: add --info, --resize commands

auth: make 'admin' the default user

We don't create a 'guest' user anyway.

librados: adjust C++ aio completion creation api

sample.ceph.conf: add example on writeahead (vs parallel) journal

osd: create 'rbd' pool

debian: require hdparm, recommend btrfs-tools

debian: require hdparm, recommend btrfs-tools

mds: always use get_newest_seq (not snap) when doing cow

mds: rename move_to_realm(), add debugging (cleanup)

mds: don't cow already cowed dentry

sample.ceph.conf: updated

fetch_config: enable fetching ceph.conf from a remote location

fetch_config: always fetch if script exists and is executable

fetch_config: make /etc/ceph/sample.fetch_config +x

Makefile: fix whitespace

osd: don't capture SIGINT/SIGTERM; journal and/or btrfs snaps are sufficient.

We used to do this to avoid corrupting the filestore, but since we can now
either roll forward with the writeahead journal OR roll back using btrfs
snaps, this is useless.  It wasn't a full solution anyway.

auth: less noisy debug

mds: drop mutation locks

Saw this one, but fixed others that appear broken as well:

mds/MDCache.h: In function 'virtual Mutation::~Mutation()':
mds/MDCache.h:115: FAILED assert(pins.empty())
 1: (Mutation::~Mutation()+0x46) [0x791716]
 2: (MDCache::truncate_inode_logged(CInode*, Mutation*)+0x7b) [0x7bd6b7]
 3: (C_MDC_TruncateLogged::finish(int)+0x2c) [0x84100e]
 4: (finish_contexts(std::list<Context*, std::allocator<Context*> >&, int)+0x1af) [0x74a807]
 5: (Journaler::_finish_flush(int, long, utime_t, bool)+0x873) [0x92ea71]
 6: (Journaler::C_Flush::finish(int)+0x43) [0x936503]
 7: (Objecter::handle_osd_op_reply(MOSDOpReply*)+0xcf5) [0x8ff00f]
 8: (MDS::_dispatch(Message*)+0x1ee0) [0x726372]
 9: (MDS::ms_dispatch(Message*)+0x2f) [0x7274b9]
 10: (Messenger::ms_deliver_dispatch(Message*)+0x55) [0x719949]
 11: (SimpleMessenger::dispatch_entry()+0x4f4) [0x7074b2]
 12: (SimpleMessenger::DispatchThread::entry()+0x29) [0x7039d1]
 13: (Thread::_entry_func(void*)+0x20) [0x71412e]
 14: /lib/libpthread.so.0 [0x7f25474e073a]
 15: (clone()+0x6d) [0x7f254670a69d]

osd: fix snapset loading from _snapdir

Another masked variable!  In the same block as the last one!  Aie.

mds: clone dentry for multiversion dir if linkage is changing...

...even if the inode itself doesn't need to be cowed.  In particular, we
do the pre_cow_old_inode() thing, so it frequently doesn't need to be cowed,
but the dentry does when we are say unlinking a directory or some such.

mds: avoid null deref when hiding .ceph dir

autoconf: Fix detection of sync_file_range.

Without this patch, on CentOS 5.4 ./configure reports that
sync_file_range is missing, but HAVE_SYNC_FILE_RANGE ends
up being defined in src/acconfig.h anyway.

Compile tested on CentOS 5.4 (which does not have sync_file_range(2)
in distro glibc) and Fedora 11 (which does).

Signed-off-by: Jim Schutt <jaschut@sandia.gov>

remove references to [group] and [mount] in sample.ceph.conf

add executables to .gitignore

mds: xlock versionlock on rename if witnesses

This ensures that we don't pipeline dentry linkage updates when there
are witnesses.  That can cause problems because replicas don't see
projected dentry linkage info, and will get confused when they look at
the replica of the srcdn and it's, say, NULL and not srci.

rados: aio, reorder callback completion handler creation

filestore: be thorough about wiping out old osd data content during mkfs

Delete any subvols or directories that we fine.

filestore: log snap_create error before asserting success

mon: do not build mon to mon authorizer if cephx is disabled

osd: fix source type checks (osd, mon)

The peer type is on the connection, no need to look at Session.  Also, we
don't currently have Sessions for outgoing connections.

osd: don't ->put() a null session in _share_map_incoming

osd: queue pg update under pg sequencer

osd: queue pg creation under pg sequencer

Avoids pg log, metadata writes from being reordered.  Had to refactor
try_create_pg to be less annoying.

mds: not dout(0) request latency

qa: set -e in workunits

mds: fix broken snaprealm split optimization for (unlinked) files

Splitting a file is trivial; do it.  No special case for 'stray'.

rgw: don't crash if HTTP_HOST isn't set

osd: avoid PGPool lookup in inner loop

Each PG already has a PGPool *.

osd: fix loading of snapset from _snapdir object attr

This happens when the head is deleted but we still have snaps.  A nested
bufferlist declaration was masking things.

osd: replace the ALLOW_MESSAGES_FROM macro with use of OSDCaps functions.

Now with less null pointer exception! Code checks for session
before dereferencing it.

osd: add a message_from_mon function

Revert "osd: replace the ALLOW_MESSAGES_FROM macro with use of OSDCaps functions"

This reverts commit 9ceb3be9a62f7b777b23a4d65b1cc302ec834e6b.
This will be coming back in another form shortly, but apparently we have
more connections without sessions on the OSD.

mds: only recover files from stale clients when auth

Replicas have client_ranges defined too, but only the auth MDS should do
the file size/mtime recovery.

Also rename clear_client_caps_after_export() for clarity, and assert inode
is_auth throughout file recover code.

osd: add some put()s of Session * that weren't being used properly.

This fixes a memory leak that could have caused problems in the future.

osd: replace the ALLOW_MESSAGES_FROM macro with use of OSDCaps functions

osd: Add is_X functions to OSDCaps (where X is mon, osd, mds).

rados: check that given pool name actually exists when deleting

mon: OSDMonitor makes sure pool ID is good, preventing crashiness

osdmap: move pool names into first part of encoding; add version to second part

This gives the kclient access to pool names while still ignoring the
osd_info_t crap.  And also will make adding more stuff to the second half
later possible without breaking the kclient.

librados: add lookup_pool()

librados: no need to include linux/types.h

debian: more librados1-dev deps

spinlock: clean up #include deps

monclient: seed RNG so we pick a random monitor

todo: move bugs to tracker

auth: cauthtool now identifies itself properly to common_init

mon: add 'get' command to AuthMon, letting you retrive one entity's keyring data

filestore: fix weird references for clone/clone_range

Not sure why that was legal to begin with?

objectstore: fix clone_range() transaction encoding

librados: clean up object listing api

osd: clear initial interval_set in build_removed_snaps

Caller may pass a non-empty set, in which case we crashed or returned a bad
result.

testrados: create/use own pool

crc32c: ifdef out dead code to shut up warning

Merge branch 'ns' into unstable

filestore: more informative error on current/ rename failure

init-ceph: include 'noatime' btrfs mount option by default

testrados: test more stuff

objecter: cleanup

librados: clean up c header

debian: fix up librados1-dev with all necessary headers

librados: move c++ api into librados.hpp; more type cleanup

librados: use std::string, not nstring, in c++ api

librados: avoid snapid_t type, types.h

rbdtool: fix man warnings

filestore: check for SNAP_DESTROY ioctl, and file if not present