MPoolOp: rearrange parsing, for easier kernel implementation

mds: acquire anchor_create locks in caller

We're not allowed to call acquire_locks again once we've completed locking.
Do it in the caller.  Add a helper that will also take an rdlock to ensure
the anchor doesn't go away due to a racing operation.

objecter: fix ~Message() calls (use ->put())

mdsmap: cleanup up braces

mds: fix EXCL rdlock rule

Only the exclusive client should be able to rdlock.  (if anyone!)

No observed problems, caught by inspection.

mds: fix lock->sync rdlock rule

Observed symptom was touch foo on one node, and missing from ls on another
node.

Since auth rdlock isn't allowed for LOCk, it clearly shouldn't be for
LOCK->SYNC while e.g. wrlock modifications are still being flushed to the
journal and aren't yet applied.

filejournal: create if mkfs and journal is small OR dne.

filejournal: return error instead of asserting

mon: correctly update up map when taking over for creating|starting mds

Otherwise we can get crap like

in <0>
up <{0=4103}>
failed <>
stopped <>
4300: 192.168.141.103:6800/9446 '0' mds0.0 up:creating seq 2

Merge commit 'v0.20' into unstable

Conflicts:
src/mon/LogMonitor.cc
src/mon/MDSMonitor.cc
src/mon/Monitor.cc
src/mon/OSDMonitor.cc
src/mon/PGMonitor.cc

debian: fix up debian scripts

ceph.spec.in: updates

ceph.spec.in: from Josef

mds: fix trim_dentry on dentry under unlinked dir

We can get a dentry that is trimmable (e.g. null) under a new unlinked dir,
which has no subtree.  This will only happen on the auth.  In that case,
having no container is harmless--it's only needed for replicas.

This fixes the following crash:

mds/MDCache.cc: In function 'void MDCache::trim_dentry(CDentry*, std::map<int, MCacheExpire*, std::less<int>, std::allocator<std::pair<const int, MCacheExpire*> > >&)':
mds/MDCache.cc:4797: FAILED assert(con)
 1: (MDCache::trim(int)+0x214) [0x4ffbc4]
 2: (MDS::tick()+0x4c1) [0x48f3b1]
 3: (SafeTimer::EventWrapper::finish(int)+0x269) [0x683a89]
 4: (Timer::timer_entry()+0x819) [0x685909]
 5: (Timer::TimerThread::entry()+0xd) [0x47528d]
 6: (Thread::_entry_func(void*)+0x7) [0x48a8a7]
 7: /lib/libpthread.so.0 [0x7ffe62356fc7]
 8: (clone()+0x6d) [0x7ffe615835ad]
 NOTE: a copy of the executable, or `objdump -rdS <executable>` is needed to interpret this.

Signed-off-by: Sage Weil <sage@newdream.net>

osd: fix pg_to_acting_osds() calculation to consider pg_temp

The OSD was using pg_to_up_acting, the client uses pg_to_acting, and their
calculations of 'acting' weren't consistent because the latter did not
consider pg_temp.

Use new helpers to clean this up.

Signed-off-by: Sage Weil <sage@newdream.net>

objecter: show osds in laggy debug output

mds: fix trim_dentry on dentry under unlinked dir

We can get a dentry that is trimmable (e.g. null) under a new unlinked dir,
which has no subtree.  This will only happen on the auth.  In that case,
having no container is harmless--it's only needed for replicas.

This fixes the following crash:

mds/MDCache.cc: In function 'void MDCache::trim_dentry(CDentry*, std::map<int, MCacheExpire*, std::less<int>, std::allocator<std::pair<const int, MCacheExpire*> > >&)':
mds/MDCache.cc:4797: FAILED assert(con)
 1: (MDCache::trim(int)+0x214) [0x4ffbc4]
 2: (MDS::tick()+0x4c1) [0x48f3b1]
 3: (SafeTimer::EventWrapper::finish(int)+0x269) [0x683a89]
 4: (Timer::timer_entry()+0x819) [0x685909]
 5: (Timer::TimerThread::entry()+0xd) [0x47528d]
 6: (Thread::_entry_func(void*)+0x7) [0x48a8a7]
 7: /lib/libpthread.so.0 [0x7ffe62356fc7]
 8: (clone()+0x6d) [0x7ffe615835ad]
 NOTE: a copy of the executable, or `objdump -rdS <executable>` is needed to interpret this.

Signed-off-by: Sage Weil <sage@newdream.net>

osd: fix pg_to_acting_osds() calculation to consider pg_temp

The OSD was using pg_to_up_acting, the client uses pg_to_acting, and their
calculations of 'acting' weren't consistent because the latter did not
consider pg_temp.

Use new helpers to clean this up.

Signed-off-by: Sage Weil <sage@newdream.net>

objecter: show osds in laggy debug output

filestore: fail to mount if journal open fails

Clean up error reporting too.

filestore: fail to mount if journal open fails

Clean up error reporting too.

msgr: fix sigint/term signal handler to actually quit (by chaining)

msgr: fix sigint/term signal handler to actually quit (by chaining)

librados: fix blank pool stats

librados: fix blank pool stats

qa: make pjd clean up

mds: clean up MIN/MAX, client_ranges

Avoid double evaluation via macros...

msgr: remove pid file on SIGINT, SIGTERM

qa: make pjd clean up

mds: clean up MIN/MAX, client_ranges

Avoid double evaluation via macros...

msgr: remove pid file on SIGINT, SIGTERM

config: post-process default config options too

Previously we were only doing the ones we read out of the .conf.

config: post-process default config options too

Previously we were only doing the ones we read out of the .conf.

mon: use (robust) buffer::list::write_fd() to write to disk

mon: use (robust) buffer::list::write_fd() to write to disk

mon: m->get_session() may return null if session has closed

because the session close clears connection->priv.  We need to check at
each site anyway, either for null session, or for session->closed.  So
check for null session.

Conflicts:

src/mon/Monitor.cc
src/mon/OSDMonitor.cc
src/mon/PGMonitor.cc

mon: m->get_session() may return null if session has closed

because the session close clears connection->priv.  We need to check at
each site anyway, either for null session, or for session->closed.  So
check for null session.

configure: remove second AM_INIT_AUTOMAKE line

msgr: fix segfault sending msg on closed Connection/pipe

mds: fix snaprealm split on capless inode

mds: fix snaprealm split on capless inode

buffer: clean up namespace pollution

poolop: rename and move definitions to ceph_fs.h

This was done so that we can use it in the kclient

Makefile: define __CEPH__ in ceph builds. use it.

Avoid breakage when headers are used outside of ceph build (librados-dev)

mds: fix req use-after-free to get connection to direct reply

atomic: reverse if test so we don't break things on separately-compiled librados

mds: remove unused variable from Locker

debian: build-depends libatomicops-dev

Merge branch 'snaps' into unstable

mon: clean up mon snap type checks

osd: no error checking in data structure (caller should do it)

mon: don't create/delete unmanaged snaps if pool snaps exist

librados: clean up headres

objecter: do pool op result parsing in Objecter completion wrapper

librados: Adjust snapid allocation ufnctions and implement new objecter spec

objecter: Implement bufferlist-based return code for pool ops

mon: OSDMonitor fills in MPoolOpReply's bufferlist on unmanaged snap creation

msg: Give MPoolOpReply a bufferlist for reply data

mon: change the unmanaged snap interface for better distinction of reply codes
and snapid numbers.

Of course, this now means that the snapid isn't actually passed
back to the client, but that is about to change.

librados: Set selfmanaged snap functions to use int instead of int64_t, too

librados: add small bit of documentation, fix headers

mon: don't crash if a client tries to self-manage managed snaps, or vice versa

librados: add functions for client-managed snapshots in all the interfaces

objecter: New functions for client-managed snapshots.

mon: OSDMonitor handles client-managed snapshot requests.

osd: pg_pool_t gets new functions for unmanaged (ie, client-managed) snaps

msg: Add space for snapid in MPoolOp. Reply now uses an int64_t replyCode.

This allows space for a full 64-bit snapid to be returned, which is about
to be necessary.

msgr: fix atomic_t test

Missed this in merge 50285ecf5c404b456a0427eb7d6d1097ffc0ea83

Merge branch 'atomic' into unstable

Merge branch 'msgr' into unstable

Conflicts:
src/TODO
src/mds/Server.cc
src/msg/SimpleMessenger.cc
src/msg/SimpleMessenger.h
src/osd/OSD.cc

v0.20

mds: skip client snap notification on unlink

This is cheating a bit, but should be harmless.  Basically, we spit off the
snaprealm when we unlink to keep the hierarchy vs snaprealm invariants
intact.  But we don't really care if the client does so, so we skip the
client_snap notifications.

That means the client will leave unlinked inodes in the realm they were
in at the time of unlink.  I'm pretty sure that won't cause problems
later.

osd: more useful debugging on repop version, out of order completion

osd: print a bit more debug info about compat problems

mds: verify mdsmap compatset on startup

mds: add CompatSet to mdsmap

rbd: change rbd header disk format, update protocol version

msgr: never (re)open pipe when sending message directly to Connection*

mdsmap: add separate struct version for extended portion of mdsmap

cauthtool: add --gen-print-key

Just generate a random cryptokey and print it out.

auth: take key or file containing key on command line

e.g.

ceph --key AQBggdBLCJwLABAAuPVK/qJ3/ySbRvEnJHNJ8w== -s

ceph --keyfile file_with_key -s
ceph -K file_with_key -s

ceph -k keyring.bin -s

cauthtool: always print entire encoded CryptoKey

Make cauthtool -l output consistent with what you need to feed to
mount.ceph(8).

msgr: increment connect_seq when STANDBY->CONNECTING

Otherwise we get this on the peer:

msg/SimpleMessenger.cc: In function 'int SimpleMessenger::Pipe::accept()':
msg/SimpleMessenger.cc:767: FAILED assert(existing->state == STATE_CONNECTING)
 1: (SimpleMessenger::Pipe::accept()+0x14b2) [0x654888]
 2: (SimpleMessenger::Pipe::reader()+0x32) [0x65538c]
 3: (SimpleMessenger::Pipe::Reader::entry()+0x19) [0x649493]
 4: (Thread::_entry_func(void*)+0x20) [0x659b06]
 5: /lib/libpthread.so.0 [0x7fcdc782f73a]
 6: (clone()+0x6d) [0x7fcdc6a5969d]
 NOTE: a copy of the executable, or `objdump -rdS <executable>` is needed to interpret this.

Merge remote branch 'origin/mdssnaps' into unstable

filestore: default to writeahead journal, and no btrfs snaps

At least until btrfs snap deletion doesn't require a full commit (i.e. each
commit cycle doesn't do a commit for the snap creation AND another for the
old snap deletion).

rbdtool: add, use prettybyte_t type

rbdtool: add --info, --resize commands

auth: make 'admin' the default user

We don't create a 'guest' user anyway.

librados: adjust C++ aio completion creation api

sample.ceph.conf: add example on writeahead (vs parallel) journal

osd: create 'rbd' pool

debian: require hdparm, recommend btrfs-tools

debian: require hdparm, recommend btrfs-tools

mds: always use get_newest_seq (not snap) when doing cow

mds: rename move_to_realm(), add debugging (cleanup)

mds: don't cow already cowed dentry

sample.ceph.conf: updated

fetch_config: enable fetching ceph.conf from a remote location

fetch_config: always fetch if script exists and is executable

fetch_config: make /etc/ceph/sample.fetch_config +x

Makefile: fix whitespace

osd: don't capture SIGINT/SIGTERM; journal and/or btrfs snaps are sufficient.

We used to do this to avoid corrupting the filestore, but since we can now
either roll forward with the writeahead journal OR roll back using btrfs
snaps, this is useless.  It wasn't a full solution anyway.

auth: less noisy debug