mds: infer 'follows' in journal_dirty_inode on non-head inodes

There are lots of callers to journal_dirty_inode that may
unwittingly be dealing with a non-head inode (e.g.
check_file_max).  If the provided inode is snapped, infer an
appropriate follows values so as not to cow_inode() again.

mds: clear cap->issued on flushsnap

This allows _do_cap_update to clear out the client_range.

Kill (now) unused/unnecessary 'wanted' arg to _do_cap_update.

Also delay cap removal until after _do_cap_update (whcih takes
a Capability*).  This probably needs further cleanup.

mds: don't croak on null dentries in cache during reconnect/rejoin

They're created when we replay unlink events from the log.

objectcacher: use trimtrunc read/write ops

osdc: clean up some mess

objecter: add read_trunc, write_trunc

mkmonfs: rm -rf, so that we kill 0600 admin_keyring.bin

osd: fix recovery requeue race

If a recovery op finished right as another recovery op was
begin started, we could get into start_recovery_ops() and get
max = 0 and not start anything.  Since the PG wasn't being
requeued for later, it would never recover.  So, requeue if we
race and get max == 0.

init-ceph: print 'already started' instead of failing to start

msgr: more conservative locking, thread join asserts

We caught a bunch of crashes like this:

10.02.11 17:01:01.600660 7f87070c3950 -- 10.3.14.134:6800/8203 >> 10.3.14.130:6800/18914 pipe(0x7fc2be2cebe0 sd=36 pgs=2409 cs=1 l=0).do_sendmsg error Broken pipe
10.02.11 17:01:01.600700 7f87070c3950 -- 10.3.14.134:6800/8203 >> 10.3.14.130:6800/18914 pipe(0x7fc2be2cebe0 sd=36 pgs=2409 cs=1 l=0).writer error sending 0x7fc27da1c570, 32: Broken pipe
10.02.11 17:01:01.600796 7f87070c3950 -- 10.3.14.134:6800/8203 >> 10.3.14.130:6800/18914 pipe(0x7fc2be2cebe0 sd=-1 pgs=2409 cs=1 l=0).fault initiating reconnect
...
./common/Thread.h: In function 'int Thread::join(void**)':
./common/Thread.h:66: FAILED assert(0)
 1: (Thread::join(void**)+0x73) [0x64fcd3]
 2: (SimpleMessenger::Pipe::join_reader()+0x68) [0x6555a2]
 3: (SimpleMessenger::Pipe::connect()+0xf5) [0x645be9]
 4: (SimpleMessenger::Pipe::writer()+0x157) [0x64793d]
 5: (SimpleMessenger::Pipe::Writer::entry()+0x19) [0x63e107]
 6: (Thread::_entry_func(void*)+0x20) [0x64e816]
 7: /lib/libpthread.so.0 [0x7fc2c3bbdfc7]
 8: (clone()+0x6d) [0x7fc2c2e005ad]

that look a bit like multiple procs were racing into
join_reader().  Add an assert to catch that if it happens again,
and also wrap thread starts in pipe_lock to ensure we keep the
_running flags in sync with reality.  Add in a few other
sanity checks too.

mon: note mds beacon times more carefully

We need to update the beacon timestamp even when we are updating
the mds state.  Otherwise we can get caught in a busy loop
between marking an mds laggy and !laggy because the beacon stamp
never updates.

So even if we are updating, and the reply will be slow, update
our timestamp, so we don't mark the mds laggy.

osd: bail out of interval loop completely

We're going backwards, so once this test fails, it always fails,
and we can break instead of continue.  Any skipped intervals will
be pruned shortly anyway.

osd: always update up_thru if pg changes before going active

We already required this if prior PG members were down, so this
affected the 'failure' case.  We now also require it for
non-failure PG changes (expansion, migration).

This fixes our maybe_went_rw calculation for prior PG intervals,
which is based on up_thru.  If maybe_went_rw is false when the
pg actually went rw, we can lose (and have lost) data.  But it is
not practical to calculate without up_thru being consistently
updated, because determining whether a pg would have been able to
go active depends on knowing last_epoch_started at a previous
point in time, which then determines how many prior intervals
may have been considered, which in turn determines whether
up_thru would have been updated, etc.  Much simpler to update it
all the time.

This should not impose a significantly greater cost, since we
already need it for the failure case.  And in general the
migration/expansion/whatever case is no more common nor critical
than the failure case.

osd: simplify, and version, pg attrs

osd: remove some dead code from build_prior

Not sure what any_up_now used to be for, but it's not used now.

osd: fail startup if store is in use (before we fork)

osd: set heartbeat addr properly

This was broken by the osd startup change in 8538efc

osd: fix memset transposed params

osd: don't block on mon negotiation on startup

That means we don't check for monmap vs ondisk fsid checks and
such.  They're mostly useless anyway.

mkcephfs: fix up permissions, ownership on temp keyrings

ceph_common: sudo su, not su

mkcephfs: always clobber, since we don't support not clobbering anyway

mkmonfs: require '-c conf' to avoid accidents; stash admin keyring

cauthtool: mode 0600 for keyrings

mkcephfs: put admin keyring in mon_data, for safe keeping

mkcephfs: --clobber, not --clobber_old_data

qa: +x snaptest1.sh

objectcacher: use ObjectSet container instead of inodeno_t hash_maps

Caller provides an ObjectSet* to group objects into.
Later we can put other info here, like truncate_seq and
truncate_size.

cephx: adjust auth ticket renewal encoding a bit

This simplifies the code slightly, esp in the kclient.

qa: fix up runallonce.sh

debian: fix init script hackery

Copy src/init-ceph to debian/ceph.init _after_ we make, so that
the autoconf paths are substituted in properly.

todo

mon: print caps to debug log

cephx: nicer debug output in service handler

cephx: use 'next' key for ticketes when 'current' is expired

When generating tickets for clients, use next key if the current
is expired.  That ensures they will renew before their ticket
times out.

csyn: print something on mount failure

cephx: return expires service keys from rotatingkeyring

Otherwise there's no point in keeping around old service tickets.

To prevent really old tickets from working, we need to rotate
keys.  We want slightly old ones to still work, though.. that's
why we keep 3.

cephx: fix negotiation on reconnect

Don't send another request after initial handshake if we don't
need an auth ticket.

monclient: renew service tickets a bit after the current expires

This ensures the monitor will actually ahve generated a newer
one to give us, avoiding a busy loop.

osd: don't update object size if didn't write anything

cmon: suggest mkcephfs when 'whoami' not in monfs

cephx: fix up key rotation

cephx: nicer keyserver debug output

osd: write op updates trancation sequence if not already set

msgr: Update 'documentation'.

init-ceph, mkcephfs: fix ETCDIR

mds: behave when we pipeline session updates to journal

msg: union sockaddr_storage to hush strict aliasing warnings and clean up code

init-ceph: Required-start: $remote_fs

This ensures /usr is mounted before ceph daemons start.  It seems like
this may be problematic for hosts that act as both servers and clients,
but nfs-kernel-server does the same, so whatev!

debian: do not include var/run/ceph in package; mkdir -p dirname unconditionally

rados man page; include rados in ceph package

debian: include cauthtool

rename authtool -> cauthtool

mutex: fix file mode

debian: fixups to build inside pbuilder

ceph: fix manpages so they are only installed once

While creating a spec file for CEPH, rpmbuild was complaining because make
install was copying the manpages in, and then copying them in again.  This is
because man_MANS and dist_man_MANS are supposed to be two seperate lists that do
not overlap.  So make install would install all the man pages in the man_MANS
list and the dist_man_MANS list.  This patch kills the dist_man_MANS thing to
keep this from happening.  This made rpmbuild happy, which makes me happy :).
Thanks,

Signed-off-by: Josef Bacik <josef@redhat.com>

osd: count objects degraded due to degraded pg

osd: prevent do_waiters() while _dispatch() is running

Fixes race between handle_osd_map and tick() requeuing ops.

ceph: wait for monmap

osd: store local osd magic, whoami, and other static bits outside of ObjectStore

These values are immutable, and we also want to look at them prior to
forking and 'mounting' the ObjectStore.  Just keep them in separate files
for simplicity.

This avoids the double filestore startup cost paid on cosd startup.

osd: print truncate_size signed, and only print at all if _seq > 0

debian: updated debian build scripts, changelog

mkcephfs: warn on missing keyring for mds, osd

authtool: add -a/--add-key command

buffer: add decode_base64 method

cephx: pipe down about ticket renewals

osd, mds: don't time out authenticate()

Still need to fix wait_auth_rotating....

filejournal: make io contiguous in write_bl() for directio

Previously we were splitting the io for writing the header plus first
segment following a wrap.

ceph: error out on authentication failure

asdf

monc: fix authentication timeout

monclient: kill unused wait_authenticate()

objectstore: include struct_v for Transaction

authtool: only create keyring if --create-keyring (or -c)

mkcephfs: misc cephx fixes

debian: fix builder; add newish headers to Makefile.am

spinlock: make lockdep optional; off by default

Spinlock tend to be inner locks; not much value in lockdep checking on
them.

osd: add uid to ceph_pg_pool; move encoding versions of rados.h

monclient: return authetnication error

auth: tolerate bad authenticator replies (retry instead of crashing)

mkcephfs: no scp -v

auth: fix KeyStore interface

auth: simplify KeyRing map type, authmon add/importing

cephx: separate KeyRing and RotatingKeyRing

KeyRing stores keys (on disk).

RotatingKeyRing mediates access to the in-memory pool of rotating secrets
for a single service.

cephx: add struct_v throughout.  some cleanup.

mkcephfs: generate cephx keys during mkfs

auth: use KeyRing encode/decode

todo

mount: set flags when getting -o sync

mds: fix dumpcache

authtool: only create keyring if --create-keyring (or -c)

config: rename 'keys file' to 'keyring'

journal: make sure max_size is multiple of block_size

mds: print setattr'd values with MClientRequest

mds: only set smaller flag in setattr completion if actually truncating

Otherwise we can erroneously trigger the truncation code when another
setattr overlaps with an in-progress truncate.

mds: dump_cache even when debug_mds < 2

Make output more readable.

journal: allow journal seq #'s to jump

This happens when the regular store commits and we throw out now useless
journal entries.

journal: make wrapping simpler

Take out weirdness that tries to keep journal items contiguous.  No reason
not to split them across the end/beginning of the journal.  In the general
case, this is the same # of seeks because we have to rewrite the header
anyway.

osd: increase osdc protocol number

truncate: don't write beyong truncation with old trunc seq

In a scenario where a truncation that followed a write got to
the osd before the preceding write, we shouldn't write beyond
that truncation when the write is handled in the osd.

truncate: initialize truncate_seq, truncate_size