osd: send log events to monitor

osd: print lost_at

mds: fix sessionmap decoding

There's a session count value encoded, but it's a meaningless
upper bound.  Stop decoding when we hit the end of the buffer
instead.

rados: revert indentation so it matches kernel. Oops.

msgr: Set features in ceph_msg_connect_reply

auth: Add a uid field to EntityAuth; make it a required feature

rados: fix indentation

filer: remove -> purge_range, and scale to large ranges

Redefine remove interface to operate over a range of objects
numbers, not a byte range, since we are removing objects.  It is
the caller's responsibility to ensure they have the proper
range (by mapping from the ceph_file_layout).

And behave when the range is large by only allowing a few in
flight remove requests at once.

Eventually the objecter probably needs a more generalized request
throttling mechanism, but this will do for now.

mds: make scatter_nudge actually nudge when replica asks

If we're not replicated, there is no need to twiddle the
lockstate.. we can just write out any dirty data, as when we
have delayed rstat propagation.  If we are replicated, though,
and a replica asks to nudge the lock, we had better nudge the
lock state!

mds: correctly set root inode_auth during recovery

Set to root node id as indicated by mdsmap.  Setting the auth
bit alone isn't sufficient.

mds: show nref=%d if MDS_REF_SET is not defined

So we can see the ref count, at least!

mds: fix file purge race

Handle the case where a new inode ref appears while we are
purging an inode.  If so, we just truncate it to 0, so that next
time we go through purge_stray() we don't have to do the work
over again.

This can happen if a client goes snooping in the stray dir (or
who knows what else!).

filestore: explicitly parse args for _touch

init-ceph: don't barf on dash when no command

automake: fix mount sbin dir when configured with prefix

osd: clean up WRITE, TRUNCATE, TRIMTRUNC

- consolidate TRUNCATE and TRIMTRUNC.
- truncate on WRITE.
- handy debug prints.

cauthtool: --caps fn alone is a command

todo

debian: mount.ceph in /sbin, not /usr/sbin

objectstore: simpler transaction encoding

Just concatenate operations to a bufferlist as we go.  No
distinct decoding step is needed; we parse the transaction as it
is replayed/applied.  This avoids the old decoded intermediate
representation overhead.

Since we still decode the old version, that code is still there,
but not used for anything new.

vstart: default to 3 mds

uclient: do not retain caps being revoked

Matches kclient commit 68c28323.

debug: fix warnings, use larger path buffers

logger: fix warning

workqueue: behave when multiple threads call drain()

Use a counter, not a bool.

mds: add support for directory sticky bit

Take an rdlock on the directory authlock, so that we can reliably set the
new inode's gid if the directory mode has SGID bit set.

filestore: only do btrfs_snap if btrfs

Merge commit 'origin/filestore' into unstable

Conflicts:

src/os/FileStore.cc
src/os/FileStore.h

update release checklist

v0.19

mon: disable 'osd setmap'

This is dangerous, since it doesn't preserve old pool ids or pool_max, and
will confuse osds and generally wreak havoc.

osdmap: fix uninit var warning

Harmless, but this shuts it up.

mon: add 'auth export ]name]' to export a full or partial keyring

qa: fix snaptest1.sh

osdmap: decode old osdmaps prior to pool_max stuff

osdmap: get rid of useless max_pools

osd: pool cleanups

missed this before:

 - no need to initalize in create_pending(), constructor does that
 - int32_t, not int
 - pool_max while we're at it
 - initialize pool_max in OSDMap constructor

todo

mds: ignore session RENEWCAPS if state not open|stale

This avoids breakage where a renewcaps races with a session
being purged, for example.

osdmap/mon: Be more defensive about highest_pool_num usage

rados tool: mkpool/rmpool commands now available

mon: can now delete pools via 'ceph osd pool delete foo'

rgw: actually delete pools when using rados!

rados/objecter: can now delete pools!

mon/msg: MPoolOp can carry POOL_OP_DELETE; OSDMon puts pool in incre old_pools

librados: init PoolCtx properly -- was always setting snap_seq to CEPH_NOSNAP

osd: Deal with pools being removed from OSDMap.

This potentially has issues, since pools are not removed from the map
until after all the PGs are removed (which is threaded, not inline with
map delivery). But Sage thinks it's okay and the system keeps working
even if you delete a pool while benchmarking on it with rados.

OSDMap: get_pg_pool now returns a pointer
This lets us return NULL if the pool isn't in the map, which is
needed functionality for pool deletion. Meanwhile, code which
expects the pool to exist will continue to cause a crash if it doesn't.

rados: fix seg fault on cleanup of a failed pool open

mds: infer 'follows' in journal_dirty_inode on non-head inodes

There are lots of callers to journal_dirty_inode that may
unwittingly be dealing with a non-head inode (e.g.
check_file_max).  If the provided inode is snapped, infer an
appropriate follows values so as not to cow_inode() again.

mds: clear cap->issued on flushsnap

This allows _do_cap_update to clear out the client_range.

Kill (now) unused/unnecessary 'wanted' arg to _do_cap_update.

Also delay cap removal until after _do_cap_update (whcih takes
a Capability*).  This probably needs further cleanup.

mds: don't croak on null dentries in cache during reconnect/rejoin

They're created when we replay unlink events from the log.

objectcacher: use trimtrunc read/write ops

osdc: clean up some mess

objecter: add read_trunc, write_trunc

mkmonfs: rm -rf, so that we kill 0600 admin_keyring.bin

osd: fix recovery requeue race

If a recovery op finished right as another recovery op was
begin started, we could get into start_recovery_ops() and get
max = 0 and not start anything.  Since the PG wasn't being
requeued for later, it would never recover.  So, requeue if we
race and get max == 0.

init-ceph: print 'already started' instead of failing to start

msgr: more conservative locking, thread join asserts

We caught a bunch of crashes like this:

10.02.11 17:01:01.600660 7f87070c3950 -- 10.3.14.134:6800/8203 >> 10.3.14.130:6800/18914 pipe(0x7fc2be2cebe0 sd=36 pgs=2409 cs=1 l=0).do_sendmsg error Broken pipe
10.02.11 17:01:01.600700 7f87070c3950 -- 10.3.14.134:6800/8203 >> 10.3.14.130:6800/18914 pipe(0x7fc2be2cebe0 sd=36 pgs=2409 cs=1 l=0).writer error sending 0x7fc27da1c570, 32: Broken pipe
10.02.11 17:01:01.600796 7f87070c3950 -- 10.3.14.134:6800/8203 >> 10.3.14.130:6800/18914 pipe(0x7fc2be2cebe0 sd=-1 pgs=2409 cs=1 l=0).fault initiating reconnect
...
./common/Thread.h: In function 'int Thread::join(void**)':
./common/Thread.h:66: FAILED assert(0)
 1: (Thread::join(void**)+0x73) [0x64fcd3]
 2: (SimpleMessenger::Pipe::join_reader()+0x68) [0x6555a2]
 3: (SimpleMessenger::Pipe::connect()+0xf5) [0x645be9]
 4: (SimpleMessenger::Pipe::writer()+0x157) [0x64793d]
 5: (SimpleMessenger::Pipe::Writer::entry()+0x19) [0x63e107]
 6: (Thread::_entry_func(void*)+0x20) [0x64e816]
 7: /lib/libpthread.so.0 [0x7fc2c3bbdfc7]
 8: (clone()+0x6d) [0x7fc2c2e005ad]

that look a bit like multiple procs were racing into
join_reader().  Add an assert to catch that if it happens again,
and also wrap thread starts in pipe_lock to ensure we keep the
_running flags in sync with reality.  Add in a few other
sanity checks too.

mon: note mds beacon times more carefully

We need to update the beacon timestamp even when we are updating
the mds state.  Otherwise we can get caught in a busy loop
between marking an mds laggy and !laggy because the beacon stamp
never updates.

So even if we are updating, and the reply will be slow, update
our timestamp, so we don't mark the mds laggy.

osd: bail out of interval loop completely

We're going backwards, so once this test fails, it always fails,
and we can break instead of continue.  Any skipped intervals will
be pruned shortly anyway.

osd: always update up_thru if pg changes before going active

We already required this if prior PG members were down, so this
affected the 'failure' case.  We now also require it for
non-failure PG changes (expansion, migration).

This fixes our maybe_went_rw calculation for prior PG intervals,
which is based on up_thru.  If maybe_went_rw is false when the
pg actually went rw, we can lose (and have lost) data.  But it is
not practical to calculate without up_thru being consistently
updated, because determining whether a pg would have been able to
go active depends on knowing last_epoch_started at a previous
point in time, which then determines how many prior intervals
may have been considered, which in turn determines whether
up_thru would have been updated, etc.  Much simpler to update it
all the time.

This should not impose a significantly greater cost, since we
already need it for the failure case.  And in general the
migration/expansion/whatever case is no more common nor critical
than the failure case.

osd: simplify, and version, pg attrs

osd: remove some dead code from build_prior

Not sure what any_up_now used to be for, but it's not used now.

osd: fail startup if store is in use (before we fork)

osd: set heartbeat addr properly

This was broken by the osd startup change in 8538efc

osd: fix memset transposed params

osd: don't block on mon negotiation on startup

That means we don't check for monmap vs ondisk fsid checks and
such.  They're mostly useless anyway.

mkcephfs: fix up permissions, ownership on temp keyrings

ceph_common: sudo su, not su

mkcephfs: always clobber, since we don't support not clobbering anyway

mkmonfs: require '-c conf' to avoid accidents; stash admin keyring

cauthtool: mode 0600 for keyrings

mkcephfs: put admin keyring in mon_data, for safe keeping

mkcephfs: --clobber, not --clobber_old_data

qa: +x snaptest1.sh

objectcacher: use ObjectSet container instead of inodeno_t hash_maps

Caller provides an ObjectSet* to group objects into.
Later we can put other info here, like truncate_seq and
truncate_size.

cephx: adjust auth ticket renewal encoding a bit

This simplifies the code slightly, esp in the kclient.

qa: fix up runallonce.sh

debian: fix init script hackery

Copy src/init-ceph to debian/ceph.init _after_ we make, so that
the autoconf paths are substituted in properly.

todo

mon: print caps to debug log

cephx: nicer debug output in service handler

cephx: use 'next' key for ticketes when 'current' is expired

When generating tickets for clients, use next key if the current
is expired.  That ensures they will renew before their ticket
times out.

csyn: print something on mount failure

cephx: return expires service keys from rotatingkeyring

Otherwise there's no point in keeping around old service tickets.

To prevent really old tickets from working, we need to rotate
keys.  We want slightly old ones to still work, though.. that's
why we keep 3.

cephx: fix negotiation on reconnect

Don't send another request after initial handshake if we don't
need an auth ticket.

monclient: renew service tickets a bit after the current expires

This ensures the monitor will actually ahve generated a newer
one to give us, avoiding a busy loop.

osd: don't update object size if didn't write anything

cmon: suggest mkcephfs when 'whoami' not in monfs

cephx: fix up key rotation

cephx: nicer keyserver debug output

osd: write op updates trancation sequence if not already set

msgr: Update 'documentation'.

init-ceph, mkcephfs: fix ETCDIR

mds: behave when we pipeline session updates to journal

msg: union sockaddr_storage to hush strict aliasing warnings and clean up code

init-ceph: Required-start: $remote_fs

This ensures /usr is mounted before ceph daemons start.  It seems like
this may be problematic for hosts that act as both servers and clients,
but nfs-kernel-server does the same, so whatev!

debian: do not include var/run/ceph in package; mkdir -p dirname unconditionally

rados man page; include rados in ceph package