logger: fix warning

workqueue: behave when multiple threads call drain()

Use a counter, not a bool.

mds: add support for directory sticky bit

Take an rdlock on the directory authlock, so that we can reliably set the
new inode's gid if the directory mode has SGID bit set.

filestore: only do btrfs_snap if btrfs

Merge commit 'origin/filestore' into unstable

Conflicts:

src/os/FileStore.cc
src/os/FileStore.h

update release checklist

v0.19

mon: disable 'osd setmap'

This is dangerous, since it doesn't preserve old pool ids or pool_max, and
will confuse osds and generally wreak havoc.

osdmap: fix uninit var warning

Harmless, but this shuts it up.

mon: add 'auth export ]name]' to export a full or partial keyring

qa: fix snaptest1.sh

osdmap: decode old osdmaps prior to pool_max stuff

osdmap: get rid of useless max_pools

osd: pool cleanups

missed this before:

 - no need to initalize in create_pending(), constructor does that
 - int32_t, not int
 - pool_max while we're at it
 - initialize pool_max in OSDMap constructor

todo

mds: ignore session RENEWCAPS if state not open|stale

This avoids breakage where a renewcaps races with a session
being purged, for example.

osdmap/mon: Be more defensive about highest_pool_num usage

rados tool: mkpool/rmpool commands now available

mon: can now delete pools via 'ceph osd pool delete foo'

rgw: actually delete pools when using rados!

rados/objecter: can now delete pools!

mon/msg: MPoolOp can carry POOL_OP_DELETE; OSDMon puts pool in incre old_pools

librados: init PoolCtx properly -- was always setting snap_seq to CEPH_NOSNAP

osd: Deal with pools being removed from OSDMap.

This potentially has issues, since pools are not removed from the map
until after all the PGs are removed (which is threaded, not inline with
map delivery). But Sage thinks it's okay and the system keeps working
even if you delete a pool while benchmarking on it with rados.

OSDMap: get_pg_pool now returns a pointer
This lets us return NULL if the pool isn't in the map, which is
needed functionality for pool deletion. Meanwhile, code which
expects the pool to exist will continue to cause a crash if it doesn't.

rados: fix seg fault on cleanup of a failed pool open

mds: infer 'follows' in journal_dirty_inode on non-head inodes

There are lots of callers to journal_dirty_inode that may
unwittingly be dealing with a non-head inode (e.g.
check_file_max).  If the provided inode is snapped, infer an
appropriate follows values so as not to cow_inode() again.

mds: clear cap->issued on flushsnap

This allows _do_cap_update to clear out the client_range.

Kill (now) unused/unnecessary 'wanted' arg to _do_cap_update.

Also delay cap removal until after _do_cap_update (whcih takes
a Capability*).  This probably needs further cleanup.

mds: don't croak on null dentries in cache during reconnect/rejoin

They're created when we replay unlink events from the log.

objectcacher: use trimtrunc read/write ops

osdc: clean up some mess

objecter: add read_trunc, write_trunc

mkmonfs: rm -rf, so that we kill 0600 admin_keyring.bin

osd: fix recovery requeue race

If a recovery op finished right as another recovery op was
begin started, we could get into start_recovery_ops() and get
max = 0 and not start anything.  Since the PG wasn't being
requeued for later, it would never recover.  So, requeue if we
race and get max == 0.

init-ceph: print 'already started' instead of failing to start

msgr: more conservative locking, thread join asserts

We caught a bunch of crashes like this:

10.02.11 17:01:01.600660 7f87070c3950 -- 10.3.14.134:6800/8203 >> 10.3.14.130:6800/18914 pipe(0x7fc2be2cebe0 sd=36 pgs=2409 cs=1 l=0).do_sendmsg error Broken pipe
10.02.11 17:01:01.600700 7f87070c3950 -- 10.3.14.134:6800/8203 >> 10.3.14.130:6800/18914 pipe(0x7fc2be2cebe0 sd=36 pgs=2409 cs=1 l=0).writer error sending 0x7fc27da1c570, 32: Broken pipe
10.02.11 17:01:01.600796 7f87070c3950 -- 10.3.14.134:6800/8203 >> 10.3.14.130:6800/18914 pipe(0x7fc2be2cebe0 sd=-1 pgs=2409 cs=1 l=0).fault initiating reconnect
...
./common/Thread.h: In function 'int Thread::join(void**)':
./common/Thread.h:66: FAILED assert(0)
 1: (Thread::join(void**)+0x73) [0x64fcd3]
 2: (SimpleMessenger::Pipe::join_reader()+0x68) [0x6555a2]
 3: (SimpleMessenger::Pipe::connect()+0xf5) [0x645be9]
 4: (SimpleMessenger::Pipe::writer()+0x157) [0x64793d]
 5: (SimpleMessenger::Pipe::Writer::entry()+0x19) [0x63e107]
 6: (Thread::_entry_func(void*)+0x20) [0x64e816]
 7: /lib/libpthread.so.0 [0x7fc2c3bbdfc7]
 8: (clone()+0x6d) [0x7fc2c2e005ad]

that look a bit like multiple procs were racing into
join_reader().  Add an assert to catch that if it happens again,
and also wrap thread starts in pipe_lock to ensure we keep the
_running flags in sync with reality.  Add in a few other
sanity checks too.

mon: note mds beacon times more carefully

We need to update the beacon timestamp even when we are updating
the mds state.  Otherwise we can get caught in a busy loop
between marking an mds laggy and !laggy because the beacon stamp
never updates.

So even if we are updating, and the reply will be slow, update
our timestamp, so we don't mark the mds laggy.

osd: bail out of interval loop completely

We're going backwards, so once this test fails, it always fails,
and we can break instead of continue.  Any skipped intervals will
be pruned shortly anyway.

osd: always update up_thru if pg changes before going active

We already required this if prior PG members were down, so this
affected the 'failure' case.  We now also require it for
non-failure PG changes (expansion, migration).

This fixes our maybe_went_rw calculation for prior PG intervals,
which is based on up_thru.  If maybe_went_rw is false when the
pg actually went rw, we can lose (and have lost) data.  But it is
not practical to calculate without up_thru being consistently
updated, because determining whether a pg would have been able to
go active depends on knowing last_epoch_started at a previous
point in time, which then determines how many prior intervals
may have been considered, which in turn determines whether
up_thru would have been updated, etc.  Much simpler to update it
all the time.

This should not impose a significantly greater cost, since we
already need it for the failure case.  And in general the
migration/expansion/whatever case is no more common nor critical
than the failure case.

osd: simplify, and version, pg attrs

osd: remove some dead code from build_prior

Not sure what any_up_now used to be for, but it's not used now.

osd: fail startup if store is in use (before we fork)

osd: set heartbeat addr properly

This was broken by the osd startup change in 8538efc

osd: fix memset transposed params

osd: don't block on mon negotiation on startup

That means we don't check for monmap vs ondisk fsid checks and
such.  They're mostly useless anyway.

mkcephfs: fix up permissions, ownership on temp keyrings

ceph_common: sudo su, not su

mkcephfs: always clobber, since we don't support not clobbering anyway

mkmonfs: require '-c conf' to avoid accidents; stash admin keyring

cauthtool: mode 0600 for keyrings

mkcephfs: put admin keyring in mon_data, for safe keeping

mkcephfs: --clobber, not --clobber_old_data

qa: +x snaptest1.sh

objectcacher: use ObjectSet container instead of inodeno_t hash_maps

Caller provides an ObjectSet* to group objects into.
Later we can put other info here, like truncate_seq and
truncate_size.

cephx: adjust auth ticket renewal encoding a bit

This simplifies the code slightly, esp in the kclient.

qa: fix up runallonce.sh

debian: fix init script hackery

Copy src/init-ceph to debian/ceph.init _after_ we make, so that
the autoconf paths are substituted in properly.

todo

mon: print caps to debug log

cephx: nicer debug output in service handler

cephx: use 'next' key for ticketes when 'current' is expired

When generating tickets for clients, use next key if the current
is expired.  That ensures they will renew before their ticket
times out.

csyn: print something on mount failure

cephx: return expires service keys from rotatingkeyring

Otherwise there's no point in keeping around old service tickets.

To prevent really old tickets from working, we need to rotate
keys.  We want slightly old ones to still work, though.. that's
why we keep 3.

cephx: fix negotiation on reconnect

Don't send another request after initial handshake if we don't
need an auth ticket.

monclient: renew service tickets a bit after the current expires

This ensures the monitor will actually ahve generated a newer
one to give us, avoiding a busy loop.

osd: don't update object size if didn't write anything

cmon: suggest mkcephfs when 'whoami' not in monfs

cephx: fix up key rotation

cephx: nicer keyserver debug output

osd: write op updates trancation sequence if not already set

msgr: Update 'documentation'.

init-ceph, mkcephfs: fix ETCDIR

mds: behave when we pipeline session updates to journal

msg: union sockaddr_storage to hush strict aliasing warnings and clean up code

init-ceph: Required-start: $remote_fs

This ensures /usr is mounted before ceph daemons start.  It seems like
this may be problematic for hosts that act as both servers and clients,
but nfs-kernel-server does the same, so whatev!

debian: do not include var/run/ceph in package; mkdir -p dirname unconditionally

rados man page; include rados in ceph package

debian: include cauthtool

rename authtool -> cauthtool

mds: behave when we pipeline session updates to journal

workqueue: make drain() wait for processing AND queue

mutex: fix file mode

osd: take ondisk_read_lock if pushing object to peer

filestore: return 0 for no-op transaction

debian: fixups to build inside pbuilder

ceph: fix manpages so they are only installed once

While creating a spec file for CEPH, rpmbuild was complaining because make
install was copying the manpages in, and then copying them in again.  This is
because man_MANS and dist_man_MANS are supposed to be two seperate lists that do
not overlap.  So make install would install all the man pages in the man_MANS
list and the dist_man_MANS list.  This patch kills the dist_man_MANS thing to
keep this from happening.  This made rpmbuild happy, which makes me happy :).
Thanks,

Signed-off-by: Josef Bacik <josef@redhat.com>

Merge branch 'unstable' into filestore

osd: count objects degraded due to degraded pg

osd: prevent do_waiters() while _dispatch() is running

Fixes race between handle_osd_map and tick() requeuing ops.

ceph: wait for monmap

osd: btrfs_snap by default

osd: carry ondisk_read_lock if prepare_transaction may_read()

osd: order rmdir in remove_collection after deleting dir contents

filestore: fix old clobbering of commit_op_seq

Update only at commit.  And add a newline.

osd: fix lock inversion with ondisk_write_unlock

Drop write lock before taking pg lock.

osd: store local osd magic, whoami, and other static bits outside of ObjectStore

These values are immutable, and we also want to look at them prior to
forking and 'mounting' the ObjectStore.  Just keep them in separate files
for simplicity.

This avoids the double filestore startup cost paid on cosd startup.

osd: print truncate_size signed, and only print at all if _seq > 0

debian: updated debian build scripts, changelog

mkcephfs: warn on missing keyring for mds, osd

authtool: add -a/--add-key command