builddebs.sh: suppress lintian as root warning

auth: Add an auth_uid to AuthTicket. Still to do: copy it around

auth: misc printing and initialization fixes

vstart:/mkcephfs: set client.admin auth_uid to 0

authtool: set generated key to specific uid if one is given

msgr: Remove the type CEPH_ENTITY_TYPE_ADMIN.
It *looks* like this won't break EntityName's isAdmin() function as that
depends on a set name, and client.admin will satisfy it. I think.

ceph_fs: Split CEPH_FEATURE_{SUPPORTED, REQUIRED} flags into service-based flags
msgr: New get_{required,supported}_bits methods which calculate required bits
based on type of self and of peer. Replace all hard-coded flag uses with these.

OSD: If an auth_uid owns a pool and has no explicit permissions,
grant it full privileges.

osd: Add auth_uid to OSDCaps, and fill in.

auth: constant for unknown/unsecured user

filestore: fix ondisk vs onreadable_sync deadlock

Do ondisk completion async in journaled_ahead completion to avoid
any onreadable_sync getting held up behind an ondisk completion.

Reuse the op_finisher finisher thread for this.

todo

builddebs.sh: keep base.tgz outside ~/debian

mds: put forced open sessions in OPENING then OPEN

We use OPENING state to indicate sessions that are being
imported.  Fix get_or_add_open_session() to NOT set the session
state (except to STATE_NEW if new) so that the caller can do
the right thing.  Otherwise, the prepare_force_open_sessions()
can't tell if it just forced open a session (and needs it to be
OPENING) or if it was already open.  Subsequently cap migrations
weren't working if the client didn't already have a session
open.

There is still a bug: if the import aborts, we have an OPENING
session with no actual open client_session message queued.  Maybe
we should have a different state instead of OPENING... IMPORTING?

todo

debian: new release, push, build, publish scripts

Makefile: fix /sbin hack

misplaced ;'s

Makefile: include debian/

mds: fix (new) sessionmap decoding

der!

mds: fix mds_export_targets message parent

Needs to be a PaxosServiceMessage.  The monitor was assuming
as much, casting, and getting a gibberish prior paxos version.

qa: download linux tarball from ceph.newdream.net for kernel compile test

cauthtool: validate arguments better, cleanup

Sanity check arguments up front.  Clean up code a bit.

osd: use onreadable_sync finishers to drop ondisk locks

This fixes a deadlock where we are holding pg->lock, block
waiting for the ondisk lock, but the unlock completion is stuck
behind something else waiting on pg->lock in the finisher queue.

filestore: add onreadable_sync callback

Add an additional completion context that gets called
synchronously when the operation completes, instead of getting
shunted to the async finisher thread.  This allows us to make
sure certain completion events happen without getting 'stuck
in line' behind other completions with conflicting locks.

context: minor finish_contexts() cleanup

finisher: generic C_OnFinisher context

Queue given context on given finisher.

objectstore: conflate onjournal and ondisk

No callers actually make this distinction, and the ObjectStore
hides the details of if/whether/how things go to the journal
or disk or in what order, so simplify things all around.

mds: revise mds sessionmap encoding [disk format change]

Encode session name before session itself, so that we can use
an existing session instead of allocating a new one.  This lets
us keep eagerly reconnecting clients that connect before we
load the sessionmap.

Add proper struct_v.  Drop useless/incorrect 'n' value.

Continue to read old format, of course.  Some minor hackery
because we didn't have a struct_v before.

mds: initialize session state, even if we had it already

This ensures that eagerly reconnecting clients get set to OPEN
when we replay their session from the journal.

mds: assert client_msut_resend on forward.

mds: print session states as string; nicer dump

encoding: make bool encoder explicitly u8

auth: auth_uid needs to be in AuthCapsInfo as well.

Conflicts:

src/auth/Auth.h

authmon: reminder --> remainder, for less confusion!

mds: if we have no subtrees on rejoin_done, leave cluster

mds: fix trim_non_auth empty lru case

If our lru is empty, make sure we clean things out _after_
unpinning the subtrees!  This came up after an mds leaving the
cluster crashed before it finished, and on replay/rejoin had
no auth subtrees.

qa: specify logdir on command line (or assume rundir)

Don't just put logs with the qa source.  Among other things that
means we can't run runallonce.sh twice.

osd: do not activate pg if lost osds and no acting has gone active

If the no acting osd has gone active since it most recently
joined the pg, then we may not have up to date pg state (log,
etc).  If may even be empty.

If so, then do not activate even if an osd is marked lost.

osd: detect permanently lost objects, and continue

If we mark an osd lost, and subsequently there are some objects
that are permanently lost, recover.  Adjust the missing map to
no longer expect those new revisions.  (FIXME: pg stats are not
correctly adjusted; a repair will be needed.)

osd: send log events to monitor

osd: print lost_at

mds: fix sessionmap decoding

There's a session count value encoded, but it's a meaningless
upper bound.  Stop decoding when we hit the end of the buffer
instead.

rados: revert indentation so it matches kernel. Oops.

msgr: Set features in ceph_msg_connect_reply

auth: Add a uid field to EntityAuth; make it a required feature

rados: fix indentation

filer: remove -> purge_range, and scale to large ranges

Redefine remove interface to operate over a range of objects
numbers, not a byte range, since we are removing objects.  It is
the caller's responsibility to ensure they have the proper
range (by mapping from the ceph_file_layout).

And behave when the range is large by only allowing a few in
flight remove requests at once.

Eventually the objecter probably needs a more generalized request
throttling mechanism, but this will do for now.

mds: make scatter_nudge actually nudge when replica asks

If we're not replicated, there is no need to twiddle the
lockstate.. we can just write out any dirty data, as when we
have delayed rstat propagation.  If we are replicated, though,
and a replica asks to nudge the lock, we had better nudge the
lock state!

mds: correctly set root inode_auth during recovery

Set to root node id as indicated by mdsmap.  Setting the auth
bit alone isn't sufficient.

mds: show nref=%d if MDS_REF_SET is not defined

So we can see the ref count, at least!

mds: fix file purge race

Handle the case where a new inode ref appears while we are
purging an inode.  If so, we just truncate it to 0, so that next
time we go through purge_stray() we don't have to do the work
over again.

This can happen if a client goes snooping in the stray dir (or
who knows what else!).

filestore: explicitly parse args for _touch

init-ceph: don't barf on dash when no command

automake: fix mount sbin dir when configured with prefix

osd: clean up WRITE, TRUNCATE, TRIMTRUNC

- consolidate TRUNCATE and TRIMTRUNC.
- truncate on WRITE.
- handy debug prints.

cauthtool: --caps fn alone is a command

todo

debian: mount.ceph in /sbin, not /usr/sbin

objectstore: simpler transaction encoding

Just concatenate operations to a bufferlist as we go.  No
distinct decoding step is needed; we parse the transaction as it
is replayed/applied.  This avoids the old decoded intermediate
representation overhead.

Since we still decode the old version, that code is still there,
but not used for anything new.

vstart: default to 3 mds

uclient: do not retain caps being revoked

Matches kclient commit 68c28323.

debug: fix warnings, use larger path buffers

logger: fix warning

workqueue: behave when multiple threads call drain()

Use a counter, not a bool.

mds: add support for directory sticky bit

Take an rdlock on the directory authlock, so that we can reliably set the
new inode's gid if the directory mode has SGID bit set.

filestore: only do btrfs_snap if btrfs

Merge commit 'origin/filestore' into unstable

Conflicts:

src/os/FileStore.cc
src/os/FileStore.h

update release checklist

v0.19

mon: disable 'osd setmap'

This is dangerous, since it doesn't preserve old pool ids or pool_max, and
will confuse osds and generally wreak havoc.

osdmap: fix uninit var warning

Harmless, but this shuts it up.

mon: add 'auth export ]name]' to export a full or partial keyring

qa: fix snaptest1.sh

osdmap: decode old osdmaps prior to pool_max stuff

osdmap: get rid of useless max_pools

osd: pool cleanups

missed this before:

 - no need to initalize in create_pending(), constructor does that
 - int32_t, not int
 - pool_max while we're at it
 - initialize pool_max in OSDMap constructor

todo

mds: ignore session RENEWCAPS if state not open|stale

This avoids breakage where a renewcaps races with a session
being purged, for example.

osdmap/mon: Be more defensive about highest_pool_num usage

rados tool: mkpool/rmpool commands now available

mon: can now delete pools via 'ceph osd pool delete foo'

rgw: actually delete pools when using rados!

rados/objecter: can now delete pools!

mon/msg: MPoolOp can carry POOL_OP_DELETE; OSDMon puts pool in incre old_pools

librados: init PoolCtx properly -- was always setting snap_seq to CEPH_NOSNAP

osd: Deal with pools being removed from OSDMap.

This potentially has issues, since pools are not removed from the map
until after all the PGs are removed (which is threaded, not inline with
map delivery). But Sage thinks it's okay and the system keeps working
even if you delete a pool while benchmarking on it with rados.

OSDMap: get_pg_pool now returns a pointer
This lets us return NULL if the pool isn't in the map, which is
needed functionality for pool deletion. Meanwhile, code which
expects the pool to exist will continue to cause a crash if it doesn't.

rados: fix seg fault on cleanup of a failed pool open

mds: infer 'follows' in journal_dirty_inode on non-head inodes

There are lots of callers to journal_dirty_inode that may
unwittingly be dealing with a non-head inode (e.g.
check_file_max).  If the provided inode is snapped, infer an
appropriate follows values so as not to cow_inode() again.

mds: clear cap->issued on flushsnap

This allows _do_cap_update to clear out the client_range.

Kill (now) unused/unnecessary 'wanted' arg to _do_cap_update.

Also delay cap removal until after _do_cap_update (whcih takes
a Capability*).  This probably needs further cleanup.

mds: don't croak on null dentries in cache during reconnect/rejoin

They're created when we replay unlink events from the log.

objectcacher: use trimtrunc read/write ops

osdc: clean up some mess

objecter: add read_trunc, write_trunc

mkmonfs: rm -rf, so that we kill 0600 admin_keyring.bin

osd: fix recovery requeue race

If a recovery op finished right as another recovery op was
begin started, we could get into start_recovery_ops() and get
max = 0 and not start anything.  Since the PG wasn't being
requeued for later, it would never recover.  So, requeue if we
race and get max == 0.

init-ceph: print 'already started' instead of failing to start

msgr: more conservative locking, thread join asserts

We caught a bunch of crashes like this:

10.02.11 17:01:01.600660 7f87070c3950 -- 10.3.14.134:6800/8203 >> 10.3.14.130:6800/18914 pipe(0x7fc2be2cebe0 sd=36 pgs=2409 cs=1 l=0).do_sendmsg error Broken pipe
10.02.11 17:01:01.600700 7f87070c3950 -- 10.3.14.134:6800/8203 >> 10.3.14.130:6800/18914 pipe(0x7fc2be2cebe0 sd=36 pgs=2409 cs=1 l=0).writer error sending 0x7fc27da1c570, 32: Broken pipe
10.02.11 17:01:01.600796 7f87070c3950 -- 10.3.14.134:6800/8203 >> 10.3.14.130:6800/18914 pipe(0x7fc2be2cebe0 sd=-1 pgs=2409 cs=1 l=0).fault initiating reconnect
...
./common/Thread.h: In function 'int Thread::join(void**)':
./common/Thread.h:66: FAILED assert(0)
 1: (Thread::join(void**)+0x73) [0x64fcd3]
 2: (SimpleMessenger::Pipe::join_reader()+0x68) [0x6555a2]
 3: (SimpleMessenger::Pipe::connect()+0xf5) [0x645be9]
 4: (SimpleMessenger::Pipe::writer()+0x157) [0x64793d]
 5: (SimpleMessenger::Pipe::Writer::entry()+0x19) [0x63e107]
 6: (Thread::_entry_func(void*)+0x20) [0x64e816]
 7: /lib/libpthread.so.0 [0x7fc2c3bbdfc7]
 8: (clone()+0x6d) [0x7fc2c2e005ad]

that look a bit like multiple procs were racing into
join_reader().  Add an assert to catch that if it happens again,
and also wrap thread starts in pipe_lock to ensure we keep the
_running flags in sync with reality.  Add in a few other
sanity checks too.

mon: note mds beacon times more carefully

We need to update the beacon timestamp even when we are updating
the mds state.  Otherwise we can get caught in a busy loop
between marking an mds laggy and !laggy because the beacon stamp
never updates.

So even if we are updating, and the reply will be slow, update
our timestamp, so we don't mark the mds laggy.

osd: bail out of interval loop completely

We're going backwards, so once this test fails, it always fails,
and we can break instead of continue.  Any skipped intervals will
be pruned shortly anyway.