mds: drop useless double from DecayCounter

No need to store k AND halflife.

mon: Hack -- set allow_all in caps if client name is admin

objecter: librados: add optional auid param to
create_pool functions

objecter: add auid to PoolOp, fill it in during pool_op_submit

mon: let prepare_new_pool assign an auid.
Add new version that takes an MPoolOp and checks permissions
first.

mon: add check_privileges function to OSDMon.

msg: Add an auid field to MPoolOp; additional constructor to match

auth: move CEPH_AUTH_UID_DEFAULT into ceph_fs.h

cauthtool: set auid in data member format instead of as (ignored) text key

mon: store auid in MonCaps

osd: store auid in OSDCaps

mon: fix bad return test!

cephx_build_service_ticket_blob returns a bool, so it's not ever
going to return <0 -- or if it somehow does that'll be true (good, not false!

auth: add set_uid() to KeyRing, print out auid in print function

auth: Add an auid parameter to verify_authorizer and handle_request

It defaults to null, in which case it's not assigned to.

auth: add optional auid param to handle_request

cephx: Piece-wise initialization of structs is BAD!
If you add, say, a field "auid" to the struct and it's being
piece-wise initialized then you need to change every copy to include it.
Or you assume it's just copied wholesale and then spend many hours trying
to find where it isn't. Like in this one.

auth: rename auth_uid -> auid

auth: re-add auid to EntityAuth and AuthTicket.

mon: add auid field to MonCaps. Also make it a struct --
we want those data members accessible!"

After discussing with Sage, we do want auid to be a part
of AuthTicket, et al. Let's do it that way.
Revert "authtool: give generated key specific uid if one is provided on the cli."

This reverts commit 3a080fa109d1c9106ac6891c97ee5e816b4ea51d.

Revert "cephx: Add auth_uid (if present) to Info for all service types"

This reverts commit 1cb95b419421e99efbebf77950b0e582907060b4.

Revert "osd: mon: caps store auth_uid as an int for fast checking"

This reverts commit 08e21ca094859143955f1c2acbef0a1451bcab90.

mds: shut up about request latency

mds: return lease on null dentries (ENOENT lookups)

This provides the client with a lease on a dentry's nonexistence,
allowing it to avoid repetitive ENOENT lookups.

mds: behave when passed NULL *need_issue

Catch two cases: *need_issue = true at top of func
(if (first ...)), and when eval() call resets need_issue again.

crushtool: fail on parse error

mds: accept stray reconnects

Hmm.  Ultimately this is the direction we want to go, so that,
for example, a client that is forcefully disconnected can at
least attempt a reconnect (even if all its caps go ESTALE).
There are undoubtably some issues that need to be dealt with to
keep the mds from choking on weird client data, but those things
need to be fixed regardless.

filestore: fix --mkjournal option

Read fsid off disk before creating journal.

filestore: avoid sync_file_range(2) if not present

This disables the flushing 'optimization'.

filejournal: avoid sync_file_range(2) if not present

autoconf: detect sync_file_range(2)

crushtool: allow multiple -v's to increase verbosity

crushtool: fix parsing with new boost library (compress whitespace)

The latest spirit breaks parsing.  It seems to choke on
whitespace (e.g., fail to parse if there is any trailing
whitespace).  I couldn't find any obvious problems with how
spirit is beign used, so work around it by stripping out any
extra whitespace from the input.  Bleh!

osd: mon: caps store auth_uid as an int for fast checking

cephx: Add auth_uid (if present) to Info for all service types

osd: OSDCaps have a better check for ownership

authtool: give generated key specific uid if one is provided on the cli.

Of course, you can also now just specify it in the caps file.

Revert a number of auth_uid commits.

Attempting to add an auth_uid to all the relevant structs has gotten too messy;
it *will* get messed up at some point in the future. So we're moving it into
the string map caps, and the machines can store it in their local structs
however they like.
Note to self: In future, do not attempt to extend mirrored structs without
great cause. Or else commit to making them properly-encapsulated objects.

Revert "auth: Add an auth_uid to AuthTicket. Still to do: copy it around"

This reverts commit 62c8ceba870eae66e26b4796e3adc468e0165028.

Revert "auth: misc printing and initialization fixes"

This reverts commit ae8ed243dff02a83cc33c2bf4f4e3715715c482b.

Revert "authtool: set generated key to specific uid if one is given"

This reverts commit 2ab6e75c9b0b2b1f0965ad9ce6ea6a701b6e0098.

Revert "auth: constant for unknown/unsecured user"

This reverts commit ea01f18305f5cd79fe8ff69fcbe4dc4b5f13c2f1.

Revert "auth: auth_uid needs to be in AuthCapsInfo as well."

This reverts commit d499cf5c0524b2266170f9fe1b7b53451b84aa73.

Revert "auth: Add a uid field to EntityAuth; make it a required feature"

This reverts commit 14052d4b12a7efb178af5147d761a1589c23e413.

Conflicts:

src/include/ceph_fs.h

todo

init-ceph: return success error code on missing ceph.conf if no -c

This will avoid errors when installing/removing the unconfigured
package.

mds: fix snapid tests in encode_inodestat

Snapid should always be non-zero; assert as much.

This fixes bug where valid was set to false when stating dir
inodes on non-auth mds's, which in turn returned no caps to
clients and, in the case of cfuse, caused a crash.

mds: fix null pointer deref in resolve on mostly-empty mds

We may not have any dirfrags during resolve if the mds crashed
while stopping.

journal: set committing_seq in commit_start

We need to set committing_seq when we first block access to the
fs in commit_start(), NOT in commit_started(), as by that time
we may have queued all sorts of additional entries for the
journal.  The committing_seq is all about syncing up with the
live fs (via op_apply_start), not what's queued for the journal.

osd: use per-PG ObjectStore::Sequencer when possible

Otherwise, when it doesn't matter, use the default.  This
serialized io submission to btrfs at the lower layer within a
single PG.  In general this is not significant, since we have
lots of PGs.  We could potentionally do per object in some cases,
but we'd have to be careful about snapshots and such.  Keep it
simple for now.

filestore: add Sequencer to queue_transaction interface

The (optional) sequencer parameter lets you order operations
submitted via the same Sequencer relative to each other.  If no
sequencer is specified, a default one is used.  Operations are
single-threaded with respect to an individual sequencer, so you
effectively get single threaded io submission to btrfs/whatever
if you do not specify a sequencer.

msgr: don't redefine value of ENTITY_TYPE_AUTH

osd: fix TRIMTRUNC truncation size

filestore: use separate finisher for journaled ahead completion

I don't love it, but this fixes the problem: we can't mix ondisk
and onreadable completions in the same finisher queue.

0.19.1

builddebs.sh: suppress lintian as root warning

auth: Add an auth_uid to AuthTicket. Still to do: copy it around

auth: misc printing and initialization fixes

vstart:/mkcephfs: set client.admin auth_uid to 0

authtool: set generated key to specific uid if one is given

msgr: Remove the type CEPH_ENTITY_TYPE_ADMIN.
It *looks* like this won't break EntityName's isAdmin() function as that
depends on a set name, and client.admin will satisfy it. I think.

ceph_fs: Split CEPH_FEATURE_{SUPPORTED, REQUIRED} flags into service-based flags
msgr: New get_{required,supported}_bits methods which calculate required bits
based on type of self and of peer. Replace all hard-coded flag uses with these.

OSD: If an auth_uid owns a pool and has no explicit permissions,
grant it full privileges.

osd: Add auth_uid to OSDCaps, and fill in.

auth: constant for unknown/unsecured user

filestore: fix ondisk vs onreadable_sync deadlock

Do ondisk completion async in journaled_ahead completion to avoid
any onreadable_sync getting held up behind an ondisk completion.

Reuse the op_finisher finisher thread for this.

todo

builddebs.sh: keep base.tgz outside ~/debian

mds: put forced open sessions in OPENING then OPEN

We use OPENING state to indicate sessions that are being
imported.  Fix get_or_add_open_session() to NOT set the session
state (except to STATE_NEW if new) so that the caller can do
the right thing.  Otherwise, the prepare_force_open_sessions()
can't tell if it just forced open a session (and needs it to be
OPENING) or if it was already open.  Subsequently cap migrations
weren't working if the client didn't already have a session
open.

There is still a bug: if the import aborts, we have an OPENING
session with no actual open client_session message queued.  Maybe
we should have a different state instead of OPENING... IMPORTING?

todo

debian: new release, push, build, publish scripts

Makefile: fix /sbin hack

misplaced ;'s

Makefile: include debian/

mds: fix (new) sessionmap decoding

der!

mds: fix mds_export_targets message parent

Needs to be a PaxosServiceMessage.  The monitor was assuming
as much, casting, and getting a gibberish prior paxos version.

qa: download linux tarball from ceph.newdream.net for kernel compile test

cauthtool: validate arguments better, cleanup

Sanity check arguments up front.  Clean up code a bit.

osd: use onreadable_sync finishers to drop ondisk locks

This fixes a deadlock where we are holding pg->lock, block
waiting for the ondisk lock, but the unlock completion is stuck
behind something else waiting on pg->lock in the finisher queue.

filestore: add onreadable_sync callback

Add an additional completion context that gets called
synchronously when the operation completes, instead of getting
shunted to the async finisher thread.  This allows us to make
sure certain completion events happen without getting 'stuck
in line' behind other completions with conflicting locks.

context: minor finish_contexts() cleanup

finisher: generic C_OnFinisher context

Queue given context on given finisher.

objectstore: conflate onjournal and ondisk

No callers actually make this distinction, and the ObjectStore
hides the details of if/whether/how things go to the journal
or disk or in what order, so simplify things all around.

mds: revise mds sessionmap encoding [disk format change]

Encode session name before session itself, so that we can use
an existing session instead of allocating a new one.  This lets
us keep eagerly reconnecting clients that connect before we
load the sessionmap.

Add proper struct_v.  Drop useless/incorrect 'n' value.

Continue to read old format, of course.  Some minor hackery
because we didn't have a struct_v before.

mds: initialize session state, even if we had it already

This ensures that eagerly reconnecting clients get set to OPEN
when we replay their session from the journal.

mds: assert client_msut_resend on forward.

mds: print session states as string; nicer dump

encoding: make bool encoder explicitly u8

auth: auth_uid needs to be in AuthCapsInfo as well.

Conflicts:

src/auth/Auth.h

authmon: reminder --> remainder, for less confusion!

mds: if we have no subtrees on rejoin_done, leave cluster

mds: fix trim_non_auth empty lru case

If our lru is empty, make sure we clean things out _after_
unpinning the subtrees!  This came up after an mds leaving the
cluster crashed before it finished, and on replay/rejoin had
no auth subtrees.

qa: specify logdir on command line (or assume rundir)

Don't just put logs with the qa source.  Among other things that
means we can't run runallonce.sh twice.

osd: do not activate pg if lost osds and no acting has gone active

If the no acting osd has gone active since it most recently
joined the pg, then we may not have up to date pg state (log,
etc).  If may even be empty.

If so, then do not activate even if an osd is marked lost.

osd: detect permanently lost objects, and continue

If we mark an osd lost, and subsequently there are some objects
that are permanently lost, recover.  Adjust the missing map to
no longer expect those new revisions.  (FIXME: pg stats are not
correctly adjusted; a repair will be needed.)

osd: send log events to monitor

osd: print lost_at

mds: fix sessionmap decoding

There's a session count value encoded, but it's a meaningless
upper bound.  Stop decoding when we hit the end of the buffer
instead.

rados: revert indentation so it matches kernel. Oops.

msgr: Set features in ceph_msg_connect_reply

auth: Add a uid field to EntityAuth; make it a required feature

rados: fix indentation

filer: remove -> purge_range, and scale to large ranges

Redefine remove interface to operate over a range of objects
numbers, not a byte range, since we are removing objects.  It is
the caller's responsibility to ensure they have the proper
range (by mapping from the ceph_file_layout).

And behave when the range is large by only allowing a few in
flight remove requests at once.

Eventually the objecter probably needs a more generalized request
throttling mechanism, but this will do for now.

mds: make scatter_nudge actually nudge when replica asks

If we're not replicated, there is no need to twiddle the
lockstate.. we can just write out any dirty data, as when we
have delayed rstat propagation.  If we are replicated, though,
and a replica asks to nudge the lock, we had better nudge the
lock state!

mds: correctly set root inode_auth during recovery

Set to root node id as indicated by mdsmap.  Setting the auth
bit alone isn't sufficient.

mds: show nref=%d if MDS_REF_SET is not defined

So we can see the ref count, at least!

mds: fix file purge race

Handle the case where a new inode ref appears while we are
purging an inode.  If so, we just truncate it to 0, so that next
time we go through purge_stray() we don't have to do the work
over again.

This can happen if a client goes snooping in the stray dir (or
who knows what else!).

filestore: explicitly parse args for _touch

init-ceph: don't barf on dash when no command

automake: fix mount sbin dir when configured with prefix