mds: make beacon output more informative

qa: run tests in random order

mds: allow reconnect as long as we are in reconnect state

This used to work.. I think this is fallout from the mds session state
simplification (CLOSED was != NEW before).

Add missing Makefile dependency for debug.cc

We were missing a Makefile dependency for debug.cc, without it make -j fails
because ceph_ver.h hasn't been created.

Signed-off-by: Anton Blanchard <anton@samba.org>
Signed-off-by: Sage Weil <sage@newdream.net>

rgw: radosgw_admin can delete users from the system

rgw: call url_decode in more appropriate places

rgw: convert + to space in url_decode

rgw: send an error response if reading an ACL off disk fails

rgw: remove bad local variable shadowing class member variable

rgw: remove some invalid FIXMEs

mds: set laggy flag if dispatch takes too long

This prevents, e.g., tick() from coming in immediately after and
closing out client sessions after we chew through something particularly
slow.

msgr: set OPEN state after accepting connection

Not doing so can eventually lead to

msg/SimpleMessenger.cc: In function 'int SimpleMessenger::Pipe::accept()':
msg/SimpleMessenger.cc:765: FAILED assert(existing->state == STATE_CONNECTING)

mds: fix file recovery

This was broken by commit d5574993f.

mds: remove dir from 'new' list on any commit, not just on clean

A dir may be redirtied after the commit, such that it never becomes clean.
It only needs to stay on the 'new' list until it's been written to disk
at least once, though.

filejournal: fix journal full handling

We would block on journal full, but then try to continue where we left off,
which broke thoroughly.  Add return codes, and wait at the proper times:

 - if journal if full on first event, wait. otherwise, write what we have
   so far.
 - wait in write_thread_entry(), not check_for_full().

Also fix up 'room' calculation.

qa: make snaptest trigger capsnap dirty(caps)==0 bug

Prior to ceph-client.git commit 819ccbfa448, this will cause a

VFS: Busy inodes after unmount of ceph. Self-destruct in 5 seconds.  Have a nice day...

on umount.

mds: remove dentry AND inode when dropping snap metadata; add helper

We should only drop obsolete snapped metadata when it is unreferenced, and
at that point we need to drop the dentry AND inode, not just the dentry.
This delays things until caps are released, among other things.

osd: improve print of snapc in MOSDOp

osd: fix snap trimmer SnapSet adjustment

AFAICS it's totally wrong?

todo: updates

osd: improve snap trimmer debug output

mds: clear old snap_trace before building new one

Otherwise we just build up a big stack of historical information and send
it all to the client.

qa: make snaptest.sh repeatable in same dir

Merge branch 'mds' into unstable

todo: kclient snap bug

mds: don't adjust subtree map in rename_prepare

Not sure what the reasoning behind this was.

This code is from pre git history, and the git->subversion conversion
managed to make pretty git-blame unusable.  I doubt I really documented
what its purpose at that point was anyway.

mds: subtree map should always reflect current hierarchy

Not projected!

qa: drop numeric prefix from workunits

osd: don't filter out shutdown msg to self

msgr: init local_pipe peer_{addr,type}

Merge branch 'mds' into unstable

mds: todo rejoin bug

todo: kclient bug

rgw: revert accidental commit of get_attr prototype change

Merge branch 'msgr' into unstable

msgr: source, not orig_source, in dbg output

mds: don't use get_orig_source

MDS doesn't do any request forwarding, so there is no need.

msgr: NOSRCADDR protocol feature drops src/orig_src in msg header

This lets us drop the src, orig_src ceph_entity_addr's from the message
header, saving about 160 bytes per message.

The feature is optional.  We can still talk to peers who use the old
protocol.

msgr: put features in connection_state

msgr: use connection for src addr

msgr: make Message::get_orig_* differ only when explicitly directed to

This paves the way for removal of the orig_src field from the message
header.

mds: fix MDSTableClient ack double journaling

Do not journal ack unless the tid is registered in the LogSegment.  Once
we journal it, we remove it from the LogSegment list, and once it's
journaled, we remove the pending_commit[tid] entry.

This fixes a bug where the mds got two acks, journaled both of them, and
crashed in the completion for the second because pending_commit[tid] was
gone.  The second ack should have been ignored.

mds: start file recovery after sending rejoin ack

The rejoin ack intializes replica lock states correctly; we can't send any
lock messages before that.  This fixes both the check max size call (which
sends lock messages taking the wrlock) and the file_recover() call
(which does the same).

Instead, we make two lists, files to recover and those to fix up.  The lock
states for both are set to PRE_SCAN (LOCK on replica).  After the rejoin
acks go out, we either check_inode_max_size or file_recover.

If file_recover someday grows another caller, this may need something a bit
more sophisticated.

mds: delay check_inode_max_size if frozen

mds: less noisy about snaprealm siblings

This can get _very_ large for the stray dir.

rgw: add optional auid parameter to create_bucket.

If set this will set the RADOS pool's auid to the given one, granting
partial data coherency.

rgw: remove dead code. rebuild_policy exists elsewhere; the acl needs no main()

rgw: radosgw_admin will quit gracefully if it can't open the store

rgw: set auid if specified at creation

rgw: add auid field to RGWUserInfo

auth: Keyring no longer segfaults if HOME env variable is unset.

Just skip that path, instead. We can't recover what it meant.

rgw: if you can't init_storage_provider(), quit instead
of segfaulting later.

rgw: say why the store failed to open in admin

rgw: add minor data to schema examination

mkcephfs: osd=allow * caps for osd, mds

mds: migrate frag/nest scatterlock info on bounding frags during export

This ensures that the auth inode continues to maintain accurate scatterlock
info about open frags.  We include info on export if it is a bounding frag.
On import, we only take it if we are !auth.  This mirrors the scatterlock
scatter/gather logic in CInode::{encode,decode}_lock_state.

auth: standardize on -n/--name [type.]name

auth: initialized uninitialized variable, don't free pts we don't own

mds: make rdlock waiter wait on STABLE | RD, not just RD, when lock is unstable

mds: use 32 bits for MDSCacheObject::ref count

16 is not enough!  :)

Merge branch 'unstable' into mds

Conflicts:
src/TODO

mkcephf: behave when user is not defined

auth: fix a few memory leaks, uninit vars

Courtesy of cppcheck

mds: skip purge_stray when stray pins are present

Otherwise we can get into a loop:

 eval_stray
 purge_stray
 _purge_stray_purged
  journal truncate
 eval_stray
 ...

This doesn't explain what the stray pin was that I saw, but it at least
avoids the looping.

Makefile: add missing MDentryLink.h

mds: drop unused CInode::PIN_PURGING

src/README is required

filestore: less noisy about OpSequencer queue

mds: drop obsolete hack for base inodes

We used to skip base inodes for scatter_writebehind.  But we can
journal these just like anything else, and it potentially breaks
try_to_expire if a base inode's lock is dirty, because the
completion queued on WAIT_STABLE by scatter_nudge never gets
completed.

mds: fix lost completion in scatter_nudge (broke log trimming)

rados_bencher: Don't re-initialize passed-in pool, it breaks stuff

osd: Fix up OSDCaps::get_pool_cap to work/make more sense

rados: add interface to change pool owners

librados: add change_pool_auid functions

objecter: add change_pool_auid function.

I'm reluctant to stick this in the objecter since it doesn't quite fit, but
it's a pool management function and putting it here makes it easy to use
elsewhere while maintaining librados' standard function flow.

mds: allow rdlock on replica to request sync from auth

This fixes a ping-pong readdir between inode and dirfrag auth.

mon: Set MForward::client_caps explicitly; this fixes a bad connection deref.

Previously the decoded PaxosServiceMessage would attempt to follow an
uninitialized Connection* and segfault the system.

mon: set mon_caps with authenticated monitor check instead of claimed one.

mon: Fix all uses of Session and get_caps.
They now use MonSession and get_service()->caps, respectively.

mon: Change name of Session to MonSession.

msg: Add get_session function to PaxosServiceMessage

Revert "msg: PaxosServiceMessage includes a MonCap*"

This reverts commit 167b28a0d4cb2977f237be1972e40e04aed24207.

mon: MonCaps default initializes more variables

osd: drop useless ENOMEM check

'new' will throw an exception if it fails, not return NULL.

vstart.sh: include mon secret during mkfs

mon: fix up authorizer generation/validation

Only generate authorizer for other mons. Only require authorizer for other
mons when CEPHX is enabled.  Check it properly (before we were letting
mons connect without any authorizer!).

mds: fix bug in handle_discover on mdsdir

mds: check myin, not stray, in rejoin_send_acks

mon: change forwarding behavior somewhat

mon: initialize routed_request_tid

msgr: set m->connection for messages sent to self

osd: detect TMAPUP no-op and do no work

debug: include timestamp + thread in _all_ debug output

qa: fix loopall.sh mode

todo

todo mds bug

mon: Hack in setting monitor caps

fix up READMEs

mds: fix up client session importing

Keep import counter for each session, for overlapping imports.

Prevent a session close or kill during an import.

mon: Fix initialization-crossing goto jump