msgr: fail on sd < 0

I saw a case where poll(2) was blocking despite being passed an fd of -1.
Since that's clearly invalid, we can fail tcp_{read,write} before that
point.

Weird.

osd: flush store ops after map update

Otherwise we can race:

 - queue delete+rewrite of pg log
 - unblock op queue
 - queue append to log
...
 - apply append
 - apply delete+rewrite

mds: set laggy in tick() if its been a while

debian: drop empty dir from radosgw

todo: mds

mon: set osd up_thru when adjusting pg_temp

This just avoids making the OSD ask again for up_thru.  Fewer osdmap
updates!

osd: distinguish between per-pool snap pools and user-managed snap pools

If removed_snaps is non-empty, then snaps are managed by the
user: snap context is specified for all writes (e.g., MDS or
librados user using the snap context api).

We can enforce this by adding an (unused) snapid (1) to the
removed_snaps the first time a non-pool snap snapid is allocated.

mds: remove null clean stray dentries after dir commit

mds: fix purge_stray to be smart about NEW dentries

Mark new stray dentries NEW.

After purge, remove new dentries immediately; leave others as NULL and
dirty so they get removed from the ondisk stray dir properly.

mds: fix ref count check in eval_stray, purge_stray_purged

Dentry gets pin for any inode pins, and on purge has PIN_PURGING.

osd: return more useful errno (ENOENT) on missing base

mds: move new stray dentries to end of lru

mds: use send_dentry_unlink helper for remote unlink

mds: journal oldest client tid

Journal the client's safe tid with new requests.  This keeps the client
completed_requests list trimmed, so that we don't build up a ginormous
list of all requests over the entire journal.

Forward rolling mds format change.

todo: updates

rgw: rgw_admin checks that it hasn't regenerated user ids

mon: add new command 'lspools [uid]' to OSDMonitor

osd: pg_pool_t prints out its owner

mds: fix snap purging during commit

Use the helper!

The commit_partial is still incomplete.. we need to purge the
dentry after the commit completes?

mds: streamline stray checks with helper

mds: make beacon output more informative

qa: run tests in random order

mds: allow reconnect as long as we are in reconnect state

This used to work.. I think this is fallout from the mds session state
simplification (CLOSED was != NEW before).

Add missing Makefile dependency for debug.cc

We were missing a Makefile dependency for debug.cc, without it make -j fails
because ceph_ver.h hasn't been created.

Signed-off-by: Anton Blanchard <anton@samba.org>
Signed-off-by: Sage Weil <sage@newdream.net>

rgw: radosgw_admin can delete users from the system

rgw: call url_decode in more appropriate places

rgw: convert + to space in url_decode

rgw: send an error response if reading an ACL off disk fails

rgw: remove bad local variable shadowing class member variable

rgw: remove some invalid FIXMEs

mds: set laggy flag if dispatch takes too long

This prevents, e.g., tick() from coming in immediately after and
closing out client sessions after we chew through something particularly
slow.

msgr: set OPEN state after accepting connection

Not doing so can eventually lead to

msg/SimpleMessenger.cc: In function 'int SimpleMessenger::Pipe::accept()':
msg/SimpleMessenger.cc:765: FAILED assert(existing->state == STATE_CONNECTING)

mds: fix file recovery

This was broken by commit d5574993f.

mds: remove dir from 'new' list on any commit, not just on clean

A dir may be redirtied after the commit, such that it never becomes clean.
It only needs to stay on the 'new' list until it's been written to disk
at least once, though.

filejournal: fix journal full handling

We would block on journal full, but then try to continue where we left off,
which broke thoroughly.  Add return codes, and wait at the proper times:

 - if journal if full on first event, wait. otherwise, write what we have
   so far.
 - wait in write_thread_entry(), not check_for_full().

Also fix up 'room' calculation.

qa: make snaptest trigger capsnap dirty(caps)==0 bug

Prior to ceph-client.git commit 819ccbfa448, this will cause a

VFS: Busy inodes after unmount of ceph. Self-destruct in 5 seconds.  Have a nice day...

on umount.

mds: remove dentry AND inode when dropping snap metadata; add helper

We should only drop obsolete snapped metadata when it is unreferenced, and
at that point we need to drop the dentry AND inode, not just the dentry.
This delays things until caps are released, among other things.

osd: improve print of snapc in MOSDOp

osd: fix snap trimmer SnapSet adjustment

AFAICS it's totally wrong?

todo: updates

osd: improve snap trimmer debug output

mds: clear old snap_trace before building new one

Otherwise we just build up a big stack of historical information and send
it all to the client.

qa: make snaptest.sh repeatable in same dir

Merge branch 'mds' into unstable

todo: kclient snap bug

mds: don't adjust subtree map in rename_prepare

Not sure what the reasoning behind this was.

This code is from pre git history, and the git->subversion conversion
managed to make pretty git-blame unusable.  I doubt I really documented
what its purpose at that point was anyway.

mds: subtree map should always reflect current hierarchy

Not projected!

qa: drop numeric prefix from workunits

osd: don't filter out shutdown msg to self

msgr: init local_pipe peer_{addr,type}

Merge branch 'mds' into unstable

mds: todo rejoin bug

todo: kclient bug

rgw: revert accidental commit of get_attr prototype change

Merge branch 'msgr' into unstable

msgr: source, not orig_source, in dbg output

mds: don't use get_orig_source

MDS doesn't do any request forwarding, so there is no need.

msgr: NOSRCADDR protocol feature drops src/orig_src in msg header

This lets us drop the src, orig_src ceph_entity_addr's from the message
header, saving about 160 bytes per message.

The feature is optional.  We can still talk to peers who use the old
protocol.

msgr: put features in connection_state

msgr: use connection for src addr

msgr: make Message::get_orig_* differ only when explicitly directed to

This paves the way for removal of the orig_src field from the message
header.

mds: fix MDSTableClient ack double journaling

Do not journal ack unless the tid is registered in the LogSegment.  Once
we journal it, we remove it from the LogSegment list, and once it's
journaled, we remove the pending_commit[tid] entry.

This fixes a bug where the mds got two acks, journaled both of them, and
crashed in the completion for the second because pending_commit[tid] was
gone.  The second ack should have been ignored.

mds: start file recovery after sending rejoin ack

The rejoin ack intializes replica lock states correctly; we can't send any
lock messages before that.  This fixes both the check max size call (which
sends lock messages taking the wrlock) and the file_recover() call
(which does the same).

Instead, we make two lists, files to recover and those to fix up.  The lock
states for both are set to PRE_SCAN (LOCK on replica).  After the rejoin
acks go out, we either check_inode_max_size or file_recover.

If file_recover someday grows another caller, this may need something a bit
more sophisticated.

mds: delay check_inode_max_size if frozen

mds: less noisy about snaprealm siblings

This can get _very_ large for the stray dir.

rgw: add optional auid parameter to create_bucket.

If set this will set the RADOS pool's auid to the given one, granting
partial data coherency.

rgw: remove dead code. rebuild_policy exists elsewhere; the acl needs no main()

rgw: radosgw_admin will quit gracefully if it can't open the store

rgw: set auid if specified at creation

rgw: add auid field to RGWUserInfo

auth: Keyring no longer segfaults if HOME env variable is unset.

Just skip that path, instead. We can't recover what it meant.

rgw: if you can't init_storage_provider(), quit instead
of segfaulting later.

rgw: say why the store failed to open in admin

rgw: add minor data to schema examination

mkcephfs: osd=allow * caps for osd, mds

mds: migrate frag/nest scatterlock info on bounding frags during export

This ensures that the auth inode continues to maintain accurate scatterlock
info about open frags.  We include info on export if it is a bounding frag.
On import, we only take it if we are !auth.  This mirrors the scatterlock
scatter/gather logic in CInode::{encode,decode}_lock_state.

auth: standardize on -n/--name [type.]name

auth: initialized uninitialized variable, don't free pts we don't own

mds: make rdlock waiter wait on STABLE | RD, not just RD, when lock is unstable

mds: use 32 bits for MDSCacheObject::ref count

16 is not enough!  :)

Merge branch 'unstable' into mds

Conflicts:
src/TODO

mkcephf: behave when user is not defined

auth: fix a few memory leaks, uninit vars

Courtesy of cppcheck

mds: skip purge_stray when stray pins are present

Otherwise we can get into a loop:

 eval_stray
 purge_stray
 _purge_stray_purged
  journal truncate
 eval_stray
 ...

This doesn't explain what the stray pin was that I saw, but it at least
avoids the looping.

Makefile: add missing MDentryLink.h

mds: drop unused CInode::PIN_PURGING

src/README is required

filestore: less noisy about OpSequencer queue

mds: drop obsolete hack for base inodes

We used to skip base inodes for scatter_writebehind.  But we can
journal these just like anything else, and it potentially breaks
try_to_expire if a base inode's lock is dirty, because the
completion queued on WAIT_STABLE by scatter_nudge never gets
completed.

mds: fix lost completion in scatter_nudge (broke log trimming)

rados_bencher: Don't re-initialize passed-in pool, it breaks stuff

osd: Fix up OSDCaps::get_pool_cap to work/make more sense

rados: add interface to change pool owners

librados: add change_pool_auid functions

objecter: add change_pool_auid function.

I'm reluctant to stick this in the objecter since it doesn't quite fit, but
it's a pool management function and putting it here makes it easy to use
elsewhere while maintaining librados' standard function flow.

mds: allow rdlock on replica to request sync from auth

This fixes a ping-pong readdir between inode and dirfrag auth.

mon: Set MForward::client_caps explicitly; this fixes a bad connection deref.

Previously the decoded PaxosServiceMessage would attempt to follow an
uninitialized Connection* and segfault the system.

mon: set mon_caps with authenticated monitor check instead of claimed one.

mon: Fix all uses of Session and get_caps.
They now use MonSession and get_service()->caps, respectively.

mon: Change name of Session to MonSession.