Revert "osd: replace the ALLOW_MESSAGES_FROM macro with use of OSDCaps functions"

This reverts commit 9ceb3be9a62f7b777b23a4d65b1cc302ec834e6b.
This will be coming back in another form shortly, but apparently we have
more connections without sessions on the OSD.

mds: only recover files from stale clients when auth

Replicas have client_ranges defined too, but only the auth MDS should do
the file size/mtime recovery.

Also rename clear_client_caps_after_export() for clarity, and assert inode
is_auth throughout file recover code.

osd: add some put()s of Session * that weren't being used properly.

This fixes a memory leak that could have caused problems in the future.

osd: replace the ALLOW_MESSAGES_FROM macro with use of OSDCaps functions

osd: Add is_X functions to OSDCaps (where X is mon, osd, mds).

rados: check that given pool name actually exists when deleting

mon: OSDMonitor makes sure pool ID is good, preventing crashiness

osdmap: move pool names into first part of encoding; add version to second part

This gives the kclient access to pool names while still ignoring the
osd_info_t crap.  And also will make adding more stuff to the second half
later possible without breaking the kclient.

librados: add lookup_pool()

librados: no need to include linux/types.h

debian: more librados1-dev deps

spinlock: clean up #include deps

monclient: seed RNG so we pick a random monitor

todo: move bugs to tracker

auth: cauthtool now identifies itself properly to common_init

mon: add 'get' command to AuthMon, letting you retrive one entity's keyring data

filestore: fix weird references for clone/clone_range

Not sure why that was legal to begin with?

objectstore: fix clone_range() transaction encoding

librados: clean up object listing api

osd: clear initial interval_set in build_removed_snaps

Caller may pass a non-empty set, in which case we crashed or returned a bad
result.

testrados: create/use own pool

crc32c: ifdef out dead code to shut up warning

Merge branch 'ns' into unstable

filestore: more informative error on current/ rename failure

init-ceph: include 'noatime' btrfs mount option by default

testrados: test more stuff

objecter: cleanup

librados: clean up c header

debian: fix up librados1-dev with all necessary headers

librados: move c++ api into librados.hpp; more type cleanup

librados: use std::string, not nstring, in c++ api

librados: avoid snapid_t type, types.h

rbdtool: fix man warnings

filestore: check for SNAP_DESTROY ioctl, and file if not present

librados: move librados.h to include/

spinlock: move to include/

spinlock: move to ceph namespace

atomic: move to ceph namespace

atomic: rename test() -> read()

Make the interface slightly less weird.

buffer: avoid including ceph assert directly

If assert isn't defined, include the standard C one.  Internal ceph bits
should include assert.h before buffer.h if they want the ceph one.

assert: use ceph namespace

crc32c: prefix with ceph_

page: move to ceph namespace, defs to common/page.cc

buffer: move to ceph namespace

osd: fix transposed clone_range args

We're cloning ranges _into_ soid (and in fact just deleted any old soid
that may have been lingering).

spinlock: avoid lockdep include unless lockdep is on

buffer: avoid spinlock include unless debugging is on

librados: reduce #includes

librados: c binding for rados_tmap_update()

rbdtool: maintain an rbd_directory object; add --list

auth: shut up about loading the key file

librados: add tmap_update to c++ interface

osd: fix tmap when header update not specified, or initial object dne

Merge branch 'rbd' into unstable

debian: include rbdtool

rbdtool: add man page

rbdtool: delete rbd images too

rbdtool: use shared rbd_types.h

msgr: drop useless was_session_reset() call on lossy channel close

The fail closes out the pipe, no need to do a 'reset'.

ceph: print output to stdout, not dout

Using cout instead of dout(0) avoids the thread id in the prefix.

msgr: fail on sd < 0

I saw a case where poll(2) was blocking despite being passed an fd of -1.
Since that's clearly invalid, we can fail tcp_{read,write} before that
point.

Weird.

osd: flush store ops after map update

Otherwise we can race:

 - queue delete+rewrite of pg log
 - unblock op queue
 - queue append to log
...
 - apply append
 - apply delete+rewrite

mds: set laggy in tick() if its been a while

debian: drop empty dir from radosgw

todo: mds

mon: set osd up_thru when adjusting pg_temp

This just avoids making the OSD ask again for up_thru.  Fewer osdmap
updates!

osd: distinguish between per-pool snap pools and user-managed snap pools

If removed_snaps is non-empty, then snaps are managed by the
user: snap context is specified for all writes (e.g., MDS or
librados user using the snap context api).

We can enforce this by adding an (unused) snapid (1) to the
removed_snaps the first time a non-pool snap snapid is allocated.

mds: remove null clean stray dentries after dir commit

mds: fix purge_stray to be smart about NEW dentries

Mark new stray dentries NEW.

After purge, remove new dentries immediately; leave others as NULL and
dirty so they get removed from the ondisk stray dir properly.

mds: fix ref count check in eval_stray, purge_stray_purged

Dentry gets pin for any inode pins, and on purge has PIN_PURGING.

osd: return more useful errno (ENOENT) on missing base

mds: move new stray dentries to end of lru

mds: use send_dentry_unlink helper for remote unlink

mds: journal oldest client tid

Journal the client's safe tid with new requests.  This keeps the client
completed_requests list trimmed, so that we don't build up a ginormous
list of all requests over the entire journal.

Forward rolling mds format change.

todo: updates

rgw: rgw_admin checks that it hasn't regenerated user ids

mon: add new command 'lspools [uid]' to OSDMonitor

osd: pg_pool_t prints out its owner

mds: fix snap purging during commit

Use the helper!

The commit_partial is still incomplete.. we need to purge the
dentry after the commit completes?

mds: streamline stray checks with helper

mds: make beacon output more informative

qa: run tests in random order

mds: allow reconnect as long as we are in reconnect state

This used to work.. I think this is fallout from the mds session state
simplification (CLOSED was != NEW before).

Add missing Makefile dependency for debug.cc

We were missing a Makefile dependency for debug.cc, without it make -j fails
because ceph_ver.h hasn't been created.

Signed-off-by: Anton Blanchard <anton@samba.org>
Signed-off-by: Sage Weil <sage@newdream.net>

rgw: radosgw_admin can delete users from the system

rgw: call url_decode in more appropriate places

rgw: convert + to space in url_decode

rgw: send an error response if reading an ACL off disk fails

rgw: remove bad local variable shadowing class member variable

rgw: remove some invalid FIXMEs

rbdtool: don't create empty object data

rbd: created a userspace tool for creating rbd objects

mds: set laggy flag if dispatch takes too long

This prevents, e.g., tick() from coming in immediately after and
closing out client sessions after we chew through something particularly
slow.

msgr: set OPEN state after accepting connection

Not doing so can eventually lead to

msg/SimpleMessenger.cc: In function 'int SimpleMessenger::Pipe::accept()':
msg/SimpleMessenger.cc:765: FAILED assert(existing->state == STATE_CONNECTING)

mds: fix file recovery

This was broken by commit d5574993f.

mds: remove dir from 'new' list on any commit, not just on clean

A dir may be redirtied after the commit, such that it never becomes clean.
It only needs to stay on the 'new' list until it's been written to disk
at least once, though.

filejournal: fix journal full handling

We would block on journal full, but then try to continue where we left off,
which broke thoroughly.  Add return codes, and wait at the proper times:

 - if journal if full on first event, wait. otherwise, write what we have
   so far.
 - wait in write_thread_entry(), not check_for_full().

Also fix up 'room' calculation.

qa: make snaptest trigger capsnap dirty(caps)==0 bug

Prior to ceph-client.git commit 819ccbfa448, this will cause a

VFS: Busy inodes after unmount of ceph. Self-destruct in 5 seconds.  Have a nice day...

on umount.

mds: remove dentry AND inode when dropping snap metadata; add helper

We should only drop obsolete snapped metadata when it is unreferenced, and
at that point we need to drop the dentry AND inode, not just the dentry.
This delays things until caps are released, among other things.

osd: improve print of snapc in MOSDOp