mds: Cleanup/doc updates

mds: Add export killpoints

mds: Add killpoints for mds export

mds: Add mds_kill_export_at asserts.
Create and begin documenting doc/killpoints.txt

config: add kill arguments for mds import/export

mds: bracket mds journal events with {start,submit}_entry

This lets us catch nested journal events when they happen,
instead of down the line when dir/inode version numbers
look weird.

todo

snaprealm errors on kclient when ls -al .ceph/mds0/stray

dropped old aleung mds branch code

See aleung_mds_security branch.

mon: fix allocation of low global_ids after mon restart

We need to set last_allocated in init().  Also avoid the
-1 casting and just use 0 instead.

test_ioctls: print preferred_osd value from GET_LAYOUT ioctl

hash: fix whitespace

mds: set mdr->in[n] in rdlock_path_xlock_dentry

This keeps things consistent with what we'd get with
path_traverse.  Namely, it means that if done_locking gets
set to true, then a future call to rdlock_path_pin_ref can
bail out and return mdr->in[n] and get a correct value.

This fixes

 touch mnt/a
 ls mnt
 touch mnt/.ceph

mds hang on the create request.

mds: do not include /.ceph in readdir results

librados: set id in messenger

rados: read benchmark is asynchronous.

Change hump-backed variable names.
Initialize data->in_flight!

rados: pull sequential benchmark into its own function

rados: remove iTime from object names for complete determinism

rados: Handle errors slightly better

rados: split up function into more subfunctions

rados: Deterministically fill data, reverse count:time order

librados: minor comments

rados: Move variables into data structure; rename to be generic

rados: Move benchmark functions into separate file

qa: Rename a file for future clarity.

qa: specify test path as argument ot runallone.sh

config: preserve argv[0] if appropriate

This makes 'cfuse' show up in 'df' output.

qa: test mdstable failures

todo

the lockdep was probably due to the leak of request_mutex?

mds: inject mds failure during mdstable operations

mds: log successful client reconnect

sepia: asdf

mds: journal/replay rollback on MDSTableServer

We journal prepare and commit; need to do rollback to!

mds: track _note_prepared/committed in normal path, too

This was broken by cd6f3817.

mds: pass do_eval through to adjsut_subtreeauth

vstart: add [mds.a] section when no -x

mds: drop requests on closed|closing|etc sessions

ceph.spec: mostly in line with .deb

No packages for radosgw or libcrush/ceph/rados, though.

object: add missing include

For sprintf().

mds: ignore reconnect if session state is closed

On reconnect, if we didn't have a session from the journal, our Session
state will be 'closed'.  Act accordingly.

todo

mds: don't renew caps (or touch_session) on closed session

Also assert that we're on the state list before touching.

mds: less --, more -

mds: update pending_for_mds during table server replay

Otherwise we our replay of AGREE after recovery is wrong; we just replay
what was saved, without taking additional journaled items into account.

mon: add 'mds set_state <gid> <stateid>'

For mdsmon disaster recovery :)

mon: avoid mds state update when clearing laggy flag

Do not clear laggy flag (or otherwise get into prepare_update) if the mds
hasn't seen the latest map.  Previously we could go to clear laggy and also
revert to an old mds state.

vstart.sh: fix -k for mds loading

vstart.sh: fix -k (cmds init)

msgr: fix bad unlock on tcp_write error

mds: fix replay of hard links

Use dir->link_remote_inode, not raw function, so that the CDir accounting
gets set up.

mds: clear session before remove_session

remove_session may drop the last ref.

mds: do not eval subtree root during rename_prepare

The eval may lead to a scatter_writebehind, which screws up the journal
ordering.  Since the inode is also locked, we will end up evaling it
later anyway, so don't worry about it.

I'm a bit unsure about the adjust_subtree_after_rename... that is during
the rename_apply stage (after the log entry committed), so i think it's
safe to do a scatter_writebehind here.. since we're not between a predirty
and submit_entry.

todo

mds: fix client purge crash

set_state moves the session to the per-session lists; do
this _before_ remove_session (which removes the session
entirely).  Otherwise we fail an assert when deleting
the session:

mds/SessionMap.h: In function 'virtual Session::~Session()':
mds/SessionMap.h:141: FAILED assert(!session_list_item.is_on_xlist())
 1: ./cmds(_Z18__ceph_assert_failPKcS0_iS0_+0x36) [0x97fc87]
 2: ./cmds(_ZN7SessionD0Ev+0x47) [0x73d817]
 3: ./cmds(_ZN16RefCountedObject3putEv+0xdb) [0x712c3b]
 4: ./cmds(_ZN10ConnectionD0Ev+0x3a) [0x713f88]
 5: ./cmds(_ZN10Connection3putEv+0x3d) [0x71294b]
 6: ./cmds(_ZN15SimpleMessenger4PipeD1Ev+0x7f) [0x7130e1]
 7: ./cmds(_ZN15SimpleMessenger6reaperEv+0x228) [0x7048ba]
 8: ./cmds(_ZN15SimpleMessenger4waitEv+0x28) [0x7059dc]
 9: ./cmds(main+0x305) [0x6f9345]
 10: /lib/libc.so.6(__libc_start_main+0xe6) [0x7f2091e715c6]
 11: ./cmds [0x6f8e39]
 NOTE: a copy of the executable, or `objdump -rdS <executable>` is needed to interpret this.

mon: fix use-after-free in mds mon blacklisting

mds: warn if replay used ino doesn't match session's next

mds: fix reconnect race

Don't ignore client replay or session msgs if we are
moving to reconnect state.  The client may get the mdsmap
before us and send things our way, so take them if we
are reconnect, or if we want reconnect.

mds: remove dead session request list trim waiter code

I don't even remember what this was originally for.

mds: associate session with connection; clean up

Sessions always created on connect.  May or may not be
in then sessionmap, depending on the session open/close
commands.

vstart: include [mds.$name] for auth_none

osd: don't crash on (and allow) messages sent to self

conf: don't crash if conf file not specified and not found

filestore: fix mkfs with no jourhal

auth: change error code when not supporting authentication

rgw: ifdef out dead code

auth: set initial values in misc structs

Fixes a bunch of valgrind warnings.

sepia: no valgrind on osds for now

mon: allow mds injectargs on recovering mdss

mds: use global_id as key in MDSMap

This makes the data structures less stupid (using an
entity_addr_t as a key is silly).

This is a protocol and disk format change.

filestore: don't magically enable journal if ${osd_data}.journal exists

rados: kill unused ceph_fsid_set

auth: when renewing session, encrypt ticket

rgw: fix base64 warnings (move impl to .c file)

mon: only remove_session if !s->closed

atomic: assert valid ref counts

Make sure we catch ref counting errors!

auth: initialize EntityName type in constructor

mon: fix session ref leak

monc: restart auth handshake each time we connect to mon

mds: don't change directory size/rbytes from client cap update

This is wrong, and screws up the recursive accounting.

auth: add ull to large constant

so that we build on 32bit platforms

mds: fix inode rstat debug output

auth: add missing virtual destructors

osdc: use __u64, not size_t

size_t is too small on 32 bit platforms.

mds: do not crash if m->connection == NULL

mds: do not send MMDSMap to ourselves

add ceph_fsid_set helper

filejournal: use single shared zeroed buffer for alignment padding

Avoids lots of mallocs and memsets (one for every journal event).

buffer: add create_static constructor

vstart.sh: fix -k

Merge commit 'd00b917143e2afd72851bfd0400b2c2a1f3fc018' into auth

vstart: fix errors on auth none

msgr: rev protocol

auth: fix monclient startup issue

auth: fix client and server side negotiation

uclient: replace C_Cond with C_SafeCond

todo

todo

osd: allow reinitialization of osd journal

(without hosing osd data)

rados: Move array to heap. Prevent segfault when you use too-large a write size

rados: remove unused paramater, add very primitive read bench in verify step