ceph.conf.cosd changes

osd: drop old osdmap compatibility cruft

This is old enough to have been superceded by a full disk format rev.

osd: fix decoding for old osdmaps (pre osd hb change)

Including ugly hack to work around badly encoded v3 maps

mds: mark down stray connections on reset

vstart: add --smallmds option

logger: avoid dup lines when we get behind

If we get behind (say, after SIGSTOP ... SIGCONT),
instead of printing dup lines for every interval we missed,
print just the first and last.  That will make any graph
have a nice, hopefully obvious perfectly horizontal line.

qa: add bonnie++ to the workunits

filestore: limit size of flusher queue

Limit the size of the flusher queue to avoid hitting max open files
limit.  If we hit the max, just don't queue async flush, so we close the
fd immediately.

osd: rev cluster protocol to match osd hearbeat change

msgr: Only allow one local endpoint; now has simpler, less iterative code!

osd: Now uses separate messenger for heartbeats.

Includes changes to OSDMonitor and OSDMap so things keep working

rados: benching sequential reads can now have a time limit

rados: change benchmark interface and record objects written/size to osds

mds: debug reconnect timeouts

debian: only upload tarball whem building amd64

For some reason lenny32-packager includes binaries in
the 'make dist' tarball.  Lame.

logger: use proper format for s64

qa: put qa used files on ceph.newdream.net

avoid hitting external servers if we can :)

v0.18

rados: move librados.h, rados_bencher.h

Also include rados_bencher.h in Makefile.am.

mds: avoid scatter writebehind from predirty_*

predirty_journal_parents does wrlock_start with
nowait=true.  Make sure we don't then simple_lock if
lock->is_updated(), as that will call scatter_writebehind,
which will barf if a log event is currently open (which
it is in this case).

crush: fix whitespace

logger: s64, not long

So we can log larger numbers.

buffer: optional buffer debug output

This interferes with the dout crap because we can't #include it, so you
need to turn all that output off to avoid getting jumbled output.  Or
better yet make sure you don't daemon() but still log dout to a file.

Fixed up the output parser to find leaks.

ceph: fix message leaks

init-ceph: optionally copy executable to remote host before running it

This both preserves the version of the binary that we ran (for interpreting
core files) and avoids any possibility of SIGBUS due to nfs lameness when
rarely used text pages get faulted back in.

mds: typos *sigh*

mds: Cleanup/doc updates

mds: Add export killpoints

mds: Add killpoints for mds export

mds: Add mds_kill_export_at asserts.
Create and begin documenting doc/killpoints.txt

config: add kill arguments for mds import/export

mds: bracket mds journal events with {start,submit}_entry

This lets us catch nested journal events when they happen,
instead of down the line when dir/inode version numbers
look weird.

todo

snaprealm errors on kclient when ls -al .ceph/mds0/stray

dropped old aleung mds branch code

See aleung_mds_security branch.

mon: fix allocation of low global_ids after mon restart

We need to set last_allocated in init().  Also avoid the
-1 casting and just use 0 instead.

test_ioctls: print preferred_osd value from GET_LAYOUT ioctl

hash: fix whitespace

mds: set mdr->in[n] in rdlock_path_xlock_dentry

This keeps things consistent with what we'd get with
path_traverse.  Namely, it means that if done_locking gets
set to true, then a future call to rdlock_path_pin_ref can
bail out and return mdr->in[n] and get a correct value.

This fixes

 touch mnt/a
 ls mnt
 touch mnt/.ceph

mds hang on the create request.

mds: do not include /.ceph in readdir results

librados: set id in messenger

rados: read benchmark is asynchronous.

Change hump-backed variable names.
Initialize data->in_flight!

rados: pull sequential benchmark into its own function

rados: remove iTime from object names for complete determinism

rados: Handle errors slightly better

rados: split up function into more subfunctions

rados: Deterministically fill data, reverse count:time order

librados: minor comments

rados: Move variables into data structure; rename to be generic

rados: Move benchmark functions into separate file

qa: Rename a file for future clarity.

qa: specify test path as argument ot runallone.sh

config: preserve argv[0] if appropriate

This makes 'cfuse' show up in 'df' output.

qa: test mdstable failures

todo

the lockdep was probably due to the leak of request_mutex?

mds: inject mds failure during mdstable operations

mds: log successful client reconnect

sepia: asdf

mds: journal/replay rollback on MDSTableServer

We journal prepare and commit; need to do rollback to!

mds: track _note_prepared/committed in normal path, too

This was broken by cd6f3817.

mds: pass do_eval through to adjsut_subtreeauth

vstart: add [mds.a] section when no -x

mds: drop requests on closed|closing|etc sessions

ceph.spec: mostly in line with .deb

No packages for radosgw or libcrush/ceph/rados, though.

object: add missing include

For sprintf().

mds: ignore reconnect if session state is closed

On reconnect, if we didn't have a session from the journal, our Session
state will be 'closed'.  Act accordingly.

todo

mds: don't renew caps (or touch_session) on closed session

Also assert that we're on the state list before touching.

mds: less --, more -

mds: update pending_for_mds during table server replay

Otherwise we our replay of AGREE after recovery is wrong; we just replay
what was saved, without taking additional journaled items into account.

mon: add 'mds set_state <gid> <stateid>'

For mdsmon disaster recovery :)

mon: avoid mds state update when clearing laggy flag

Do not clear laggy flag (or otherwise get into prepare_update) if the mds
hasn't seen the latest map.  Previously we could go to clear laggy and also
revert to an old mds state.

vstart.sh: fix -k for mds loading

vstart.sh: fix -k (cmds init)

msgr: fix bad unlock on tcp_write error

mds: fix replay of hard links

Use dir->link_remote_inode, not raw function, so that the CDir accounting
gets set up.

mds: clear session before remove_session

remove_session may drop the last ref.

mds: do not eval subtree root during rename_prepare

The eval may lead to a scatter_writebehind, which screws up the journal
ordering.  Since the inode is also locked, we will end up evaling it
later anyway, so don't worry about it.

I'm a bit unsure about the adjust_subtree_after_rename... that is during
the rename_apply stage (after the log entry committed), so i think it's
safe to do a scatter_writebehind here.. since we're not between a predirty
and submit_entry.

todo

mds: fix client purge crash

set_state moves the session to the per-session lists; do
this _before_ remove_session (which removes the session
entirely).  Otherwise we fail an assert when deleting
the session:

mds/SessionMap.h: In function 'virtual Session::~Session()':
mds/SessionMap.h:141: FAILED assert(!session_list_item.is_on_xlist())
 1: ./cmds(_Z18__ceph_assert_failPKcS0_iS0_+0x36) [0x97fc87]
 2: ./cmds(_ZN7SessionD0Ev+0x47) [0x73d817]
 3: ./cmds(_ZN16RefCountedObject3putEv+0xdb) [0x712c3b]
 4: ./cmds(_ZN10ConnectionD0Ev+0x3a) [0x713f88]
 5: ./cmds(_ZN10Connection3putEv+0x3d) [0x71294b]
 6: ./cmds(_ZN15SimpleMessenger4PipeD1Ev+0x7f) [0x7130e1]
 7: ./cmds(_ZN15SimpleMessenger6reaperEv+0x228) [0x7048ba]
 8: ./cmds(_ZN15SimpleMessenger4waitEv+0x28) [0x7059dc]
 9: ./cmds(main+0x305) [0x6f9345]
 10: /lib/libc.so.6(__libc_start_main+0xe6) [0x7f2091e715c6]
 11: ./cmds [0x6f8e39]
 NOTE: a copy of the executable, or `objdump -rdS <executable>` is needed to interpret this.

mon: fix use-after-free in mds mon blacklisting

mds: warn if replay used ino doesn't match session's next

mds: fix reconnect race

Don't ignore client replay or session msgs if we are
moving to reconnect state.  The client may get the mdsmap
before us and send things our way, so take them if we
are reconnect, or if we want reconnect.

mds: remove dead session request list trim waiter code

I don't even remember what this was originally for.

mds: associate session with connection; clean up

Sessions always created on connect.  May or may not be
in then sessionmap, depending on the session open/close
commands.

vstart: include [mds.$name] for auth_none

osd: don't crash on (and allow) messages sent to self

conf: don't crash if conf file not specified and not found

filestore: fix mkfs with no jourhal

auth: change error code when not supporting authentication

rgw: ifdef out dead code

auth: set initial values in misc structs

Fixes a bunch of valgrind warnings.

sepia: no valgrind on osds for now

mon: allow mds injectargs on recovering mdss

mds: use global_id as key in MDSMap

This makes the data structures less stupid (using an
entity_addr_t as a key is silly).

This is a protocol and disk format change.

filestore: don't magically enable journal if ${osd_data}.journal exists

rados: kill unused ceph_fsid_set

auth: when renewing session, encrypt ticket

rgw: fix base64 warnings (move impl to .c file)

mon: only remove_session if !s->closed