finisher: fix flushing, debug output

dout: print thread id hex (to match up with gdb)

filestore: fix journal flush

osd: use queue_transaction throughout

Only apply_transaction in mkfs/mount/umount, and in handle_map.

filestore: queue onreadable _after_ starting journal item

The onreadable is allowed to delete the Transaction

filestore: queue_transaction and generic C_DeleteTransaction

osd: reply with ACK if client doesn't ask for a COMMIT

osd: simplify pg write mode transitions

There is no reason to track client on the per-pg AccessMode, since we only
care about read/write races on a per-object state, and need to track that
per-object anyway due to the new async commit/apply model.  (Though this
is semi-broken even without that...)

Currently we will move from delayed to rmw, but there is no rmw->delayed
transition, since the logic for that is a bit more complex.. it'll be
difficult to determine when it is really a win.

In general, though, RMW is probably a better all around policy!

osd: only use DELAYED if no journal or journal is writebehind

osd: make Transaction lifetime match RepModify (not stack)

wip

finisher: wait_for_empty

filestore: add writeahead journal support

filejournal: optionally block on full journal

Note that there is deadlock potential here if the thing we're trying to
journal is just too big!

filestore: refactor applied/committed completions

osd: refactor op_applied logic

Behavior is still essentially unchanged (for now).

filestore: preliminary support for parallel journaling

- fixed issue with normal write-behind journal (op_seq wasn't updated
  inside the fs transaction)

- reworked journal interface to support write-behind, parallel, write-ahead
  (hopefully)

finish: support non-zero return values

osd: encode struct v for ceph_pg_pool

mon: add struct encoding v to ease future revisions

mds: make CEPH_MDS_OP_CREATE a write op [mds protocol change]

ceph: remove stray #include

librados: implement C versions of snap calls

Change CompatSet usage to be compatible with new struct

change CompatSet

mds: Revert CInode/Journaler changes as we'll move them into MDSMap later.

add versioning and awareness bla bla

mon: use CompatSet in disk format

mds: use CompatSet in disk format

osd: use CompatSet in the superblock. Only one 'feature' right now

include: new CompatSet.h

replace strcat with strncat

replace sprintf with snprintf all around

Also pass buffer size to relevant functions when required.

msgr: fix mark_down

Beware non-pure virtual methods in the abstract interface!

filestore: don't croak if current/ exists

todo

logger: use larger buffer, snprinf instead of sprintf

osd: use journal in peek_super

filestore: put data in current/, a btrfs subvol if possible

filestore: rip out usertrans experiment

filestore: rename _apply_transaction

Conflicts:

src/os/FileStore.h

mds: add 'dumpcache [filename]' mds command

mds: disable cache dump on rejoin by default

TODO

mon: properly clean up SessionMap on a shutdown.

This fixes failed asserts whenever you tried to do a clean monitor shutdown
instead of killing it.

csyn: properly use multiple clients

don't keep configs in git

todo

botched merge

Merge branch 'unstable' of ceph.newdream.net:/git/ceph into unstable

Conflicts:

src/msg/SimpleMessenger.cc

msgr: make use of references and const slightly more consistent

monClient: fix potential naming confusion with messenger

msgr: rename endpoint_stopped to destination_stopped

msgr: rank is just a bad name for local SimpleMessengers now

msgr: remove erank

Obsolete, now that we have only a single entity per SimpleMessenger
instance.  Avoid changing protocol by making it a reserved (and ignored)
field.

msgr: should be destroyed in the same thread it's created

filestore: don't bother masking signals

The OSD already catches SIGINT, SIGTERM.  It's not really
effective anyway.

msgr: Remove erroneous rank->destroy calls I inserted in 9a96bf

msgr: get and put inside DispatchThread, not when you create/end DispatchThread

msgr: Remove unregister_entity since there's only ever one now.
Move needed functionality into the end of dispatch_entry.

msgr: Make usage compatible with last commit

msgr: Remove all references to Endpoint

msgr: Remove declarations of unimplemented functions:
rename_entity and new_entity

msgr: SimpleMessenger takes responsibility for Messenger functions.

msgr: All SimpleMessenger uses are now on the heap for appropriate destruction

msgr: SimpleMessenger is now a Messenger itself -- sort of

msgr: remove rank number from endpoint, since there's only one.
Remove Endpoint's wait() method as it's unused.

todo

osd: fix MASKTRUNC

This was looking at the wrong osd_op for the truncate_seq, which made it
essentially broken.  This was problematic any time the client SETTRUNC
reached an object (on a write after truncate) before the MDS TRIMTRUNC did.

qa: dl pjd.tgz

Then we can switch the symlink later

todo, sepia reformat

mds: change MClientReconnect encoding (mds protocol change)

This simplifies the encoding to make life easier for the kclient.

uclient: clean up mark_down of failed mds

Set inst at the time we see it change, otherwise we may miss an mds that
replayed but failed before it fully recovered.

mds: add NEW session state

We want to register new sessions in the map so that they can be found when
we replay ESession events in the log.  Otherwise a client that connects
to the mds early will have one Session* on the connection, and another in
the map, and reconnect will fail.

Make sure we remove NEW sessions from the map on connection reset, so that
things gets freed.

Also, take mds_lock in ms_verify_authorizer.

msgr: drop rank lock while verifying authorizer

This easily causes a lock inversion if the verify callback takes any
locks.  e.g.

09.12.23 11:43:32.335042 1482578256 lockdep: ------------------------------------
09.12.23 11:43:32.335072 1482578256 lockdep: existing dependency MDS::mds_lock (10) -> SimpleMessenger::lock (6) at:
 1: (Mutex::Lock(bool)+0x3a) [0x6f581c]
 2: (SimpleMessenger::submit_message(Message*, entity_inst_t const&, bool)+0xc0) [0x6f900c]
 3: (SimpleMessenger::Endpoint::send_message(Message*, entity_inst_t)+0x1ab) [0x6f9c85]
 4: (MonClient::_send_mon_message(Message*, bool)+0xa2) [0x9682dc]
 5: (MonClient::send_mon_message(Message*)+0x37) [0x740e17]
 6: (MDS::beacon_send()+0x226) [0x710b02]
 7: (MDS::beacon_start()+0x15) [0x711fc5]
 8: (MDS::init()+0xd5) [0x71238b]
 9: (main()+0x2cd) [0x6eb6af]
 10: (__libc_start_main()+0xe6) [0x7f22954811a6]
 11: /tmp/cmds.20091223.114259 [0x6eb0d9]

09.12.23 11:43:32.335289 1482578256 lockdep: new dependency SimpleMessenger::lock (6) -> MDS::mds_lock (10) creates a cycle at
 1: (Mutex::Lock(bool)+0x3a) [0x6f581c]
 2: (Mutex::Locker::Locker(Mutex&)+0x2c) [0x705f2c]
 3: (MDS::ms_verify_authorizer(Connection*, int, int, buffer::list&, buffer::list&, bool&)+0x48) [0x70d6c6]
 4: (Messenger::ms_deliver_verify_authorizer(Connection*, int, int, buffer::list&, buffer::list&, bool&)+0x74) [0x702d5e]
 5: (SimpleMessenger::verify_authorizer(Connection*, int, int, buffer::list&, buffer::list&, bool&)+0x6b) [0x6f6279]
 6: (SimpleMessenger::Pipe::accept()+0xc7d) [0x6ffba5]
 7: (SimpleMessenger::Pipe::reader()+0x32) [0x700de8]
 8: (SimpleMessenger::Pipe::Reader::entry()+0x19) [0x6f4e2d]
 9: (Thread::_entry_func(void*)+0x20) [0x705944]
 10: /lib/libpthread.so.0 [0x7f22962effc7]
 11: (clone()+0x6d) [0x7f22955325ad]

09.12.23 11:43:32.335497 1482578256 lockdep: btw, i am holding these locks:
09.12.23 11:43:32.335511 1482578256 lockdep:   SimpleMessenger::lock (6)

common/lockdep.cc: In function 'int lockdep_will_lock(const char*, int)':
common/lockdep.cc:184: FAILED assert(0)
 1: (lockdep_will_lock(char const*, int)+0x765) [0x9776a9]
 2: (Mutex::_will_lock()+0x1f) [0x6f43bf]
 3: (Mutex::Lock(bool)+0x3a) [0x6f581c]
 4: (Mutex::Locker::Locker(Mutex&)+0x2c) [0x705f2c]
 5: (MDS::ms_verify_authorizer(Connection*, int, int, buffer::list&, buffer::list&, bool&)+0x48) [0x70d6c6]
 6: (Messenger::ms_deliver_verify_authorizer(Connection*, int, int, buffer::list&, buffer::list&, bool&)+0x74) [0x702d5e]
 7: (SimpleMessenger::verify_authorizer(Connection*, int, int, buffer::list&, buffer::list&, bool&)+0x6b) [0x6f6279]
 8: (SimpleMessenger::Pipe::accept()+0xc7d) [0x6ffba5]
 9: (SimpleMessenger::Pipe::reader()+0x32) [0x700de8]
 10: (SimpleMessenger::Pipe::Reader::entry()+0x19) [0x6f4e2d]
 11: (Thread::_entry_func(void*)+0x20) [0x705944]
 12: /lib/libpthread.so.0 [0x7f22962effc7]
 13: (clone()+0x6d) [0x7f22955325ad]
 NOTE: a copy of the executable, or `objdump -rdS <executable>` is needed to interpret this.

uclient: don't renew caps while mds is recovering

waste of time and memory

mds: expose projected ctime is client is last versionlock wrlocker

This fixes the problem where the client does a setattr on CTIME, but
doesn't actually see it.

Probably, though, the exposed ctime should be more precise: something like
the most recent projected value that the client is responsible, since we
may have multiple clients projecting pipelined values on the inode.

todo

osd: prioritized repop acks

This may not make much of a difference, but it won't hurt.

qa: don't fail rm of old log

qa: make logging more forgiving

msgr: separate incoming queue from local_endpoint

For now it's bundled into dispatch_queue.

Fixes a race with local_endpoint shutdown and incoming message delivery.

osd: put meta_coll const in OSD.{cc,h}

filejournal: delete[] not delete

backtrace: fix #includes for ppc

hash: use native appropriately sized hash for word, not native host word size

These shouldn't be used over the wire or on disk, but just in case.

Also, i suspect the 64-bit hash is probably faster than the 32bit one
twice?

change LP64 ifdefs to casts for printf formatting

logger: cleanup 64

todo, confs

msgr: include features in connection handshake (protocol change)

msgr: put tid in ceph_msg_header (protocol change)

todo more bugs

assert: leave cruft off top of assert failure backtrace

no more
 1: (__ceph_assert_fail(char const*, char const*, int, char const*)+0x34) [0x7ea7ea]

backtrace: demangle c++ names

Finally!

todo bugs

mds: new commands!
issue_caps inodenumber calls locker->issue_caps
try_eval inodenumber mask calls locker->try_eval

mds: new command kill session xxxx ends that client session

create a new function end_session to end client sessions

vstart: allow -o 'some option for config file = whatever'

osd: fix PG print log bound check