dstart.sh: replace dstartnew.sh

-n will create new fs, otherwise it will start up using existing data.

filestore: fix collection attrs

Need to prepend user.ceph. to attr names...

todos

mon: include pg usage stats, header in pg dump

debian: move map tools and crun to ceph-common

osd: account for used kb separately

Account for used separately from available, as the underlying fs may do tricks
reserving space for root and such.

osd: use kb instead of blocks for pg, osd utilization

osd: prioritize heartbeat messages

msgr: include priority in msg header, make dispatch a priority queue

Generalizes previous hack that put messages from the monitor at the front of the
dispatch queue.  Monitor now just sets a (non-default) default_send_priority
of CEPH_MSG_PRIO_HIGH.  That value is used only if the message priority isn't
set explicitly by set_priority() before being queued for send.

journal: protect journal access (namely, completions) with mutex

The commit_waiters map was getting corrupted occasionally.

debian: include crun in osd, mds, mon packages

osdmaptool: fix silly num_dom bug

ceph.spec.in: include crun

kclient: initializing kaddr (merge fix)

Merge branch 'writepage' into unstable

Conflicts:

src/kernel/messenger.c

kclient: use both writepage and crc

kclient: disabling the readpage

kclient: disabling readpage

kclient: use writepage instead of sendmsg for some of the data

kclient: missing include file

Revert "kclient: use writepage instead of sendmsg for some of the data"

This reverts commit 406fc33a6bb6120925edda0db9fc5f624d43efb9.

kclient: use writepage instead of sendmsg for some of the data

msgr: expand footer flags, include nocrc, kclient nocrc mount option

ebofs: -ENOSPC in apply_transaction

kclient: change default rsize to 128k

kclient: use both writepage and crc

kclient: disabling the readpage

kclient: disabling readpage

kclient: use writepage instead of sendmsg for some of the data

kclient: small fix take two

kclient: small fix for bdi

kclient: use a private bdi

kclient: fix file to object mapping

We ignore cases where the stripe_unit is small, for now, as that will require
passing a stride size back to the caller so that the correctly spaced
pages are used.

crushtool: verify explicit item pos

cm.txt: fix up metaroot pool

crushtool: verify item pos

dstartnew.sh: use custom crush map with separate metadata osd pool

crush: fix grammar

crun won't be removed in make clean

kclient: set first,last snap interval in lease release messages

dstartnew.sh: keep core dumps

mon: tell osd we manually mark "down"

kclient: fix mds session leak

Drop ref after handling lease callback, and during shutdown.

client: fix objectcacher flush/commit callback

There is now an ObjectCacher callback for all-acked and all-committed.  Client uses the latter.

kclient: fix mds timeout waiting for map

Unwind locking when wait_for_new_map returns (timeout)
error.

update dstartnew to do btrfs

filestore: fix completion callbacks when journaling is off

Need to do completions for all older op_seqs, not just the most recent.

osd: increase osd_heartbeat_grace

fix for cmon startup

kclient: fix readpages when not all pages are found

Adjust the request len, page count when fewer than the desired
number of pages are found.

mds: create snaprealm for stray dentries resulting from rename

This was done in the unlink path, but overlooked by rename(), resulting in
problems down the line when the stray nlink=0 item was purged.

cmon will run as a daemon in any case

combined vstartnew.sh and startnew.sh into vstartnew.sh

startnew.sh uses crun in order to execute modules

crun will not run infintely if -d specified on the command line

Merge branch 'unstable' of ssh://ceph.newdream.net/git/ceph into unstable

msgr: clean up crc handling

mds: don't issue leases on dentries in stray dir

Also, assert in remove_dentry() that the dentry has no more leases.

msgr: don't host msg bufferlists in write_message

payload and data need to be preserved in case the connection drops and the messages
need to be resent.

also kill crun when stopping the system

added crun wrapper

add -f flag for foreground execution of modules (with logs in the log files)

msgr: include crc in msg header.  verify crc for received messages.

clean up crc32c

add crc to messages.  protocol change.

todos

kclient: can use names of modules in order to set debug mask

kclient: set asynchronous error cleanup

kclient: writepages async error handling and some cleanup

kclient: set page error bit on readpages error

kclient: fix incremental osdmap decoding bug

kclient: some osdmap cleanups

mostly cosmetic

mon: reweight osds via cmonctl

Allow reweight (offload adjustment) via cmonctl using float value.

kclient: make standby an allowable connection race state

msgr: make standby an allowable connection race state

kclient: no .snap in root dir

osd: fix reversed logic on push

mds: remove stale proc_message()

mon: allow new arguments to be sent to running mon, mds, osd via cmonctl

todos

kclient: mds reset stub

Get rid of compile warning.  Add todo.

msgr: fixed bug in accept

banner[] isn't null terminated

messenger protocol changes

There is now a plaintext banner that is exchanged so that both ends can
verify they are talking to the right software.  This string should be
changed each time the wire protocol changes.

There are also mon, osd, and mds specific protocol versions defined, but
these are not yet used.

kclient: whitespaces

kclient: can supply multiple monitor ips on mount

kclient: adding unmaskable debug flag

makefile update

v0.4, todos

Merge branch 'master' into unstable

config: comment

mds: fix file recovery

Make state bits distinct.  Duh.

Also, if an inode is queued for recovery, and doesn't need it later, unqueue it
(clear the bit, drop auth pin).

kclient: fix pending cap_snap checks, queuing

Add new cap_snaps to the _tail_ of the list.

Also, use a helper to check for pending (write in progress) check, and be
sure to check the list tail in that case.

client: fix queued cap_snap write-in-progress checks

kclient: be more paranoid in prepare_pages

It's theoretically possible to get racing incoming osd_op_replies.  Make sure we only give the pages away once.

kclient: fix bad pointer arithmetic in messenger

This was causing intermittent slab corruption when TCP fragmented the stream in unusual ways.

kclient: don't include pages in read requests; some osdc cleanup

kclient: switch to sync writes when NEARFULL osdmap flag set; ENOSPC on FULL flag

todos

kclient: default to safe writeback

Now that async writepages is working, we can wait for data to be fully committed without the higher latency affecting writeback throughput.

mds: choose new mon only if beacons are delayed, and switch to mon that sends up beacons

This streamlines the mds <-> mon beacon interaction a bit.