config: accept list of possible conf file locations; include ./ceph.conf

This makes './ceph -w' work with './vstart.sh -x'.

vstart: -x to start up with cephx

monc: fix race/deadlock for get_monmap_privately

auth: don't try to read keys if cephx not supported

auth: use user admin as the default user

vstart: some cleanup

conf: default to auth type 'none'

auth: fix compile errors, warnings

auth: kill residual kernel/ files

Merge branch 'unstable' into auth

uclient: fewer msgs

todo

Merge branch 'unstable' of ssh://ceph.newdream.net/git/ceph into unstable

put testing ceph.conf's in git

osd: print useful mode wait message

filestore: skip sync_file_range if the full commit has started

Presumably btrfs commit_transaction is more effective than our per-file
flushing.  And we don't want to fight each other.

mds: recommit after commit if waiting for newer version

If there are waiters for a later version of the dir to hit
disk, then we need to recommit as soon as the prior commit
completes.  We auth_pin on adding the first waiter, and do
not unpin until removing the last waiter, so this doesn't
break auth_pin rules.

Previously we could stall because we didn't finish the
waiter (on the later version) but also never started the
commit.  Sometimes we would get lucky and someone else would
ask for a commit, but sometimes not.  We would then see old
LogSegments that would never get fully expired.

auth: fix mds messages filtering

rados: fix usage() and -p option checking

mds: warn, don't crash, on rfiles/rsubdirs underflow

This doesn't fix the bug, but lets the mds at least start up.

msg: don't die unconditionally when got unknown message type

uclient: increase cache size

filestore: flusher thread; commit snaps (disabled)

osd: avoid truncate, remove ops we know will fail

Now that we check return codes, these cause problems.

osd: don't requeue pg removal if already removing

todo

mds: force rdlock on any snapped inodes

When the client has an excl lock on an inode, and it's
stating a snapped version of it, we can't expect it to
put 2 and 2 together and look at it's head metadata.  If
the cap does not follow the snapid we're trying to stat, do
the full rdlock to force the snapped values back to the
mds so we can do the cow.

If there is nothing cow, the cap will get reissued with an
accurate follows value, and we won't have to do this again.

sessionmap is an object, not a pointer

mds: fix typo; also only suicide if we have clients

If we are the last MDS and have no clients we should be
able to stop cleanly....

mds: underwater is function of _loaded_ version, not in core version

We may load a dir version off disk that is older than the
in-core version (because we got newer data from the
journal, say).  When marking underwater items clean, do
so based on the _loaded_ version, not out in-core version.

todo

mds: If last MDS, suicide on stop rather than entering infinite requeue loop

osd: do not apply_transaction in finish_recovery

finish_recovery needs to set up a callback for when the current set of
changes commit to disk (to kickstart cleanup of strya replicas etc).  We
can't call apply_transaction this deep inside the call chain without
causing problems.  So, pass a list of completion contexts all the way down
so that we can set up the completion callback.

filestore: don't croak on 0 op usertrans error

filestore: check return values

test_trans

filestore: fix usertrans setxattr, print it out nicely

filestore: clean up btrfs ioctls; use actual btrfs ioctl.h

sample.ceph.conf: include usertrans flag

filestore: make FileStore btrfs ioctl tests more readable

mon: ignore MAuth message when connection has no session

This happens if hte message is delayed, and the session meanwhile
is closed.  We need similar checks any time we take a Session
from the message->get_connection()....

ceph: default to admin user

auth: make ~ in keyring search path subst in $HOME

Merge branch 'unstable' into auth

Conflicts:
src/Makefile.am
src/mkmonfs.cc
src/msg/SimpleMessenger.cc

auth: auth none encodes global_id at build_authorizer

auth: pass global_id to the osd, mds verify-authorizers

mds, osd: call monc->authenticate(), not wait_authenticate()

uclient: get keys, build authorizer

auth: don't display auth incrementals in the ceph tool

auth: fix global id alloc on peon monitors

auth: kill ClientMOnitor, MCLientMOunt*, etc.

mon: use g_conf.mon_globalid_prealloc

auth: added should_propose callback to auth mon

auth: verify global_id with the one on the ticket

auth: increase max global id only when paxos is writable

osd: log misdirected ops; reply with -ENXIO

This is more helpful than assert(0).  It's still bad (it means the client
and osd calculated different pg mappings) though, but this makes it easier
to identify and fix.

sample.ceph.conf: fix btrfs mountoptions

auth: distribute global instance id to client

osdmap: clear out old hash distribution code

This screws up linkage because not everything that #Includes osdmap.h
links crush.

osd: make pgids sort on (pool, preferred, ps)

This makes pg dump output easier to read, mainly.

crushtool: small fix

Revert "crush: use spirit classic headers"

This reverts commit 28ac4441b87907713ddaf1fe1dee62350f947cf3.

hash: small cleanup

crush: hrm fix up builder too

fix

crush: use spirit classic headers

This makes the 'deprecated' warnings go away.

crush: make hash function selectable

osd: make object hash a pg_pool parameter

osdmaptool: test-map-object

osd: use stronger hash function for mapping objects -> pgs

The old hash (from linux dcache) was very weak, such that
least sig bits may not change and you could get lots of
consecutive objects on the same osds (because lsbits of the
pg weren't changing).

This is Robert Jenkin's hash and is quite strong.  Public
domain.

Rev osd disk format, protocol, since we're totally changing
object placement here.

crush: no more static inline

auth: some cleanup, compilation fixes

auth: manage global id in the auth mon

osd: This logic is slightly less confusing without the always-true 'full' param

mon: don't delete stats when sending osdmap incremental

send_latest will delete m, and/or wait.  Instead call send_incremental
directly only when we know paxos is_readable.

qa: test subdir mounts

init-ceph: tell user we're mounting btrfs

osd: send single osd_boot on startup

mon: don't log dup osd boot msgs

msgr: leave off ss_family when printing

todo

ppc: do not copy_in unencoded __u32

Fixes big endian bugs.

buffer: only define _XOPEN_SOURCE ifndef

todo

mon: make initial monmap epoch match paxos version

mkmonfs: use common_init and parse regular args

don't forget -standalone.git in release checklist

OSD: Don't repeatedly send the same incremental map update to clients.

uclient: set NAME_MAX = PAGE_SIZE

Hadoop: Update JavaDoc and put in new patch file

Hadoop: Numerous fixes.
Set bufUsed=0 on a flush to avoid bad rewrites of data
Downgrade a warning in IOStream since Hadoop apparently checks for EOF by reading until a read returns -1.
Remove some leftover if checks that don't do anything.
TODO: Remove something Sage did already.

mount: fix hint initialization for getaddrinfo

mount: fix hint initialization for getaddrinfo

filestore: oops less noisy

osdmap: fix pps calc for preferred pgs

osd: nicer debug output on misdirected requests

mds: mark scatterlocks with dirty rstat/fragstat during replay

This ensures we propagate this info back toward the root
after we've replayed and gone active.

mds: use fnode when replaying journal

We weren't actually pulling the fnode from the journal. I'm
surprised anything worked.

This fixes a crash when untaring, restarting mds, and then
rm -r'ing the dir.  Previously the rstat would roll
negative and assert.

debian: gracefully replace lib packages prior to '1' suffix

osd: kill int <-> pg_t conversions

These are messy and asking for trouble.  And a cleaner
coll_t paves the way for real named coll_t's down the
line.

osd: convert ceph_pg union to struct

This simplifies/fixes endian conversions.