uclient: replace C_Cond with C_SafeCond

todo

todo

osd: allow reinitialization of osd journal

(without hosing osd data)

rados: Move array to heap. Prevent segfault when you use too-large a write size

rados: remove unused paramater, add very primitive read bench in verify step

rados: Cosmetic changes for Sage

Merge branch 'unstable' of ceph.newdream.net:git/ceph into unstable

osd: eval access mode before try_*

The problem is the try_* functions may change the mode, but a start_write
may not follow if the op doesn't execute (for any number of reasons).  So
the next time we come around, we may need to reset back to IDLE if
num_wr == 0.  Be careful about the wake flag.

This fixes osd op hangs (particularly after mds restart, and lots of
failed stats on objects during file size/mtime recovery).

osd: debug pg mode

sepia: valgrind for a while

objecter: be more verbose about laggy requests

msgr: use discard_queue, kill drop_msgs

msgr: don't initiate connect if we keepalive on unconnected peer

msgr: fix possible use-after-free by taking pipe lock during reap

This ensures that whoever called stop() (mark_down, in particular) finished
with the pipe (unlocked it) before we go and free it.  Otherwise we might
call p->lock.Unlock() after the reaper deleted the Pipe, mucking up some
other memory.

I don't think this was actually triggerd, tho, since we would have seen
the assert(nlock == 0) in ~Mutex???

msgr: use common helper for reader/writer thread stop and reap queueing; fix locking

We weren't holding lock during ::close(sd)

msgr: rename report_failures -> drop_msgs

Name was from legacy behavior

msgr: small cleanups

monc: small sanity check

uclient: set mode on snapdir properly

uclient: assert we have CAP_PIN

Not sure why that was conditional before??? Hmm!

uclient: always retain CAP_PIN

rados: Update stat calculation and display; change to wait_for_safe

qa: We want to stop on errors. Add new scripts.

todo

msgr: get rid of harmless valgrind error

==7781== Source and destination overlap in memcpy(0x5B97EA8, 0x5B97EA8, 136)

mon: fail on write error

Don't rename badly written file.  Also assert success, for now.

monc: fix race/deadlock for get_monmap_privately

uclient: use Inode::auth_cap to find mds to write back snap cap metadata to

uclient: keep MClientRequest local to send_request

mds: journal open_files based on is_any_caps_wanted(), not is_any_caps()

Actually we're a bit conservative in a few places since the wanted check
is a bit more expensive.  We always do a full check in try_to_expire, so
much of the time we can do the quick check only.

mds: don't rejournal files with caps that are unwanted

If they're unwanted, it's no biggie to fail to reconnect the cap.  And
Locker::adjust_cap_wanted() already adjusts the open_file logseg lists in
this way, so let's just totally consistent.

mds: don't croak on open_files without caps

We can get a capless inode here if we replay an open file, the client
fails to reconnect it, but does REPLAY an open request (that adds it
to the logseg).  AFAICS it's ok for the client to replay an open on a
file it doesn't have in it's cache anymore.

rados: status printouts are now threaded

mds: don't try to send mdsmap to clients that need to reconnect

It won't work, clients must connect to us.

Also stop sending the map on recovery finish; they'll also (currently, at
least) get that from the monitor.

mds: ignore/warn on late client reconnect attempts

In the future maybe we can do better (i.e. best effort attempt to reconnect
after the normal interval has passed)

Merge branch 'unstable' of ceph.newdream.net:/git/ceph into unstable

qa: prepare for a hierarchical test script system

todo

Merge branch 'unstable' of ssh://ceph.newdream.net/git/ceph into unstable

put testing ceph.conf's in git

osd: print useful mode wait message

filestore: skip sync_file_range if the full commit has started

Presumably btrfs commit_transaction is more effective than our per-file
flushing.  And we don't want to fight each other.

mds: recommit after commit if waiting for newer version

If there are waiters for a later version of the dir to hit
disk, then we need to recommit as soon as the prior commit
completes.  We auth_pin on adding the first waiter, and do
not unpin until removing the last waiter, so this doesn't
break auth_pin rules.

Previously we could stall because we didn't finish the
waiter (on the later version) but also never started the
commit.  Sometimes we would get lucky and someone else would
ask for a commit, but sometimes not.  We would then see old
LogSegments that would never get fully expired.

rados: fix usage() and -p option checking

mds: warn, don't crash, on rfiles/rsubdirs underflow

This doesn't fix the bug, but lets the mds at least start up.

uclient: increase cache size

filestore: flusher thread; commit snaps (disabled)

osd: avoid truncate, remove ops we know will fail

Now that we check return codes, these cause problems.

osd: don't requeue pg removal if already removing

todo

mds: force rdlock on any snapped inodes

When the client has an excl lock on an inode, and it's
stating a snapped version of it, we can't expect it to
put 2 and 2 together and look at it's head metadata.  If
the cap does not follow the snapid we're trying to stat, do
the full rdlock to force the snapped values back to the
mds so we can do the cow.

If there is nothing cow, the cap will get reissued with an
accurate follows value, and we won't have to do this again.

sessionmap is an object, not a pointer

mds: fix typo; also only suicide if we have clients

If we are the last MDS and have no clients we should be
able to stop cleanly....

mds: underwater is function of _loaded_ version, not in core version

We may load a dir version off disk that is older than the
in-core version (because we got newer data from the
journal, say).  When marking underwater items clean, do
so based on the _loaded_ version, not out in-core version.

todo

mds: If last MDS, suicide on stop rather than entering infinite requeue loop

osd: do not apply_transaction in finish_recovery

finish_recovery needs to set up a callback for when the current set of
changes commit to disk (to kickstart cleanup of strya replicas etc).  We
can't call apply_transaction this deep inside the call chain without
causing problems.  So, pass a list of completion contexts all the way down
so that we can set up the completion callback.

filestore: don't croak on 0 op usertrans error

filestore: check return values

test_trans

filestore: fix usertrans setxattr, print it out nicely

filestore: clean up btrfs ioctls; use actual btrfs ioctl.h

sample.ceph.conf: include usertrans flag

filestore: make FileStore btrfs ioctl tests more readable

osd: log misdirected ops; reply with -ENXIO

This is more helpful than assert(0).  It's still bad (it means the client
and osd calculated different pg mappings) though, but this makes it easier
to identify and fix.

sample.ceph.conf: fix btrfs mountoptions

osdmap: clear out old hash distribution code

This screws up linkage because not everything that #Includes osdmap.h
links crush.

osd: make pgids sort on (pool, preferred, ps)

This makes pg dump output easier to read, mainly.

crushtool: small fix

Revert "crush: use spirit classic headers"

This reverts commit 28ac4441b87907713ddaf1fe1dee62350f947cf3.

hash: small cleanup

crush: hrm fix up builder too

fix

crush: use spirit classic headers

This makes the 'deprecated' warnings go away.

crush: make hash function selectable

osd: make object hash a pg_pool parameter

osdmaptool: test-map-object

osd: use stronger hash function for mapping objects -> pgs

The old hash (from linux dcache) was very weak, such that
least sig bits may not change and you could get lots of
consecutive objects on the same osds (because lsbits of the
pg weren't changing).

This is Robert Jenkin's hash and is quite strong.  Public
domain.

Rev osd disk format, protocol, since we're totally changing
object placement here.

crush: no more static inline

osd: This logic is slightly less confusing without the always-true 'full' param

mon: don't delete stats when sending osdmap incremental

send_latest will delete m, and/or wait.  Instead call send_incremental
directly only when we know paxos is_readable.

qa: test subdir mounts

init-ceph: tell user we're mounting btrfs

osd: send single osd_boot on startup

mon: don't log dup osd boot msgs

msgr: leave off ss_family when printing

todo

ppc: do not copy_in unencoded __u32

Fixes big endian bugs.

buffer: only define _XOPEN_SOURCE ifndef

todo

mon: make initial monmap epoch match paxos version

mkmonfs: use common_init and parse regular args

don't forget -standalone.git in release checklist

uclient: set NAME_MAX = PAGE_SIZE

Hadoop: Update JavaDoc and put in new patch file

Hadoop: Numerous fixes.
Set bufUsed=0 on a flush to avoid bad rewrites of data
Downgrade a warning in IOStream since Hadoop apparently checks for EOF by reading until a read returns -1.
Remove some leftover if checks that don't do anything.
TODO: Remove something Sage did already.

mount: fix hint initialization for getaddrinfo

filestore: oops less noisy

osdmap: fix pps calc for preferred pgs

osd: nicer debug output on misdirected requests