debian: include cclsinfo

Makefile: include cclsinfo; lose the old .cc

Makefile: include cclass.in in dist

buffer: write_fd should skip empty buffers

rbdtool: init rbd block id, later will be used for rename

cclass.in: LIBDIR=.libs in certain cases

cls: cls_read, cls_cxx_read return the number of bytes read

config: use <<20 for MB

script/plot.pl: don't pause

Run like so:

 $ script/plot.pl path/to/log osd c_wrb [smooth bezier] | gnuplot -persist

msgr: use dedicated reaper thread

We were calling the reaper from the wait() loop.  The problem is that
the OSD has two messengers, and only the first was in wait().. the second
wait() was only called after the first terminated (i.e, when the OSD was
shutting down).

Instead, launch a separate reaper thread when we bind, and close it out
on shutdown right after the accepter.

osd: removed unused RepGather::indata

Signed-off-by: Sage Weil <sage@newdream.net>

osd: change write osd logging timing

osd: always use original Connection when replying

...even when the op came from another OSD.  Not that that should happen
anyway, since we don't forward messages currently.  (And can't, since the
OSD doesn't initiate connections to the client!)

osd: always include osd op result, result code in the first reply

osd: track open repops in logger

Signed-off-by: Sage Weil <sage@newdream.net>

osd: add 'logger reset' command

journal: set max journal write to 10MB

If we take too big a bite of data to write in a single writev(2), we can
end up making performance worse, because everyone waits for the full write
to complete.  Bigger writes mean better throughput but higher latency.
So, balance the two by placing some upper limit.

conf:  fix parsing when there's no eol at the end of file

msg: fix entity_addr_t::parse() to return false on failure

mkcephfs: Fix wrong maxosd when OSD ids are random ordered in ceph.conf

Hi

I got a trouble that mkcephfs will have wrong "maxosd" when you have
ceph.conf with OSD ids in random order like:

[osd2]
...
[osd0]
...
[osd1]
...

In this case, you will got "2" for the "maxosd", instead of 3.
After adding a sort, the problem seems solved.

Cheers,
CC Lien

Signed-off-by: CC Lien <cc_lien@tcloudcomputing.com>
Signed-off-by: Sage Weil <sage@newdream.net>

filejournal: fix journal write_pos advance

This was broken by bd4188a02abff9efffb87a0a2031efe51c1b4d9a.  @pos needs to
be advanced (it is pass by reference) or else we just overwrite the same
bytes at the journal start over and over again.

mount.ceph: update mount options

Signed-off-by: Thomas Mueller <thomas@chaschperli.ch>
Signed-off-by: Sage Weil <sage@newdream.net>

msgr: fix throttle deadlock

Do msgr throttle after peer policy throttle.  The msgr (dispatch) throttle
is shortlived and won't deadlock (unless dispatch blocks), so it's safe to
take last.  In contrast, the policy throttle carries over the lifetime of
the message, and may block until replication completes or whatever else.

crushwrapper: gracefully handle crush error

crush_do_rule can return <0 in certain error cases (e.g., forcefed device
does not exist in crush map).  We should take that to mean an empty []
result instead of crashing.

Signed-off-by: Sage Weil <sage@newdream.net>

crushtool: add simple test function

crush: fix "in" threshold to be 1.0, not 0.1

We were effectively counting any item with weight > .1 to be weight 1.0.

cfuse: remove some NPEs with ESTALE from MDSes.

Under certain circumstances this continues to let you get ESTALE
and not handle it, but those are still being analyzed for a fix.

mds: keep cap follows above in->first in FLUSHSNAP

The client has a follows of 0 initially, which is correct (it does follow
0, and there are no prior snaps).  But the inode has ->first of 2, which
is also fine.  The follows here needs to be at least higher than the
inode first, though, or the caps cloning gets off...

qa: read recently written/deleted data back from snap

mds: fix client cap condition

In 551a12f52e36 we fixed a bug with cow_inode() where the
cap->client_follows didn't match last precisely.  Instead, we compare
to first.  But the == is too strict.. cap follows that is equal _or_older_
than the clone's first should be copied to the clone inode.

This fixes the simple test case
 $ echo asdf > bar ; mkdir .snap/bar ; rm bar ; cat .snap/bar/bar
 asdf
(Previously we would get nothing unless we waited for the cap to flush on
its own.)

ceph_fs: add CEPH_LOCK_IFLOCK so its inclusion elsewhere continues to build

mds: add IFLOCK to wait bits to prevent collisions with lock branch

crush: fix recursion through intervening types

This fixes pretty core behavior when doing recursion down the tree.  I
suspect it was broken when changing the retry behavior.

Signed-off-by: Sage Weil <sage@newdream.net>

crush: make CHOOSE_LEAF to behave when leaf type is encountered

We may not want to recursively call crush_choose() if we start out with a
leaf.  If that happens, we need to fill out the out2[] vector with
our result immediately.

Signed-off-by: Sage Weil <sage@newdream.net>

client: resync with kernel's ioctl.h

This got munged up by the #ifndef/#define guard cleanup.

mds: fix SimpleLock wait_shift()

DVERSION was missing, others were overlapping...

ceph_fs: add CEPH_FEATURE_FLOCK to ceph_fs so its bit doesn't get covered again

osdmap: negative osd ids do not exist

Signed-off-by: Sage Weil <sage@newdream.net>

crush: behave when chooseleaf is given leaf type

Fill in the out2 choose_leaf vector if it's defined.  This is necessary
because we may not recursively call choose on out2 if the item we're on is
not a bucket (e.g., when chooseleaf is given the leaf type 0).

Signed-off-by: Sage Weil <sage@newdream.net>

mds: handle_export_caps, copy cap_import map (instead of swap content)

This fixes #200. The client_map is later on swapped again in the new ESession(),
which left finish->client_map empty.

client: properly handle ESTALE by redirecting to auth MDS

client: don't send cap snap message to MDS if not dirty or writing.

From Sage.

mds: only acquire_locks once in handle_client_open

Subsequent calls will just return with 'already locked'

mds: rename handle_client_opent

rados: more descriptive ls usage failure, stdout set implicitly

rbdtool: fix --list

osd: fix incorrect logic check on fsid comparison

osd: Warn and shutdown on a mismatched fsid, instead of failing an assert

add helptext for option "snapdirname" to manpage of mount.ceph

[ The following text is in the "UTF-8" character set. ]
    [ Your display is set for the "iso-8859-1" character set.  ]
    [ Some characters may be displayed incorrectly. ]

inspired by the addition to
http://ceph.newdream.net/wiki/Snapshots about the snapdirname
 option i've created a patch for the mount.ceph manpage

- Thomas

Signed-off-by: Sage Weil <sage@newdream.net>

journal: initialize applied_seq during journal replay

This should avoid

#0  0x00007f41b1a18a75 in raise () from /lib/libc.so.6
#1  0x00007f41b1a1c5c0 in abort () from /lib/libc.so.6
#2  0x00007f41b22cd8e5 in __gnu_cxx::__verbose_terminate_handler() () from /usr/lib/libstdc++.so.6
#3  0x00007f41b22cbd16 in ?? () from /usr/lib/libstdc++.so.6
#4  0x00007f41b22cbd43 in std::terminate() () from /usr/lib/libstdc++.so.6
#5  0x00007f41b22cbe3e in __cxa_throw () from /usr/lib/libstdc++.so.6
#6  0x00000000005b39f8 in ceph::__ceph_assert_fail (assertion=0x5ec3b2 "seq >= last_committed_seq", file=<value optimized out>, line=711, func=<value optimized out>) at common/assert.cc:30
#7  0x00000000005649e1 in FileJournal::committed_thru (this=0x1116310, seq=0) at os/FileJournal.cc:711
#8  0x000000000055d265 in JournalingObjectStore::commit_finish (this=0x1125740) at os/JournalingObjectStore.cc:186
#9  0x00000000005543f3 in FileStore::sync_entry (this=0x1125740) at os/FileStore.cc:1714
#10 0x00000000004ef93d in FileStore::SyncThread::entry() ()
#11 0x0000000000469a4a in Thread::_entry_func (arg=0x6315) at ./common/Thread.h:39
#12 0x00007f41b28ab9ca in start_thread () from /lib/libpthread.so.0
#13 0x00007f41b1acb6cd in clone () from /lib/libc.so.6
#14 0x0000000000000000 in ?? ()

Signed-off-by: Sage Weil <sage@newdream.net>

mkcephfs: push conf to remote machines

Signed-off-by: Fred Ar <ar.fred@yahoo.com>
Signed-off-by: Sage Weil <sage@newdream.net>

mon: allow 10ms clock drift before complaining

debian: include cclass

initscript: fix for dash

Signed-off-by: Fred Ar <ar.fred@yahoo.com>

cclass: fix for dash

Signed-off-by: Fred Ar <ar.fred@yahoo.com>

initscript: remove class loading for now

- only need to do it once, by connecting to a random monitor, not for
  each monitor
- not sure we should try it every time we start the monitor for all time,
  as opposed to once after mkfs, or whenever the admin chooses to load
  new classes

vstart: only need to load classes once, not for each monitor

Merge branch 'rbd-class' into unstable

Revert "class: able to add classes when doing mkfs"

This reverts commit 65371482dd661c6dc3d251fb9fd4e01812bdaa0e.

filestore: op_start when op is _queued_, so that q is drained on commit

We need the store in a consistent state on commit, which means flushing
transactions such that we have all ops <= a given seq applied.  That is
handled by the commit_start()/commit_started() pair, but will only include
ops in the FileStore queue if we op_start when it is initially queued.
Which is exactly what we want, because the queue can reorder things, so
stopping just currently-being-applied updates will only keep transactions
atomic but not ordered.

Yup!

journal: maintain applied_seq, use that value during the commit.

Track which seq's have successfully applied.

This fixes writeahead mode.  Parallel mode is still broken...

buffer: fix includes for writev/iovec stuff in write_fd()

filestore: make sync() and friends actually sync!

initscripts: fix verbose output for root commands

filejournal: only pad to align for data segments above 64 KB

filejournal: make alignment optional (<0 == no preferred alignment)

Merge branch 'unstable' of ceph.newdream.net:git/ceph into unstable

buffer: remove debug cruft

filejournal: pad entries on disk based on preferred alignment

Adjust pre/post padding to align entry payload with it's preferred
alignment.

objectstore: track offset, alignment of largest data segment [encoding change]

buffer: list::rebuild_page_aligned()

Rebuild bufferlist such that all segments/ptrs are page sized/aligned.
(Avoids copying/reallocating segments that are already aligned.)

client: if checking caps on a snap, return, don't assert

filejournal: use buffer::write_fd() instead of open coding

Avoid dup code, and also handle short writes.

osd: implement bench command

'bench [bsize] [total bytes]'

Result is reported via logclient.

msgr: avoid calculating data crc is peer didn't either

Otherwise we're just wasting CPU cycles!

msgr: Fix crash in policy.throttler->get(message_size) when message_size == 0

Signed-off-by: Simone Gotti <simone.gotti@gmail.com>
Signed-off-by: Sage Weil <sage@newdream.net>

qa: another mds test fix... wait long enough for the previous death to trigger

msgr: ref count Pipe to avoid use after free

The Connection has a Pipe pointer to facilitate
 send_message(Message, Connection)
but the reaper() clears that pointer when tearing down old pipes.  This
leads to a race in which submit_message dereferences the old Pipe pointer.

Instead, make Pipe ref counted, and only submit_message() if we get a
valid Pipe reference.  This fixes races between send_message() and
reaper() (as well as any use of the Connection after the pipe is closed).

Signed-off-by: Sage Weil <sage@newdream.net>

qa: fix mdstable failure tests

ceph: fix straggler header ifdef guards

Bug #98: Unique names for include guards

A couple of preprocessor symbols for include guards tampered with the reserved namespace.

Signed-off-by: Markus Elfring <elfring@users.sourceforge.net>
Signed-off-by: Sage Weil <sage@newdream.net>

ceph: remove leading _ from macro

Reported-by: Markus Elfring <elfring@users.sourceforge.net>
Signed-off-by: Sage Weil <sage@newdream.net>

Bug #98: Movement of an underscore for a data structure identifier

A leading underscore was moved to the back of a data structure identifier.

Signed-off-by: Markus Elfring <elfring@users.sourceforge.net>
Signed-off-by: Sage Weil <sage@newdream.net>

Merge branch 'unstable' of ssh://ceph.newdream.net/home/sage/ceph.newdream.net/git/ceph into unstable

Revert "mkcephfs: cosd mkfs as root, then chown"

This reverts commit 0383878c4f5133f43ec16067a8917d3080adc690.

mds: fix cdir head/snap items/null accounting

We were mixing up primary vs remote, partly due to the weird placement of
the counter adjustments.  Make those sane and clean things up a bit.

osd: make clean_up_local remove hardlinks from collection dirs

osd: don't requeue null OSDOp on apply_and_flush_repops

(this triggers during snap trimming)

osd: fix snap_trimmer AccessMode interaction

Recheck access mode every time we retake the pg lock (each object). Sleep
if necessary.

filejournal: journal write cache is safe on >= 2.6.33

mkcephfs: error out of journal dev is included in btrfs devs

osd: optionally periodically check pglog for corruption

...at least until we find this bug, periodically check pglog for corruption
and log it to the monitor when it happens.

Off by default.

logclient: clean up interaction with monclient, monitor

Use monclient where available.  Otherwise, we are a monitor, so send to
ourselves.

Conflicts:

src/mon/MonmapMonitor.cc

filejournal: log if journal item is larger than journal

osd: warn when failing to mount journal on ENOTTY

suggest that the problem was due to journal size not configured

conf: can specify environment variables for substitution

conf: fix buffer initalization

This fixes a bug where we didn't initialize the variable
post processing buffer, which would sometimes lead to
garbage data.

osd: error out when failing to read journal header

This fixes bug #201.

osd: mkfs failures are colored red

mon: make send_reply always consume reply ref (even if not sent); fix caller hackery