thread: force stacksize to be multiple of page size; clean up

Signed-off-by: Sage Weil <sage@newdream.net>

thread: allow setting stacksize when calling create & check return value of pthread_create

Signed-off-by: Paul Chiang <paul_chiang@tcloudcomputing.com>
Signed-off-by: Sage Weil <sage@newdream.net>

update authors

rbdtool: implement export

shift feature supported/required specifications into Policy

This gets it out of the header, and also makes the previous
"my_features & their_features" logic explicit in the Policy definitions.

Signed-off-by: Sage Weil <sage@newdream.net>

msgr: add set_policy_throttler

This lets us continue to use the helpers.

Signed-off-by: Sage Weil <sage@newdream.net>

ceph.spec.in: remove mkmonfs manpage

ceph.spec.in: initrddir, not initddir

Signed-off-by: Sage Weil <sage@newdream.net>

ceph.spec.in: some fixes

encountered following errors building an rpm package with the
ceph.spec.in:

RPM build errors:
    File not found: /var/tmp/ceph-0.21~rc-4el5.elefant-root-mockbuild/usr/
bin/mkmonfs
    File must begin with "/": %{_initddir}/ceph
    Installed (but unpackaged) file(s) found:
   /usr/bin/dumpjournal
   /usr/bin/dupstore
   /usr/bin/psim
   /usr/bin/radosacl
   /usr/bin/streamtest
   /usr/bin/test_ioctls
   /usr/bin/test_trans
   /usr/bin/testceph
   /usr/bin/testcrypto
   /usr/bin/testkeys
   /usr/bin/testmsgr
   /usr/bin/testrados
   /usr/bin/testradospp

* mkmonfs - vanished. isn't it used anymore? if so, the man/mkmonfs.8 can
also be removed
* initddir can be ignored as it is centos/rhel specific (it's called
"initrddir")
* added CXXFLAGS to make

Reported-by: Thomas Mueller <thomas@chaschperli.ch>
Signed-off-by: Sage Weil <sage@newdream.net>

mkmonfs: remove all traces

It's been replaced by 'cmon --mkfs'

Reported-by: Thomas Mueller <thomas@chaschperli.ch>
Signed-off-by: Sage Weil <sage@newdream.net>

mount.ceph: add mount options/flags

noatime, nodiratime, relatime.  Some cleanup.

Signed-off-by: Sage Weil <sage@newdream.net>

Makefile: add/fix ceph_ver.h dependencies

Signed-off-by: Sage Weil <sage@newdream.net>

filejournal: make journal alignment max of block, page sizes

Alignment must be a multiple of page size.  At least currently.

ceph: fix decoding of class incrementals

msgr: handle ipv4 or ipv6 addresses (untested)

At some point we may want to bind to both v4 and v6 addrs.  Later!

Signed-off-by: Sage Weil <sage@newdream.net>

osd: caps configuration file uses pool names

pool names instead of pool ids

vstart.sh: added -c to the cclass execution

osd, class: introduce public class methods

public class methods don't need exec permissions in order to execute

osd: pgpool keeps pool name

osd: modify caps calculation

cfuse: log_per_instance by default

e.g., if run with --log-to-stdout=0,

lrwxrwxrwx  1 sage sage        11 Jul  1 14:22 cfuse4173 -> fatty.31362

man: install cclass, cclsinfo man pages; include in ceph.deb

debian: add logrotate.d/ceph

Makefile: link ssl to libceph

Signed-off-by: Paul Chiang <paul_chiang@tcloudcomputing.com>
Signed-off-by: Sage Weil <sage@newdream.net>

libceph: Add check before umount in deinitialize

Signed-off-by: Paul Chiang <paul_chiang@tcloudcomputing.com>
Signed-off-by: Sage Weil <sage@newdream.net>

hostname override option for ceph init script

buffer: fix logic in write_fd()

Reset iovec after finishing writev operation.
This bug occurs when buffer list size is larger than IOV_MAX.

msgr: fix dispatch throttler release

We need to release the same amount back to the throttler as we originally
reserved.  Store that amount in the Message, and catch all the error
paths.  This fixes the case where messages get fed back into dispatch
locally (i.e. not via read_message()).

cfuse: daemonize by default

We have to fork, then start client, to avoid killing our pthreads.  Use
a socketpair to tell the parent process about mount success/failure.

config: -f just means foreground; do not change log output

Before it would set log_to_stdout = false, but the default might be true.

client: start/stop objectcacher thread in init/shutdown, not constructor

config: disallow -d|--daemonize

Either we can daemonize, and do that by default, or we can't, and
shouldn't, even if you pass -d.

common: break init into set_defaults and init steps

This will let us tweak the default daemon/non-daemon settings as needed,
e.g. in the case of cfuse.

debug: fixup

common: disable logger by default; make daemon settings explicit in (3) callers

debug: add max count for name symlinks

vstart: normalize pid file names

debug: revamp debug/logging

- By default, append to $type.$name.log.
- Get old $hostname.$pid + $type.$name symlink behavior only with
  g_conf.log_per_instance
- Add new g_conf.log_file option to force a particular file.

client: set MetaRequest::inode to the inode or directory inode whenever possible.
Provides link to caps, useful when requests come back ESTALE or similar.

client: set inode/dentry fields where available

client: remove now-unused authority and pick_replica functions

client: rewrite choose_target_mds to more closely mirror kclient logic and be correct.

client: make fragmap updates a little more space efficient.

If the auth is the same as the parent, don't add to the map (and remove if
it's already there). Absence is interpreted the same as a value of -1.

client: add mds_num to MDSSession struct

client: clean up Inode::authority

client: move all mds selection code into choose_target_mds

client: remove dead code

client: remove Inode::dir_auth data member

client: initialize auth_caps in Inode! Prevents bad pointer derefs.

qa: set runoncfuse.sh to run cfuse in background and kill at end of tests.

This is an imperfect solution at best, since it doesn't handle errors at all,
but it'll have to do for now.

rbd: some header cleanup

rbdtool: implement snap rollback

buffer: handle write_fd() on empty bufferlist

osd: fix, cleanup ack/disk reply logic

There was a bug where we would get no reply if we could send ondisk but
the client didn't want it.  This simplifies and cleans up the checks
to make more sense, removing the can_* helpers that were hiding which
checks were being done.

Signed-off-by: Sage Weil <sage@newdream.net>

buffer: make write_fd() tolerate zero length ptrs in the bufferlist

msgr: clean up aborted message handling

No need for a dummy message.  Make the (single) caller handle returning
no message as a non-error.

Signed-off-by: Sage Weil <sage@newdream.net>

msgr: release bytes reserved from throttlers in failure paths

If we don't release those bytes, the throttler count eventually fills up
with bytes we were going to read but didn't (due to socket errors, etc)
until we can't read anything.

Signed-off-by: Sage Weil <sage@newdream.net>

uclient: rename make_path; cleanup/move make_request_from_Meta

Document, make it clear what kind of "path" it's really building.

Signed-off-by: Sage Weil <sage@newdream.net>

man: add man pages for cclass and cclsinfo

filejournal: fix buffer realignment condition; useful debug output on error

We don't care about contiguous, only about page alignment.

rbdtool: fix uninitialized variable

rbdtool: implement rename

config: update __isarg before reading config param

debian: include cclsinfo

Makefile: include cclsinfo; lose the old .cc

Makefile: include cclass.in in dist

buffer: write_fd should skip empty buffers

rbdtool: init rbd block id, later will be used for rename

cclass.in: LIBDIR=.libs in certain cases

cls: cls_read, cls_cxx_read return the number of bytes read

config: use <<20 for MB

script/plot.pl: don't pause

Run like so:

 $ script/plot.pl path/to/log osd c_wrb [smooth bezier] | gnuplot -persist

msgr: use dedicated reaper thread

We were calling the reaper from the wait() loop.  The problem is that
the OSD has two messengers, and only the first was in wait().. the second
wait() was only called after the first terminated (i.e, when the OSD was
shutting down).

Instead, launch a separate reaper thread when we bind, and close it out
on shutdown right after the accepter.

osd: removed unused RepGather::indata

Signed-off-by: Sage Weil <sage@newdream.net>

osd: change write osd logging timing

osd: always use original Connection when replying

...even when the op came from another OSD.  Not that that should happen
anyway, since we don't forward messages currently.  (And can't, since the
OSD doesn't initiate connections to the client!)

osd: always include osd op result, result code in the first reply

osd: track open repops in logger

Signed-off-by: Sage Weil <sage@newdream.net>

osd: add 'logger reset' command

journal: set max journal write to 10MB

If we take too big a bite of data to write in a single writev(2), we can
end up making performance worse, because everyone waits for the full write
to complete.  Bigger writes mean better throughput but higher latency.
So, balance the two by placing some upper limit.

conf:  fix parsing when there's no eol at the end of file

msg: fix entity_addr_t::parse() to return false on failure

mkcephfs: Fix wrong maxosd when OSD ids are random ordered in ceph.conf

Hi

I got a trouble that mkcephfs will have wrong "maxosd" when you have
ceph.conf with OSD ids in random order like:

[osd2]
...
[osd0]
...
[osd1]
...

In this case, you will got "2" for the "maxosd", instead of 3.
After adding a sort, the problem seems solved.

Cheers,
CC Lien

Signed-off-by: CC Lien <cc_lien@tcloudcomputing.com>
Signed-off-by: Sage Weil <sage@newdream.net>

filejournal: fix journal write_pos advance

This was broken by bd4188a02abff9efffb87a0a2031efe51c1b4d9a.  @pos needs to
be advanced (it is pass by reference) or else we just overwrite the same
bytes at the journal start over and over again.

mount.ceph: update mount options

Signed-off-by: Thomas Mueller <thomas@chaschperli.ch>
Signed-off-by: Sage Weil <sage@newdream.net>

msgr: fix throttle deadlock

Do msgr throttle after peer policy throttle.  The msgr (dispatch) throttle
is shortlived and won't deadlock (unless dispatch blocks), so it's safe to
take last.  In contrast, the policy throttle carries over the lifetime of
the message, and may block until replication completes or whatever else.

crushwrapper: gracefully handle crush error

crush_do_rule can return <0 in certain error cases (e.g., forcefed device
does not exist in crush map).  We should take that to mean an empty []
result instead of crashing.

Signed-off-by: Sage Weil <sage@newdream.net>

crushtool: add simple test function

crush: fix "in" threshold to be 1.0, not 0.1

We were effectively counting any item with weight > .1 to be weight 1.0.

cfuse: remove some NPEs with ESTALE from MDSes.

Under certain circumstances this continues to let you get ESTALE
and not handle it, but those are still being analyzed for a fix.

mds: keep cap follows above in->first in FLUSHSNAP

The client has a follows of 0 initially, which is correct (it does follow
0, and there are no prior snaps).  But the inode has ->first of 2, which
is also fine.  The follows here needs to be at least higher than the
inode first, though, or the caps cloning gets off...

qa: read recently written/deleted data back from snap

mds: fix client cap condition

In 551a12f52e36 we fixed a bug with cow_inode() where the
cap->client_follows didn't match last precisely.  Instead, we compare
to first.  But the == is too strict.. cap follows that is equal _or_older_
than the clone's first should be copied to the clone inode.

This fixes the simple test case
 $ echo asdf > bar ; mkdir .snap/bar ; rm bar ; cat .snap/bar/bar
 asdf
(Previously we would get nothing unless we waited for the cap to flush on
its own.)

ceph_fs: add CEPH_LOCK_IFLOCK so its inclusion elsewhere continues to build

mds: add IFLOCK to wait bits to prevent collisions with lock branch

crush: fix recursion through intervening types

This fixes pretty core behavior when doing recursion down the tree.  I
suspect it was broken when changing the retry behavior.

Signed-off-by: Sage Weil <sage@newdream.net>

crush: make CHOOSE_LEAF to behave when leaf type is encountered

We may not want to recursively call crush_choose() if we start out with a
leaf.  If that happens, we need to fill out the out2[] vector with
our result immediately.

Signed-off-by: Sage Weil <sage@newdream.net>

client: resync with kernel's ioctl.h

This got munged up by the #ifndef/#define guard cleanup.

mds: fix SimpleLock wait_shift()

DVERSION was missing, others were overlapping...

ceph_fs: add CEPH_FEATURE_FLOCK to ceph_fs so its bit doesn't get covered again