journler: make readahead/prefetch smarter

Always try to prefetch N segments ahead of the current read position.  The
old implementation would read a bunch of data, process it all, then read
a bunch more.  This was suboptimal on a couple different levels.

Also, make an internal _is_readable() _not_ do the prefetch step; only do
that for external callers.

Fixes: #929
Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

journaler: reduce prefetch interval

50MB was overkill.

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

journaler: remove unused read_entry()

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

common_init: allow init without config file

Add a flag, CINIT_FLAG_NO_DEFAULT_CONFIG_FILE, that specifies that the
program should not read a config file by default.

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

MDSMon: Add mon_force_standby_active config option.

If this is set to true (which it defaults to), then the mon
will force MDSes configured as mds_standby_replay to become active.
For #893.

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

filestore: fix journaling for writeahead, parallel modes

This was broken by c866536bff5bdd9c31772dfa1e63e2: build_op() clobbers
the local tls, so we need to use o->tls instead.

Signed-off-by: Sage Weil <sage@newdream.net>

filestore: include stat result (size) in debug output

Signed-off-by: Sage Weil <sage@newdream.net>

osd: let single large ops through the throttler

Otherwise we block indefinitely on a single op that's larger than the
throttler limit.

Signed-off-by: Sage Weil <sage@newdream.net>

rgw: fix str_to_bool

rgw: don't validate bucket/object names if name is empty

boto_tool rework

Change boto_tool to have more functionality.

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

Merge branch 'master' of ssh://ceph.newdream.net/git/ceph

rgw: path paramter for pseudo folders

mds: drop dead journal flush code

This is now obsolete.

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

Merge branch 'rgw'

Conflicts:

src/rgw/rgw_common.h

mds: remove mds_log_unsafe mode

The mds_log_unsafe mode would wait for ack for some journal writes, and
safe for others.  Now that we can reply to client requests without waiting
for the journal to flush (as of ~2 years ago), this distinction is no
longer useful.  It is also more error-prone, as it complicates the code
and vastly expands the possible combinations of MDS failures and replay
scenarios we need to verify.

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

bucket name: better ip addr detection, allow caps

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

validate_bucket_name: loosen up

Allow users to create bucket names that don't meet the S3
recommendations, but which do meet the spec.

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

boto_tool.py: add more bucket interaction stuff

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

mds: reimplement laggy

The goal is for the MDS to stop processing requests when it hasn't heard
from the monitors, to avoid a situation where a rogue process goes off
doing its own thing.  Yes, if we fail it over the cmds can't write to the
object store, but it can reply to clients when it may not be appropriate
or good to do so.

The old logic was fragile and wonky, with messages getting deferred, and
then re-deferred.  This implementation is much cleaner and should be much
more efficient and less fragile.  There are still improvements to be made
as far as which messages we do/do not process when we think we're laggy.

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

mds: check safe_pos for _expired check

Don't expire a log segment until it's committed (not acked).

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

mds: skip redundant flush before journal segment trim

Back in olden times when we would would wait for acks for some journal
writes, we did an extra wait_for_safe() before discarding a journal segment
to make sure anything being discarded was safely committed in newers
segments.  These days mds_log_unsafe is always false (and
journaler_safe is true), so we can skip this check.

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

mds: assert on mds table write error

Do not silently ignore a write failure.

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

osd: factor pg get-or-create code into common helper

handle_pg_notify and _process_pg_info both lookup or create a PG based
on an incoming message.  Factor that code into a common helper.  There
were a few differences in that the pg notify handler code deals with
more cases (namely, pg creation), but this is harmless for the more
general _process_pg_info caller.

Closes: #577
Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

calc_hmac_sha: fix access-past-end-of-buffer

Fix a place where we access a buffer past the end of its length. Clean
up the function a bit.

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

Use macro for digest size, part 2: tests

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

mkcephfs: minor fixes

Signed-off-by: Samuel Just <samuel.just@dreamhost.com>

do_autogen: create radosgw

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

RGW: validate bucket names and object names

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

FileStore: replace op_queue_throttle with op_queue_reserve_throttle

Previously, queue_op would call op_queue_throttle while holding the
journal_lock.  op_queue_throttle, however, can sleep.

We fix the problem by:
1) Factor build_op out of queue_op
2) op_queue_throttle is now op_queue_reserve_throttle and takes an op as
an argument.  op_queue_reserve_throttle can be called before the journal
lock is taken.  This also avoids the race between calling throttle and
incrementing op_queue_bytes and op_queue_len.
3) queue_op now takes the op generated using build_op as an argument.
4) _journaled_ahead no longer needs to call throttle as
queue_transactions has already reserved space.

Signed-off-by: Samuel Just <samuel.just@dreamhost.com>

rgw: dump content type when listing objects (swift)

rgw: support pseudo folders in swift

ceph_crypto: fix undefined references

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

boto_del.py -> boto_tool.py

boto_tool.py has some additional functionality.

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

obsync: remove obsolete cmdline options

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

rgw: generated swift urls are more compatble with openstack

Merge branch 'master' of ssh://ceph.newdream.net/git/ceph

rgw: fix compilation warning

rgw: change the swift auth config a bit

context: conditional context debugging

Mainly C_Gather, which is a reasonably frequent source of pain.

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

Rename objsync -> obsync

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

Add boto_del.py

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

Add boto_del.py

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

rgw: save roundtrip when reading user info

Merge branch 'rgw' of ssh://ceph.newdream.net/git/ceph into rgw

rgw: self signed tokens

rgw: keep user info copy in the indexes

We index user by email and by openstack id, keeping a copy of the
user info structure there saves a round trip.

rgw: store openstack secret as part of the user info

librbd: remove RBD_MAX_SEG_NAME_SIZE

The only use of this was incorrect - block_name has size RBD_MAX_BLOCK_NAME_SIZE.

Signed-off-by: Josh Durgin <josh.durgin@dreamhost.com>

common: Add utf8 validation functions, test

Add utility functions for validating a buffer as valid UTF-8.

Add a unit test to check the functions.

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

rgw: remove strerror references

We have cpp_strerror, let's use it and be threadsafe!

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

common: Add utf8 validation functions, test

Add utility functions for validating a buffer as valid UTF-8.

Add a unit test to check the functions.

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

mds: fix mdsmap dump formatting

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

Rename osync to objsync

Rename osync to objsync to avoid confusion with O_SYNC.

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

Rename osync to objsync

Rename osync to objsync to avoid confusion with O_SYNC.

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

Merge branch 'rgw'

Merge branch 'rgw'

CDir: make check_rstats friendlier.

Only fail asserts if mds_debug_scatterstat is enabled.

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

MDCache: make linkunlink rstat propagation work properly.

We could be in a lock state (ie, gather) where we can't take new locks.
But if we're in this function for linkunlink we have to already have
a lock, so in that case make sure the function succeeds and assert
that we do have a lock.

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

MDCache: set up rstats properly in create_system_inode.

Fix the previous users to deal with this, including
create_mydir_hierarchy which was completely broken.

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

MDCache: properly update and project the stats when removing inodes.

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

mds: add check_rstats function and a few users.

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

osync: implement delete-before and delete-after

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

osync: add osync-test.sh

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

Merge branch 'master' into rgw

Conflicts:

debian/control

rgw: fix logging env variable name

cosd: Close TEXT_RED with TEXT_NORMAL in a few places.

Guess these got missed or typoed on creation or something.

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

osync-test: test --delete in bucket-to-bucket xfer

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

osync-test.py: test --dry-run, --delete stuff

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

osync: implement --dry-run option

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

rpm: package python bindings for rados

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

osync-test.sh: test bucket-to-bucket transfers

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

osync: add AKEY and SKEY

Add AKEY and SKEY, for when you want to keys / secret keys to be the
same for both source and destination.

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

osync: fix automatic bucket creation

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

osync: add alternate syntax for file:// transfers

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

osync-test: test file-to-bucket transfers

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

osync: add SRC_AKEY, etc. environment variables

Add SRC_AKEY, SRC_SKEY, DST_AKEY, and DST_SKEY. This allows us to
synchronize between buckets with different authentication
configurations.

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

Fix manpage typos

Close escape names correctly.

Remove unused cdbs build dependency

Debian packaging uses debhelper and not cdbs; remove that build dependency.

Change wording of Debian package descriptions

Be more general in naming users per policy recommendation.

Make Ceph Debian packaging Linux only

Build Ceph on all Linux archs, but only build-depend google-perftools on
x86 and x64 archs only.

Disable libatomic-ops on armel archs

armel supports ARMv4t or above instructions sets.
libatomic-ops is only usable with Ceph for ARMv6 or above.

Signed-off-by: Hector Oron <zumbi@debian.org>

Add cross compilation support

Taken from Debian bugreport #618939 , courtesy by Hector Oron.

Signed-off-by: Hector Oron <zumbi@debian.org>

Add parallel building support for multi{core,processor} systems.

CephxProtocol.cc: invalid authorizer data should not crash the osd

Signed-off-by: Samuel Just <samuel.just@dreamhost.com>

ceph.spec.in: some CentOS fixes

BuildRequires: cryptopp-devel has been replaced by nss-devel.  Skip
google-perftools-devel because that package is not available for x86-64.
Add python.

Don't install libcls_rbd.so.1.0.0.debug.

Package crbdnamer and librados-config.

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

osync: fix hash compares

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

osync: fix s3store iterator

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

pybind: convert to new API

Fix the python bindings to use the new librados API.

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

backtrace: user the proper version header

Signed-off-by: Sage Weil <sage@newdream.net>

libceph: use the proper version header

Signed-off-by: Sage Weil <sage@newdream.net>

libceph: pull version from new version define

Signed-off-by: Sage Weil <sage@newdream.net>

configure: no ~

This confuses fedora and isn't really necessary.

Signed-off-by: Sage Weil <sage@newdream.net>

use 'git describe' version

librados: rados_ioctx_lookup -> rados_pool_lookup

rados_pool_lookup has nothing to do with io contexts!

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

librados: bump minor version number

rados_create_internal -> rados_create_with_config

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

librados: bump minor version number

rados_create_internal -> rados_create_with_config

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

librados: rados_ioctx_lookup -> rados_pool_lookup

rados_pool_lookup has nothing to do with io contexts!

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

direct_io_test: use mkstmp instead of mkostemps

mkostemps isn't present in older glibc versions, like the ones in CentOS
5.5. We don't really use any of the extra functionality of mkostemps in
this test.

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>

Makefile: check for new enough version of gtkmm

Versions older than 2.13 don't build, so check for that with automake.

Signed-off-by: Colin McCabe <colin.mccabe@dreamhost.com>