objecter: default debug level 0 (no 'laggy' messages)

initscripts: use $type.$id, not $name, when possible

initscripts: accept osd0 or osd.0, regardless of what conf uses

mds: be careful obeying REQRDLOCK

Only do a simple_sync() if we are stable, auth, and not already sync.  The
client request can race with other state changes, so be careful.  The
client will also retry on any state change, so we can safely ignore if
things don't look quite right.

This fxes crash:
mds/Locker.cc: In function 'bool Locker::simple_sync(SimpleLock*, bool*)':
mds/Locker.cc:2592: FAILED assert(0)
1: (Locker::handle_file_lock(ScatterLock*, MLock*)+0x2a8) [0x57d328]
2: (MDS::_dispatch(Message*)+0x2165) [0x4a11d5]
3: (MDS::ms_dispatch(Message*)+0x6d) [0x4a169d]
4: (SimpleMessenger::dispatch_entry()+0x733) [0x47c903]
5: (SimpleMessenger::DispatchThread::entry()+0x1c) [0x474bac]
6: (Thread::_entry_func(void*)+0xa) [0x48748a]
7: /lib/libpthread.so.0 [0x7f8af92ff73a]
8: (clone()+0x6d) [0x7f8af852569d]

debian: fix typo in libcrush description

Reported-by: Wido

mds: initialize snaprealm created, current_parent_since on creation

Need to initialize created and current_parent_since on new snaprealms
when they are created, or else we get incorrect results from the likes of
SnapRealm::get_snap_info() (e.g., parent snaps from before we were
created).

Merge remote branch 'origin/debian' into unstable

rgw: fix calls to finish_get_obj() with uninitialized handle

debian: drop unused *.modules.in

debian: no more ceph-kclient-soruce

debian: cleanup from Clint Byrum <clint@ubuntu.com>

With a few changes by me (changelog, copyright clarification)

fuse.cc: make license GPL

Originally based on Miklos' fusexmp.c, which is GPL.  Keep that license.
LGPL makes no sense here anyway.

mon: specify default new pool size/rule/pg_num in conf

clean up new pool crush rule values [backward compatible protocol change]

Default to -1 (not 0!), which means 'server default'.

osd: infer missing map is empty when last_complete==last_update

mon: set/clear pause{rd,wr} osdmap flags

osd: clear failure_queue when marked down

This prevents bleed through of failures (due to not getting hearbeats, due
to us being marked down) so they don't get sent after we are marked back
up again.

This fixes one possible source of up/down flapping...

rgw: fix content-length reporting

and also some other various issues that came up while at it

debug: fix log append

ios::ate does not work as advertised!

Signed-off-by: Sage Weil <sage@newdream.net>

debug: say 'append' or 'new' when opening log

Signed-off-by: Sage Weil <sage@newdream.net>

osd: wait for non-existant pools (w/o crashing); clean up handle_op()

Make sure the pool exists before calling OSDMap::raw_pg_to_pg().  Fixes
crash on operations shortly after pg pools are created.

Signed-off-by: Sage Weil <sage@newdream.net>

rgw: fix copy

rgw: get/put read and write by chunks

rgw: lay groundwork for chunky read/write

osd: make client op version actual at_version

I.e. this should take into account any cloning.  So set it after we call
prepare_transaction, not before.

osd: fix subop version in snaptrimmer

The at_version should end equal to last_update, not +1.

mon: check command length on osdmon

Fixes crash on 'ceph osd tell'.

Signed-off-by: Sage Weil <sage@newdream.net>

rbd: add removal of snapshots

librados: don't read attributes until the callback is done!

rgw: rgw_rest: Properly return the content-length.
From wido.

rgw: rgw_rados: initialize the position in list_buckets_init!

monc: be quiet about 'continuing hunt' too

librados: librados.hpp should be standalone

removed references to object_t, declared librados::SnapContext

mds: small EMetablob fixup

Push to the back, update the back.

Signed-off-by: Sage Weil <sage@newdream.net>

osd: always set snapset context if can_create

The most common code paths loaded it, but not the case where the obc was
already loaded.

Signed-off-by: Sage Weil <sage@newdream.net>

mds: journal dirty items in order

There was some weird thing where dirty items were added to the front of
the list in the EMetaBlob, dating from 2007.  I have no idea why.  But it
was breaking rename, which dirties the same inode twice in some cases
(same src and dst dir).  Since it would replay in reverse, the inode would
end up with an older state.  If that happened to be the last time the inode
was modified in the journal prior to an mds restart+replay, we'd get bad
dirstat/rstat metadata.

Signed-off-by: Sage Weil <sage@newdream.net>

mds: helpful journal replay debug output

Signed-off-by: Sage Weil <sage@newdream.net>

client: drop unnecessary #include

Signed-off-by: Sage Weil <sage@newdream.net>

mds: simplify rstat/dirstat debug printing

Signed-off-by: Sage Weil <sage@newdream.net>

mds: remove bogus 'oldest snap' floor on lssnap result

I suspect the intent was to exclude snaps from parents from before we
existed.  However, get_snap_info() already does that intelligently.  And
get_oldest_snap() was wrong: this dirs snaps have little to do with
the nested snaprealms, old_inodes isn't a good indicator of birth time,
etc.

This fixes a bug where we couldn't see a snap in .snaps, but after the mds
restart could (because old_inodes included more old versions after
replay).

Signed-off-by: Sage Weil <sage@newdream.net>

lower loglevel for successfull mon hunting

I'm receving log output on every rados_initialize (... found mon0).
Since this makes the qemu-iotests fail, I'd suggest to lower the loglevel.

Christian

messages: fix MClientRequest::is_write(), rename to may_write().

Also remove unused can_forward(), auth_is_best().

msgr: use in6addr_any extern for is_blank_addr()

Signed-off-by: Sage Weil <sage@newdream.net>

msgr: put brackets around ipv6 addrs

Signed-off-by: Sage Weil <sage@newdream.net>

mds: throw std::bad_alloc on boost:pool<> depletion

A bit more informative than a segfault from this=NULL in the constructor.

Signed-off-by: Sage Weil <sage@newdream.net>

rbd: fix usage

rbd: rbd tool can parse embedded snapshots name

also update man page

rbd: update man page, other external tools

mon: limit size of MOSDMap messages when subscribing

Send multiple MOSDMap messages (max of 100 incrementals per) when
clients who are way behind subscribe.

Signed-off-by: Sage Weil <sage@newdream.net>

debug: fix append to log file

Signed-off-by: Sage Weil <sage@newdream.net>

osd: oops, fix pool thing

Signed-off-by: Sage Weil <sage@newdream.net>

osd: MOSDOp: print snapc if snap_seq != 0, not when snap list is empty

Signed-off-by: Sage Weil <sage@newdream.net>

osd: use client or pool snapc based on _pool_ snap mode, not client op

The pool snap mode determines where the snapc should come from.  In
particular, if the client specifies no snap seq, but the pool is in
unmanaged snap mode, then use the client (empty) snapc, and do not generate
one from the pool.

The pool might have a snap seq that is > 0, leading to and totally
invalid(!) snapc like 2=[], e.g., because the pool seq was bumped to create
an unmanaged snapc by another client.

Signed-off-by: Sage Weil <sage@newdream.net>

rgw: delete bucket objects from root pool on destruction.

This allows a bucket with that name to be created later.

rbdtool: rename rbdtool to 'rbd' tool and change usage

cfuse: return EROFS when attempting to modify snapshots

mds: Check all write ops to make sure they aren't in a snapshot; return EROFS if they are.

rbdtool: fix add-snap

rbdtool: rearrange usage

rbdtool: rename should first check source

that is, source image doesn't exist error should have priority
over destination already exists.

debian: override lintian warning unstripped-binary-or-object

debug: fix debug rank symlink rotate when log_per_instance

Signed-off-by: Sage Weil <sage@newdream.net>

rbdtool: implement copy

rbdtool: use canonical image name (pool/image)

rbdtool: can read data using snapshot

mds: fix up snap cap issue logic comments

mds: fix acquire_lock() calls in handle_client_open()

We want to acquire_locks exactly once per path through the function.
Don't look at mdr->* yet if we haven't locked yet.

Signed-off-by: Sage Weil <sage@newdream.net>

mds: issue all snap_caps allowed given locks, not by current cap

For snap_caps, who cares if the live inode has a cap for this client.  We
always want to issue the maximum set of caps the inode locks allow for
a live inode or snapped inode with caps, or the max caps ever for a snapped
inode without caps.

Signed-off-by: Sage Weil <sage@newdream.net>

fix FCGI detection and specfile

configure is building radosgw as soon as libfcgi is installed, even
if --without-radosgw is given. Here is a fix for configure.in and the
specfile.

Regards,
Christian

Signed-off-by: Sage Weil <sage@newdream.net>

mon: avoid OOB m->cmd access in auth proprocess_command

Signed-off-by: Sage Weil <sage@newdream.net>

msgr: brackets (not braces) for ipv6 addrs

Sigh

Signed-off-by: Sage Weil <sage@newdream.net>

debug: only truncate log file on open if log_per_instance is set

Signed-off-by: Sage Weil <sage@newdream.net>

mds: termiante client sessions before flushign log during shutdown

We need to close out client sessions, and caps, to empty the open_files
lists, so that we can properly trim the EOpen events from the log.

This fixes a crash like so:

mds/journal.cc: In function 'C_Gather* LogSegment::try_to_expire(MDS*)':
mds/journal.cc:160: FAILED assert(ls != this)
 1: (LogSegment::try_to_expire(MDS*)+0x11c1) [0x90a1df]
 2: (MDLog::try_expire(LogSegment*)+0x2d) [0x902c25]
 3: (MDLog::trim(int)+0x55b) [0x902b0b]
 4: (MDCache::shutdown_pass()+0xeb) [0x7d6aab]
 5: (MDS::_dispatch(Message*)+0x2dc1) [0x71597f]
 6: (MDS::ms_dispatch(Message*)+0x38) [0x712a44]
 7: (Messenger::ms_deliver_dispatch(Message*)+0x63) [0x6fe07b]
 8: (SimpleMessenger::dispatch_entry()+0x5fd) [0x6ef7e7]
 9: (SimpleMessenger::DispatchThread::entry()+0x2c) [0x6e44b8]
 10: (Thread::_entry_func(void*)+0x23) [0x6fd075]
 11: /lib64/libpthread.so.0() [0x3552e06a3a]
 12: (clone()+0x6d) [0x35526ddf3d]
 NOTE: a copy of the executable, or `objdump -rdS <executable>` is
needed to interpret this.

Reported-by: Henry C Chang <henry_c_chang@tcloudcomputing.com>
Signed-off-by: Sage Weil <sage@newdream.net>

ceph.spec.in: create /var/log/ceph directory

I've missed this one in my previous patch series.

Regards,
Christian

Signed-off-by: Sage Weil <sage@newdream.net>

ceph.spec.in: add a build option for radosgw (--with radosgw)

Signed-off-by: Sage Weil <sage@newdream.net>

ceph.spec.in: add /var/lib/ceph/

Signed-off-by: Sage Weil <sage@newdream.net>

ceph.spec.in: add logrotate configuration

Signed-off-by: Sage Weil <sage@newdream.net>

ceph.spec.in: set correct path for rbd classes

Signed-off-by: Sage Weil <sage@newdream.net>

osd: print debug write before adding to transaction

Signed-off-by: Sage Weil <sage@newdream.net>

msgr: return error and dethrottle if message decode fails

This was broken by the addition of the throttling stuff.

Signed-off-by: Sage Weil <sage@newdream.net>

debian: make helper scripts remember most recent release

So you don't have to cut&paste it on the command line

Signed-off-by: Sage Weil <sage@newdream.net>

osd: fix delayed pg creation use after free

Use local acting[], not the one stashed in creating_pgs[pgid].  And drop
the duplication .erase().

Signed-off-by: Sage Weil <sage@newdream.net>

vstart: specify osd class tmp dir

Signed-off-by: Sage Weil <sage@newdream.net>

monc: make hunt, ping rates configuration

3s for hunt rate, 10s for ping rate.

Signed-off-by: Sage Weil <sage@newdream.net>

client: increase client mount timeout

This needs to be longer than the monclient hunt rate (currently 10s) so
that we succeed if we initially pick a down monitor.

Signed-off-by: Sage Weil <sage@newdream.net>

filestore: improve lseek64 error checking, and use buffer::list::write_fd()

Signed-off-by: Sage Weil <sage@newdream.net>

buffer: make write_fd() const

Signed-off-by: Sage Weil <sage@newdream.net>

mount.ceph: handle ipv6 addrs, colons, braces

Signed-off-by: Sage Weil <sage@newdream.net>

ceph.spec: require libedit

Signed-off-by: Sage Weil <sage@newdream.net>

ceph.spec.in: require binutils

cclass needs /usr/bin/nm

Signed-off-by: Sage Weil <sage@newdream.net>

debian: require binutils

cclass needs 'nm' to extract symbols from rados classes.

Signed-off-by: Sage Weil <sage@newdream.net>

debian: explicit postinst/postrm for shlibs

The dh_shlibdeps sees the .so in 'ceph' and incorrectly adds ldconfig to
postinst and postrm.  Which is useless and upsets lintian.  So do our
postinst/postrm magic explicitly.

Signed-off-by: Sage Weil <sage@newdream.net>

rbdtool: fix export

Signed-off-by: Sage Weil <sage@newdream.net>

mon: create new pools using rjenkins hash

Otherwise they get -1, which always maps to an invalid (-1) pgid.

Signed-off-by: Sage Weil <sage@newdream.net>

rbdtool: should support files larger than 2GB

debian: _do_ strip cosd

class: make class tmp directory configurable, not /tmp

/tmp usually gets mounted with 'noexec', making it a poor choice.

Signed-off-by: Sage Weil <sage@newdream.net>

logger: shut up

Signed-off-by: Sage Weil <sage@newdream.net>

config: can use '-' as a config option

msgr: remove fake orig_source_addr fakery

This makes get_orig_*() match get_*().

Signed-off-by: Sage Weil <sage@newdream.net>