mds: get rid of old lease mask cruft

Signed-off-by: Sage Weil <sage@newdream.net>

mds: fix lease revocation mask vs type

initscripts: fix type.id check in ceph.conf

mds: drop remove_client_lease return value

Unused

mds: fix dentry lease mask/lockid disconnect

There is only one lock here, no need to be tricky with the mask.

mds: no return value for issue_client_lease()

Return value is unused.  Also drop obsolete inode lease method declaration.

Signed-off-by: Sage Weil <sage@newdream.net>

mds: fix lease issue mask

We define 1 to be the only lease "mask" we currently support (for dentry)
and divorce ourselves from the CEPH_LOCK namespace for this purpose.  We
did this in c8d7c970e864e9f130b7c44b29c322771067026e, but screwed up the
issue function.  Fix the caller, and pay attention to @mask here.

Signed-off-by: Sage Weil <sage@newdream.net>

mds: create leases with non-zero seq

We want to avoid the situation:

- mds issues lease, seq 0
- mds times out lease, seq 0
- client sends seq 0 release
- mds issues new lease, seq 0 (again.. poor choice of seq#)
- mds processes client lease seq 0 release (bad)

osd: log/debug hb set changes

osdmap: recalc num_osds after applying incremental

osd: clean_up_local should ignore snapped, snapdir objects

The snap_trimmer is responsible for removing any/all snap objects.

snapdir only exists if snapped objects exist and head doesn't, so it will
get cleaned up when the snapped object(s) do.

filestore: make stat print correct errno

osd: simplify heartbeat checks

- Only check heartbeats when we have heartbeat_lock and osdmap rdlocked,
and thus _know_ heartbeat info and map are in sync.  Drop unnecessary
consistency checks.
- Check heartbeats in tick(), since the heartbeat thread may miss it if
it's unlucky.

osd: red is good enough; don't blink

mds: only try and lssnaps on a dir for as long as it's been around

qa: runoncfuse shouldn't start cfuse in background any more.

mds: fix snap lookups in CInode encoding

mon: don't crash on 'osd pool set' command

osd: zero ondisklog pointers when starting pg deletion

This fixes a problem where the osd stops part way through pg cleanup.  It
seens the old ondisklog bounds, but then fails to load the log, and crashes
on startup.

We just need to zero the ondisklog bounds when we zero the log.

Signed-off-by: Sage Weil <sage@newdream.net>

librados: remove use of snapid_t

objecter: default debug level 0 (no 'laggy' messages)

initscripts: use $type.$id, not $name, when possible

initscripts: accept osd0 or osd.0, regardless of what conf uses

mds: be careful obeying REQRDLOCK

Only do a simple_sync() if we are stable, auth, and not already sync.  The
client request can race with other state changes, so be careful.  The
client will also retry on any state change, so we can safely ignore if
things don't look quite right.

This fxes crash:
mds/Locker.cc: In function 'bool Locker::simple_sync(SimpleLock*, bool*)':
mds/Locker.cc:2592: FAILED assert(0)
1: (Locker::handle_file_lock(ScatterLock*, MLock*)+0x2a8) [0x57d328]
2: (MDS::_dispatch(Message*)+0x2165) [0x4a11d5]
3: (MDS::ms_dispatch(Message*)+0x6d) [0x4a169d]
4: (SimpleMessenger::dispatch_entry()+0x733) [0x47c903]
5: (SimpleMessenger::DispatchThread::entry()+0x1c) [0x474bac]
6: (Thread::_entry_func(void*)+0xa) [0x48748a]
7: /lib/libpthread.so.0 [0x7f8af92ff73a]
8: (clone()+0x6d) [0x7f8af852569d]

debian: fix typo in libcrush description

Reported-by: Wido

mds: initialize snaprealm created, current_parent_since on creation

Need to initialize created and current_parent_since on new snaprealms
when they are created, or else we get incorrect results from the likes of
SnapRealm::get_snap_info() (e.g., parent snaps from before we were
created).

Merge remote branch 'origin/debian' into unstable

rgw: fix calls to finish_get_obj() with uninitialized handle

debian: drop unused *.modules.in

debian: no more ceph-kclient-soruce

debian: cleanup from Clint Byrum <clint@ubuntu.com>

With a few changes by me (changelog, copyright clarification)

fuse.cc: make license GPL

Originally based on Miklos' fusexmp.c, which is GPL.  Keep that license.
LGPL makes no sense here anyway.

mon: specify default new pool size/rule/pg_num in conf

clean up new pool crush rule values [backward compatible protocol change]

Default to -1 (not 0!), which means 'server default'.

osd: infer missing map is empty when last_complete==last_update

mon: set/clear pause{rd,wr} osdmap flags

osd: clear failure_queue when marked down

This prevents bleed through of failures (due to not getting hearbeats, due
to us being marked down) so they don't get sent after we are marked back
up again.

This fixes one possible source of up/down flapping...

rgw: fix content-length reporting

and also some other various issues that came up while at it

debug: fix log append

ios::ate does not work as advertised!

Signed-off-by: Sage Weil <sage@newdream.net>

debug: say 'append' or 'new' when opening log

Signed-off-by: Sage Weil <sage@newdream.net>

osd: wait for non-existant pools (w/o crashing); clean up handle_op()

Make sure the pool exists before calling OSDMap::raw_pg_to_pg().  Fixes
crash on operations shortly after pg pools are created.

Signed-off-by: Sage Weil <sage@newdream.net>

rgw: fix copy

rgw: get/put read and write by chunks

rgw: lay groundwork for chunky read/write

osd: make client op version actual at_version

I.e. this should take into account any cloning.  So set it after we call
prepare_transaction, not before.

osd: fix subop version in snaptrimmer

The at_version should end equal to last_update, not +1.

mon: check command length on osdmon

Fixes crash on 'ceph osd tell'.

Signed-off-by: Sage Weil <sage@newdream.net>

rbd: add removal of snapshots

librados: don't read attributes until the callback is done!

rgw: rgw_rest: Properly return the content-length.
From wido.

rgw: rgw_rados: initialize the position in list_buckets_init!

monc: be quiet about 'continuing hunt' too

librados: librados.hpp should be standalone

removed references to object_t, declared librados::SnapContext

mds: small EMetablob fixup

Push to the back, update the back.

Signed-off-by: Sage Weil <sage@newdream.net>

osd: always set snapset context if can_create

The most common code paths loaded it, but not the case where the obc was
already loaded.

Signed-off-by: Sage Weil <sage@newdream.net>

mds: journal dirty items in order

There was some weird thing where dirty items were added to the front of
the list in the EMetaBlob, dating from 2007.  I have no idea why.  But it
was breaking rename, which dirties the same inode twice in some cases
(same src and dst dir).  Since it would replay in reverse, the inode would
end up with an older state.  If that happened to be the last time the inode
was modified in the journal prior to an mds restart+replay, we'd get bad
dirstat/rstat metadata.

Signed-off-by: Sage Weil <sage@newdream.net>

mds: helpful journal replay debug output

Signed-off-by: Sage Weil <sage@newdream.net>

client: drop unnecessary #include

Signed-off-by: Sage Weil <sage@newdream.net>

mds: simplify rstat/dirstat debug printing

Signed-off-by: Sage Weil <sage@newdream.net>

mds: remove bogus 'oldest snap' floor on lssnap result

I suspect the intent was to exclude snaps from parents from before we
existed.  However, get_snap_info() already does that intelligently.  And
get_oldest_snap() was wrong: this dirs snaps have little to do with
the nested snaprealms, old_inodes isn't a good indicator of birth time,
etc.

This fixes a bug where we couldn't see a snap in .snaps, but after the mds
restart could (because old_inodes included more old versions after
replay).

Signed-off-by: Sage Weil <sage@newdream.net>

lower loglevel for successfull mon hunting

I'm receving log output on every rados_initialize (... found mon0).
Since this makes the qemu-iotests fail, I'd suggest to lower the loglevel.

Christian

messages: fix MClientRequest::is_write(), rename to may_write().

Also remove unused can_forward(), auth_is_best().

msgr: use in6addr_any extern for is_blank_addr()

Signed-off-by: Sage Weil <sage@newdream.net>

msgr: put brackets around ipv6 addrs

Signed-off-by: Sage Weil <sage@newdream.net>

mds: throw std::bad_alloc on boost:pool<> depletion

A bit more informative than a segfault from this=NULL in the constructor.

Signed-off-by: Sage Weil <sage@newdream.net>

rbd: fix usage

rbd: rbd tool can parse embedded snapshots name

also update man page

rbd: update man page, other external tools

mon: limit size of MOSDMap messages when subscribing

Send multiple MOSDMap messages (max of 100 incrementals per) when
clients who are way behind subscribe.

Signed-off-by: Sage Weil <sage@newdream.net>

debug: fix append to log file

Signed-off-by: Sage Weil <sage@newdream.net>

osd: oops, fix pool thing

Signed-off-by: Sage Weil <sage@newdream.net>

osd: MOSDOp: print snapc if snap_seq != 0, not when snap list is empty

Signed-off-by: Sage Weil <sage@newdream.net>

osd: use client or pool snapc based on _pool_ snap mode, not client op

The pool snap mode determines where the snapc should come from.  In
particular, if the client specifies no snap seq, but the pool is in
unmanaged snap mode, then use the client (empty) snapc, and do not generate
one from the pool.

The pool might have a snap seq that is > 0, leading to and totally
invalid(!) snapc like 2=[], e.g., because the pool seq was bumped to create
an unmanaged snapc by another client.

Signed-off-by: Sage Weil <sage@newdream.net>

rgw: delete bucket objects from root pool on destruction.

This allows a bucket with that name to be created later.

rbdtool: rename rbdtool to 'rbd' tool and change usage

cfuse: return EROFS when attempting to modify snapshots

mds: Check all write ops to make sure they aren't in a snapshot; return EROFS if they are.

rbdtool: fix add-snap

rbdtool: rearrange usage

rbdtool: rename should first check source

that is, source image doesn't exist error should have priority
over destination already exists.

debian: override lintian warning unstripped-binary-or-object

debug: fix debug rank symlink rotate when log_per_instance

Signed-off-by: Sage Weil <sage@newdream.net>

rbdtool: implement copy

rbdtool: use canonical image name (pool/image)

rbdtool: can read data using snapshot

mds: fix up snap cap issue logic comments

mds: fix acquire_lock() calls in handle_client_open()

We want to acquire_locks exactly once per path through the function.
Don't look at mdr->* yet if we haven't locked yet.

Signed-off-by: Sage Weil <sage@newdream.net>

mds: issue all snap_caps allowed given locks, not by current cap

For snap_caps, who cares if the live inode has a cap for this client.  We
always want to issue the maximum set of caps the inode locks allow for
a live inode or snapped inode with caps, or the max caps ever for a snapped
inode without caps.

Signed-off-by: Sage Weil <sage@newdream.net>

fix FCGI detection and specfile

configure is building radosgw as soon as libfcgi is installed, even
if --without-radosgw is given. Here is a fix for configure.in and the
specfile.

Regards,
Christian

Signed-off-by: Sage Weil <sage@newdream.net>

mon: avoid OOB m->cmd access in auth proprocess_command

Signed-off-by: Sage Weil <sage@newdream.net>

msgr: brackets (not braces) for ipv6 addrs

Sigh

Signed-off-by: Sage Weil <sage@newdream.net>

debug: only truncate log file on open if log_per_instance is set

Signed-off-by: Sage Weil <sage@newdream.net>

mds: termiante client sessions before flushign log during shutdown

We need to close out client sessions, and caps, to empty the open_files
lists, so that we can properly trim the EOpen events from the log.

This fixes a crash like so:

mds/journal.cc: In function 'C_Gather* LogSegment::try_to_expire(MDS*)':
mds/journal.cc:160: FAILED assert(ls != this)
 1: (LogSegment::try_to_expire(MDS*)+0x11c1) [0x90a1df]
 2: (MDLog::try_expire(LogSegment*)+0x2d) [0x902c25]
 3: (MDLog::trim(int)+0x55b) [0x902b0b]
 4: (MDCache::shutdown_pass()+0xeb) [0x7d6aab]
 5: (MDS::_dispatch(Message*)+0x2dc1) [0x71597f]
 6: (MDS::ms_dispatch(Message*)+0x38) [0x712a44]
 7: (Messenger::ms_deliver_dispatch(Message*)+0x63) [0x6fe07b]
 8: (SimpleMessenger::dispatch_entry()+0x5fd) [0x6ef7e7]
 9: (SimpleMessenger::DispatchThread::entry()+0x2c) [0x6e44b8]
 10: (Thread::_entry_func(void*)+0x23) [0x6fd075]
 11: /lib64/libpthread.so.0() [0x3552e06a3a]
 12: (clone()+0x6d) [0x35526ddf3d]
 NOTE: a copy of the executable, or `objdump -rdS <executable>` is
needed to interpret this.

Reported-by: Henry C Chang <henry_c_chang@tcloudcomputing.com>
Signed-off-by: Sage Weil <sage@newdream.net>

ceph.spec.in: create /var/log/ceph directory

I've missed this one in my previous patch series.

Regards,
Christian

Signed-off-by: Sage Weil <sage@newdream.net>

ceph.spec.in: add a build option for radosgw (--with radosgw)

Signed-off-by: Sage Weil <sage@newdream.net>

ceph.spec.in: add /var/lib/ceph/

Signed-off-by: Sage Weil <sage@newdream.net>

ceph.spec.in: add logrotate configuration

Signed-off-by: Sage Weil <sage@newdream.net>

ceph.spec.in: set correct path for rbd classes

Signed-off-by: Sage Weil <sage@newdream.net>

osd: print debug write before adding to transaction

Signed-off-by: Sage Weil <sage@newdream.net>

msgr: return error and dethrottle if message decode fails

This was broken by the addition of the throttling stuff.

Signed-off-by: Sage Weil <sage@newdream.net>