rgw: fix return code for prepare_get_obj() on the fs storage

rgw: fix error status code

We should sent back the Last-Modified header in GMT as specified by RFC2616

We shoud always return the Accept-Ranges header, with a GET or HEAD request, even when the client is not requesting for partial content.

This is to let the client know we accept requests for partial content.

On HEAD requests we should also return the Content-Length header.

And we should also return the Last-Modified header with GET and HEAD requests, this way browsers and proxy's can cache content.

rgw: support partial content (206) response

Couldn't get this one to work yet, as apache (or probably one of
the apache filters) rewrites the content-length value and sets
it to zero.

mds: Use get_oldest_snap() (not first) in handle_client_lssnap.

rgw: remove unused label 'done' (compiler warning)

msgr: fix direct send to loopback connection

If we send directly to the local/loopback connection, we need to
queue it for local delivery, not go through the usual send paths.

This fixes lost replies to messages sent to self (e.g., reply to
local anchortable).

Signed-off-by: Sage Weil <sage@newdream.net>

mon: revamp subscribe protocol [backward compatible protocol change]

Before, we would provide "have" and a bool "onetime" flag.  The struct was
also screwed up with an extra __le64.  Then have=0 was a special case
that meant "give me the latest".

The problem is this is ambiguous between the usual "give me everything
since X" and "give me your latest", because you might actually have 0 and
want 1..current.

Changes protocol and cleans up the struct:

 - now "start" and "flags", where only 1 flag (ONETIME) is defined
 - clean up sub_want_* methods throughout
 - fix all sub_want callers to ask for _start_ (not have) epoch, or 0 for
   any/latest
 - add a feature bit; talks old clients w/o that bit

Signed-off-by: Sage Weil <sage@newdream.net>

mds: restore CInode::get_oldest_snap()

It's either 'first', for the first for the oldest old_inode.

mds: defer anchortable updates before CLIENTREPLAY, not ACTIVE

Otherwise we hang trying to replay an op that interacts with the
anchortable.

Merge remote branch 'origin/large_objects' into unstable

mds: get rid of old lease mask cruft

Signed-off-by: Sage Weil <sage@newdream.net>

mds: fix lease revocation mask vs type

osd: on dups, reply if committed, or wait until ondisk

osd: helper should reply with ACK on error, op flags on success

osd: map indexed caller_ops back to relevant entry

This let's us look up a version from the osd_reqid_t.

osd: maintain pg last_update_ondisk

Only defined when is_active().  Only printed when it lags (i.e. we are
in the process of replicating and/or writing an update.

initscripts: fix type.id check in ceph.conf

Merge branch 'unstable' into large_objects

osd: make assemble_backlog more tolerant of races

The assemble_backlog is merging data generated while racing with online
updates.  It needs to tolerate races with things like delete.  For example,
- generate_backlog identifies object A
- client deletes+logs A
- assemble_backlog sees A deletion entry.
We may want to merge the backlog entry in this case.

osd: skip degraded objects we're already recoverying in recover_replicas

Otherwise we'll start_recovery_op, dup the push, etc.

Signed-off-by: Sage Weil <sage@newdream.net>

osd: create missing temp collection/dir

osd: populate in-memory snapset context with just-pulled SnapSet

This can come from the SNAPDIR or NOSNAP (head) object.

Signed-off-by: Sage Weil <sage@newdream.net>

osd: clean up size learning during pull

Signed-off-by: Sage Weil <sage@newdream.net>

mds: drop remove_client_lease return value

Unused

mds: fix dentry lease mask/lockid disconnect

There is only one lock here, no need to be tricky with the mask.

mds: no return value for issue_client_lease()

Return value is unused.  Also drop obsolete inode lease method declaration.

Signed-off-by: Sage Weil <sage@newdream.net>

mds: fix lease issue mask

We define 1 to be the only lease "mask" we currently support (for dentry)
and divorce ourselves from the CEPH_LOCK namespace for this purpose.  We
did this in c8d7c970e864e9f130b7c44b29c322771067026e, but screwed up the
issue function.  Fix the caller, and pay attention to @mask here.

Signed-off-by: Sage Weil <sage@newdream.net>

mds: create leases with non-zero seq

We want to avoid the situation:

- mds issues lease, seq 0
- mds times out lease, seq 0
- client sends seq 0 release
- mds issues new lease, seq 0 (again.. poor choice of seq#)
- mds processes client lease seq 0 release (bad)

osd: log/debug hb set changes

osdmap: recalc num_osds after applying incremental

osd: clean_up_local should ignore snapped, snapdir objects

The snap_trimmer is responsible for removing any/all snap objects.

snapdir only exists if snapped objects exist and head doesn't, so it will
get cleaned up when the snapped object(s) do.

filestore: make stat print correct errno

osd: simplify heartbeat checks

- Only check heartbeats when we have heartbeat_lock and osdmap rdlocked,
and thus _know_ heartbeat info and map are in sync.  Drop unnecessary
consistency checks.
- Check heartbeats in tick(), since the heartbeat thread may miss it if
it's unlucky.

osd: red is good enough; don't blink

mds: only try and lssnaps on a dir for as long as it's been around

qa: runoncfuse shouldn't start cfuse in background any more.

mds: fix snap lookups in CInode encoding

mon: don't crash on 'osd pool set' command

osd: zero ondisklog pointers when starting pg deletion

This fixes a problem where the osd stops part way through pg cleanup.  It
seens the old ondisklog bounds, but then fails to load the log, and crashes
on startup.

We just need to zero the ondisklog bounds when we zero the log.

Signed-off-by: Sage Weil <sage@newdream.net>

librados: remove use of snapid_t

objecter: default debug level 0 (no 'laggy' messages)

initscripts: use $type.$id, not $name, when possible

initscripts: accept osd0 or osd.0, regardless of what conf uses

Merge remote branch 'origin/large_objects' into unstable

mds: be careful obeying REQRDLOCK

Only do a simple_sync() if we are stable, auth, and not already sync.  The
client request can race with other state changes, so be careful.  The
client will also retry on any state change, so we can safely ignore if
things don't look quite right.

This fxes crash:
mds/Locker.cc: In function 'bool Locker::simple_sync(SimpleLock*, bool*)':
mds/Locker.cc:2592: FAILED assert(0)
1: (Locker::handle_file_lock(ScatterLock*, MLock*)+0x2a8) [0x57d328]
2: (MDS::_dispatch(Message*)+0x2165) [0x4a11d5]
3: (MDS::ms_dispatch(Message*)+0x6d) [0x4a169d]
4: (SimpleMessenger::dispatch_entry()+0x733) [0x47c903]
5: (SimpleMessenger::DispatchThread::entry()+0x1c) [0x474bac]
6: (Thread::_entry_func(void*)+0xa) [0x48748a]
7: /lib/libpthread.so.0 [0x7f8af92ff73a]
8: (clone()+0x6d) [0x7f8af852569d]

debian: fix typo in libcrush description

Reported-by: Wido

mds: initialize snaprealm created, current_parent_since on creation

Need to initialize created and current_parent_since on new snaprealms
when they are created, or else we get incorrect results from the likes of
SnapRealm::get_snap_info() (e.g., parent snaps from before we were
created).

Merge remote branch 'origin/debian' into unstable

rgw: fix calls to finish_get_obj() with uninitialized handle

debian: drop unused *.modules.in

debian: no more ceph-kclient-soruce

debian: cleanup from Clint Byrum <clint@ubuntu.com>

With a few changes by me (changelog, copyright clarification)

fuse.cc: make license GPL

Originally based on Miklos' fusexmp.c, which is GPL.  Keep that license.
LGPL makes no sense here anyway.

mon: specify default new pool size/rule/pg_num in conf

clean up new pool crush rule values [backward compatible protocol change]

Default to -1 (not 0!), which means 'server default'.

osd: infer missing map is empty when last_complete==last_update

mon: set/clear pause{rd,wr} osdmap flags

osd: clear failure_queue when marked down

This prevents bleed through of failures (due to not getting hearbeats, due
to us being marked down) so they don't get sent after we are marked back
up again.

This fixes one possible source of up/down flapping...

osd: clean up pulling first/complete business

osd: push in chunks

Signed-off-by: Sage Weil <sage@newdream.net>

rgw: fix content-length reporting

and also some other various issues that came up while at it

debug: fix log append

ios::ate does not work as advertised!

Signed-off-by: Sage Weil <sage@newdream.net>

debug: say 'append' or 'new' when opening log

Signed-off-by: Sage Weil <sage@newdream.net>

osd: wait for non-existant pools (w/o crashing); clean up handle_op()

Make sure the pool exists before calling OSDMap::raw_pg_to_pg().  Fixes
crash on operations shortly after pg pools are created.

Signed-off-by: Sage Weil <sage@newdream.net>

rgw: fix copy

rgw: get/put read and write by chunks

osd: refactor push code

- send_push_op() does a push, nothing else
- push_start() starts a primary->replica push, tracks state
- push_to_replica() ensures we push head first, calculates cloning, etc.

rgw: lay groundwork for chunky read/write

osd: recover degraded objects _before_ modifying it

This will slow down writes to degraded objects because we will wait for it
to recover before applying the write.  OTOH it will be robust in the case
of large objects.  We can optimize the small object update (and overwrite)
cases later.

Signed-off-by: Sage Weil <sage@newdream.net>

osd: make client op version actual at_version

I.e. this should take into account any cloning.  So set it after we call
prepare_transaction, not before.

osd: fix subop version in snaptrimmer

The at_version should end equal to last_update, not +1.

osd: observe osd_recovery_max_chunk when pulling objects to primary

intervalset: implement span_of()

osd: clean out temp pg on startup

osd: create temp collection during mkfs

osd: give coll_t an explicit type in {meta,temp,pg}

osd: add osd_recovery_max_chunk

mon: check command length on osdmon

Fixes crash on 'ceph osd tell'.

Signed-off-by: Sage Weil <sage@newdream.net>

rbd: add removal of snapshots

librados: don't read attributes until the callback is done!

rgw: rgw_rest: Properly return the content-length.
From wido.

rgw: rgw_rados: initialize the position in list_buckets_init!

monc: be quiet about 'continuing hunt' too

librados: librados.hpp should be standalone

removed references to object_t, declared librados::SnapContext

mds: small EMetablob fixup

Push to the back, update the back.

Signed-off-by: Sage Weil <sage@newdream.net>

osd: always set snapset context if can_create

The most common code paths loaded it, but not the case where the obc was
already loaded.

Signed-off-by: Sage Weil <sage@newdream.net>

mds: journal dirty items in order

There was some weird thing where dirty items were added to the front of
the list in the EMetaBlob, dating from 2007.  I have no idea why.  But it
was breaking rename, which dirties the same inode twice in some cases
(same src and dst dir).  Since it would replay in reverse, the inode would
end up with an older state.  If that happened to be the last time the inode
was modified in the journal prior to an mds restart+replay, we'd get bad
dirstat/rstat metadata.

Signed-off-by: Sage Weil <sage@newdream.net>

mds: helpful journal replay debug output

Signed-off-by: Sage Weil <sage@newdream.net>

client: drop unnecessary #include

Signed-off-by: Sage Weil <sage@newdream.net>

mds: simplify rstat/dirstat debug printing

Signed-off-by: Sage Weil <sage@newdream.net>

mds: remove bogus 'oldest snap' floor on lssnap result

I suspect the intent was to exclude snaps from parents from before we
existed.  However, get_snap_info() already does that intelligently.  And
get_oldest_snap() was wrong: this dirs snaps have little to do with
the nested snaprealms, old_inodes isn't a good indicator of birth time,
etc.

This fixes a bug where we couldn't see a snap in .snaps, but after the mds
restart could (because old_inodes included more old versions after
replay).

Signed-off-by: Sage Weil <sage@newdream.net>

lower loglevel for successfull mon hunting

I'm receving log output on every rados_initialize (... found mon0).
Since this makes the qemu-iotests fail, I'd suggest to lower the loglevel.

Christian

messages: fix MClientRequest::is_write(), rename to may_write().

Also remove unused can_forward(), auth_is_best().

msgr: use in6addr_any extern for is_blank_addr()

Signed-off-by: Sage Weil <sage@newdream.net>

msgr: put brackets around ipv6 addrs

Signed-off-by: Sage Weil <sage@newdream.net>

mds: throw std::bad_alloc on boost:pool<> depletion

A bit more informative than a segfault from this=NULL in the constructor.

Signed-off-by: Sage Weil <sage@newdream.net>

rbd: fix usage

rbd: rbd tool can parse embedded snapshots name

also update man page