logger: fix logger counter reset

Reset inc keys after each line; reset all keys on full reset.

Signed-off-by: Sage Weil <sage@newdream.net>

ceph v0.21.1

Makefile: include logrotate.conf in tarball

mds: fix send_message_client_counted helper

Don't use the outgoing message connection (usually there is none!).. use
the connection argument.  Der.  Broken since 6d770abe.

makefile: define docdir for old automake versions

Notably centos5.

Reported-by: Thomas Mueller <thomas@chaschperli.ch>
Signed-off-by: Sage Weil <sage@newdream.net>

monmaptool: man page typo fix

Signed-off-by: Sage Weil <sage@newdream.net>

rados: -i and -o are still there for other commands

Signed-off-by: Sage Weil <sage@newdream.net>

ceph.spec.in: fix docdir paths

_docdir is /usr/share/doc, not /usr/share/doc/ceph (as it is with debian).

ceph.spec.in: fix sample.ceph.conf chown

Reported-by: Xiaoguang Liu <syslxg@gmail.com>

rados: fix usage

osd: fix heartbeat to/from map updates

- always make _inst match _to and _from (don't adjust in note_down_osd)
- only mark down old hb connection in update_heartbeat_peers
- if old peer isn't down, send them a map
- don't print dup new/old messages

Signed-off-by: Sage Weil <sage@newdream.net>

osd: fix replies to dup/already-committed requests

We can safely reply if oldv is _older_ than what's on disk.  Otherwise the
request ends up on the list and never gets removed again.

Signed-off-by: Sage Weil <sage@newdream.net>

assert: only include acconfig.h ifdef __CEPH__

Signed-off-by: Sage Weil <sage@newdream.net>

librados.hpp fix

[ The following text is in the "UTF-8" character set. ]
    [ Your display is set for the "iso-8859-1" character set.  ]
    [ Some characters may be displayed incorrectly. ]

Hi,

I just realized librados.hpp could compile only if "using namespace
std;" is declared before "#include <rados/librados.hpp>", because
"vector" used without std namespace, and I think it's wrong.
It can fix following patch.

syuu

Signed-off-by: Sage Weil <sage@newdream.net>

mon: fix signed/unsigned compile warning

osd: fix map sharing with old heartbeat peers

The addr is in old_inst, since it's an old peer.  Fixes a crash like

osd/OSD.cc: In function 'void OSD::_share_map_outgoing(const entity_inst_t&)':
osd/OSD.cc:1791: FAILED assert(inst.name.is_osd())
 1: (OSD::update_heartbeat_peers()+0x1d3f) [0x4da66f]
 2: (OSD::activate_map(ObjectStore::Transaction&, std::list<Context*, std::allocator<Context*> >&)+0x8ee) [0x4db61e]
 3: (OSD::handle_osd_map(MOSDMap*)+0x233a) [0x4e506a]
 4: (OSD::_dispatch(Message*)+0x230) [0x4ef400]
 5: (OSD::ms_dispatch(Message*)+0x39) [0x4efe39]
 6: (SimpleMessenger::dispatch_entry()+0x749) [0x461fa9]
 7: (SimpleMessenger::DispatchThread::entry()+0x1c) [0x458f6c]
 8: (Thread::_entry_func(void*)+0xa) [0x46cf1a]
 9: (()+0x69ca) [0x7f978d6fb9ca]
 10: (clone()+0x6d) [0x7f978c91b6cd]

introduced by 9bfb8da9f925642bca46528a999124cd8b28ba2a.

Signed-off-by: Sage Weil <sage@newdream.net>

mds: fix cap encoding skipping when snaprealm differs

We were avoiding adding a new cap, but _any_ issue is problematic, not just
adds (which we can't really be sure about anyway due to races with client
cap release).

Signed-off-by: Sage Weil <sage@newdream.net>

debian: move fuse-utils dep to ceph-fuse

Reported-by: Thomas Mueller <thomas@chaschperli.ch>
Signed-off-by: Sage Weil <sage@newdream.net>

cclass: fix .so loading file

The only thing I've found, is that the *.so files are included in the -devel
rpm. This leads to the fact that the 'find' in cclass doesn't return any
files. I'd suggest the attached change in the script.

Christian

Signed-off-by: Sage Weil <sage@newdream.net>

osd: send latest osdmap when we stop sending heartbeats to peer

Otherwise, they may still expect them, and may mark us down.

osd: avoid most of handle_osd_map if there are no new maps in message

We don't want to take the time to flush things to disk and shut down all
the worker threads if there is nothing new in the osdmap update (as is
usually the case).

Signed-off-by: Sage Weil <sage@newdream.net>

move logrotate conf out of debian/ to fix ceph.spec

cauthtool: correct man page sample of minimal fs client caps

move mkcephfs to /sbin

debian: more cleanups

https://code.launchpad.net/~clint-fewbar/review-new-branches/ceph-new-pkg/+merge/31303

redirect stdout to /dev/null when reloading

the reload command prints to stdout. example:

# service ceph reload
=== mon.0 ===
Reloading Ceph mon0 on hoe001...kill -1 22197...done
=== osd.0 ===
Reloading Ceph osd0 on hoe001...kill -1 22263...done

"properly" configured systems will send the output by mail to
the administrator - this is not desired in case of successfull
reloading.

Signed-off-by: Thomas Mueller <thomas@chaschperli.ch>
Signed-off-by: Sage Weil <sage@newdream.net>

v0.21

cclass.in: fix libdir definition

debian/ceph.logrotate: enhance postrotate for "service" util

[ The following text is in the "UTF-8" character set. ]
    [ Your display is set for the "iso-8859-1" character set.  ]
    [ Some characters may be displayed incorrectly. ]

invoke-rc.d is debian specific.

run "service ceph reload" if invoke-rc.d fails.

Signed-off-by: Sage Weil <sage@newdream.net>

mon: trim old logm states

Signed-off-by: Sage Weil <sage@newdream.net>

debian: ceph-cfuse: move ceph from Recommends to Suggests

on a standalone fuse client ceph serverside is not needed. if it's
"Recommended" the default behaviour is to install it too. Move it to "Suggests"
that it's not installed by default if one installs just ceph-fuse.

from debian policy:
Suggests:
This is used to declare that one package may be more useful with one or more
others. Using this field tells the packaging system and the user that the listed
packages are related to this one and can perhaps enhance its usefulness, but
that installing this one without them is perfectly reasonable.

- Thomas

Signed-off-by: Sage Weil <sage@newdream.net>

ceph.spec.in: create /var/log/ceph/stat dir

the logrotate config expects a var/log/ceph/stat dir - create it.

Signed-off-by: Sage Weil <sage@newdream.net>

ceph.spec.in: rbdtool -> rbd

Reported-by: markn1

debian: drop gcc, g++ build deps

release: drop wildcard

debian: remove gcc/g++ build-depends

(as per Clint Byrum)

debian: add trailing newline

debian: fix debhelper depend version

dh_lintian was introduced in 6.0.7

debian: update to latest standards version

debian: fix weak-library-dev-dependency

E: ceph source: weak-library-dev-dependency librados1-dev on librados1
E: ceph source: weak-library-dev-dependency libceph1-dev on libceph1

check_version: don't globber .git_version if we're not in a git repo

namely, when you extract the release tarball!

filestore: add option to disable use of btrfs clone range ioctl

filestore: fix fallback clone_range implementation on short files

If we read less data from the source, don't loop forever... return -ERANGE
instead.

release: put .git_version in release tarball

pgmon: Remove creating_pgs which are from deleted pools.

osd: drop broken (and useless) PG::merge_log assert

The assert should be olog.backlog, not log.backlog.  But it's the same
condition as the if guard that's 3 lines up, making it pretty useless.
Just drop it.

mds: handle this log replay error better:
Log it to the central log so it gets noticed, and
delete the "wrong inode" instead of just unlinking it, to prevent later crashiness.

Should at least band-aid over #312.

rgw: set default log level to 20

librados: quiet down some log messages

rgw: Support loglevel settings

The gateway now supports changing the verbosity of the logging, this can be achieved by changing the
RGW_LOG_LEVEL envirioment parameter.

For Apache running systems, this can be done with mod_env: SetEnv RGW_LOG_LEVEL 20

This will change the loglevel to the highest level and produce a lot of usefull output for debugging purposes.

For now, all the messages will go to webservers logfile (For Apache: error_log)

qa: consistent snaptest-%d.sh naming

mds: fix uninitialized LeaseStat for null lease

./include/encoding.h: In member function void
Locker::issue_client_lease(CDentry*, client_t, ceph::bufferlist&, utime_t,
Session*):
 ./include/encoding.h:80: warning: e.LeaseStat::duration_ms may be used
uninitialized in this function

osd: log when we get marked down but aren't

debug: no name symlink when explicit --log-file

client: some whitespace cleanup

qa: add localized version of Thomas Mueller's snaptest-2.sh

http://github.com/vinzent/ceph-testsuite/blob/master/tests/snaptest-2

rgw: exit after 5 seconds from SIGUSR1 anyway

rgw: fix that we return data when partial content is requested

rgw: handle sigusr1, get notified for shutdown requests

rgw: fix returned error code in If-None-Match

rgw: Make sure all times are converted to GMT, so we can compare them correctly

rgw: make sure error structure is initialized

rgw: fix date/time format string

rgw: fix return code for prepare_get_obj() on the fs storage

rgw: fix error status code

We should sent back the Last-Modified header in GMT as specified by RFC2616

We shoud always return the Accept-Ranges header, with a GET or HEAD request, even when the client is not requesting for partial content.

This is to let the client know we accept requests for partial content.

On HEAD requests we should also return the Content-Length header.

And we should also return the Last-Modified header with GET and HEAD requests, this way browsers and proxy's can cache content.

rgw: support partial content (206) response

Couldn't get this one to work yet, as apache (or probably one of
the apache filters) rewrites the content-length value and sets
it to zero.

mds: Use get_oldest_snap() (not first) in handle_client_lssnap.

rgw: remove unused label 'done' (compiler warning)

msgr: fix direct send to loopback connection

If we send directly to the local/loopback connection, we need to
queue it for local delivery, not go through the usual send paths.

This fixes lost replies to messages sent to self (e.g., reply to
local anchortable).

Signed-off-by: Sage Weil <sage@newdream.net>

mon: revamp subscribe protocol [backward compatible protocol change]

Before, we would provide "have" and a bool "onetime" flag.  The struct was
also screwed up with an extra __le64.  Then have=0 was a special case
that meant "give me the latest".

The problem is this is ambiguous between the usual "give me everything
since X" and "give me your latest", because you might actually have 0 and
want 1..current.

Changes protocol and cleans up the struct:

 - now "start" and "flags", where only 1 flag (ONETIME) is defined
 - clean up sub_want_* methods throughout
 - fix all sub_want callers to ask for _start_ (not have) epoch, or 0 for
   any/latest
 - add a feature bit; talks old clients w/o that bit

Signed-off-by: Sage Weil <sage@newdream.net>

mds: restore CInode::get_oldest_snap()

It's either 'first', for the first for the oldest old_inode.

mds: defer anchortable updates before CLIENTREPLAY, not ACTIVE

Otherwise we hang trying to replay an op that interacts with the
anchortable.

Merge remote branch 'origin/large_objects' into unstable

mds: get rid of old lease mask cruft

Signed-off-by: Sage Weil <sage@newdream.net>

mds: fix lease revocation mask vs type

osd: on dups, reply if committed, or wait until ondisk

osd: helper should reply with ACK on error, op flags on success

osd: map indexed caller_ops back to relevant entry

This let's us look up a version from the osd_reqid_t.

osd: maintain pg last_update_ondisk

Only defined when is_active().  Only printed when it lags (i.e. we are
in the process of replicating and/or writing an update.

initscripts: fix type.id check in ceph.conf

Merge branch 'unstable' into large_objects

osd: make assemble_backlog more tolerant of races

The assemble_backlog is merging data generated while racing with online
updates.  It needs to tolerate races with things like delete.  For example,
- generate_backlog identifies object A
- client deletes+logs A
- assemble_backlog sees A deletion entry.
We may want to merge the backlog entry in this case.

osd: skip degraded objects we're already recoverying in recover_replicas

Otherwise we'll start_recovery_op, dup the push, etc.

Signed-off-by: Sage Weil <sage@newdream.net>

osd: create missing temp collection/dir

osd: populate in-memory snapset context with just-pulled SnapSet

This can come from the SNAPDIR or NOSNAP (head) object.

Signed-off-by: Sage Weil <sage@newdream.net>

osd: clean up size learning during pull

Signed-off-by: Sage Weil <sage@newdream.net>

mds: drop remove_client_lease return value

Unused

mds: fix dentry lease mask/lockid disconnect

There is only one lock here, no need to be tricky with the mask.

mds: no return value for issue_client_lease()

Return value is unused.  Also drop obsolete inode lease method declaration.

Signed-off-by: Sage Weil <sage@newdream.net>

mds: fix lease issue mask

We define 1 to be the only lease "mask" we currently support (for dentry)
and divorce ourselves from the CEPH_LOCK namespace for this purpose.  We
did this in c8d7c970e864e9f130b7c44b29c322771067026e, but screwed up the
issue function.  Fix the caller, and pay attention to @mask here.

Signed-off-by: Sage Weil <sage@newdream.net>

mds: create leases with non-zero seq

We want to avoid the situation:

- mds issues lease, seq 0
- mds times out lease, seq 0
- client sends seq 0 release
- mds issues new lease, seq 0 (again.. poor choice of seq#)
- mds processes client lease seq 0 release (bad)

osd: log/debug hb set changes

osdmap: recalc num_osds after applying incremental

osd: clean_up_local should ignore snapped, snapdir objects

The snap_trimmer is responsible for removing any/all snap objects.

snapdir only exists if snapped objects exist and head doesn't, so it will
get cleaned up when the snapped object(s) do.

filestore: make stat print correct errno

osd: simplify heartbeat checks

- Only check heartbeats when we have heartbeat_lock and osdmap rdlocked,
and thus _know_ heartbeat info and map are in sync.  Drop unnecessary
consistency checks.
- Check heartbeats in tick(), since the heartbeat thread may miss it if
it's unlucky.

osd: red is good enough; don't blink

mds: only try and lssnaps on a dir for as long as it's been around