mkcephfs: push conf to remote machines

Signed-off-by: Fred Ar <ar.fred@yahoo.com>
Signed-off-by: Sage Weil <sage@newdream.net>

mon: allow 10ms clock drift before complaining

debian: include cclass

initscript: fix for dash

Signed-off-by: Fred Ar <ar.fred@yahoo.com>

cclass: fix for dash

Signed-off-by: Fred Ar <ar.fred@yahoo.com>

initscript: remove class loading for now

- only need to do it once, by connecting to a random monitor, not for
  each monitor
- not sure we should try it every time we start the monitor for all time,
  as opposed to once after mkfs, or whenever the admin chooses to load
  new classes

vstart: only need to load classes once, not for each monitor

Merge branch 'rbd-class' into unstable

Revert "class: able to add classes when doing mkfs"

This reverts commit 65371482dd661c6dc3d251fb9fd4e01812bdaa0e.

filestore: op_start when op is _queued_, so that q is drained on commit

We need the store in a consistent state on commit, which means flushing
transactions such that we have all ops <= a given seq applied.  That is
handled by the commit_start()/commit_started() pair, but will only include
ops in the FileStore queue if we op_start when it is initially queued.
Which is exactly what we want, because the queue can reorder things, so
stopping just currently-being-applied updates will only keep transactions
atomic but not ordered.

Yup!

journal: maintain applied_seq, use that value during the commit.

Track which seq's have successfully applied.

This fixes writeahead mode.  Parallel mode is still broken...

buffer: fix includes for writev/iovec stuff in write_fd()

filestore: make sync() and friends actually sync!

initscripts: fix verbose output for root commands

filejournal: only pad to align for data segments above 64 KB

filejournal: make alignment optional (<0 == no preferred alignment)

Merge branch 'unstable' of ceph.newdream.net:git/ceph into unstable

buffer: remove debug cruft

filejournal: pad entries on disk based on preferred alignment

Adjust pre/post padding to align entry payload with it's preferred
alignment.

objectstore: track offset, alignment of largest data segment [encoding change]

buffer: list::rebuild_page_aligned()

Rebuild bufferlist such that all segments/ptrs are page sized/aligned.
(Avoids copying/reallocating segments that are already aligned.)

client: if checking caps on a snap, return, don't assert

filejournal: use buffer::write_fd() instead of open coding

Avoid dup code, and also handle short writes.

osd: implement bench command

'bench [bsize] [total bytes]'

Result is reported via logclient.

msgr: avoid calculating data crc is peer didn't either

Otherwise we're just wasting CPU cycles!

msgr: Fix crash in policy.throttler->get(message_size) when message_size == 0

Signed-off-by: Simone Gotti <simone.gotti@gmail.com>
Signed-off-by: Sage Weil <sage@newdream.net>

qa: another mds test fix... wait long enough for the previous death to trigger

msgr: ref count Pipe to avoid use after free

The Connection has a Pipe pointer to facilitate
 send_message(Message, Connection)
but the reaper() clears that pointer when tearing down old pipes.  This
leads to a race in which submit_message dereferences the old Pipe pointer.

Instead, make Pipe ref counted, and only submit_message() if we get a
valid Pipe reference.  This fixes races between send_message() and
reaper() (as well as any use of the Connection after the pipe is closed).

Signed-off-by: Sage Weil <sage@newdream.net>

qa: fix mdstable failure tests

ceph: fix straggler header ifdef guards

Bug #98: Unique names for include guards

A couple of preprocessor symbols for include guards tampered with the reserved namespace.

Signed-off-by: Markus Elfring <elfring@users.sourceforge.net>
Signed-off-by: Sage Weil <sage@newdream.net>

ceph: remove leading _ from macro

Reported-by: Markus Elfring <elfring@users.sourceforge.net>
Signed-off-by: Sage Weil <sage@newdream.net>

Bug #98: Movement of an underscore for a data structure identifier

A leading underscore was moved to the back of a data structure identifier.

Signed-off-by: Markus Elfring <elfring@users.sourceforge.net>
Signed-off-by: Sage Weil <sage@newdream.net>

Merge branch 'unstable' of ssh://ceph.newdream.net/home/sage/ceph.newdream.net/git/ceph into unstable

Revert "mkcephfs: cosd mkfs as root, then chown"

This reverts commit 0383878c4f5133f43ec16067a8917d3080adc690.

mds: fix cdir head/snap items/null accounting

We were mixing up primary vs remote, partly due to the weird placement of
the counter adjustments.  Make those sane and clean things up a bit.

osd: make clean_up_local remove hardlinks from collection dirs

osd: don't requeue null OSDOp on apply_and_flush_repops

(this triggers during snap trimming)

osd: fix snap_trimmer AccessMode interaction

Recheck access mode every time we retake the pg lock (each object). Sleep
if necessary.

filejournal: journal write cache is safe on >= 2.6.33

mkcephfs: error out of journal dev is included in btrfs devs

osd: optionally periodically check pglog for corruption

...at least until we find this bug, periodically check pglog for corruption
and log it to the monitor when it happens.

Off by default.

logclient: clean up interaction with monclient, monitor

Use monclient where available.  Otherwise, we are a monitor, so send to
ourselves.

Conflicts:

src/mon/MonmapMonitor.cc

filejournal: log if journal item is larger than journal

osd: warn when failing to mount journal on ENOTTY

suggest that the problem was due to journal size not configured

conf: can specify environment variables for substitution

conf: fix buffer initalization

This fixes a bug where we didn't initialize the variable
post processing buffer, which would sometimes lead to
garbage data.

osd: error out when failing to read journal header

This fixes bug #201.

osd: mkfs failures are colored red

mon: make send_reply always consume reply ref (even if not sent); fix caller hackery

mds: add force_wrlock to lock states; use for filemax changes

This lets us write out a max_size change when we revoke caps from a client
(thus excl->sync) and the client releases dirty caps.

rgw: put_obj uses write_full

cls_rbd: use write_full when writing image header

class: implement write_full interface

cls_rbd: fix snapshots seq number

osd: fix rollback when head points at the rolled back snapshot

cclass: add some options

class: modify startup scripts to add classes on mon startup

class: modify scripts, fix configuration

class: more flexible class loading, new cclass.sh script

class: able to add classes when doing mkfs

cclsinfo.sh: better architecture detection

cclsinfo.sh: shell script to dump class info

cls: export relevant functions

cclsinfo: replace error message

cclsinfo: some fixes

cclsinfo: utility to display class information

cls-rbd: some adjustments, debug info

rbd: snap revert header manipulation fixes

rbd: implement snap revert header manipulation via class

rbd: add snapshot creation via rbd class

class: add CLS_LOG macro

rbd: snapshots management via class mechanism

rados: update documentation to mention mkpool and rmpool

testradospp: add a test for librados trunc

librados: add trunc operation

testradospp: update test, use write_full

librados: implement write_full

osd: fix null dereference in dout

mds: be extra careful

Probably implied by the refs == 0, but be explicit anyway.

mds: fix another instance of bad stray trimming code to use proper helper

mds: remove erroneous return statement

mds: a checker function like _is_dir_nonempty should only report results.

Remove the call to reply_request and fix up the callers that need it.

mds: handle dup anchorclient ACKs gracefully

One recovery scenario sees crisscrossing 'agree' and 'commit':

 C->S --> commit1
 S->C --> agree

 C<-S <== agree
  C->S --> commit2   .. client resends commit!

 S<-C <== commit1
  S->C --> ack      .. server resends ack!
 S<-C <== commit2
  S->C --> ack      .. server resends ack!

 C<-S <== commit1
  client journals ack
 C<-S <== commit2
  client should ignore dup ack  ***

*** but doesn't, because the 'remove from committing list' bit above was
never in the code, even as far back as v0.4 (just the comment).  Instead,
the map was getting fixed up in the _logged_ack() completion.  Move it
up here instead, where it belongs!

Signed-off-by: Sage Weil <sage@newdream.net>

mds: fix export caps

Don't mangle sessionmap version by incrementing twice; pv is returned by
prepare_force_open_sessions().

mds: allow import caps pin from multiple replicas at once

e.g. on dentry unlink, replicas send their caps to the auth.  There may
be multiple replicas.

osd: return EINVAL when snapc is invalid and trying to write

osd: don't clobber racing pg_info on active pg

Wido saw a pg go active, but an activate log+info update crossed paths with
a pg_notify info, and the primary overwrote it's updated shiny new info
with the stale old info from the replica.  Don't do that.  It causes
problems down the line.  In this case, we got

osd/OSD.cc: In function 'void OSD::generate_backlog(PG*)':
osd/OSD.cc:3863: FAILED assert(!pg->is_active())
 1: (ThreadPool::worker()+0x28f) [0x5b08ff]
 2: (ThreadPool::WorkThread::entry()+0xd) [0x4edb8d]
 3: (Thread::_entry_func(void*)+0xa) [0x46892a]
 4: (()+0x69ca) [0x7f889ff249ca]
 5: (clone()+0x6d) [0x7f889f1446cd]

on the replica because it was active but the primary was restarting peering
due to the bad info.

osd: refine SnapContext::is_valid()

osd: implement SnapContext::is_valid()

init-ceph: don't fail if we fail to umount

It may not be mounted to begin with.

osd: add --dump-pg-log command

osd: clear newly_removed_snaps on osdmap update if unchanged

We only want to apply _newly_ removed snaps once, or else we try to trim
the same snaps multiple times, and crash like so

./include/interval_set.h: In function 'void interval_set<T>::insert(T, T) [with T = snapid_t]':
./include/interval_set.h:202: FAILED assert(0)
 1: (interval_set<snapid_t>::insert(snapid_t, snapid_t)+0x12c) [0x6b1728]
 2: (interval_set<snapid_t>::insert(snapid_t)+0x2f) [0x6b195d]
 3: (ReplicatedPG::snap_trimmer()+0x1c02) [0x66d5d6]
 4: (OSD::SnapTrimWQ::_process(PG*)+0x24) [0x6dc2ac]
 5: (ThreadPool::WorkQueue<PG>::_void_process(void*)+0x28) [0x6fa28a]
 6: (ThreadPool::worker()+0x23a) [0x7f57a4]
 7: (ThreadPool::WorkThread::entry()+0x19) [0x73e9b1]
 8: (Thread::_entry_func(void*)+0x20) [0x6508a4]
 9: /lib/libpthread.so.0 [0x7fa2707dc73a]
 10: (clone()+0x6d) [0x7fa26fa0669d]

Signed-off-by: Sage Weil <sage@newdream.net>

mds: use helper to send message to client; fix send to null connection

Sometimes session->connection is NULL; use session->inst in that case.

mds: remove erroneous bracket

add checks for being a snapshot root to dir_is_nonempty

throttle: allow take(0)

mds: fix stale lease trimming xlist iterator abuse

mon: fix memory-leaked messages

buffer: fix padding distances