v0.39

OSDMap: build_simple_from_conf pg_num should not be 0 with one osd

Previously, pg_num would end up set to 0 if osd.0 is the only osd.

Signed-off-by: Samuel Just <samuel.just@dreamhost.com>

librbd: report an error if rbd header does not match

This will fail on future incompatible versions of the header format.

Signed-off-by: Josh Durgin <josh.durgin@dreamhost.com>

mds: adjust flock lock state on export

Looks like this was missed when flocklock was added.  Did a quick grep and
it doesn't look like it is missing anywhere else.

Signed-off-by: Sage Weil <sage@newdream.net>

doc: Add peering state diagram

Signed-off-by: Samuel Just <samuel.just@dreamhost.com>

Makefile: ipaddr.h, pick_address.h

Signed-off-by: Sage Weil <sage@newdream.net>

Makefile: add missing uuid.h to tarball

Signed-off-by: Sage Weil <sage@newdream.net>

osd: subscribe to next map if flagged FULL

This ensures the osd finds out when we become un-full in a timely manner.

Fixes: #1755
Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

mds: encode truncate_pending in inode

Otherwise we don't actually journal this value, and we get confused when
we replay a start_truncate and try to restart it.

Fixes: #1756
Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

debian init: Do not stop or start daemons when installing or upgrading

Signed-off-by: Wido den Hollander <wido@widodh.nl>

mon: search for local ip during mkfs

If an address isn't explicitly specified during mkfs, look for an unnamed
monitor in the (generated) monmap and see if any of those addresses is
configured on the local machine.  If so, assume it's us, and name ourselves
in the seed monmap.

Signed-off-by: Sage Weil <sage@newdream.net>

pick_address: implement have_local_addr()

Check for a local ip from within a list of addresses.

Signed-off-by: Sage Weil <sage@newdream.net>

monclient: name nameless monitors noname-<foo>

This makes them easy to pick out as unnamed.

Signed-off-by: Sage Weil <sage@newdream.net>

pick_address: whitespace

Signed-off-by: Sage Weil <sage@newdream.net>

corrected variable (con) to be consistent with prior examples (cluster)

Signed-off-by: Mark Kampe <mark.kampe@dreamhost.com>

ReplicatedPG: Also count overlaps for snapsets on snapdirs

Previously, the overlaps for snapdirs would not be included in
cstat causing the computed total to be incorrect.

Signed-off-by: Samuel Just <samuel.just@dreamhost.com>

ReplicatedPG: Account for clone space usage in make_writeable

Previously, we accounted for clone space usage inconsistently in
write_update_size_and_usage etc when walking through the operations.
make_writeable may change the most recent clone overlap, however, so we
can't handle it until then.

Signed-off-by: Samuel Just <samuel.just@dreamhost.com>

Merge branch 'wip-mon'

ceph: fix shutdown race

Shut down MonClient before messenger, to avoid race with MonClient::tick()
and MonClient::shutdown().

Fixes

#0  __lll_lock_wait () at ../nptl/sysdeps/unix/sysv/linux/x86_64/lowlevellock.S:136
#1  0x00007f44475e2849 in _L_lock_953 () from /lib/libpthread.so.0
#2  0x00007f44475e266b in __pthread_mutex_lock (mutex=0x14d8dc8) at pthread_mutex_lock.c:61
#3  0x00000000005ae090 in Mutex::Lock (this=0x14d8db8, no_lockdep=false) at ./common/Mutex.h:108
#4  0x000000000068440e in MonClient::shutdown (this=0x14d8c30) at mon/MonClient.cc:386
#5  0x00000000005b2653 in ceph_tool_common_shutdown (ctx=0x14d84c0) at tools/common.cc:661
#6  0x00000000005ada29 in main (argc=7, argv=0x7fff8a2394c8) at tools/ceph.cc:304

vs

#0  0x00007f44475e8a0b in raise (sig=<value optimized out>) at ../nptl/sysdeps/unix/sysv/linux/pt-raise.c:42
#1  0x00000000005eff6b in reraise_fatal (signum=11) at global/signal_handler.cc:59
#2  0x00000000005f0165 in handle_fatal_signal (signum=11) at global/signal_handler.cc:106
#3  <signal handler called>
#4  0x0000000000000000 in ?? ()
#5  0x000000000068661a in MonClient::tick (this=0x14d8c30) at mon/MonClient.cc:621
#6  0x0000000000689e3b in MonClient::C_Tick::finish(int) ()
#7  0x000000000061b3c5 in SafeTimer::timer_thread (this=0x14d8df8) at common/Timer.cc:102
#8  0x000000000061c6f0 in SafeTimerThread::entry() ()
#9  0x00000000005f1219 in Thread::_entry_func (arg=0x14e1a00) at common/Thread.cc:41
#10 0x00007f44475e0971 in start_thread (arg=<value optimized out>) at pthread_create.c:304
#11 0x00007f4445ead92d in clone () at ../sysdeps/unix/sysv/linux/x86_64/clone.S:112
#12 0x0000000000000000 in ?? ()

Signed-off-by: Sage Weil <sage@newdream.net>

common/pick_address: Fix IP address stringification.

Different sockaddr_* have the actual address (sin_addr, sin6_addr)
at different offsets, and sockaddr->sa_data just isn't enough.
inet_ntop conspires by taking a void*. I could figure out the right
offset with a switch (found->sa_family), but let's go for the
supposedly write-once-run-with-any-AF solution, getnameinfo.

Which, naturally, takes an extra length argument that is AF-specific,
and not provided anywhere nicely by getifaddrs. Huzzah!

Signed-off-by: Tommi Virtanen <tommi.virtanen@dreamhost.com>

mon: pick_addresses before common_init_finish

We can't modify g_conf->public_addr after that.

Signed-off-by: Sage Weil <sage@newdream.net>

mon: set default port if not specified...

...when looking for self in monmap during mkfs.

Signed-off-by: Sage Weil <sage@newdream.net>

mon: calculate rank by addr, not name

Signed-off-by: Sage Weil <sage@newdream.net>

monmap: assign rank by sorting addr, not name

This allows monitors to bootstrap knowing peer addrs but not their names,
as when we specify mon_host.

Signed-off-by: Sage Weil <sage@newdream.net>

obsync: tear out rgw

mon: name self in monmap if --public-addr specified during mkfs

Signed-off-by: Sage Weil <sage@newdream.net>

rgw: don't remove tail of lru if that's what we touch

mon: mark down all connections when rank changes

The election and some other stuff depend on msg->get_source().num() to get
the peer rank, and that is part of the connection state.  If it changes,
we need to close old connections and open new ones so that we aren't
taken for someone else (like mon.-1).

Signed-off-by: Sage Weil <sage@newdream.net>

mon: handle rank change in bootstrap

The rank can change either because we probe and get a new monmap, or
because we get one via paxos.  Move the checks to bootstrap() to catch
both cases.

Signed-off-by: Sage Weil <sage@newdream.net>

mon: pick an address when joining and existing cluster

If we are joining an existing cluster, we can pick whatever address we
want (e.g., one specified by public_addr or public_network).

Signed-off-by: Sage Weil <sage@newdream.net>

mon: remove unused myaddr

Signed-off-by: Sage Weil <sage@newdream.net>

mon: simplify suicide when removed from map

Signed-off-by: Sage Weil <sage@newdream.net>

PG: it's not necessary to call build_inc_scrub_map in build_scrub_map

Because we have called osr.flush(), it's safe to tag map.valid_through
as last_update.   We will still have to catch up once we have stopped
writes and allowed the filestore to catch up anyway.

Signed-off-by: Samuel Just <samuel.just@dreamhost.com>

Merge remote branch 'gh/subnet'

Merge remote branch 'gh/wip-mon'

mds, osd, synclient: Pick cluster_addr/public_addr based on *_network.

Instead of specifying an IP address in ceph.conf like

[global]
cluster_addr = 10.1.2.3

you can now avoid the node-specific configuration and just say

[global]
cluster_network = 10.1.2.0/24

The *_network variables can also take a whitespace-separated list of
networks, to be checked in that order:

[global]
cluster_network = 10.1.2.0/24 192.168.42.192/26

common/pickaddr: Pick cluster_addr/public_addr based on *_network.

common/ipaddr: Add utility function to parse ip/cidr style networks.

Signed-off-by: Tommi Virtanen <tommi.virtanen@dreamhost.com>

common/ipaddr: Find a configured IP address in given subnet.

Signed-off-by: Tommi Virtanen <tommi.virtanen@dreamhost.com>

msg: Move public_addr use outside ->bind()

common/str_list: Make unused return value void.

Signed-off-by: Tommi Virtanen <tommi.virtanen@dreamhost.com>

osd: Remove unused variable.

osd: fix 'stop' command

Special case.  We can't join the command_tp thread from itself.

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

osd: protect handle_osd_map requeueing with queue lock

pending_ops was protected by osd_lock, but it tracks something in the
queue, which has it's own lock.  Messy.  Also, useless, since
wait_for_no_ops had a single caller in shutdown() that op_wq.drain() can
do for us.

Rip it out, and track queue size under the queue lock.

Fixes: #1727
Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

osd: lock pg when requeuing requests

The op queue is shut down, so this is mostly safe, unless someone comes
through and does requeue_ops() from a callback or something.

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

paxosservice: tolerate _active() call when not active

This can happen when multiple C_Active events are queued, and the first
does a propose_pending() (moving us into updating state).

Signed-off-by: Sage Weil <sage@newdream.net>

objecter: simplify map request check

We should request a missing/intervening map if it appears to exist.
Otherwise, skip it.

Signed-off-by: Sage Weil <sage@newdream.net>

objecter: cancel tick event on shutdown

Hopefully this is the root cause for

2011-11-20 23:57:41.555292 7f75dd743780 ceph version 0.38-205-g3b53b72
(commit:3b53b722b34b5284e6b8a5571a08d4b7ec276241), process ceph-fuse, pid
21223
 *  Caught signal (Segmentation fault) *
    in thread 7f75d9c6e700
    ceph version 0.38-205-g3b53b72
    (commit:3b53b722b34b5284e6b8a5571a08d4b7ec276241)
    1: /tmp/cephtest/binary/usr/local/bin/ceph-fuse() [0x6993a4]
    2: (()+0xfb40) [0x7f75dd0eeb40]
    3: (PerfCounters::set(int, unsigned long)+0x2a) [0x511bca]
    4: (Objecter::tick()+0x1f3) [0x653f43]
    5: (Objecter::C_Tick::finish(int)+0x15) [0x66aef5]
    6: (SafeTimer::timer_thread()+0x4b0) [0x5825c0]
    7: (SafeTimerThread::entry()+0x15) [0x586865]
    8: (Thread::_entry_func(void)+0x12) [0x52a832]
    9: (()+0x7971) [0x7f75dd0e6971]
    10: (clone()+0x6d) [0x7f75db97592d]

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

paxos: fix sharing of learned commits during collect/last

We can learn either an uncommitted or committed value during the
collect/last recovery phase.  For the committed values, we need to remember
each peer's first/last_committed and share only at the end to avoid a
situation like:

 - mon.1 has same last_committed as us
 - mon.2 has newer last_commited, we save it
 - mon.3 has same last_commited as mon.1, we share new value
 - done... but mon.1 never got mon.2's newer commit.

Instead, save the commit sharing until the collect process completes, so
we know that any committed value learned from anyone is shared with
everyone who needs it.

This fixes a crash like

mon/Paxos.cc: In function 'void Paxos::handle_begin(MMonPaxos*)', in thread '7fd91192c700'
mon/Paxos.cc: 400: FAILED assert(begin->last_committed == last_committed)
 ceph version 0.38-208-g9aabd39 (commit:9aabd3982cceb7e8489412b4bfbb4c2387880de2)
 1: (ceph::__ceph_assert_fail(char const*, char const*, int, char const*)+0x76) [0x72454e]
 2: (Paxos::handle_begin(MMonPaxos*)+0x363) [0x6499ef]
 3: (Paxos::dispatch(PaxosServiceMessage*)+0x2b4) [0x64db2c]
 4: (Monitor::_ms_dispatch(Message*)+0xdc6) [0x6205c2]
 5: (Monitor::ms_dispatch(Message*)+0x3a) [0x62831a]
 6: (Messenger::ms_deliver_dispatch(Message*)+0x63) [0x7d1f31]
 7: (SimpleMessenger::dispatch_entry()+0x7c2) [0x7bb786]
 8: (SimpleMessenger::DispatchThread::entry()+0x2c) [0x6070fa]
 9: (Thread::_entry_func(void*)+0x23) [0x6f3f69]
 10: (()+0x7971) [0x7fd9153a1971]
 11: (clone()+0x6d) [0x7fd913c3092d]

Signed-off-by: Sage Weil <sage@newdream.net>

rgw: support alternative date formatting

being used by s3cmd

paxosservice: consolidate _active and _commit

Use the same callback for when paxos goes active and for when it commits
something.  The response in both cases is the same.

Signed-off-by: Sage Weil <sage@newdream.net>

paxosservice: remove unused committed() callback

Signed-off-by: Sage Weil <sage@newdream.net>

mon: mdsmon: tick() from on_active() instead of committed()

Same effect, and avoids useless committed().

Signed-off-by: Sage Weil <sage@newdream.net>

mon: share random osd map from update_from_paxos, not committed()

This will let us remove committed() entirely.

Signed-off-by: Sage Weil <sage@newdream.net>

config: support --no-<foo> for bool options

Signed-off-by: Sage Weil <sage@newdream.net>

config: whitespace

Signed-off-by: Sage Weil <sage@newdream.net>

osdmon: set the maps-to-keep floor to be at least epoch 0

Looks like this conditional was just set backwards by mistake. There
have been a number of issues with OSDMap versions that are probably
related to this...
(Thanks to some smarts in trim_to, we at least did not trim ALL of
our maps. But on every tick prior to epoch 500 [that's the default]
the leader was trimming all old maps off the system.)

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

Revert "osd: simplify finalizing scrub on replica"

This reverts commit dd5087fabb2a743741a96ee4610379afa8431f68.

Calling osr.flush() is not quite enough since the onreadable callbacks
may not have been called (thus, last_update_applied may still lag behind
the tail of the log).

Signed-off-by: Samuel Just <samuel.just@dreamhost.com>

FileStore.cc: onreadable callbacks in OpSequencer order is enough

Signed-off-by: Samuel Just <samuel.just@dreamhost.com>

osd: error responses should trigger all requested notifications.

There's no good reason I can find to limit error code responses to
the ACK.

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

objecter: trigger oncommit acks if the request returns an error code.

Many users only set oncommit acks, so if they get an error code
(which comes only as a CEPH_OSD_OP_ACK right now) the request
disappears into the ether.
(And remove stupid debug statements while we're at it.)

Signed-off-by: Greg Farnum <gregory.farnum@dreamhost.com>

paxos: do not create_pending if !active

This avoids a scenario like:

- _active()
  - proposes value
- _commit()
  - creates new pending, even though in updating state

Signed-off-by: Sage Weil <sage@newdream.net>

Revert "mon: don't propose new state from update_from_paxos"

This reverts commit 66c628acc8be71a92e801179431e4b938b857b3d.

mon: don't propose new state from update_from_paxos

Proposing a new state from within update_from_paxos() confuses some callers,
like PaxosService::_active().  Instead, do it in the on_active() callback.
This also let's us collapse the check_osd_map() caller into on_active(),
and makes it happen on leaders and peons alike, which ought to avoid some
of the pg creation lag we see sometimes (presumably when the osds have
sessions with peons instead of the leader).

Fixes: #1708
Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

rgw: if swift url is not set up, just use whatever client used

fuse: fix readdir return code

Ignore ENOSPC generated by our own callback, as it is only used to
terminate the loop.

Broken by commit cd90061239a598f6fca94326b6d2c32f325c96eb.

Fixes: #1728
Signed-off-by: Sage Weil <sage@newdream.net>

paxos: fix trimming when we skip over incrementals

Remove open-coded trimming of old states and use our method (that also
removes additional per-state files).  Fixes old stray state files.

Signed-off-by: Sage Weil <sage@newdream.net>

paxos: store stashed state _and_ incrementals

Paxos::share_state() may share a stashed state and incrementals that
follow; we need to store the same.

Signed-off-by: Sage Weil <sage@newdream.net>

mon: elector: always start election via monitor

Don't go from active -> electing without passing (monitor) go.

Signed-off-by: Sage Weil <sage@newdream.net>

common: libraries should not log to stdout/stderr

Certainly not by default.

Signed-off-by: Sage Weil <sage@newdream.net>

objecter: set skipped_map if we skip a map

This ensures that we resend _all_ requests, since we aren't sure which
may have mapped to a different primary and then back.  This was missed in
the original implementation in 4fe9cca5dd63a1924be2b5cb18f542fb4b97a768.

Signed-off-by: Sage Weil <sage@newdream.net>

objecter: add is_locked() asserts

Sanity check.

Signed-off-by: Sage Weil <sage@newdream.net>

objecter: send slow osd MPing via Connection*

This may address #1732 indirectly because we have a Connection* reference
here.  However, it's still not clear how we ended up with an OSDSession*
for an osd that doesn't exist.  :/

Signed-off-by: Sage Weil <sage@newdream.net>

osd: add pending_ops assert

Just a sanity check, hopefully helping us track down #1727.

Signed-off-by: Sage Weil <sage@newdream.net>

mon: renamed get_latest* -> get_stashed*

This makes e.g. get_latest_version() vs get_last_committed() less
confusing.

Signed-off-by: Sage Weil <sage@newdream.net>

mon: fix ver tracking for auth database

Local variable keys_ver needs to be updated when we slurp up latest stashed
version.

Signed-off-by: Sage Weil <sage@newdream.net>

mon: always load stashed version when version doesn't match

The slurp process can happen after the monitor has started and has some
in-memory version of the state, and that process may wipe out old
incrementals and change the stashed version.  That means that in
update_from_paxos, we need to pull the stashed version if it doesn't
match what we currently have or else we may not have the incrementals we
need to get up to date.

This simplifies and cleans up that code a bit so it is not specific to
monitor startup.

Signed-off-by: Sage Weil <sage@newdream.net>

rgw: don't log entries with bad utf8

rgw: adjust error code in swift copy failures

rgw: fix swift responses encoding

rgw: Fix some merge problems uncovered by gcc warnings:

 * a refactor in e2100bce left the mod_ptr and unmod_ptr members set
   incorrectly in RGWCopyObj::init_common
 * a fix in 6752babd aggregated error returns, but then failed to do
   anything with them

Signed-off-by: Josh Pieper <jjp@pobox.com>
Signed-off-by: Sage Weil <sage@newdream.net>

Resolve gcc warnings.

These should have no functional changes:
 * Check errors from functions that currently cannot return any
 * Initialize variables that gcc can't determine will be initialized
   in a following function call
 * Remove unused variables

Signed-off-by: Josh Pieper <jjp@pobox.com>
Signed-off-by: Sage Weil <sage@newdream.net>

osd: remove dead osd_max_opq code

This is no longer used as of a while ago!

Signed-off-by: Sage Weil <sage@newdream.net>

workunits: rados python workunit should be executable

Signed-off-by: Josh Durgin <josh.durgin@dreamhost.com>

crush: send debug output to dout, not stdout/err

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

test/run_cmd: use mkstemp instead of mkstemps

my box didn't have mkstemps

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

ceph-authtool: fix clitests

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

test_str_list: make sure ' ' and ', ' separaters work for str lists

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

ceph-authtool: make error msg more helpful

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

keyring: don't print auid if it is the default

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

mon: implement 'fsid' command

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

Merge branch 'stable'

mon: fix 'osd crush add ..' weight

This was changed to floating point in commit 3f67893.

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

osdmap: build_simple with normal osd/host/rack/pool hierarchy

This will be useful in the general case where the cluster is created with
an empty map and useful crush hierarchy.

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

mon: fix 'osd crush add ..' weight

This was changed to floating point in commit 3f67893.

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

vstart.sh: don't generate initial osdmap explicitly

This is simpler and exercises the monitors ability to start with a generic
osdmap and build it out as new osds are added to the cluster.

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

mon: make initial osdmap optional

If an initial osdmap is not provided, we generate an empty one.  The user
add osds on their own after that.

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

osdmap: build_simple: create reasonable pools when numosd==0

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

mon: add '--fsid foo' arg for setting generated monmap fsid

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>

mon: take '--fsid foo' arg with --mkfs

This will set the seed monmap's fsid.  This is useful if the monmap is
dynamically generated (e.g., based on ceph.conf or --mon-host list).

Signed-off-by: Sage Weil <sage.weil@dreamhost.com>