cobserver: retry if when no response on startup

vstart.sh: can specify mon address

osd: add missing declaration

vstart: debug pg reporting

osd: generate_backlog asynchronously in a work queue; simplify peering a bit

We do all backlog creation in a thread pool.  Break it down into the
disk scan and log integration steps, and drop PG lock as much as possible.
We only worry about pg acting changes; backlogs are only generated when the
pg is inactive.

We also simplify the activation code a bit by observing that replicas only
generate backlogs when their logs are discontiguous with the primary; in
such cases, we pull the backlog during peering and no generate_backlog
(equivalent) is needed for activation.

osd: half-finished backlog_wq

crush: don't recurse to leaf unless item is a bucket

This avoids choking on 'chooseleaf indep 0 item device' (it's
equivalent to 'choose indep 0 item device').

osd: shift generate_backlog out of merge_log

...in preparation for shifting it off to a worker thread.

osd: for remaining peers, pull either log or backlog, but not both.

Pull as far back as peer's last_epoch_started (if they have that much).
This ensures we will pull any divergent entries, if there are any, so
that we can update our peer_missing map accordingly.

osd: comment clean up

dstart: 3x replication

osd: simplify peer code a bit

Combine the two loops.

osd: simplify master log recreation; fix up Log::copy_after

Pull log from a given point from peer with the largest last_update.  Do
not worry about divergence on the peer; that is handled by the new
primary.  Simplifies PG::Query struct.

Fix copy_after to set an accurate .bottom, and to behave if the split
point given is divergent (i.e. doesn't actually appear in the log).

vstart.sh/stop.sh can start and stop specific modules

dstop: kill crun too

osd: move max_rep back to 3x

osd: rewrite proc_replica_log

After we have the master log, our only real purpose with other peer/stray
logs is to update replica missing maps and to find any missing objects.
Rewrite the log handling to clearly do that, with some comments.

osd: fix merge_old_entry bug

We want to revise_need to the _new_ entry's version, not the old one
(which is what missing already refers to).

osd: small peer cleanup

Make sure we check peer_log_requested and peer_summary_requested
independently, depending on which we want.  Move 'since'
calculation to where it is needed.

todos

cobserver: print all log entries in each state

osd: initialize all MOSDSubOp fields

mon: fix up MLog constructor

Initialize 'last'.  More idiot proof.

filestore: fix buffer overruns, mismatched delete[], small buffer

osd: pad eversion_t and zero remainder

mon: mkfs log msg as error

Just because it'll then create log.error, log.warn, etc.

osd: clear out pg_stat_queue on shutdown

filestore: sort objects by ino

This will greatly increase the speed that we can stat() them, since
btrfs sorts them by ino in the btree.

workqueue: include types.h

dstart.sh fix broken commit

dstart.sh uses crun instead of -d (for gprof)

osd: don't clear pg_stats_valid on send

todo

osd: small cleanup

osd: call peer() if we need up_thru to activate

osd: remove/fix waiting_for_head primary recovery logic

Pulling map has the info we need.  Simplify.

mon: observer cleanup

Simplify observer struct, some other stuff.

update_observers() when cmon is a single monitor (no cluster).  Also
immediately after registering a new observer.

Make message in terms of latest summary vs state (Paxos class has no real
notion of 'incremental', just states and 'latest').

cmonctl: fix compile error

workqueue: drain

workqueue: virtual destructor

makefile: missing headers

osd: cleanup

workqueue: non-inline worker, control methods; debugging

mon: fix use after free

osd: use new workqueue in osd for ops

osd: shared threadpool for multiple work queues

osd: fix uninit value in scrub message

todos

mon: mark unresponsive mds laggy instead of failed until we can replace it

This way we flag laggy mds's, but hold out until they come back
online or we have a standby cmds to replace them.  Should make
things much more tolerable.

cobserver: simplify headers

osd: make sure hb peers get marked down

We mark_down on osdmap update when we see an osd has gone down, but the
heartbeats are sent in a different thread without map_lock using
heartbeat_inst.  So, make sure heartbeat_inst entries are removed.

Also, we add hb peers at peers' request.  When removing such entries in
update_heartbeat_peers, mark_down then, too.  (We may mark_down a failed
peer, and then receive the hb request late.  So we mark that down next
time we update the heartbeat maps.)

osd: update_stat during recover_replicas()

dstart: --nostop option

to avoid ./dstop.sh

osd: drive primary recovery via missing map, not log

mon: osdmon cleanup

dstart: keep old cosd binaries around for a bit

osd: 'pg repair <pgid>' to repair an inconsistent pg using replicas

osd: don't read file content during _scrub

msgr: be noisier about mark_down calls

osd: avoid needless calls to peer(), build_prior()

Introduces PEERING pg state.  Also is smarter about when build_prior and
peer are actually called.

osd: make prior_set_affected() slightly smarter

Only return true if an osd goes down that we didn't already know was
down (prior_set may contain down osds if the PG is marked DOWN).

cobserver: cleanups

mon: use 'latest' for latest osd, mds maps

Mainly for benefit of PaxosObserver, but it also cleans things up
a bit.

cobserver: cleanup; print map summaries w/ each new state

mon: refactor map print_summary/operator<< methods

cobserver: accidentaly removed a line

kclient: missing files

whitespaces

mon: factor ClientMap class out

cobserver: utility, observe changes in different maps

osd: use push() to push clone op

Also fixes missing updates to peer_missing[peer] and pushing
map.

mon: factor our osdmap print, print_summary

mon: factor out mds print, print_summary

mds: stay loner if client has B and no other reason to switch state

If the client has dirty data, and there is no other reason to
toggle the lock state, leave it as LONER.  The client will write
out at its leisure, and we'll avoid an unstable lock state that
is waiting on a potentially slow writeout.

osd: missing last_mon_heartbeat declaration

msgr: make sure nonce matches too when connecting to peer

Otherwise the predictable port numbers cause problems.

msgr: print error when message type is unrecognized

osd: ping mon less frequently when peerless

Every second is too much.  Make it tunable.

mon: typo in pg dump output

ceph: new default mon port; try to bind to port in known range

New monitor port in unused region (according to nmap-services).

Try to bind to a port in a known range, so that tools can easily
identify the protocol in use.

Remove some old .sh cruft.

mon: 'pg map <pgid>' command

To see current pg -> osd mapping

mon: 'osd dump' command; refactor sstream->bufferlist code a bit

osdmap: use print method from osdmaptool

osd: pause scrub wq async

The scrub _process() worker may be waiting on a message from a replica, so
we can't pause it synchronously.  Instead, pause_new() to just prevent
new workers from starting.

osd: lock pg before calling on_shutdown

osd: fix degraded figure calculation typo

cmonctl: resend command if monitor is not responsive

cmonctl: interactive mode using libedit

osd: log scrub ok

mon: rename out to log, log.type files

mon: notify PaxosService of any paxos state changes

mon: dump full pgmap on each state change (for debugging)

osd: don't die on stray sub op acks

If a replica drops out of the pg, we force and ack in on_change(), but
may still get it later.  Don't freak out.

osd: generate_backlog sanity check

If item is on disk and log, then log entry shouldn't be a delete.

osd: fix merge_log divergent item detection

An item in our log isn't divergent if it is below the bottom of
olog.  Using the last_kept item isn't helpful here because
last_kept is in olog, and may be below that log's bottom.

osd: clean on ondisklog a bit

Express as extent, not interval.

osd: make read_log output a bit more informative

vstart: only sudo if -e dev/sudo

osd: revise missing map adjustment

Rewrite helpers in terms of how they are actually used.

osd: mark backlog events as BACKLOG

This is purely to make the logs easier to read.