cobserver: simplify headers

osd: make sure hb peers get marked down

We mark_down on osdmap update when we see an osd has gone down, but the
heartbeats are sent in a different thread without map_lock using
heartbeat_inst.  So, make sure heartbeat_inst entries are removed.

Also, we add hb peers at peers' request.  When removing such entries in
update_heartbeat_peers, mark_down then, too.  (We may mark_down a failed
peer, and then receive the hb request late.  So we mark that down next
time we update the heartbeat maps.)

osd: update_stat during recover_replicas()

dstart: --nostop option

to avoid ./dstop.sh

osd: drive primary recovery via missing map, not log

mon: osdmon cleanup

dstart: keep old cosd binaries around for a bit

osd: 'pg repair <pgid>' to repair an inconsistent pg using replicas

osd: don't read file content during _scrub

msgr: be noisier about mark_down calls

osd: avoid needless calls to peer(), build_prior()

Introduces PEERING pg state.  Also is smarter about when build_prior and
peer are actually called.

osd: make prior_set_affected() slightly smarter

Only return true if an osd goes down that we didn't already know was
down (prior_set may contain down osds if the PG is marked DOWN).

cobserver: cleanups

mon: use 'latest' for latest osd, mds maps

Mainly for benefit of PaxosObserver, but it also cleans things up
a bit.

cobserver: cleanup; print map summaries w/ each new state

mon: refactor map print_summary/operator<< methods

cobserver: accidentaly removed a line

kclient: missing files

whitespaces

mon: factor ClientMap class out

cobserver: utility, observe changes in different maps

osd: use push() to push clone op

Also fixes missing updates to peer_missing[peer] and pushing
map.

mon: factor our osdmap print, print_summary

mon: factor out mds print, print_summary

mds: stay loner if client has B and no other reason to switch state

If the client has dirty data, and there is no other reason to
toggle the lock state, leave it as LONER.  The client will write
out at its leisure, and we'll avoid an unstable lock state that
is waiting on a potentially slow writeout.

osd: missing last_mon_heartbeat declaration

msgr: make sure nonce matches too when connecting to peer

Otherwise the predictable port numbers cause problems.

msgr: print error when message type is unrecognized

osd: ping mon less frequently when peerless

Every second is too much.  Make it tunable.

mon: typo in pg dump output

ceph: new default mon port; try to bind to port in known range

New monitor port in unused region (according to nmap-services).

Try to bind to a port in a known range, so that tools can easily
identify the protocol in use.

Remove some old .sh cruft.

mon: 'pg map <pgid>' command

To see current pg -> osd mapping

mon: 'osd dump' command; refactor sstream->bufferlist code a bit

osdmap: use print method from osdmaptool

osd: pause scrub wq async

The scrub _process() worker may be waiting on a message from a replica, so
we can't pause it synchronously.  Instead, pause_new() to just prevent
new workers from starting.

osd: lock pg before calling on_shutdown

osd: fix degraded figure calculation typo

cmonctl: resend command if monitor is not responsive

cmonctl: interactive mode using libedit

osd: log scrub ok

mon: rename out to log, log.type files

mon: notify PaxosService of any paxos state changes

mon: dump full pgmap on each state change (for debugging)

osd: don't die on stray sub op acks

If a replica drops out of the pg, we force and ack in on_change(), but
may still get it later.  Don't freak out.

osd: generate_backlog sanity check

If item is on disk and log, then log entry shouldn't be a delete.

osd: fix merge_log divergent item detection

An item in our log isn't divergent if it is below the bottom of
olog.  Using the last_kept item isn't helpful here because
last_kept is in olog, and may be below that log's bottom.

osd: clean on ondisklog a bit

Express as extent, not interval.

osd: make read_log output a bit more informative

vstart: only sudo if -e dev/sudo

osd: revise missing map adjustment

Rewrite helpers in terms of how they are actually used.

osd: mark backlog events as BACKLOG

This is purely to make the logs easier to read.

osd: generate_backlog fixes

Generate backlog records even if the object appears in the log if
the existing entry's prior_version in non-zero and isn't also
in the log.  This allows us to accurately generate the .have field
when we are building the missing map.

crush: add include

kclient: reduce stack usage

mon: 'osd scrub \*' to scrub all osds

filestore: fix up listxattr buffer management a bit

dstart: put debug output on local disk

debug: allow output and output symlinks to go in different directories

logmonitor: append all notifications in a single file

set/check subprotocol versions

mon: clean up paxos service registration a bit.  rev disk format.

cleanup, whitespace

log: use of cascading dispatcher for log messages

dispatcher: cascading dispatch infrastructure

mon: keep pgmap consistent

We were cutting corners and updating the live map before it
committed to paxos, since pg stats aren't system critical.  This
can lead to problems due to the way "latest" is saved out, though,
and it can be confusing to see things jump backward in time.

osd: make replica scrub_map generation a subop

This puts build_scrub_map in a worker thread, _and_ ensures it is
serialized wrt any in-progress writes.

logclient: always print log messages to debug output

osd: fix up scrub error log formatting

logclient: optionally take a stringstream

osd: some scrub fixes

Don't drop locks just yet; atm this leaves the dout() prefix
exposed to concurrent modifications of pg state.

Don't requeue for scrub if already scrubbing.

Fix missing object detection bugs.

osd: fix pg_stats.reported value

osd: drop lock during most of scrub; only disallow concurrent writes

Make the PG go read-only during a scrub.  Only take the pg lock
when absolutely necessary.  Wait for any pending writes to
complete before starting the scrub.

osd: ignore dup scrub maps

osd: take pg ref on scrub_wq

osd: make scrub verify replica object attrs match

osd: fix pg stat acking in osd

log: logclient uses log types instead of log level

osd: check for missing clones in pick_read_snap

We may need to wait from op_read if we are missing a specific
clone.

osd: clear waiting_for_head when we pull the head; set skipped if we do

Need to ++skipped if we skip because we're waiting for the head
or else we'll incorrectly advanced requested_to.

Clear waiting_for_head entry when we pull a head we're waiting for.

osd: fix missing.add_event

We only should set have to prior_version if we aren't missing the
prior_version too!

kclient: fix NULL dereferencing oops

osd: version pg_stats_t with <epoch,version> pair; clean up pgmon a bit

osd: keep projected info on in-progress object modifications in memory

Since the primary delays its writes until after replicas ack, we need to
keep projected object info in memory for the duration, because the
semantics very much depend on whether the object exists and what its size
is (well, mainly the pg_stats do).

This can avoid re-parsing SnapSet et al for certain workloads hitting
the same objects repeatedly (e.g., mds journal objects).

osd: fix problems with propagation of info.stats during recovery

merge_log() is called on replicas, do don't use peer_info (which
is primary-only)!

osd: keep tabs on total object copies vs missing/degraded

Define degraded as an object copy that is not present in the
proper location.

osd: fix uninitialized var use

add missing header file declaration

osd: move logging messages to a common infrastructure

mon: clean up pg dump

osd: update stats on primary pull

osd: fix stupid no-op typo

Everything was showing up as a no-op.

osd: log scrub errors to central log

Merge branch 'diskformat' into unstable

mon: include last_scrub info in pg dump

osd: remove pg from recovery_wq with clear_primary_state

osd: make pg refcounting vs work queues constent

Either refcount items in queue, or don't.

osd: do clone scrub based on our generated scrub map

osd: scrub info in pg_stat_t.  scrub states.

osd: fix small quirk read_log missing generation

The missing entry .have field was probably wrong due to the use
of missing.add_event (which assumes missing is up to date wrt
the previous log entry).  Use the prior version we just pulled off
disk instead.

Also, be a bit more verbose.

mon: always discard pending on election completion

Previously we tried to save the pending if we were still the
leader.  The problem is that while we were not leader, we may have
missed out on some updates, in which case the pending may no longer
be based on the current state.

In the future, we could make the commit waiters smart about callback
return codes so that they try to reapply.  For now, don't worry
about it.