osd: fix pg stat reporting

We were skipping pgs that weren't active instead of not primary.

osd: do delayed activation after replay via a queue, not timer event

This avoids osd_lock dependency by using osd->timer.

osd: take osd_lock in generate_backlog before peer()

Peer() uses the osd.timer to schedule the replay interval, which
needs osd_lock.

mds cleanup

mds: add logclient

logclient: adjust link_dispatcher; add unlink_dispatcher

todos

mds: remove follows==0 special cases

A follows==0 shouldn't have any special meaning anymore.  See also
1876ca5ad4b92f0794c91d15502c16ad747dbf8b.

mds: when recovering size, don't munge up projected->size; use new_size

mds: update rbytes with size on truncate, etc.

mon: send mdsmap on beacon from mds not in the map

This happens when an mds goes laggy and is marked down by the
monitor.

mon: clean up mds failure output

iterator p isn't valid; use temp values.

mon: immediately propose after 'osd setmap'

Any subsequent osdmap changes will be ignored anyway.

Note that this still throws out changes _prior_ to the setmap.  In
theory, that shouldn't matter, since we're replacing the map
anyway.

update debian, spec files to reflect cmonctl->ceph rename

ceph: allow > and < to redirect command input/output

ceph: fold cobserver into ceph

todo

mds: mark new directories new in journal; add to new list on replay

This ensures the dir is written when the logseg is eventually
expired.

cobserver: usage

rename cmonctl -> ceph

cobserver: retry if when no response on startup

vstart.sh: can specify mon address

osd: add missing declaration

vstart: debug pg reporting

osd: generate_backlog asynchronously in a work queue; simplify peering a bit

We do all backlog creation in a thread pool.  Break it down into the
disk scan and log integration steps, and drop PG lock as much as possible.
We only worry about pg acting changes; backlogs are only generated when the
pg is inactive.

We also simplify the activation code a bit by observing that replicas only
generate backlogs when their logs are discontiguous with the primary; in
such cases, we pull the backlog during peering and no generate_backlog
(equivalent) is needed for activation.

osd: half-finished backlog_wq

crush: don't recurse to leaf unless item is a bucket

This avoids choking on 'chooseleaf indep 0 item device' (it's
equivalent to 'choose indep 0 item device').

osd: shift generate_backlog out of merge_log

...in preparation for shifting it off to a worker thread.

osd: for remaining peers, pull either log or backlog, but not both.

Pull as far back as peer's last_epoch_started (if they have that much).
This ensures we will pull any divergent entries, if there are any, so
that we can update our peer_missing map accordingly.

osd: comment clean up

dstart: 3x replication

osd: simplify peer code a bit

Combine the two loops.

osd: simplify master log recreation; fix up Log::copy_after

Pull log from a given point from peer with the largest last_update.  Do
not worry about divergence on the peer; that is handled by the new
primary.  Simplifies PG::Query struct.

Fix copy_after to set an accurate .bottom, and to behave if the split
point given is divergent (i.e. doesn't actually appear in the log).

vstart.sh/stop.sh can start and stop specific modules

dstop: kill crun too

osd: move max_rep back to 3x

osd: rewrite proc_replica_log

After we have the master log, our only real purpose with other peer/stray
logs is to update replica missing maps and to find any missing objects.
Rewrite the log handling to clearly do that, with some comments.

osd: fix merge_old_entry bug

We want to revise_need to the _new_ entry's version, not the old one
(which is what missing already refers to).

osd: small peer cleanup

Make sure we check peer_log_requested and peer_summary_requested
independently, depending on which we want.  Move 'since'
calculation to where it is needed.

todos

cobserver: print all log entries in each state

osd: initialize all MOSDSubOp fields

mon: fix up MLog constructor

Initialize 'last'.  More idiot proof.

filestore: fix buffer overruns, mismatched delete[], small buffer

osd: pad eversion_t and zero remainder

mon: mkfs log msg as error

Just because it'll then create log.error, log.warn, etc.

osd: clear out pg_stat_queue on shutdown

filestore: sort objects by ino

This will greatly increase the speed that we can stat() them, since
btrfs sorts them by ino in the btree.

workqueue: include types.h

dstart.sh fix broken commit

dstart.sh uses crun instead of -d (for gprof)

osd: don't clear pg_stats_valid on send

todo

osd: small cleanup

osd: call peer() if we need up_thru to activate

osd: remove/fix waiting_for_head primary recovery logic

Pulling map has the info we need.  Simplify.

mon: observer cleanup

Simplify observer struct, some other stuff.

update_observers() when cmon is a single monitor (no cluster).  Also
immediately after registering a new observer.

Make message in terms of latest summary vs state (Paxos class has no real
notion of 'incremental', just states and 'latest').

cmonctl: fix compile error

workqueue: drain

workqueue: virtual destructor

makefile: missing headers

osd: cleanup

workqueue: non-inline worker, control methods; debugging

mon: fix use after free

osd: use new workqueue in osd for ops

osd: shared threadpool for multiple work queues

osd: fix uninit value in scrub message

todos

mon: mark unresponsive mds laggy instead of failed until we can replace it

This way we flag laggy mds's, but hold out until they come back
online or we have a standby cmds to replace them.  Should make
things much more tolerable.

cobserver: simplify headers

osd: make sure hb peers get marked down

We mark_down on osdmap update when we see an osd has gone down, but the
heartbeats are sent in a different thread without map_lock using
heartbeat_inst.  So, make sure heartbeat_inst entries are removed.

Also, we add hb peers at peers' request.  When removing such entries in
update_heartbeat_peers, mark_down then, too.  (We may mark_down a failed
peer, and then receive the hb request late.  So we mark that down next
time we update the heartbeat maps.)

osd: update_stat during recover_replicas()

dstart: --nostop option

to avoid ./dstop.sh

osd: drive primary recovery via missing map, not log

mon: osdmon cleanup

dstart: keep old cosd binaries around for a bit

osd: 'pg repair <pgid>' to repair an inconsistent pg using replicas

osd: don't read file content during _scrub

msgr: be noisier about mark_down calls

osd: avoid needless calls to peer(), build_prior()

Introduces PEERING pg state.  Also is smarter about when build_prior and
peer are actually called.

osd: make prior_set_affected() slightly smarter

Only return true if an osd goes down that we didn't already know was
down (prior_set may contain down osds if the PG is marked DOWN).

cobserver: cleanups

mon: use 'latest' for latest osd, mds maps

Mainly for benefit of PaxosObserver, but it also cleans things up
a bit.

cobserver: cleanup; print map summaries w/ each new state

mon: refactor map print_summary/operator<< methods

cobserver: accidentaly removed a line

kclient: missing files

whitespaces

mon: factor ClientMap class out

cobserver: utility, observe changes in different maps

osd: use push() to push clone op

Also fixes missing updates to peer_missing[peer] and pushing
map.

mon: factor our osdmap print, print_summary

mon: factor out mds print, print_summary

mds: stay loner if client has B and no other reason to switch state

If the client has dirty data, and there is no other reason to
toggle the lock state, leave it as LONER.  The client will write
out at its leisure, and we'll avoid an unstable lock state that
is waiting on a potentially slow writeout.

osd: missing last_mon_heartbeat declaration

msgr: make sure nonce matches too when connecting to peer

Otherwise the predictable port numbers cause problems.

msgr: print error when message type is unrecognized

osd: ping mon less frequently when peerless

Every second is too much.  Make it tunable.

mon: typo in pg dump output

ceph: new default mon port; try to bind to port in known range

New monitor port in unused region (according to nmap-services).

Try to bind to a port in a known range, so that tools can easily
identify the protocol in use.

Remove some old .sh cruft.