osd: safely encode all other attributes

osd: properly encode ondisklog attr

Also combine into a single attr.

buffer: optionally preallocate some append_buffer

make time format easier to read

ceph: terminate dumped output

mon: tell stdout where the monmap came from

dstart: cm.txt update (for 3x)

ceph: fix observe renewal; ack by paxos

todo

verify-mds-journal: periodically verify mds replay; stop if error

mds: only standby-replay when explicitly requested on startup.

Until it does something more than just replay the log and quit.

mds: basic standby-replay hack

Replay the log, and exit cleanly if everything looks ok.

mon: replace laggy standby-replay nodes too

If there is someone to take over...

mon: mark extra standby mds's as standby-replay

Not that the mds does the right thing, yet...

osd: enable queue_generate_backlog on pg query

Code was disabled, oops.

mds: fix mdsmap dump

Don't fall over duplicate mds (id,inc) pairs.

msgr: stop accepter on socket error

Only if we get a few in a row.

mds: restructure mds map, clean up mdsmon

More flexible mdsmap structure.  Cleaner interface.

mon: clean up mdsmon a bit; do takeovers from tick(), not _committed()

This puts all the takeover logic in one place.  And avoids any
funny issues where the monitor fails before it can do a takeover.
More robust.

mon: blacklist failed mds

mon: expire old blacklist items (osdmap change)

osd: clean out acker cruft

rev protocol, mon disk formats due to mdsmap change

mon: mdsmap infrastructure for standby states, up:standby-replay

We need a state value for standby mds's.

osd: fix pg stat reporting

We were skipping pgs that weren't active instead of not primary.

osd: do delayed activation after replay via a queue, not timer event

This avoids osd_lock dependency by using osd->timer.

osd: take osd_lock in generate_backlog before peer()

Peer() uses the osd.timer to schedule the replay interval, which
needs osd_lock.

mds cleanup

mds: add logclient

logclient: adjust link_dispatcher; add unlink_dispatcher

todos

mds: remove follows==0 special cases

A follows==0 shouldn't have any special meaning anymore.  See also
1876ca5ad4b92f0794c91d15502c16ad747dbf8b.

mds: when recovering size, don't munge up projected->size; use new_size

mds: update rbytes with size on truncate, etc.

mon: send mdsmap on beacon from mds not in the map

This happens when an mds goes laggy and is marked down by the
monitor.

mon: clean up mds failure output

iterator p isn't valid; use temp values.

mon: immediately propose after 'osd setmap'

Any subsequent osdmap changes will be ignored anyway.

Note that this still throws out changes _prior_ to the setmap.  In
theory, that shouldn't matter, since we're replacing the map
anyway.

update debian, spec files to reflect cmonctl->ceph rename

ceph: allow > and < to redirect command input/output

ceph: fold cobserver into ceph

todo

mds: mark new directories new in journal; add to new list on replay

This ensures the dir is written when the logseg is eventually
expired.

cobserver: usage

rename cmonctl -> ceph

cobserver: retry if when no response on startup

vstart.sh: can specify mon address

osd: add missing declaration

vstart: debug pg reporting

osd: generate_backlog asynchronously in a work queue; simplify peering a bit

We do all backlog creation in a thread pool.  Break it down into the
disk scan and log integration steps, and drop PG lock as much as possible.
We only worry about pg acting changes; backlogs are only generated when the
pg is inactive.

We also simplify the activation code a bit by observing that replicas only
generate backlogs when their logs are discontiguous with the primary; in
such cases, we pull the backlog during peering and no generate_backlog
(equivalent) is needed for activation.

osd: half-finished backlog_wq

crush: don't recurse to leaf unless item is a bucket

This avoids choking on 'chooseleaf indep 0 item device' (it's
equivalent to 'choose indep 0 item device').

osd: shift generate_backlog out of merge_log

...in preparation for shifting it off to a worker thread.

osd: for remaining peers, pull either log or backlog, but not both.

Pull as far back as peer's last_epoch_started (if they have that much).
This ensures we will pull any divergent entries, if there are any, so
that we can update our peer_missing map accordingly.

osd: comment clean up

dstart: 3x replication

osd: simplify peer code a bit

Combine the two loops.

osd: simplify master log recreation; fix up Log::copy_after

Pull log from a given point from peer with the largest last_update.  Do
not worry about divergence on the peer; that is handled by the new
primary.  Simplifies PG::Query struct.

Fix copy_after to set an accurate .bottom, and to behave if the split
point given is divergent (i.e. doesn't actually appear in the log).

vstart.sh/stop.sh can start and stop specific modules

dstop: kill crun too

osd: move max_rep back to 3x

osd: rewrite proc_replica_log

After we have the master log, our only real purpose with other peer/stray
logs is to update replica missing maps and to find any missing objects.
Rewrite the log handling to clearly do that, with some comments.

osd: fix merge_old_entry bug

We want to revise_need to the _new_ entry's version, not the old one
(which is what missing already refers to).

osd: small peer cleanup

Make sure we check peer_log_requested and peer_summary_requested
independently, depending on which we want.  Move 'since'
calculation to where it is needed.

todos

cobserver: print all log entries in each state

osd: initialize all MOSDSubOp fields

mon: fix up MLog constructor

Initialize 'last'.  More idiot proof.

filestore: fix buffer overruns, mismatched delete[], small buffer

osd: pad eversion_t and zero remainder

mon: mkfs log msg as error

Just because it'll then create log.error, log.warn, etc.

osd: clear out pg_stat_queue on shutdown

filestore: sort objects by ino

This will greatly increase the speed that we can stat() them, since
btrfs sorts them by ino in the btree.

workqueue: include types.h

dstart.sh fix broken commit

dstart.sh uses crun instead of -d (for gprof)

osd: don't clear pg_stats_valid on send

todo

osd: small cleanup

osd: call peer() if we need up_thru to activate

osd: remove/fix waiting_for_head primary recovery logic

Pulling map has the info we need.  Simplify.

mon: observer cleanup

Simplify observer struct, some other stuff.

update_observers() when cmon is a single monitor (no cluster).  Also
immediately after registering a new observer.

Make message in terms of latest summary vs state (Paxos class has no real
notion of 'incremental', just states and 'latest').

cmonctl: fix compile error

workqueue: drain

workqueue: virtual destructor

makefile: missing headers

osd: cleanup

workqueue: non-inline worker, control methods; debugging

mon: fix use after free

osd: use new workqueue in osd for ops

osd: shared threadpool for multiple work queues

osd: fix uninit value in scrub message

todos

mon: mark unresponsive mds laggy instead of failed until we can replace it

This way we flag laggy mds's, but hold out until they come back
online or we have a standby cmds to replace them.  Should make
things much more tolerable.

cobserver: simplify headers

osd: make sure hb peers get marked down

We mark_down on osdmap update when we see an osd has gone down, but the
heartbeats are sent in a different thread without map_lock using
heartbeat_inst.  So, make sure heartbeat_inst entries are removed.

Also, we add hb peers at peers' request.  When removing such entries in
update_heartbeat_peers, mark_down then, too.  (We may mark_down a failed
peer, and then receive the hb request late.  So we mark that down next
time we update the heartbeat maps.)

osd: update_stat during recover_replicas()

dstart: --nostop option

to avoid ./dstop.sh

osd: drive primary recovery via missing map, not log

mon: osdmon cleanup

dstart: keep old cosd binaries around for a bit