mds: misc filelock fixes

mds: auth_pin rdlocks too

Not sure why we didn't before... :/

kclient: make mdsmap_decode print nicer info

kclient: update num_fwd in client requests

We were keeping our local copy, but not updating the message sent.

Also fix buggy maybe_dup behavior (dup, then set rhead pointer)!

kclient: allow mds to force open a client session

mds: don't bump to sync if dir and subtree root

mds: fix file_wrlock_start waiting

mds: filelock typo in can_rdlock

mds: cleanup

vstart: 1 mds

mds: check_inode_max_size only change filelock state if needed

Don't try to change lock state unless we actually have something
to update.

kclient: ICONTENT -> IFILE

vstart: start 3 mdss

mds: basic filelock fixes

mon: add multiple mds's at once

mds: kill the dirlock

mds: make filelock a scatterlock child; move wrlock into simplelock

mds: fix mixed_sync state; send replica mixed state to primary as needed

mds: message include cleanup

mds: fix up filelock states

Allow wrlocks in LOCK_MIXED (which will serve the same function as
LOCK_SCATTER).

Clean up can_wrlock()/can_rdlock().. there were lots of states in
there that shouldn't have been.

mds: new FileLock lock->sync state

Previously this was avoided, more or less by accident.  ScatterLock
has it, so we'll presumably need it in FileLock to fold them
together.

mds: rename gather lock states

Easier to read: LOCK_oldstate_newstate, "oldstate->newstate"

mds: include max mds in mdsmap summary

mds: fix standby_replay on startup

remove uninitialized warnings

osd: gracefully exit when create_object_store() returns NULL

osd: inc_lock attr is optional

osd: update pg degraded stats only when active

peer_missing needs to be defined.

osd: initialize generate_backlog_epoch

osd: clear_prior when activating

This just ensures that, once active, an osd state change affecting our
prior_set won't make us repeer.  E.g., a prior going down.

osd: clear backlog flag when done

Otherwise we won't requeue again later.

osd: only update degraded object stats after peering

This avoids incorrectly populating peer_missing[acting[i]], which
in turn screws up peering and recovery.

osd: clear STATE_PEERING during replay

osd: safely encode all other attributes

osd: properly encode ondisklog attr

Also combine into a single attr.

buffer: optionally preallocate some append_buffer

make time format easier to read

ceph: terminate dumped output

mon: tell stdout where the monmap came from

dstart: cm.txt update (for 3x)

ceph: fix observe renewal; ack by paxos

todo

verify-mds-journal: periodically verify mds replay; stop if error

mds: only standby-replay when explicitly requested on startup.

Until it does something more than just replay the log and quit.

mds: basic standby-replay hack

Replay the log, and exit cleanly if everything looks ok.

mon: replace laggy standby-replay nodes too

If there is someone to take over...

mon: mark extra standby mds's as standby-replay

Not that the mds does the right thing, yet...

osd: enable queue_generate_backlog on pg query

Code was disabled, oops.

mds: fix mdsmap dump

Don't fall over duplicate mds (id,inc) pairs.

msgr: stop accepter on socket error

Only if we get a few in a row.

mds: restructure mds map, clean up mdsmon

More flexible mdsmap structure.  Cleaner interface.

mon: clean up mdsmon a bit; do takeovers from tick(), not _committed()

This puts all the takeover logic in one place.  And avoids any
funny issues where the monitor fails before it can do a takeover.
More robust.

mon: blacklist failed mds

mon: expire old blacklist items (osdmap change)

osd: clean out acker cruft

rev protocol, mon disk formats due to mdsmap change

mon: mdsmap infrastructure for standby states, up:standby-replay

We need a state value for standby mds's.

osd: fix pg stat reporting

We were skipping pgs that weren't active instead of not primary.

osd: do delayed activation after replay via a queue, not timer event

This avoids osd_lock dependency by using osd->timer.

osd: take osd_lock in generate_backlog before peer()

Peer() uses the osd.timer to schedule the replay interval, which
needs osd_lock.

mds cleanup

mds: add logclient

logclient: adjust link_dispatcher; add unlink_dispatcher

todos

mds: remove follows==0 special cases

A follows==0 shouldn't have any special meaning anymore.  See also
1876ca5ad4b92f0794c91d15502c16ad747dbf8b.

mds: when recovering size, don't munge up projected->size; use new_size

mds: update rbytes with size on truncate, etc.

mon: send mdsmap on beacon from mds not in the map

This happens when an mds goes laggy and is marked down by the
monitor.

mon: clean up mds failure output

iterator p isn't valid; use temp values.

mon: immediately propose after 'osd setmap'

Any subsequent osdmap changes will be ignored anyway.

Note that this still throws out changes _prior_ to the setmap.  In
theory, that shouldn't matter, since we're replacing the map
anyway.

update debian, spec files to reflect cmonctl->ceph rename

ceph: allow > and < to redirect command input/output

ceph: fold cobserver into ceph

todo

mds: mark new directories new in journal; add to new list on replay

This ensures the dir is written when the logseg is eventually
expired.

cobserver: usage

rename cmonctl -> ceph

cobserver: retry if when no response on startup

vstart.sh: can specify mon address

osd: add missing declaration

vstart: debug pg reporting

osd: generate_backlog asynchronously in a work queue; simplify peering a bit

We do all backlog creation in a thread pool.  Break it down into the
disk scan and log integration steps, and drop PG lock as much as possible.
We only worry about pg acting changes; backlogs are only generated when the
pg is inactive.

We also simplify the activation code a bit by observing that replicas only
generate backlogs when their logs are discontiguous with the primary; in
such cases, we pull the backlog during peering and no generate_backlog
(equivalent) is needed for activation.

osd: half-finished backlog_wq

crush: don't recurse to leaf unless item is a bucket

This avoids choking on 'chooseleaf indep 0 item device' (it's
equivalent to 'choose indep 0 item device').

osd: shift generate_backlog out of merge_log

...in preparation for shifting it off to a worker thread.

osd: for remaining peers, pull either log or backlog, but not both.

Pull as far back as peer's last_epoch_started (if they have that much).
This ensures we will pull any divergent entries, if there are any, so
that we can update our peer_missing map accordingly.

osd: comment clean up

dstart: 3x replication

osd: simplify peer code a bit

Combine the two loops.

osd: simplify master log recreation; fix up Log::copy_after

Pull log from a given point from peer with the largest last_update.  Do
not worry about divergence on the peer; that is handled by the new
primary.  Simplifies PG::Query struct.

Fix copy_after to set an accurate .bottom, and to behave if the split
point given is divergent (i.e. doesn't actually appear in the log).

vstart.sh/stop.sh can start and stop specific modules

dstop: kill crun too

osd: move max_rep back to 3x

osd: rewrite proc_replica_log

After we have the master log, our only real purpose with other peer/stray
logs is to update replica missing maps and to find any missing objects.
Rewrite the log handling to clearly do that, with some comments.

osd: fix merge_old_entry bug

We want to revise_need to the _new_ entry's version, not the old one
(which is what missing already refers to).

osd: small peer cleanup

Make sure we check peer_log_requested and peer_summary_requested
independently, depending on which we want.  Move 'since'
calculation to where it is needed.

todos

cobserver: print all log entries in each state

osd: initialize all MOSDSubOp fields

mon: fix up MLog constructor

Initialize 'last'.  More idiot proof.