mds: optional ino for mknod/mkdir/open requests

Will be needed for replaying those requests if we get an early
reply, to ensure that the same ino is used.

mds: preallocate inos for each client session

Do not use preallocated inos until we have journaled the
preallocation.  If we use a newly allocated ino, do not do an
early_reply.

When the session closes, release the inos.

mds: do early replies for basic inode update operations

chmod, chown, etc.  Not for mknod/mkdir, which allocate inos.

mds: early_reply infrastructure

mds: fix null_okay traverse logic

mds: add safe flag to mds reply

mds: process caps if freezing and unstable lock

The caps message may be a revocation ack that is needed to complete
the freeze.  In general, though, we back off even if freezing,
since we want to avoid starving the freeze as much as possible.

mds: misc filelock fixes

mds: auth_pin rdlocks too

Not sure why we didn't before... :/

kclient: make mdsmap_decode print nicer info

kclient: update num_fwd in client requests

We were keeping our local copy, but not updating the message sent.

Also fix buggy maybe_dup behavior (dup, then set rhead pointer)!

kclient: allow mds to force open a client session

mds: don't bump to sync if dir and subtree root

mds: fix file_wrlock_start waiting

mds: filelock typo in can_rdlock

mds: cleanup

vstart: 1 mds

mds: check_inode_max_size only change filelock state if needed

Don't try to change lock state unless we actually have something
to update.

kclient: ICONTENT -> IFILE

vstart: start 3 mdss

mds: basic filelock fixes

mon: add multiple mds's at once

mds: kill the dirlock

mds: make filelock a scatterlock child; move wrlock into simplelock

mds: fix mixed_sync state; send replica mixed state to primary as needed

mds: message include cleanup

mds: fix up filelock states

Allow wrlocks in LOCK_MIXED (which will serve the same function as
LOCK_SCATTER).

Clean up can_wrlock()/can_rdlock().. there were lots of states in
there that shouldn't have been.

mds: new FileLock lock->sync state

Previously this was avoided, more or less by accident.  ScatterLock
has it, so we'll presumably need it in FileLock to fold them
together.

mds: rename gather lock states

Easier to read: LOCK_oldstate_newstate, "oldstate->newstate"

mds: include max mds in mdsmap summary

mds: fix standby_replay on startup

remove uninitialized warnings

osd: gracefully exit when create_object_store() returns NULL

osd: inc_lock attr is optional

osd: update pg degraded stats only when active

peer_missing needs to be defined.

osd: initialize generate_backlog_epoch

osd: clear_prior when activating

This just ensures that, once active, an osd state change affecting our
prior_set won't make us repeer.  E.g., a prior going down.

osd: clear backlog flag when done

Otherwise we won't requeue again later.

osd: only update degraded object stats after peering

This avoids incorrectly populating peer_missing[acting[i]], which
in turn screws up peering and recovery.

osd: clear STATE_PEERING during replay

osd: safely encode all other attributes

osd: properly encode ondisklog attr

Also combine into a single attr.

buffer: optionally preallocate some append_buffer

make time format easier to read

ceph: terminate dumped output

mon: tell stdout where the monmap came from

dstart: cm.txt update (for 3x)

ceph: fix observe renewal; ack by paxos

todo

verify-mds-journal: periodically verify mds replay; stop if error

mds: only standby-replay when explicitly requested on startup.

Until it does something more than just replay the log and quit.

mds: basic standby-replay hack

Replay the log, and exit cleanly if everything looks ok.

mon: replace laggy standby-replay nodes too

If there is someone to take over...

mon: mark extra standby mds's as standby-replay

Not that the mds does the right thing, yet...

osd: enable queue_generate_backlog on pg query

Code was disabled, oops.

mds: fix mdsmap dump

Don't fall over duplicate mds (id,inc) pairs.

msgr: stop accepter on socket error

Only if we get a few in a row.

mds: restructure mds map, clean up mdsmon

More flexible mdsmap structure.  Cleaner interface.

mon: clean up mdsmon a bit; do takeovers from tick(), not _committed()

This puts all the takeover logic in one place.  And avoids any
funny issues where the monitor fails before it can do a takeover.
More robust.

mon: blacklist failed mds

mon: expire old blacklist items (osdmap change)

osd: clean out acker cruft

rev protocol, mon disk formats due to mdsmap change

mon: mdsmap infrastructure for standby states, up:standby-replay

We need a state value for standby mds's.

osd: fix pg stat reporting

We were skipping pgs that weren't active instead of not primary.

osd: do delayed activation after replay via a queue, not timer event

This avoids osd_lock dependency by using osd->timer.

osd: take osd_lock in generate_backlog before peer()

Peer() uses the osd.timer to schedule the replay interval, which
needs osd_lock.

mds cleanup

mds: add logclient

logclient: adjust link_dispatcher; add unlink_dispatcher

todos

mds: remove follows==0 special cases

A follows==0 shouldn't have any special meaning anymore.  See also
1876ca5ad4b92f0794c91d15502c16ad747dbf8b.

mds: when recovering size, don't munge up projected->size; use new_size

mds: update rbytes with size on truncate, etc.

mon: send mdsmap on beacon from mds not in the map

This happens when an mds goes laggy and is marked down by the
monitor.

mon: clean up mds failure output

iterator p isn't valid; use temp values.

mon: immediately propose after 'osd setmap'

Any subsequent osdmap changes will be ignored anyway.

Note that this still throws out changes _prior_ to the setmap.  In
theory, that shouldn't matter, since we're replacing the map
anyway.

update debian, spec files to reflect cmonctl->ceph rename

ceph: allow > and < to redirect command input/output

ceph: fold cobserver into ceph

todo

mds: mark new directories new in journal; add to new list on replay

This ensures the dir is written when the logseg is eventually
expired.

cobserver: usage

rename cmonctl -> ceph

cobserver: retry if when no response on startup

vstart.sh: can specify mon address

osd: add missing declaration

vstart: debug pg reporting

osd: generate_backlog asynchronously in a work queue; simplify peering a bit

We do all backlog creation in a thread pool.  Break it down into the
disk scan and log integration steps, and drop PG lock as much as possible.
We only worry about pg acting changes; backlogs are only generated when the
pg is inactive.

We also simplify the activation code a bit by observing that replicas only
generate backlogs when their logs are discontiguous with the primary; in
such cases, we pull the backlog during peering and no generate_backlog
(equivalent) is needed for activation.

osd: half-finished backlog_wq

crush: don't recurse to leaf unless item is a bucket

This avoids choking on 'chooseleaf indep 0 item device' (it's
equivalent to 'choose indep 0 item device').

osd: shift generate_backlog out of merge_log

...in preparation for shifting it off to a worker thread.

osd: for remaining peers, pull either log or backlog, but not both.

Pull as far back as peer's last_epoch_started (if they have that much).
This ensures we will pull any divergent entries, if there are any, so
that we can update our peer_missing map accordingly.

osd: comment clean up

dstart: 3x replication

osd: simplify peer code a bit

Combine the two loops.

osd: simplify master log recreation; fix up Log::copy_after

Pull log from a given point from peer with the largest last_update.  Do
not worry about divergence on the peer; that is handled by the new
primary.  Simplifies PG::Query struct.

Fix copy_after to set an accurate .bottom, and to behave if the split
point given is divergent (i.e. doesn't actually appear in the log).

vstart.sh/stop.sh can start and stop specific modules

dstop: kill crun too

osd: move max_rep back to 3x