messages/MClass[Ack]: Roll back some unification.
version_t last and PaxosServiceMessage::version shouldn't
be the same in these messages. Remove that and add a new
constructor that does set the version (but it's unneeded).

mon/objecter: The monitors and Objecter now use the version in messages.

initscripts: do mount/mkfs as root, otherwise as any user

We want cosd to run unprivileged if possible.

osd: update primary's notion of peer last_update on activate

We are pushing the peer the log to bring it up to date, so
update our peer_info[peer].last_update to match.  Otherwise,
we get confused if we get, say, stray content and peer() is
called later, and we have out of date peer stats.

osd: force RMW ordering globally

We can't mix RMW and DELAYED in the same PG without screwing
up the ordering of writes, the pg log, and so forth.

So force RMW throughout.  This won't affect the mds log
appends because the client is constant.  It will slow down
concurrent writes to the same object by multiple clients, but
we don't have many (any?) of those yet.

This needs a real solution... :/

osd: fix TMAPUP bug

Trailing bit was put in the wrong place.

osd: fix tmapup

Various problems with decoding and applying an update.

initscripts: allow 'user' option, defaults to current user

mds: fix CDir decoding

mds: rev format (for TMAP changes)

osd: fix head_existed check

ssc isn't always defined, as we pass here for !may_read() too.

Merge branch 'mdsmap' into unstable

Conflicts:

src/mds/CDir.cc

todo

osd: print lost objects

We still need to figure out how to continue...

osd: rebuild missing OI_ATTR from log entry when possible

osd: fix proc_replica_log stop condition

This fixes condition from 4b5572a.

osd/PG.cc: In function 'void PG::activate(ObjectStore::Transaction&, std::map<int, MOSDPGInfo*, std::less<int>, std::allocator<std::pair<const int, MOSDPGInfo*> > >*)':
osd/PG.cc:1401: FAILED assert(log.backlog)
 1: ./cosd(_Z18__ceph_assert_failPKcS0_iS0_+0x3a) [0x7a838b]
 2: ./cosd(_ZN2PG8activateERN11ObjectStore11TransactionEPSt3mapIiP10MOSDPGInfoSt4lessIiESaISt4pairIKiS5_EEE+0xbe8) [0x71ff88]
 3: ./cosd(_ZN2PG4peerERN11ObjectStore11TransactionERSt3mapIiS3_I4pg_tNS_5QueryESt4lessIS4_ESaISt4pairIKS4_S5_EEES6_IiESaIS8_IKiSC_EEEPS3_IiP10MOSDPGInfoSD_SaIS8_ISE_SK_EEE+0xfa0) [0x722852]
 4: ./cosd(_ZN3OSD16_process_pg_infoEjiRN2PG4InfoERNS0_3LogERNS0_7MissingEPSt3mapIiP10MOSDPGInfoSt4lessIiESaISt4pairIKiS9_EEERi+0x712) [0x6a7000]
 5: ./cosd(_ZN3OSD13handle_pg_logEP9MOSDPGLog+0x126) [0x6a7768]
 6: ./cosd(_ZN3OSD9_dispatchEP7Message+0x34a) [0x6abe6c]
 7: ./cosd(_ZN3OSD13dispatch_implEP7Message+0x408) [0x6ac9c4]
 8: ./cosd(_ZN10Dispatcher8dispatchEP7Message+0x63) [0x61a4af]
 9: ./cosd(_ZN9Messenger8dispatchEP7Message+0x56) [0x6298f8]
 10: ./cosd(_ZN15SimpleMessenger8Endpoint14dispatch_entryEv+0x5ae) [0x62340a]
 11: ./cosd(_ZN15SimpleMessenger8Endpoint14DispatchThread5entryEv+0x19) [0x62fc9d]
 12: ./cosd(_ZN6Thread11_entry_funcEPv+0x20) [0x629e48]
 13: /lib/libpthread.so.0 [0x7fb482c933f7]

todo

osd: rev ondisk format, protocols

For monitor message changes AND osd snapset changes.

osd: store snapset in _snapdir object if head dne

If the _head doesn't logically exist, we can't keep it around just for
the SnapSet or else an 'ls' will have to stat in order to tell if the
head object logically exists and should be included.  That's no good,
so:

- put snapset in SS_ATTR on head if it exists
- otherwise, put it SS_ATTR on a _snapdir object

osd: zero out pg_pool_t in constructor

Most things were getting initialized, but not snap_seq.

mon: set snap epoch for poolsnap removal, too

osd: fix MOSDBoot, MOSDGetMap initialization

mon: cleanup

kclient: update with new monitor message formats

mon: change MMDSMap to send map we have, not map we want.

osd: make object delete not remove _head if there are clones

Truncate and rmattrs instead, so we can keep the SnapSet.

Still need to make 'ls' work properly.

filestore: rmattrs command

Delete all object attrs

messages: Added PaxosServiceMessage to repository so previous commits work.

Monitor/Message: All messages used by Paxos are now PaxosServiceMessages.

mon/msg: PThey mostly hold version_t's now. Unused, though.

osd: adjust recovery op accounting; explicitly track set of recovering objects

Use a single {start,finish}_recovery_op() func to start and stop
recovery ops, so that there is a single point for counter adjustments
to occur.  On reset, simply call into OSD multiple times.

Also maintain a set<sobject_t> in each PG and on the OSD to track
the set of objects that are recovering.  This can hopefully be
compiled out once all the bugs are identified.

We are chasing this:

osd/OSD.cc:3465: FAILED assert(recovery_ops_active >= 0)
 1: ./cosd(_Z18__ceph_assert_failPKcS0_iS0_+0x3a) [0x7a769b]
 2: ./cosd(_ZN3OSD18finish_recovery_opEP2PGib+0x148) [0x696bce]
 3: ./cosd(_ZN12ReplicatedPG18finish_recovery_opEv+0x77) [0x6359c5]
 4: ./cosd(_ZN12ReplicatedPG17sub_op_push_replyEP14MOSDSubOpReply+0x540) [0x63628a]
 5: ./cosd(_ZN12ReplicatedPG15do_sub_op_replyEP14MOSDSubOpReply+0x64) [0x6407fe]
 6: ./cosd(_ZN3OSD10dequeue_opEP2PG+0x224) [0x6996ee]
 7: ./cosd(_ZN3OSD4OpWQ8_processEP2PG+0x21) [0x70d175]
 8: ./cosd(_ZN10ThreadPool9WorkQueueI2PGE13_void_processEPv+0x28) [0x6c9f78]
 9: ./cosd(_ZN10ThreadPool6workerEv+0x280) [0x7a825c]
 10: ./cosd(_ZN10ThreadPool10WorkThread5entryEv+0x19) [0x70cb9f]
 11: ./cosd(_ZN6Thread11_entry_funcEPv+0x20) [0x629d48]
 12: /lib/libpthread.so.0 [0x7f2f1e3f33f7]
 13: /lib/libc.so.6(clone+0x6d) [0x7f2f1d9c294d]
 NOTE: a copy of the executable, or `objdump -rdS <executable>` is needed to interpret this.

osd: abort generate_backlog if already canceled

Bail out of generate_backlog if we've been canceled.  Fixes

osd/OSD.cc: In function 'void OSD::generate_backlog(PG*)':
osd/OSD.cc:3305: FAILED assert(!pg->is_active())
 1: ./cosd(_Z18__ceph_assert_failPKcS0_iS0_+0x3a) [0x7a833b]
 2: ./cosd(_ZN3OSD16generate_backlogEP2PG+0xb6) [0x69a1a6]
 3: ./cosd(_ZN3OSD9BacklogWQ8_processEP2PG+0x21) [0x70d92b]
 4: ./cosd(_ZN10ThreadPool9WorkQueueI2PGE13_void_processEPv+0x28) [0x6ca5f8]
 5: ./cosd(_ZN10ThreadPool6workerEv+0x280) [0x7a8efc]
 6: ./cosd(_ZN10ThreadPool10WorkThread5entryEv+0x19) [0x70d331]
 7: ./cosd(_ZN6Thread11_entry_funcEPv+0x20) [0x629e48]
 8: /lib/libpthread.so.0 [0x7f0a8feed3f7]
 9: /lib/libc.so.6(clone+0x6d) [0x7f0a8f4bc94d]

osd: fix merge_log when log and olog share bottom

If log has 6'10 and olog has 7'10, on same object, merge_log
was failing to throw out log's 6'10 entry because the
last_kept iterator was still end().  Use a simple eversion_t
instead, and simplify existing (and otherwise correct)
log.bottom logic, but without the last_kept != end() guard
that threw us off.

09.06.23 16:52:56.032981 1145465168 osd4 485 pg[1.cd( v 469'11021/469'11021 (469'11020,469'11021] n=8151 ec=2 les=476 485/480) r=0 lcod 0'0 mlcod 469'11021 !hml crashed+peering] merge_log log(469'11020,476'11021] from osd0 into log(469'11020,469'11021]
09.06.23 16:52:56.033001 1145465168 osd4 485 pg[1.cd( v 469'11021/469'11021 (469'11020,469'11021] n=8151 ec=2 les=476 485/480) r=0 lcod 0'0 mlcod 469'11021 !hml crashed+peering] merge_log extending top to 476'11021
09.06.23 16:52:56.033033 1145465168 osd4 485 pg[1.cd( v 469'11021/469'11021 (469'11020,469'11021] n=8151 ec=2 les=476 485/480) r=0 lcod 0'0 mlcod 469'11021 !hml crashed+peering]   ? 476'11021 (0'0) m 10001641d24.00000000/head by mds0.16:33860 09.06.23 16:50:28.931949
09.06.23 16:52:56.033057 1145465168 osd4 485 pg[1.cd( v 469'11021/469'11021 (469'11020,469'11021] n=8151 ec=2 les=476 485/480) r=0 lcod 0'0 mlcod 469'11021 !hml crashed+peering] merge_log 476'11021 (0'0) m 10001641d24.00000000/head by mds0.16:33860 09.06.23 16:50:28.931949
09.06.23 16:52:56.033090 1145465168 osd4 485 pg[1.cd( v 476'11021/469'11021 (469'11020,476'11021] n=8151 ec=2 les=476 485/480) r=0 lcod 0'0 mlcod 469'11021 !hml crashed+peering m=1 l=1] merge_log result log(469'11020,476'11021] missing(1) changed=1

filestore: use readdir_r to avoid SIGBUS badness

We need to use reentrant readdir, since multiple threads
will otherwise share the struct dirent and walk all over
each other.

mds: fix session purge bug

mds/Server.cc: In function 'void Server::_finish_session_purge(Session*)':
mds/Server.cc:410: FAILED assert(session->is_stale_purging())
 1: ./cmds(_ZN6Server21_finish_session_purgeEP7Session+0x392) [0x49edf2]
 2: ./cmds(_ZN6Server18find_idle_sessionsEv+0xa18) [0x4a3188]
 3: ./cmds(_ZN3MDS4tickEv+0x220) [0x484f60]
 4: ./cmds(_ZN9SafeTimer12EventWrapper6finishEi+0x1c1) [0x63eb11]
 5: ./cmds(_ZN5Timer11timer_entryEv+0x6f6) [0x6412d6]
 6: ./cmds(_ZN5Timer11TimerThread5entryEv+0xd) [0x46d53d]
 7: ./cmds(_ZN6Thread11_entry_funcEPv+0xc) [0x480c9c]
 8: /lib/libpthread.so.0 [0x7f51a9f4c3f7]
 9: /lib/libc.so.6(clone+0x6d) [0x7f51a951b94d]

osd: allow recovery of missing objects not in log

This happens when a scrub/repair tells us to recovery an item, but
it's older than log.bottom.

osd: avoid using null ctx pointer

Use localt instead, it's on the stack.

osd: stop rewinding replica log when we reach log.bottom

We stop rewinding a replica log when we reach our own
log.bottom, because we don't know enough to do so in any
meaningful way, and because we can assume it is not
divergent at that point (barring any complete screwupedness).

Also, if we do change last_update, make sure last_complete is
rewound too.

mds: no fatal assert on ino allocation failures

We still log them LOG_ERR.  Client will be unhappy, but
that's their problem.

osd: small cleanups

mds: don't choke on bad parallel_fetch paths

e.g., bad reconnect path from client, like /blah/file_not_dir/blah.

rados: cleanup

kclient: make r_path[12] dup strings

The mds_request lifetime differs from the caller's stack, so we need to
duplicate these strings.  Fixes problems with request reply after MDS
recovery.

kclient: clean up mds_request path generation

todo

Makefile: add missing kernel/ headers

kclient: import into fs/, not fs/staging/?

rados/objecter: Changes to rados in/out, and various things work.

Objecter/librados: Refactored and renamed for clarity.

todo

kclient: clean up unaligned pointer accesses

Get rid of the likes of *(__le64*)foo.

Get rid of useless ceph_decode_##_le() macros; use ceph_decode_copy
instead.

cosd: conf updates

mon: allow repair of entire osd

mds: reduce default memory, journal footprint

osd: do NOT include op vector when shipping raw transaction

This just doubles up the data payload.  And makes the MOSDSubOp printout
look like garbage, since e.g. the setxattr names are taken from the
portion of the data payload encoding the transaction.

kclient: strip out kernel version compatibility cruft

kclient: update script importer

todo

osd: on scrub repair, update replica pg stats as necessary

An MOSDPGInfo to an active replica is treated as a pg stat repair.  The
replica just saves it to disk.

osd: pass updated stats to replica

When we ship the raw transaction to the replica, we need to ship the
new pg_stat_t as well, since that isn't getting updated in parallel by
prepare_transaction().

uclient: close mds session close race

If we get a mds push msg while closing the session, resend the close
request.

objecter: some list_objects cleanups

osd: check that pg matches

Otherwise return an empty result.  May want to return an error here.. not
sure which tho.

todo: bugs that have come up >2x now

osd: adjust debug levels a bit

Try to put iterative output to be at 20, other stuff at 10,
so that we can tolerate 10 on large data sets.

osd: fix initialization of log.complete_to in PG::activate()

The complete_to should point to the next object to get, which
should be just PAST info.last_complete.  That is because we
can trim the log up to and including last_complete (because
that entry is recovered), and we don't want to invalidate
the iterator.

That is
    while (log.complete_to->version <= info.last_complete)
      log.complete_to++;

and in sub_op_push,

    while (...) {
      ...
      if (info.last_complete < log.complete_to->version)
info.last_complete = log.complete_to->version;
      log.complete_to++;
    }

osd: remove bad trim assertion: trim point may preceed local log.bottom

osd: remove bad assertion to allow trim before pg is clean

We may trim the log before recovery completes.

Objecter: now has list instead of librados. Hurrah.

Objecter: Now resubmits *Op as part of tick() if the response takes too long.

osd: be a bit more verbose about peer_info

Looking for residual bug where peer_info info is somehow missing
when activate() happens...

osd: don't trim pg log if degraded

Also be a bit more verbose about pg_trim_to changes.

osd: we don't use MOSDPGInfo to signal replica uptodate anymore

Clean out cruft from old replica-driven recovery.

osd: make add_next_entry behave when we start at backlog split point

Weaken the assertions a bit and just adjust missing appropriately.
Things may not match up perfectly if the split point is a backlog
entry, so just make missing what it should be a worry less about
what it was.

Here is the specific crash:

09.06.18 16:29:15.085353 1124096336 osd1 10 pg[1.8( v 5'4/3'2 (0'0,5'4] n=2 ec=2 les=10 10/3) r=1 lcod 0'0 stray m=1] my log = log(0'0,5'4]+backlog
3'1 (0'0) m 200.00000000/head by mds0.1:1 09.06.18 16:20:07.524996 indexed
3'2 (0'0) m 2.00000000/head by mds0.1:5 09.06.18 16:20:07.527454 indexed
5'3 (3'1) m 200.00000000/head by mds0.1:23 09.06.18 16:20:25.128842 indexed
5'4 (5'3) m 200.00000000/head by mds0.1:35 09.06.18 16:20:48.623669 indexed

09.06.18 16:29:15.085393 1124096336 osd1 10 pg[1.8( v 5'4/3'2 (0'0,5'4] n=2 ec=2 les=10 10/3) r=1 lcod 0'0 stray m=1] osd2 log = log(8'68,9'69]+backlog
3'2 (0'0) b 2.00000000/head by mds0.1:5 09.06.18 16:20:07.527454
9'69 (8'68) m 200.00000000/head by mds0.1:1114 09.06.18 16:28:08.837907

09.06.18 16:29:15.085416 1124096336 osd1 10 pg[1.8( v 5'4/3'2 (0'0,5'4] n=2 ec=2 les=10 10/3) r=1 lcod 0'0 stray m=1] merge_log log(8'68,9'69]+backlog from osd2 into log(0'0,5'4]+backlog
09.06.18 16:29:15.085456 1124096336 osd1 10 pg[1.8( v 5'4/3'2 (0'0,5'4] n=2 ec=2 les=10 10/3) r=1 (log bound mismatch, actual=[3'2,9'69] len=2) lcod 0'0 stray m=1] merge_log split point is 3'2 (0'0) b 2.00000000/head by mds0.1:5 09.06.18 16:20:07.527454
09.06.18 16:29:15.085472 1124096336 osd1 10 pg[1.8( v 5'4/3'2 (0'0,5'4] n=2 ec=2 les=10 10/3) r=1 (log bound mismatch, actual=[3'2,9'69] len=2) lcod 0'0 stray m=1] merge_log merging 3'2 (0'0) b 2.00000000/head by mds0.1:5 09.06.18 16:20:07.527454
09.06.18 16:29:15.085493 1124096336 osd1 10 pg[1.8( v 5'4/3'2 (0'0,5'4] n=2 ec=2 les=10 10/3) r=1 (log bound mismatch, actual=[3'2,9'69] len=2) lcod 0'0 stray m=2] merge_log merging 9'69 (8'68) m 200.00000000/head by mds0.1:1114 09.06.18 16:28:08.837907
osd/PG.h: In function 'void PG::Missing::add_next_event(PG::Log::Entry&)':
osd/PG.h:494: FAILED assert(missing[e.soid].need == e.prior_version)

uclient: wait for mds sessions close on unmount

mds: only use send_message_client for caps, lease, and snap msgs

Otherwise we screw up the session seq count.

uclient: init, shutdown objecter

This fixes longstanding problems with csyn stalling.

osd: consolidate trim logic in calc_trim_to()

And call it from trim_peers(), so that we always apply the same
conditions on log trimming.

This ensures we don't trim the logs while degraded through one of
the other paths.

todo

kclient: fix whitespace

kclient: include fs/staging patch in series

crush: fix coding style, whitespace

crush: redefine hash using __u32, for consistency across 32/64 bit

I'm pretty sure this was giving inconsistent results across archs,
because bits would get shifted into the high 32 and then back again
on x86_64 but not x86_32.

mark v0.9

Makefile: add missing includes

Makefile: kill cls_trivialmap

kclient: avoid i_ino of 0 on 32-bit platforms

This confuses ls.  How lame!

Reported-by: Jeremy Hanmer <jeremy@hq.newdream.net>

osd: trim pg logs on recovery completion

When replica finds itself fully up to date (last_complete ==
last_update) it tells the primary.  Primary checks the same.
If the primary find the min_last_complete_ondisk has changed,
it sends out a trim command.

This will let us drop huge pg logs out of memory after a recovery
without waiting for IO and the usual piggybacked trimming logic
to kick in.

osd: track last_complete_ondisk over pushes, too.

osd: revamp complete_thru code

Use last_complete_ondisk terminology throughout.

osd: some infrastructure for primary to trim replica logs

osd: fix pg log trim on the non-primary

rados: less chatty

rados: shutdown on exit

librados: add shutdown to c++ interface

kclient: initialize readdir next_offset on dir open

Otherwise we don't compensate for . and .. properly.

kclient: update client for statfs changes

osd: add pg log sizes, bottoms to pg_stat_t et al

This will allow us to see the pg logging overhead, esp once pg
logs are kept for longer on disk.

kclient: clean out old debug cruft

rados: fix statfs definition

Isolate posix lameness to uclient only.  Unify 'rados df' and
'rados dfpools'