mds: only purge dentries with no extra refs (besides dirty)

Signed-off-by: Sage Weil <sage@newdream.net>

mds: set straydn first to match inode on unlink

mds: don't export stray (~mdsfoo/stray), and ignore in balancer

We _must_ keep mdsdir and stray on local mds for normal operations.

Signed-off-by: Sage Weil <sage@newdream.net>

mds: make discover work for multiversion inodes (e.g. dirs)

If we don't have the specific snap, look up the head and see if it's
multiversion.

This doesn't give us a "range" lookup like we get with dentries because
the inode_map is a hash, not a map.  However, we shouldn't need it,
because we always have a specific snapped inode we're looking for (because
it is refered to by a dentry) or we are looking at a multiversion head.

mds: fix CDir::take_sub_waiting vs dnwaiter pin

Signed-off-by: Sage Weil <sage@newdream.net>

mds: kill open_foreign_stray; but open remote mdsdirs instead

Signed-off-by: Sage Weil <sage@newdream.net>

mds: fix cap clone logic to look at matching first, not last

The cap->client_follows is set to follows+1 by flushsnap, since the real
follows value isn't convenient.  But it is enough to know that it is more
than the old version's follows, so do that.

libatomic: fix assert.h compilation

osd: make sure we don't return EAGAIN to client

mds: open past snap parents at end of rejoin phase

We really need past parents open before we go active or else anything
that needs to build a snap context will fail.

mdsmap: show individual mds states in summary

osd: improve snap_trimmer debug output

mds: another cap_exports message/mdcache encoding fix

Signed-off-by: Sage Weil <sage@newdream.net>

mds: only adjust dn->first on lock msg if !multiversion

The multiversion dn->first references a range of inode versions; don't
drag it forward.  Fixes 38cb2403c043e6676b563197d086edeb11b71ddf.

Signed-off-by: Sage Weil <sage@newdream.net>

mds: more fix cap_exports typing

mds: fix scatter_nudge infinite loop

mds: fix ESessions type

mds: drag in->first forward with straydn in handle_dentry_unlink

mds: fix anchorclient dup lookups, again

mds: only log successful requests as completed

mds: anchor dir on mksnap

mkcephfs: error when creating journal file in a directory that  differs from OSD data dir

mkcephfs creates osd data directory automatically, but it doesn't create a
directory for the osd journal file.

When you have a journal file in a directory that differs from the osd data
directory in your configuration, like:

       osd data = /osd/osd$id
       osd journal = /journal/osd$id

You will receive a "mount failed to open journal /journal/osd0/journal: No
such file or directory" error when doing mkcephfs

Signed-off-by: CC Lien <cc_lien@tcloudcomputing.com>

mds: fix mismatched cap_exports type between msg and MDCache

The types need to match because they are encoded/decoded interchangeably.
See MMDSCacheRejoin::decode() and MDCache::rejoin_send_rejoins().

mds: fix trim_unlinked iterator badness

We may remove the next inode in the map.  Queue up unlinked roots first,
which we know remove_inode_recursive() won't reach, and iterate over those.

mds: define MDS_REF_SET in unstable

mds: clear dirtyscattered in remove_inode()

mds: allow dup lookups in anchorclient

It's not practical for callers to avoid dups, particularly since they may
be unaware of each other.  And it's trivial to support it here.

assert: fix assert vs atomic_ops.h breakage

This was causing us to use the system assert, not the ceph one.

mds: ensure past snap parents get opened before doing file recovery

Otherwise we can fail to get_snaps() when we start the recovery:

#0  0x00007fa037625f55 in *__GI_raise (sig=<value optimized out>) at ../nptl/sysdeps/unix/sysv/linux/raise.c:64
#1  0x00007fa037628d90 in *__GI_abort () at abort.c:88
#2  0x00007fa03761f07a in *__GI___assert_fail (assertion=0x9f3d81 "oldparent", file=<value optimized out>, line=170, function=0x9f4680 "void SnapRealm::build_snap_set(std::set<snapid_t, std::less<snapid_t>, std::allocator<snapid_t> >&, snapid_t&, snapid_t&, snapid_t&, snapid_t, snapid_t)") at assert.c:78
#3  0x00000000008f7656 in SnapRealm::build_snap_set (this=0x222a300, s=..., max_seq=..., max_last_created=..., max_last_destroyed=..., first=..., last=...) at mds/snap.cc:170
#4  0x00000000008f7e8c in SnapRealm::check_cache (this=0x222a300) at mds/snap.cc:194
#5  0x00000000008f892a in SnapRealm::get_snaps (this=0x222a300) at mds/snap.cc:209
#6  0x00000000007f2c85 in MDCache::queue_file_recover (this=0x2202a00, in=0x7fa0340f5450) at mds/MDCache.cc:4398
#7  0x0000000000865011 in Locker::file_recover (this=0x21fe850, lock=0x7fa0340f59b0) at mds/Locker.cc:3437
#8  0x00000000007e5899 in MDCache::start_files_to_recover (this=0x2202a00, recover_q=..., check_q=...) at mds/MDCache.cc:4503
#9  0x00000000007e887e in MDCache::rejoin_gather_finish (this=0x2202a00) at mds/MDCache.cc:3904
#10 0x00000000007ed6cf in MDCache::handle_cache_rejoin_strong (this=0x2202a00, strong=0x7fa030025440) at mds/MDCache.cc:3618
#11 0x00000000007ed84a in MDCache::handle_cache_rejoin (this=0x2202a00, m=0x7fa030025440) at mds/MDCache.cc:3063
#12 0x00000000007fade6 in MDCache::dispatch (this=0x2202a00, m=0x7fa030025440) at mds/MDCache.cc:5668
#13 0x0000000000735313 in MDS::_dispatch (this=0x22014d0, m=0x7fa030025440) at mds/MDS.cc:1390
#14 0x00000000007372a3 in MDS::ms_dispatch (this=0x22014d0, m=0x7fa030025440) at mds/MDS.cc:1295
#15 0x0000000000728b97 in Messenger::ms_deliver_dispatch(Message*) ()
#16 0x0000000000716c5e in SimpleMessenger::dispatch_entry (this=0x2202350) at msg/SimpleMessenger.cc:332
#17 0x00000000007119c7 in SimpleMessenger::DispatchThread::entry (this=0x2202760) at msg/SimpleMessenger.h:494
#18 0x000000000071f4e7 in Thread::_entry_func (arg=0x2202760) at ./common/Thread.h:39
#19 0x00007fa03849673a in start_thread (arg=<value optimized out>) at pthread_create.c:300
#20 0x00007fa0376bf6dd in clone () at ../sysdeps/unix/sysv/linux/x86_64/clone.S:112

Signed-off-by: Sage Weil <sage@newdream.net>

mds: relax lock state before encoding export (and lock state)

We can't fuss with lock state in the finish method because we already
encoded the old state to the new auth, and we are now just a replica.

We do still want to relax the lock state to be more replica friendly,
though, so do that in the encode_export_inode method.

mds: do not bother tableserver until it is active

We resend these requests when the TS does go active, and if we send dups
things get all screwed up (see partial log below).

Should we worry about dup queries?

10.06.02_22:32:08.112834 7f881dfdb910 -- 10.3.64.22:6802/7866 --> mds0 10.3.64.22:6803/13552 -- mds_table_request(anchortable prepare 69 148 bytes) v1 -- ?+0 0x7f88180e4580
10.06.02_22:32:08.116427 7f881dfdb910 mds1.tableserver(anchortable) handle_mds_recovery mds0
10.06.02_22:32:08.116449 7f881dfdb910 mds1.tableclient(anchortable) handle_mds_recovery mds0
10.06.02_22:32:08.116457 7f881dfdb910 mds1.tableclient(anchortable) resending 69
10.06.02_22:32:08.116470 7f881dfdb910 -- 10.3.64.22:6802/7866 --> mds0 10.3.64.22:6803/13552 -- mds_table_request(anchortable prepare 69 148 bytes) v1 -- ?+0 0x7f8818120cb0
10.06.02_22:32:08.116840 7f881dfdb910 -- 10.3.64.22:6802/7866 <== mds0 10.3.64.22:6803/13552 7 ==== mds_table_request(anchortable agree 69 tid 165) v1 ==== 16+0+0 (1328913316 0 0) 0x2362830
10.06.02_22:32:08.116861 7f881dfdb910 mds1.tableclient(anchortable) handle_request mds_table_request(anchortable agree 69 tid 165) v1
10.06.02_22:32:08.116872 7f881dfdb910 mds1.tableclient(anchortable) got agree on 69 atid 165
10.06.02_22:32:08.127662 7f881dfdb910 mds1.tableclient(anchortable) commit 165
10.06.02_22:32:08.127683 7f881dfdb910 -- 10.3.64.22:6802/7866 --> mds0 10.3.64.22:6803/13552 -- mds_table_request(anchortable commit tid 165) v1 -- ?+0 0x7f8818114860
10.06.02_22:32:08.128244 7f881dfdb910 mds1.tableclient(anchortable) _prepare 70
10.06.02_22:32:08.128261 7f881dfdb910 -- 10.3.64.22:6802/7866 --> mds0 10.3.64.22:6803/13552 -- mds_table_request(anchortable prepare 70 82 bytes) v1 -- ?+0 0x7f88180e4580
10.06.02_22:32:08.131873 7f881dfdb910 -- 10.3.64.22:6802/7866 <== mds0 10.3.64.22:6803/13552 8 ==== mds_table_request(anchortable agree 69 tid 165 148 bytes) v1 ==== 164+0+0 (4238497285 0 0) 0x2362310
10.06.02_22:32:08.131900 7f881dfdb910 mds1.tableclient(anchortable) handle_request mds_table_request(anchortable agree 69 tid 165 148 bytes) v1
10.06.02_22:32:08.131911 7f881dfdb910 mds1.tableclient(anchortable) stray agree on 69 tid 165, already committing, resending COMMIT
10.06.02_22:32:08.131923 7f881dfdb910 -- 10.3.64.22:6802/7866 --> mds0 10.3.64.22:6803/13552 -- mds_table_request(anchortable commit tid 165) v1 -- ?+0 0x7f8818120cb0
10.06.02_22:32:08.144147 7f881dfdb910 -- 10.3.64.22:6802/7866 <== mds0 10.3.64.22:6803/13552 10 ==== mds_table_request(anchortable ack tid 165) v1 ==== 16+0+0 (584840829 0 0) 0x246dd20
10.06.02_22:32:08.144179 7f881dfdb910 mds1.tableclient(anchortable) handle_request mds_table_request(anchortable ack tid 165) v1
10.06.02_22:32:08.144195 7f881dfdb910 mds1.tableclient(anchortable) got ack on tid 165, logging
10.06.02_22:32:08.144217 7f881dfdb910 mds1.log submit_entry 5515297~17 : ETableClient anchortable ack tid 165
10.06.02_22:32:08.152419 7f881dfdb910 -- 10.3.64.22:6802/7866 <== mds0 10.3.64.22:6803/13552 11 ==== mds_table_request(anchortable agree 69 tid 166 148 bytes) v1 ==== 164+0+0 (4238497285 0 0) 0x2362830
10.06.02_22:32:08.152448 7f881dfdb910 mds1.tableclient(anchortable) handle_request mds_table_request(anchortable agree 69 tid 166 148 bytes) v1
10.06.02_22:32:08.152460 7f881dfdb910 mds1.tableclient(anchortable) stray agree on 69 tid 166, sending ROLLBACK
10.06.02_22:32:08.152470 7f881dfdb910 -- 10.3.64.22:6802/7866 --> mds0 10.3.64.22:6803/13552 -- mds_table_request(anchortable rollback tid 166) v1 -- ?+0 0x7f8818120cb0
10.06.02_22:32:08.172729 7f881dfdb910 -- 10.3.64.22:6802/7866 <== mds0 10.3.64.22:6803/13552 13 ==== mds_table_request(anchortable ack tid 165) v1 ==== 16+0+0 (584840829 0 0) 0x2362310
10.06.02_22:32:08.172770 7f881dfdb910 mds1.tableclient(anchortable) handle_request mds_table_request(anchortable ack tid 165) v1
10.06.02_22:32:08.172786 7f881dfdb910 mds1.tableclient(anchortable) got ack on tid 165, logging
10.06.02_22:32:08.172806 7f881dfdb910 mds1.log submit_entry 5515318~17 : ETableClient anchortable ack tid 165
10.06.02_22:32:08.174091 7f881dfdb910 -- 10.3.64.22:6802/7866 <== mds0 10.3.64.22:6803/13552 14 ==== mds_table_request(anchortable agree 70 tid 168 82 bytes) v1 ==== 98+0+0 (1154743153 0 0) 0x246dd20
10.06.02_22:32:08.174119 7f881dfdb910 mds1.tableclient(anchortable) handle_request mds_table_request(anchortable agree 70 tid 168 82 bytes) v1
10.06.02_22:32:08.174131 7f881dfdb910 mds1.tableclient(anchortable) got agree on 70 atid 168
10.06.02_22:32:08.202508 7f881dfdb910 mds1.tableclient(anchortable) _logged_ack 165
10.06.02_22:32:08.202530 7f881dfdb910 mds1.tableclient(anchortable) _logged_ack 165
<crash>

mds: do not reset filelock state when checking max_size during recovery

This was broken by d5574993 (probably, that commit fixed a similar
problem).  The rejoin_ack initializes replica state properly, so we can't
go changing it now.  I'm not sure why this was resetting the state to
LOCK, because that's clearly not allowed.

Print when check_max_size does a no-op so that this is a bit easier to see
next time.

mds: lock->sync replica state is lock, not sync

It's not readable yet.  And after the lock->sync gather completes we send
out a SYNC.

Fixes failed assertion like:

10.06.02_21:27:04.444202 7f17a25ac910 mds1.locker handle_file_lock a=sync on (ifile sync) from mds0 [inode 1 [...2,head] / rep@0.2 v7 snaprealm=0xe27400 f(v0 m10.06.02_21:26:13.366344 1=0+1) ds=1=0+1 rb=0 rf=0 rd=0 (iauth sync) (ilink sync) (idft sync) (isnap sync) (inest sync) (ifile sync) (ixattr sync) (iversion lock) | nref=1 0x7f179c006280]
mds/Locker.cc: In function 'void Locker::handle_file_lock(ScatterLock*, MLock*)':
mds/Locker.cc:3468: FAILED assert(lock->get_state() == 2 || lock->get_state() == 15 || lock->get_state() == 21)
 1: (Locker::handle_file_lock(ScatterLock*, MLock*)+0x1d8) [0x86d70a]
 2: (Locker::handle_lock(MLock*)+0x191) [0x86e30f]
 3: (Locker::dispatch(Message*)+0x41) [0x870f27]
 4: (MDS::_dispatch(Message*)+0x1a17) [0x7364cb]
 5: (MDS::ms_dispatch(Message*)+0x2f) [0x737961]
 6: (Messenger::ms_deliver_dispatch(Message*)+0x55) [0x72918d]
 7: (SimpleMessenger::dispatch_entry()+0x532) [0x71710a]
 8: (SimpleMessenger::DispatchThread::entry()+0x29) [0x711f25]
 9: (Thread::_entry_func(void*)+0x20) [0x7232f4]
 10: /lib/libpthread.so.0 [0x7f17a407073a]
 11: (clone()+0x6d) [0x7f17a329469d]

Signed-off-by: Sage Weil <sage@newdream.net>

msg: add missing msg_types.cc

mds: add export_dir command

mds: add MDCache::cache_traverse()

initscript: unmount btrfs if we mounted it

move addr parse() into entity_addr_t

tcp: parse ipv4 and ipv6 addresses

mon: fix unsynchronized clock logic;
change output for clarity

mds: lookup exact snap dn on import

mds: update dn->first too when lock state adjusts inode->first

This keeps dn->first in sync with inode->first

mds: don't change lock states on replicated inode

The reconnect will infer some client caps, which will affect what lock
states we want.  If we're not replicated, fine, just pick something good.
Otherwise, try_eval() and go through the proper channels.

This _might_ be the source of #165...

mds: fix root null deref in recalc_auth_bits

Root may be null if we don't have any subtrees besides ~mds$id.

mds: adjust subtree map when unlinking dirs

Otherwise we get subtree bounds in the stray dir and get confused down
the line.

mds: discover snapped paths on retried ops

This is intended to mitigate a livelock issue with traversing to snapped
metadata.  The client specifies all snap requests relative to a non-snap
inode.  The traversal through the snapped portion of the namespace will
normally happen on the auth node, but the actual target may be on another
node that does not have that portion of the namespace.  To avoid indefinite
request ping-pong, the mds will begin to discover and replicate the snapped
path components if the request has been retried.

This doesn't perform optimally, but it will at least work.

mon: add wiggle room for clock synchronization check

mds: add case for CEPH_LOCK_DVERSION to LockType

xlist: add assert to catch invalid iterator usage

ObjectCacher: do not try to deref an invalidated xlist::iterator

Fixes #159

paxos: fix store_state fix

msgr: print bind errors to stderr

paxos: cleanup

paxos: only store committed values in store_state

The uncommitted value is handled specially by handle_last()

initscript: fix typo with $lockfile stuff

paxos: set last_committed in share_state()

It wasn't getting set for LAST message, which broke recovery somewhat.

Broken by 8e76c5a1d827e01f77149245679bd00ba27120e0.

mds: fix null dn deref during anchor_prepare

config: parse in $host from conf file

So you can do stuff like
log dir = /data/$host

osdmaptool: include raw, up, acting mappings

osdmap: assert maxrep >= minrep

mkcephfs: pass -c to cmon --mkfs

osd: warn, don't crash, on purged_snaps shrinkage

initscript: incorporate Josef's fedora fixes

Add 'status' command.
Add chkconfig line.
Do lockfile stuff only if /var/run/subsys exists.

Still specifying the runlevels, though.  The init script bails out (with
success code) if the ceph.conf is missing.

ceph.spec: build-required libatomic_ops-devel, not libatomic_ops

And no perl-devel.

sample.ceph.conf: include debug options, commented out

rados: you can now set the crush rule to use when creating a pool

librados: add crush_rule parameter to create_pool functions

objecter: add optional crush_rule parameter; set in pool_op_submit as needed

mon: add crush_rule data member to MPoolOp; use it in new pool creation on mon

mds: LAYZIO is not liked, but it is allowed

client: update ioctl.h (lazyio, invalidate_range)

mds: include LAYZIO cap in sync->mix and mix->sync transitions

mds: include LAZYIO in CEPH_CAP_ANY set

mon: warn to log, not just dout, on clock drift

mon: detect and warn on clock synchronization problems;
change MMonPaxos::lease_expire to lease_timestamp

ceph: add conversion to qemu coding style

Hi Yehuda,

I've added a small hack to make push_to_qemu.pl convert tabs to spaces.

Christian

paxos: use helper to store committed state; fix master mon catch up using stash

The catch up logic in handle_last didn't handle the stashed state, so we
crashed and burned if it was the master that was behind and caught up.
Use a helper that does the work for handle_commit AND handle_last.

cfuse: bail out on mount() errors

Merge branch 'lazyio' into unstable

Conflicts:
src/mds/locks.c

interval_set: fix union_of, intersection_of size accounting

init-ceph: use = not == for comparison operator

Merge branch 'mds_dentries' into unstable

mds: better debugging on rmdir

mds: fix scatterlock gather, writebehind

We stopped overloading the virutal is_updated() when we renamed to
is_dirty.

broken by 7f19ee1ac36095cd4d4c169858d93149f083318e

mds: make export targets stay in mdsmap for a while

This limits the mdsmap churn some.  Keep old targets around for at least
min-max iterations before removing them.

mds: balancer cleanup

mds: warn on dn release that dne

rbd: modify rbd on-disk header

rbd: fix push_to_qemu.pl

mon: roll mkmonfs functionality into cmon --mkfs

filestore: make mkfs() zap any file or dirs it finds

rbd: modify header, add utility to ease sync with qemu tree

osd: keep recovery ops in sync with pull

Call start_recovery_op from pull() instead of fixing every caller (some
were wrong).  This keeps the recovery state in sync with pulling state,
even when pull() has to pull something different (head, snapdir) first.

Fixes this crash:
osd/PG.cc: In function 'void PG::finish_recovery_op(const sobject_t&, bool)':
osd/PG.cc:1842: FAILED assert(recovering_oids.count(soid))
 1: (PG::finish_recovery_op(sobject_t const&, bool)+0x14e) [0x74caf6]
 2: (ReplicatedPG::sub_op_push(MOSDSubOp*)+0x1da8) [0x669292]
 3: (ReplicatedPG::do_sub_op(MOSDSubOp*)+0x109) [0x671a73]
 4: (OSD::dequeue_op(PG*)+0x23c) [0x6bda00]
 5: (OSD::OpWQ::_process(PG*)+0x21) [0x7387c9]
 6: (ThreadPool::WorkQueue<PG>::_void_process(void*)+0x28) [0x6f5e12]
 7: (ThreadPool::worker()+0x23a) [0x7f2404]
 8: (ThreadPool::WorkThread::entry()+0x19) [0x73b783]
 9: (Thread::_entry_func(void*)+0x20) [0x64f92a]
 10: /lib/libpthread.so.0 [0x7f7a12cf473a]
 11: (clone()+0x6d) [0x7f7a11f1e69d]

mon: no need for 'whoami' file in store

The monitor rank is provided during startup.  No need to verify it against
the monitor store, especially since the stores are otherwise identical.

This makes it simpler to restore/duplicate/wahtever a monitor.. just copy
the files.

reword blacklisted output so it's clearly discussing MDSes and not OSDs

uclient: don't unlink null dentry when getting null linkage in mds reply

This broke semi-recently when the mds started returning null linkages (and
associated leases).

mon: trim pgmap states even when we don't have a full quorum

paxos: recover using stashed latest when state histories don't overlap

If we don't have incremental states to catch up, jump to the latest.

mds: anchor multiversion inode before unlinking it

If we are going to create a remote dentry linking to a multiversion inode
we're unlinking, make sure it's anchored!

This is a bit fugly because it mirrors the logic in journal_cow_dentry. No
obvious way to use a generic helper for that though.

librados.h: add other TMAP definitions

also add a comment in rados.h about the defines in librados.h