tests/btrfs/011

   1 #! /bin/bash
   2 # SPDX-License-Identifier: GPL-2.0
   3 # Copyright (C) 2013 STRATO.  All rights reserved.
   4 #
   5 # FSQA Test No. btrfs/011
   6 #
   7 # Test of the btrfs replace operation.
   8 #
   9 # The amount of tests done depends on the number of devices in the
  10 # SCRATCH_DEV_POOL. For full test coverage, at least 5 devices should
  11 # be available (e.g. 5 partitions).
  12 #
  13 # The source and target devices for the replace operation are
  14 # arbitrarily chosen out of SCRATCH_DEV_POOl. Since the target device
  15 # mustn't be smaller than the source device, the requirement for this
  16 # test is that all devices have _exactly_ the same size. If this is
  17 # not the case, this test is not run.
  18 #
  19 # To check the filesystems after replacing a device, a scrub run is
  20 # performed, a btrfsck run, and finally the filesystem is remounted.
  21 #
  22 seq=`basename $0`
  23 seqres=$RESULT_DIR/$seq
  24 echo "QA output created by $seq"
  25
  26 here=`pwd`
  27 tmp=/tmp/$$
  28 status=1
  29 noise_pid=0
  30
  31 _cleanup()
  32 {
  33         if [ $noise_pid -ne 0 ] && ps -p $noise_pid | grep -q $noise_pid; then
  34                 kill -TERM $noise_pid
  35         fi
  36         wait
  37         rm -f $tmp.*
  38         # we need this umount and couldn't rely on _require_scratch to umount
  39         # it from next test, because we would replace SCRATCH_DEV, which is
  40         # needed by _require_scratch, and make it umounted.
  41         _scratch_unmount > /dev/null 2>&1
  42 }
  43 trap "_cleanup; exit \$status" 0 1 2 3 15
  44
  45 # get standard environment, filters and checks
  46 . ./common/rc
  47 . ./common/filter
  48
  49 # real QA test starts here
  50 _supported_fs btrfs
  51 _require_scratch_nocheck
  52 _require_scratch_dev_pool 5
  53 _require_scratch_dev_pool_equal_size
  54 _require_scratch_size $((10 * 1024 * 1024)) #kB
  55 _require_command "$WIPEFS_PROG" wipefs
  56
  57 rm -f $seqres.full
  58 rm -f $tmp.*
  59
  60 echo "*** test btrfs replace"
  61
  62 # In seconds
  63 wait_time=1
  64
  65 fill_scratch()
  66 {
  67         local fssize=$1
  68         local filler_pid
  69
  70         # Fill inline extents.
  71         for i in `seq 1 500`; do
  72                 _ddt of=$SCRATCH_MNT/s$i bs=3800 count=1
  73         done > /dev/null 2>&1
  74
  75         # Fill data extents.
  76         for i in `seq 1 500`; do
  77                 _ddt of=$SCRATCH_MNT/l$i bs=16385 count=1
  78         done > /dev/null 2>&1
  79         _ddt of=$SCRATCH_MNT/t0 bs=1M count=1 > /dev/null 2>&1
  80         for i in `seq $fssize`; do
  81                 cp $SCRATCH_MNT/t0 $SCRATCH_MNT/t$i || _fail "cp failed"
  82         done > /dev/null 2>> $seqres.full
  83
  84         # Ensure we have enough data so that dev-replace would take at least
  85         # 2 * $wait_time, allowing we cancel the running replace.
  86         # Some extra points:
  87         # - Use XFS_IO_PROG instead of dd
  88         #   fstests wraps dd, making it pretty hard to kill the real dd pid
  89         # - Use 64K block size with Direct IO
  90         #   64K is the same stripe size used in replace/scrub. Using Direct IO
  91         #   ensure the IO speed is near device limit and comparable to replace
  92         #   speed.
  93         $XFS_IO_PROG -f -d -c "pwrite -b 64k 0 1E" "$SCRATCH_MNT/t_filler" &>\
  94                 $tmp.filler_result &
  95         filler_pid=$!
  96         sleep $((2 * $wait_time))
  97         kill -KILL $filler_pid &> /dev/null
  98         wait $filler_pid &> /dev/null
  99
 100         # If the system is too fast and the fs is too small, then skip the test
 101         if grep -q "No space left" $tmp.filler_result; then
 102                 ls -alh $SCRATCH_MNT >> $seqres.full
 103                 cat $tmp.filler_result >> $seqres.full
 104                 _notrun "fs too small for this test"
 105         fi
 106         cat $tmp.filler_result
 107         sync; sync
 108 }
 109
 110 workout()
 111 {
 112         local mkfs_options="$1"
 113         local num_devs4raid="$2"
 114         local with_cancel="$3"
 115         local fssize="$4"
 116         local source_dev="`echo ${SCRATCH_DEV_POOL} | awk '{print $1}'`"
 117         local quick="quick"
 118
 119         [[ $fssize != 64 ]] && quick="thorough"
 120
 121         echo -e "\\n---------workout \"$1\" $2 $3 $4-----------" >> $seqres.full
 122
 123         $WIPEFS_PROG -a $SCRATCH_DEV_POOL > /dev/null 2>&1
 124         _scratch_dev_pool_get $num_devs4raid
 125         _spare_dev_get
 126
 127         _scratch_pool_mkfs $mkfs_options >> $seqres.full 2>&1 ||\
 128                 _fail "mkfs failed"
 129
 130         _scratch_mount
 131         _require_fs_space $SCRATCH_MNT $((2 * 512 * 1024)) #2.5G
 132
 133         fill_scratch $fssize
 134         _run_btrfs_util_prog filesystem show -m $SCRATCH_MNT
 135
 136         echo -e "Replace from $source_dev to $SPARE_DEV\\n" >> $seqres.full
 137         btrfs_replace_test $source_dev $SPARE_DEV "" $with_cancel $quick
 138
 139         _run_btrfs_util_prog filesystem show -m $SCRATCH_MNT
 140
 141         # Skip -r test for configs without mirror OR replace cancel
 142         if echo $mkfs_options | egrep -qv "raid1|raid5|raid6|raid10" || \
 143            [ "${with_cancel}Q" = "cancelQ" ]; then
 144                 _scratch_unmount > /dev/null 2>&1
 145                 _scratch_dev_pool_put
 146                 _spare_dev_put
 147                 return 0
 148         fi
 149
 150         # Due to above replace, now SPARE_DEV is part of the FS, check that.
 151         $BTRFS_UTIL_PROG filesystem show -m $SCRATCH_MNT |\
 152                 grep -qs $SPARE_DEV$ ||\
 153                 _fail "$SPARE_DEV is not part of SCRATCH_FS"
 154
 155         btrfs_replace_test $SPARE_DEV $source_dev "-r" $with_cancel $quick
 156
 157         _scratch_unmount > /dev/null 2>&1
 158         _scratch_dev_pool_put
 159         _spare_dev_put
 160 }
 161
 162 btrfs_replace_test()
 163 {
 164         local source_dev="$1"
 165         local target_dev="$2"
 166         local replace_options="$3"
 167         local with_cancel="$4"
 168         local quick="$5"
 169
 170         # generate some (slow) background traffic in parallel to the
 171         # replace operation. It is not a problem if cat fails early
 172         # with ENOSPC.
 173         cat /dev/urandom | od > $SCRATCH_MNT/noise 2>> $seqres.full &
 174         noise_pid=$!
 175
 176         if [ "${with_cancel}Q" = "cancelQ" ]; then
 177                 # background the replace operation (no '-B' option given)
 178                 _run_btrfs_util_prog replace start -f $replace_options $source_dev $target_dev $SCRATCH_MNT
 179                 sleep $wait_time
 180                 _run_btrfs_util_prog replace cancel $SCRATCH_MNT
 181
 182                 # 'replace status' waits for the replace operation to finish
 183                 # before the status is printed
 184                 $BTRFS_UTIL_PROG replace status $SCRATCH_MNT > $tmp.tmp 2>&1
 185                 cat $tmp.tmp >> $seqres.full
 186                 grep -q canceled $tmp.tmp || _fail "btrfs replace status (canceled) failed"
 187         else
 188                 if [ "${quick}Q" = "thoroughQ" ]; then
 189                         # The thorough test runs around 2 * $wait_time seconds.
 190                         # This is a chance to force a sync in the middle of the
 191                         # replace operation.
 192                         (sleep $wait_time; sync) > /dev/null 2>&1 &
 193                 fi
 194                 _run_btrfs_util_prog replace start -Bf $replace_options $source_dev $target_dev $SCRATCH_MNT
 195
 196                 $BTRFS_UTIL_PROG replace status $SCRATCH_MNT > $tmp.tmp 2>&1
 197                 cat $tmp.tmp >> $seqres.full
 198                 grep -q finished $tmp.tmp || _fail "btrfs replace status (finished) failed"
 199         fi
 200
 201         if ps -p $noise_pid | grep -q $noise_pid; then
 202                 kill -TERM $noise_pid 2> /dev/null
 203         fi
 204         noise_pid=0
 205         wait
 206
 207         # scrub tests on-disk data, that's the reason for the sync.
 208         # With the '-B' option (don't background), any type of error causes
 209         # exit values != 0, including detected correctable and uncorrectable
 210         # errors on the device.
 211         sync; sync
 212         _run_btrfs_util_prog scrub start -B $SCRATCH_MNT
 213
 214         # Two tests are performed, the 1st is to btrfsck the filesystem,
 215         # and the 2nd test is to mount the filesystem.
 216         # Usually _check_btrfs_filesystem would perform the mount test,
 217         # but it gets confused by the mount output that shows SCRATCH_MNT
 218         # mounted but not being mounted to SCRATCH_DEV. This happens
 219         # because in /proc/mounts the 2nd device of the filesystem is
 220         # shown after the replace operation. Let's just do the mount
 221         # test manually after _check_btrfs_filesystem is finished.
 222         _scratch_unmount > /dev/null 2>&1
 223         if [ "${with_cancel}Q" != "cancelQ" ]; then
 224                 # after the replace operation, use the target_dev for everything
 225                 echo "_check_btrfs_filesystem $target_dev" >> $seqres.full
 226                 _check_btrfs_filesystem $target_dev
 227                 _mount -t $FSTYP `_scratch_mount_options | sed "s&${SCRATCH_DEV}&${target_dev}&"`
 228         else
 229                 _check_btrfs_filesystem $source_dev
 230                 _scratch_mount
 231         fi
 232 }
 233
 234 workout "-m single -d single" 1 no 64
 235 workout "-m single -d single -M" 1 no 64
 236 workout "-m dup -d single" 1 no 64
 237 workout "-m dup -d single" 1 cancel 1024
 238 workout "-m dup -d dup -M" 1 no 64
 239 workout "-m raid0 -d raid0" 2 no 64
 240 workout "-m raid1 -d raid1" 2 no 2048
 241 workout "-m raid5 -d raid5" 2 no 64
 242 workout "-m raid6 -d raid6" 3 no 64
 243 workout "-m raid10 -d raid10" 4 no 64
 244
 245 echo "*** done"
 246 status=0
 247 exit