tests/xfs/509

   1 #! /bin/bash
   2 # SPDX-License-Identifier: GPL-2.0
   3 # Copyright (c) 2014 Red Hat, Inc.  All Rights Reserved.
   4 # Copyright (c) 2019 Oracle, Inc.  All Rights Reserved.
   5 #
   6 # FS QA Test No. 509
   7 #
   8 # Use the xfs_io bulkstat utility to verify bulkstat finds all inodes in a
   9 # filesystem.  Test under various inode counts, inobt record layouts and
  10 # bulkstat batch sizes.  Test v1 and v5 ioctls explicitly, as well as the
  11 # ioctl version autodetection code in libfrog.
  12 #
  13 seq=`basename $0`
  14 seqres=$RESULT_DIR/$seq
  15 echo "QA output created by $seq"
  16
  17 here=`pwd`
  18 tmp=/tmp/$$
  19 status=1        # failure is the default!
  20 trap "_cleanup; exit \$status" 0 1 2 3 15
  21
  22 _cleanup()
  23 {
  24         cd /
  25         rm -f $tmp.*
  26 }
  27
  28 bstat_versions()
  29 {
  30         echo "default"
  31         echo "v1 -v1"
  32         if [ -n "$has_v5" ]; then
  33                 echo "v5 -v5"
  34         else
  35                 echo "v5"
  36         fi
  37 }
  38
  39 # Print the number of inodes counted by bulkstat
  40 bstat_count()
  41 {
  42         local batchsize="$1"
  43         local tag="$2"
  44
  45         bstat_versions | while read v_tag v_flag; do
  46                 echo "$tag($v_tag): passing \"$v_flag\" to bulkstat" >> $seqres.full
  47                 echo -n "bulkstat $tag($v_tag): "
  48                 $XFS_IO_PROG -c "bulkstat -n $batchsize $v_flag" $SCRATCH_MNT | grep ino | wc -l
  49         done
  50 }
  51
  52 # Print the number of inodes counted by per-ag bulkstat
  53 bstat_perag_count()
  54 {
  55         local batchsize="$1"
  56         local tag="$2"
  57
  58         local agcount=$(_xfs_mount_agcount $SCRATCH_MNT)
  59
  60         bstat_versions | while read v_tag v_flag; do
  61                 echo -n "bulkstat $tag($v_tag): "
  62                 seq 0 $((agcount - 1)) | while read ag; do
  63                         $XFS_IO_PROG -c "bulkstat -a $ag -n $batchsize $v_flag" $SCRATCH_MNT
  64                 done | grep ino | wc -l
  65         done
  66 }
  67
  68 # Sum the number of allocated inodes in each AG in a fs.
  69 inumbers_ag()
  70 {
  71         local agcount="$1"
  72         local batchsize="$2"
  73         local mount="$3"
  74         local v_flag="$4"
  75
  76         seq 0 $((agcount - 1)) | while read ag; do
  77                 $XFS_IO_PROG -c "inumbers -a $ag -n $batchsize $v_flag" $mount
  78         done | grep alloccount | awk '{x += $3} END { print(x) }'
  79 }
  80
  81 # Sum the number of allocated inodes in the whole fs all at once.
  82 inumbers_fs()
  83 {
  84         local dir="$1"
  85         local v_flag="$2"
  86
  87         $XFS_IO_PROG -c "inumbers $v_flag" "$dir" | grep alloccount | \
  88                 awk '{x += $3} END { print(x) }'
  89 }
  90
  91 # Print the number of inodes counted by inumbers
  92 inumbers_count()
  93 {
  94         local expect="$1"
  95
  96         # There probably aren't more than 10 hidden inodes, right?
  97         local tolerance=10
  98
  99         # Force all background unlinked inode cleanup to run so that we don't
 100         # race changes to the inode btree with our inumbers query.
 101         _scratch_cycle_mount
 102
 103         bstat_versions | while read v_tag v_flag; do
 104                 echo -n "inumbers all($v_tag): "
 105                 nr=$(inumbers_fs $SCRATCH_MNT $v_flag)
 106                 _within_tolerance "inumbers" $nr $expect $tolerance -v
 107
 108                 local agcount=$(_xfs_mount_agcount $SCRATCH_MNT)
 109                 for batchsize in 71 2 1; do
 110                         echo -n "inumbers $batchsize($v_tag): "
 111                         nr=$(inumbers_ag $agcount $batchsize $SCRATCH_MNT $v_flag)
 112                         _within_tolerance "inumbers" $nr $expect $tolerance -v
 113                 done
 114         done
 115 }
 116
 117 # Compare the src/bstat output against the xfs_io bstat output.
 118 # This compares the actual inode numbers output by one tool against another,
 119 # so we can't easily put the output in the golden output.
 120 bstat_compare()
 121 {
 122         bstat_versions | while read v_tag v_flag; do
 123                 diff -u <(./src/bstat $SCRATCH_MNT | grep ino | awk '{print $2}') \
 124                         <($XFS_IO_PROG -c "bulkstat $v_flag" $SCRATCH_MNT | grep ino | awk '{print $3}')
 125         done
 126 }
 127
 128 # Print bulkstat counts using varied batch sizes
 129 bstat_test()
 130 {
 131         expect=`find $SCRATCH_MNT -print | wc -l`
 132         echo
 133         echo "expect $expect"
 134
 135         for sz in 4096 71 32 1; do
 136                 bstat_count $sz "$sz all"
 137                 bstat_perag_count $sz "$sz perag"
 138                 bstat_compare
 139                 inumbers_count $expect
 140         done
 141 }
 142
 143 # Get standard environment, filters and checks
 144 . ./common/rc
 145 . ./common/filter
 146
 147 _require_scratch
 148 _require_xfs_io_command bulkstat
 149 _require_xfs_io_command bulkstat_single
 150 _require_xfs_io_command inumbers
 151
 152 # Real QA test starts here
 153
 154 _supported_fs xfs
 155 _supported_os Linux
 156
 157 rm -f $seqres.full
 158
 159 DIRCOUNT=8
 160 INOCOUNT=$((2048 / DIRCOUNT))
 161
 162 _scratch_mkfs "-d agcount=$DIRCOUNT" >> $seqres.full 2>&1 || _fail "mkfs failed"
 163 _scratch_mount
 164
 165 # Figure out if we have v5 bulkstat/inumbers ioctls.
 166 has_v5=
 167 bs_root_out="$($XFS_IO_PROG -c 'bulkstat_single root' $SCRATCH_MNT 2>>$seqres.full)"
 168 test -n "$bs_root_out" && has_v5=1
 169
 170 echo "this will be 1 if we have v5 bulkstat: $has_v5" >> $seqres.full
 171
 172 # If v5 bulkstat is present, query the root inode and compare it to the stat
 173 # output of $SCRATCH_MNT to make sure it gave us the correct number
 174 if [ -n "$has_v5" ]; then
 175         bs_root=$(echo "$bs_root_out" | grep ino | awk '{print $3}')
 176         stat_root=$(stat -c '%i' $SCRATCH_MNT)
 177         if [ "$stat_root" -ne "$bs_root" ]; then
 178                 echo "stat says root is $stat_root but bulkstat says $bs_root"
 179         fi
 180 fi
 181
 182 # Create a set of directories and fill each with a fixed number of files
 183 for dir in $(seq 1 $DIRCOUNT); do
 184         mkdir -p $SCRATCH_MNT/$dir
 185         for i in $(seq 1 $INOCOUNT); do
 186                 touch $SCRATCH_MNT/$dir/$i
 187         done
 188 done
 189 bstat_test
 190
 191 # Remove every other file from each dir
 192 for dir in $(seq 1 $DIRCOUNT); do
 193         for i in $(seq 2 2 $INOCOUNT); do
 194                 rm -f $SCRATCH_MNT/$dir/$i
 195         done
 196 done
 197 bstat_test
 198
 199 # Remove the entire second half of files
 200 for dir in $(seq 1 $DIRCOUNT); do
 201         for i in $(seq $((INOCOUNT / 2)) $INOCOUNT); do
 202                 rm -f $SCRATCH_MNT/$dir/$i
 203         done
 204 done
 205 bstat_test
 206
 207 # Remove all regular files
 208 for dir in $(seq 1 $DIRCOUNT); do
 209         rm -f $SCRATCH_MNT/$dir/*
 210 done
 211 bstat_test
 212
 213 # Success, all done
 214 status=0
 215 exit