common/xfs

   1 #
   2 # XFS specific common functions.
   3 #
   4
   5 _setup_large_xfs_fs()
   6 {
   7         fs_size=$1
   8         local tmp_dir=/tmp/
   9
  10         [ "$LARGE_SCRATCH_DEV" != yes ] && return 0
  11         [ -z "$SCRATCH_DEV_EMPTY_SPACE" ] && SCRATCH_DEV_EMPTY_SPACE=0
  12         [ $SCRATCH_DEV_EMPTY_SPACE -ge $fs_size ] && return 0
  13
  14         # calculate the size of the file we need to allocate.
  15         # Default free space in the FS is 50GB, but you can specify more via
  16         # SCRATCH_DEV_EMPTY_SPACE
  17         file_size=$(($fs_size - 50*1024*1024*1024))
  18         file_size=$(($file_size - $SCRATCH_DEV_EMPTY_SPACE))
  19
  20         # mount the filesystem, create the file, unmount it
  21         _try_scratch_mount 2>&1 >$tmp_dir/mnt.err
  22         local status=$?
  23         if [ $status -ne 0 ]; then
  24                 echo "mount failed"
  25                 cat $tmp_dir/mnt.err >&2
  26                 rm -f $tmp_dir/mnt.err
  27                 return $status
  28         fi
  29         rm -f $tmp_dir/mnt.err
  30
  31         xfs_io -F -f \
  32                 -c "truncate $file_size" \
  33                 -c "falloc -k 0 $file_size" \
  34                 -c "chattr +d" \
  35                 $SCRATCH_MNT/.use_space 2>&1 > /dev/null
  36         export NUM_SPACE_FILES=1
  37         status=$?
  38         _scratch_unmount
  39         if [ $status -ne 0 ]; then
  40                 echo "large file prealloc failed"
  41                 cat $tmp_dir/mnt.err >&2
  42                 return $status
  43         fi
  44         return 0
  45 }
  46
  47 _scratch_mkfs_xfs_opts()
  48 {
  49         mkfs_opts=$*
  50
  51         # remove metadata related mkfs options if mkfs.xfs doesn't them
  52         if [ -n "$XFS_MKFS_HAS_NO_META_SUPPORT" ]; then
  53                 mkfs_opts=`echo $mkfs_opts | sed "s/-m\s\+\S\+//g"`
  54         fi
  55
  56         _scratch_options mkfs
  57
  58         echo "$MKFS_XFS_PROG $SCRATCH_OPTIONS $mkfs_opts"
  59 }
  60
  61
  62 _scratch_mkfs_xfs_supported()
  63 {
  64         local mkfs_opts=$*
  65
  66         _scratch_options mkfs
  67
  68         $MKFS_XFS_PROG -N $MKFS_OPTIONS $SCRATCH_OPTIONS $mkfs_opts $SCRATCH_DEV
  69         local mkfs_status=$?
  70
  71         # a mkfs failure may be caused by conflicts between $MKFS_OPTIONS and
  72         # $mkfs_opts, try again without $MKFS_OPTIONS
  73         if [ $mkfs_status -ne 0 -a -n "$mkfs_opts" ]; then
  74                 $MKFS_XFS_PROG -N $SCRATCH_OPTIONS $mkfs_opts $SCRATCH_DEV
  75                 mkfs_status=$?
  76         fi
  77         return $mkfs_status
  78 }
  79
  80 # Returns the minimum XFS log size, in units of log blocks.
  81 _scratch_find_xfs_min_logblocks()
  82 {
  83         local mkfs_cmd="`_scratch_mkfs_xfs_opts`"
  84
  85         # The smallest log size we can specify is 2M (XFS_MIN_LOG_BYTES) so
  86         # pass that in and see if mkfs succeeds or tells us what is the
  87         # minimum log size.
  88         local XFS_MIN_LOG_BYTES=2097152
  89
  90         # Try formatting the filesystem with all the options given and the
  91         # minimum log size.  We hope either that this succeeds or that mkfs
  92         # tells us the required minimum log size for the feature set.
  93         #
  94         # We cannot use _scratch_do_mkfs because it will retry /any/ failed
  95         # mkfs with MKFS_OPTIONS removed even if the only "failure" was that
  96         # the log was too small.
  97         local extra_mkfs_options="$* -N -l size=$XFS_MIN_LOG_BYTES"
  98         eval "$mkfs_cmd $MKFS_OPTIONS $extra_mkfs_options $SCRATCH_DEV" \
  99                 2>$tmp.mkfserr 1>$tmp.mkfsstd
 100         local mkfs_status=$?
 101
 102         # If the format fails for a reason other than the log being too small,
 103         # try again without MKFS_OPTIONS because that's what _scratch_do_mkfs
 104         # will do if we pass in the log size option.
 105         if [ $mkfs_status -ne 0 ] &&
 106            ! egrep -q '(log size.*too small, minimum|external log device.*too small, must be)' $tmp.mkfserr; then
 107                 eval "$mkfs_cmd $extra_mkfs_options $SCRATCH_DEV" \
 108                         2>$tmp.mkfserr 1>$tmp.mkfsstd
 109                 mkfs_status=$?
 110         fi
 111
 112         # mkfs suceeded, so we must pick out the log block size to do the
 113         # unit conversion
 114         if [ $mkfs_status -eq 0 ]; then
 115                 blksz="$(grep '^log.*bsize' $tmp.mkfsstd | \
 116                         sed -e 's/log.*bsize=\([0-9]*\).*$/\1/g')"
 117                 echo $((XFS_MIN_LOG_BYTES / blksz))
 118                 rm -f $tmp.mkfsstd $tmp.mkfserr
 119                 return
 120         fi
 121
 122         # Usually mkfs will tell us the minimum log size...
 123         if grep -q 'minimum size is' $tmp.mkfserr; then
 124                 grep 'minimum size is' $tmp.mkfserr | \
 125                         sed -e 's/^.*minimum size is \([0-9]*\) blocks/\1/g'
 126                 rm -f $tmp.mkfsstd $tmp.mkfserr
 127                 return
 128         fi
 129         if grep -q 'external log device.*too small, must be' $tmp.mkfserr; then
 130                 grep 'external log device.*too small, must be' $tmp.mkfserr | \
 131                         sed -e 's/^.*must be at least \([0-9]*\) blocks/\1/g'
 132                 rm -f $tmp.mkfsstd $tmp.mkfserr
 133                 return
 134         fi
 135
 136         # Don't know what to do, so fail
 137         echo "Cannot determine minimum log size" >&2
 138         cat $tmp.mkfsstd >> $seqres.full
 139         cat $tmp.mkfserr >> $seqres.full
 140         rm -f $tmp.mkfsstd $tmp.mkfserr
 141 }
 142
 143 _scratch_mkfs_xfs()
 144 {
 145         local mkfs_cmd="`_scratch_mkfs_xfs_opts`"
 146         local mkfs_filter="sed -e '/less than device physical sector/d' \
 147                                -e '/switching to logical sector/d' \
 148                                -e '/Default configuration/d'"
 149         local tmp=`mktemp -u`
 150         local mkfs_status
 151
 152         _scratch_do_mkfs "$mkfs_cmd" "$mkfs_filter" $* 2>$tmp.mkfserr 1>$tmp.mkfsstd
 153         mkfs_status=$?
 154
 155         grep -q crc=0 $tmp.mkfsstd && _force_xfsv4_mount_options
 156
 157         if [ $mkfs_status -eq 0 -a "$LARGE_SCRATCH_DEV" = yes ]; then
 158                 # manually parse the mkfs output to get the fs size in bytes
 159                 local fs_size
 160                 fs_size=`cat $tmp.mkfsstd | perl -ne '
 161                         if (/^data\s+=\s+bsize=(\d+)\s+blocks=(\d+)/) {
 162                                 my $size = $1 * $2;
 163                                 print STDOUT "$size\n";
 164                         }'`
 165                 _setup_large_xfs_fs $fs_size
 166                 mkfs_status=$?
 167         fi
 168
 169         # output mkfs stdout and stderr
 170         cat $tmp.mkfsstd
 171         cat $tmp.mkfserr >&2
 172         rm -f $tmp.mkfserr $tmp.mkfsstd
 173
 174         return $mkfs_status
 175 }
 176
 177 # Get the size of an allocation unit of a file.  Normally this is just the
 178 # block size of the file, but for realtime files, this is the realtime extent
 179 # size.
 180 _xfs_get_file_block_size()
 181 {
 182         local path="$1"
 183
 184         if ! ($XFS_IO_PROG -c "stat -v" "$path" 2>&1 | egrep -q '(rt-inherit|realtime)'); then
 185                 _get_block_size "$path"
 186                 return
 187         fi
 188
 189         # Otherwise, call xfs_info until we find a mount point or the root.
 190         path="$(readlink -m "$path")"
 191         while ! $XFS_INFO_PROG "$path" &>/dev/null && [ "$path" != "/" ]; do
 192                 path="$(dirname "$path")"
 193         done
 194         $XFS_INFO_PROG "$path" | grep realtime | sed -e 's/^.*extsz=\([0-9]*\).*$/\1/g'
 195 }
 196
 197 _xfs_get_fsxattr()
 198 {
 199         local field="$1"
 200         local path="$2"
 201
 202         local value=$($XFS_IO_PROG -c "stat" "$path" | grep -w "$field")
 203         echo ${value##fsxattr.${field} = }
 204 }
 205
 206 # xfs_check script is planned to be deprecated. But, we want to
 207 # be able to invoke "xfs_check" behavior in xfstests in order to
 208 # maintain the current verification levels.
 209 _xfs_check()
 210 {
 211         OPTS=" "
 212         DBOPTS=" "
 213         USAGE="Usage: xfs_check [-fsvV] [-l logdev] [-i ino]... [-b bno]... special"
 214
 215         OPTIND=1
 216         while getopts "b:fi:l:stvV" c; do
 217                 case $c in
 218                         s) OPTS=$OPTS"-s ";;
 219                         t) OPTS=$OPTS"-t ";;
 220                         v) OPTS=$OPTS"-v ";;
 221                         i) OPTS=$OPTS"-i "$OPTARG" ";;
 222                         b) OPTS=$OPTS"-b "$OPTARG" ";;
 223                         f) DBOPTS=$DBOPTS" -f";;
 224                         l) DBOPTS=$DBOPTS" -l "$OPTARG" ";;
 225                         V) $XFS_DB_PROG -p xfs_check -V
 226                            return $?
 227                            ;;
 228                 esac
 229         done
 230         set -- extra $@
 231         shift $OPTIND
 232         case $# in
 233                 1) ${XFS_DB_PROG}${DBOPTS} -F -i -p xfs_check -c "check$OPTS" $1
 234                    status=$?
 235                    ;;
 236                 2) echo $USAGE 1>&1
 237                    status=2
 238                    ;;
 239         esac
 240         return $status
 241 }
 242
 243 _scratch_xfs_db_options()
 244 {
 245         SCRATCH_OPTIONS=""
 246         [ "$USE_EXTERNAL" = yes -a ! -z "$SCRATCH_LOGDEV" ] && \
 247                 SCRATCH_OPTIONS="-l$SCRATCH_LOGDEV"
 248         echo $SCRATCH_OPTIONS $* $SCRATCH_DEV
 249 }
 250
 251 _scratch_xfs_db()
 252 {
 253         $XFS_DB_PROG "$@" $(_scratch_xfs_db_options)
 254 }
 255
 256 _test_xfs_db_options()
 257 {
 258         TEST_OPTIONS=""
 259         [ "$USE_EXTERNAL" = yes -a ! -z "$TEST_LOGDEV" ] && \
 260                 TEST_OPTIONS="-l$TEST_LOGDEV"
 261         echo $TEST_OPTIONS $* $TEST_DEV
 262 }
 263
 264 _test_xfs_db()
 265 {
 266         $XFS_DB_PROG "$@" $(_test_xfs_db_options)
 267 }
 268
 269 _scratch_xfs_admin()
 270 {
 271         local options=("$SCRATCH_DEV")
 272         local rt_opts=()
 273         [ "$USE_EXTERNAL" = yes -a ! -z "$SCRATCH_LOGDEV" ] && \
 274                 options+=("$SCRATCH_LOGDEV")
 275         if [ "$USE_EXTERNAL" = yes ] && [ -n "$SCRATCH_RTDEV" ]; then
 276                 $XFS_ADMIN_PROG --help 2>&1 | grep -q 'rtdev' || \
 277                         _notrun 'xfs_admin does not support rt devices'
 278                 rt_opts+=(-r "$SCRATCH_RTDEV")
 279         fi
 280
 281         # xfs_admin in xfsprogs 5.11 has a bug where an external log device
 282         # forces xfs_db to be invoked, potentially with zero command arguments.
 283         # When this happens, xfs_db will wait for input on stdin, which causes
 284         # fstests to hang.  Since xfs_admin is not an interactive tool, we
 285         # can redirect stdin from /dev/null to prevent this issue.
 286         $XFS_ADMIN_PROG "${rt_opts[@]}" "$@" "${options[@]}" < /dev/null
 287 }
 288
 289 _scratch_xfs_logprint()
 290 {
 291         SCRATCH_OPTIONS=""
 292         [ "$USE_EXTERNAL" = yes -a ! -z "$SCRATCH_LOGDEV" ] && \
 293                 SCRATCH_OPTIONS="-l$SCRATCH_LOGDEV"
 294         $XFS_LOGPRINT_PROG $SCRATCH_OPTIONS $* $SCRATCH_DEV
 295 }
 296
 297 _test_xfs_logprint()
 298 {
 299         TEST_OPTIONS=""
 300         [ "$USE_EXTERNAL" = yes -a ! -z "$TEST_LOGDEV" ] && \
 301                 TEST_OPTIONS="-l$TEST_LOGDEV"
 302         $XFS_LOGPRINT_PROG $TEST_OPTIONS $* $TEST_DEV
 303 }
 304
 305 _scratch_xfs_check()
 306 {
 307         SCRATCH_OPTIONS=""
 308         [ "$USE_EXTERNAL" = yes -a ! -z "$SCRATCH_LOGDEV" ] && \
 309                 SCRATCH_OPTIONS="-l $SCRATCH_LOGDEV"
 310         [ "$LARGE_SCRATCH_DEV" = yes ] && \
 311                 SCRATCH_OPTIONS=$SCRATCH_OPTIONS" -t"
 312         _xfs_check $SCRATCH_OPTIONS $* $SCRATCH_DEV
 313 }
 314
 315 _scratch_xfs_repair()
 316 {
 317         SCRATCH_OPTIONS=""
 318         [ "$USE_EXTERNAL" = yes -a ! -z "$SCRATCH_LOGDEV" ] && \
 319                 SCRATCH_OPTIONS="-l$SCRATCH_LOGDEV"
 320         [ "$USE_EXTERNAL" = yes -a ! -z "$SCRATCH_RTDEV" ] && \
 321                 SCRATCH_OPTIONS=$SCRATCH_OPTIONS" -r$SCRATCH_RTDEV"
 322         $XFS_REPAIR_PROG $SCRATCH_OPTIONS $* $SCRATCH_DEV
 323 }
 324
 325 # this test requires the projid32bit feature to be available in mkfs.xfs.
 326 #
 327 _require_projid32bit()
 328 {
 329        _scratch_mkfs_xfs_supported -i projid32bit=1 >/dev/null 2>&1 \
 330            || _notrun "mkfs.xfs doesn't have projid32bit feature"
 331 }
 332
 333 _require_projid16bit()
 334 {
 335         _scratch_mkfs_xfs_supported -i projid32bit=0 >/dev/null 2>&1 \
 336            || _notrun "16 bit project IDs not supported on $SCRATCH_DEV"
 337 }
 338
 339 # this test requires the crc feature to be available in mkfs.xfs
 340 #
 341 _require_xfs_mkfs_crc()
 342 {
 343         _scratch_mkfs_xfs_supported -m crc=1 >/dev/null 2>&1 \
 344            || _notrun "mkfs.xfs doesn't have crc feature"
 345 }
 346
 347 # this test requires the xfs kernel support crc feature
 348 #
 349 _require_xfs_crc()
 350 {
 351         _scratch_mkfs_xfs -m crc=1 >/dev/null 2>&1
 352         _try_scratch_mount >/dev/null 2>&1 \
 353            || _notrun "Kernel doesn't support crc feature"
 354         _scratch_unmount
 355 }
 356
 357 # this test requires the xfs kernel support crc feature on scratch device
 358 #
 359 _require_scratch_xfs_crc()
 360 {
 361         _scratch_mkfs_xfs >/dev/null 2>&1
 362         _try_scratch_mount >/dev/null 2>&1 \
 363            || _notrun "Kernel doesn't support crc feature"
 364         $XFS_INFO_PROG $SCRATCH_MNT | grep -q 'crc=1' || _notrun "crc feature not supported by this filesystem"
 365         _scratch_unmount
 366 }
 367
 368 # this test requires the finobt feature to be available in mkfs.xfs
 369 #
 370 _require_xfs_mkfs_finobt()
 371 {
 372         _scratch_mkfs_xfs_supported -m crc=1,finobt=1 >/dev/null 2>&1 \
 373            || _notrun "mkfs.xfs doesn't have finobt feature"
 374 }
 375
 376 # this test requires the xfs kernel support finobt feature
 377 #
 378 _require_xfs_finobt()
 379 {
 380         _scratch_mkfs_xfs -m crc=1,finobt=1 >/dev/null 2>&1
 381         _try_scratch_mount >/dev/null 2>&1 \
 382            || _notrun "Kernel doesn't support finobt feature"
 383         _scratch_unmount
 384 }
 385
 386 # this test requires xfs sysfs attribute support
 387 #
 388 _require_xfs_sysfs()
 389 {
 390         attr=$1
 391         sysfsdir=/sys/fs/xfs
 392
 393         if [ ! -e $sysfsdir ]; then
 394                 _notrun "no kernel support for XFS sysfs attributes"
 395         fi
 396
 397         if [ ! -z $1 ] && [ ! -e $sysfsdir/$attr ]; then
 398                 _notrun "sysfs attribute '$attr' is not supported"
 399         fi
 400 }
 401
 402 # this test requires the xfs sparse inode feature
 403 #
 404 _require_xfs_sparse_inodes()
 405 {
 406         _scratch_mkfs_xfs_supported -m crc=1 -i sparse > /dev/null 2>&1 \
 407                 || _notrun "mkfs.xfs does not support sparse inodes"
 408         _scratch_mkfs_xfs -m crc=1 -i sparse > /dev/null 2>&1
 409         _try_scratch_mount >/dev/null 2>&1 \
 410                 || _notrun "kernel does not support sparse inodes"
 411         _scratch_unmount
 412 }
 413
 414 # check that xfs_db supports a specific command
 415 _require_xfs_db_command()
 416 {
 417         if [ $# -ne 1 ]; then
 418                 echo "Usage: _require_xfs_db_command command" 1>&2
 419                 exit 1
 420         fi
 421         command=$1
 422
 423         _scratch_mkfs_xfs >/dev/null 2>&1
 424         _scratch_xfs_db -x -c "help" | grep $command > /dev/null || \
 425                 _notrun "xfs_db $command support is missing"
 426 }
 427
 428 # Does the filesystem mounted from a particular device support scrub?
 429 _supports_xfs_scrub()
 430 {
 431         local mountpoint="$1"
 432         local device="$2"
 433
 434         if [ -z "$device" ] || [ -z "$mountpoint" ]; then
 435                 echo "Usage: _supports_xfs_scrub mountpoint device"
 436                 return 1
 437         fi
 438
 439         if [ ! -b "$device" ] || [ ! -e "$mountpoint" ]; then
 440                 return 1
 441         fi
 442
 443         test "$FSTYP" = "xfs" || return 1
 444         test -x "$XFS_SCRUB_PROG" || return 1
 445
 446         # Probe for kernel support...
 447         $XFS_IO_PROG -c 'help scrub' 2>&1 | grep -q 'types are:.*probe' || return 1
 448         $XFS_IO_PROG -c "scrub probe" "$mountpoint" 2>&1 | grep -q "Inappropriate ioctl" && return 1
 449
 450         # Scrub can't run on norecovery mounts
 451         _fs_options "$device" | grep -q "norecovery" && return 1
 452
 453         return 0
 454 }
 455
 456 # Save a snapshot of a corrupt xfs filesystem for later debugging.
 457 _xfs_metadump() {
 458         local metadump="$1"
 459         local device="$2"
 460         local logdev="$3"
 461         local compressopt="$4"
 462         shift; shift; shift; shift
 463         local options="$@"
 464         test -z "$options" && options="-a -o"
 465
 466         if [ "$logdev" != "none" ]; then
 467                 options="$options -l $logdev"
 468         fi
 469
 470         $XFS_METADUMP_PROG $options "$device" "$metadump"
 471         res=$?
 472         [ "$compressopt" = "compress" ] && [ -n "$DUMP_COMPRESSOR" ] &&
 473                 $DUMP_COMPRESSOR "$metadump" &> /dev/null
 474         return $res
 475 }
 476
 477 # Snapshot the metadata on the scratch device
 478 _scratch_xfs_metadump()
 479 {
 480         local metadump=$1
 481         shift
 482         local logdev=none
 483
 484         [ "$USE_EXTERNAL" = yes -a ! -z "$SCRATCH_LOGDEV" ] && \
 485                 logdev=$SCRATCH_LOGDEV
 486
 487         _xfs_metadump "$metadump" "$SCRATCH_DEV" "$logdev" nocompress "$@"
 488 }
 489
 490 # run xfs_check and friends on a FS.
 491 _check_xfs_filesystem()
 492 {
 493         if [ $# -ne 3 ]; then
 494                 echo "Usage: _check_xfs_filesystem device <logdev>|none <rtdev>|none" 1>&2
 495                 exit 1
 496         fi
 497
 498         extra_mount_options=""
 499         extra_log_options=""
 500         extra_options=""
 501         device=$1
 502         if [ -f $device ]; then
 503                 extra_options="-f"
 504         fi
 505
 506         local logdev="$2"
 507         if [ "$logdev" != "none" ]; then
 508                 extra_log_options="-l$logdev"
 509                 extra_mount_options="-ologdev=$logdev"
 510         fi
 511
 512         local rtdev="$3"
 513         if [ "$rtdev" != "none" ]; then
 514                 extra_rt_options="-r$rtdev"
 515                 extra_mount_options=$extra_mount_options" -ortdev=$rtdev"
 516         fi
 517         extra_mount_options=$extra_mount_options" $MOUNT_OPTIONS"
 518
 519         [ "$FSTYP" != xfs ] && return 0
 520
 521         type=`_fs_type $device`
 522         ok=1
 523
 524         # Run online scrub if we can.
 525         mntpt="$(_is_dev_mounted $device)"
 526         if [ -n "$mntpt" ] && _supports_xfs_scrub "$mntpt" "$device"; then
 527                 # Tests can create a scenario in which a call to syncfs() issued
 528                 # at the end of the execution of the test script would return an
 529                 # error code. xfs_scrub internally calls syncfs() before
 530                 # starting the actual online consistency check operation. Since
 531                 # such a call to syncfs() fails, xfs_scrub ends up returning
 532                 # without performing consistency checks on the test
 533                 # filesystem. This can mask a possible on-disk data structure
 534                 # corruption. Hence consume such a possible syncfs() failure
 535                 # before executing a scrub operation.
 536                 $XFS_IO_PROG -c syncfs $mntpt >> $seqres.full 2>&1
 537
 538                 "$XFS_SCRUB_PROG" $scrubflag -v -d -n $mntpt > $tmp.scrub 2>&1
 539                 if [ $? -ne 0 ]; then
 540                         _log_err "_check_xfs_filesystem: filesystem on $device failed scrub"
 541                         echo "*** xfs_scrub $scrubflag -v -d -n output ***" >> $seqres.full
 542                         cat $tmp.scrub >> $seqres.full
 543                         echo "*** end xfs_scrub output" >> $serqres.full
 544                         ok=0
 545                 fi
 546                 rm -f $tmp.scrub
 547         fi
 548
 549         if [ "$type" = "xfs" ]; then
 550                 # mounted ...
 551                 mountpoint=`_umount_or_remount_ro $device`
 552         fi
 553
 554         $XFS_LOGPRINT_PROG -t $extra_log_options $device 2>&1 \
 555                 | tee $tmp.logprint | grep -q "<CLEAN>"
 556         if [ $? -ne 0 ]; then
 557                 _log_err "_check_xfs_filesystem: filesystem on $device has dirty log"
 558                 echo "*** xfs_logprint -t output ***"   >>$seqres.full
 559                 cat $tmp.logprint                       >>$seqres.full
 560                 echo "*** end xfs_logprint output"      >>$seqres.full
 561
 562                 ok=0
 563         fi
 564
 565         # xfs_check runs out of memory on large files, so even providing the test
 566         # option (-t) to avoid indexing the free space trees doesn't make it pass on
 567         # large filesystems. Avoid it.
 568         if [ "$LARGE_SCRATCH_DEV" != yes ]; then
 569                 _xfs_check $extra_log_options $device 2>&1 > $tmp.fs_check
 570         fi
 571         if [ -s $tmp.fs_check ]; then
 572                 _log_err "_check_xfs_filesystem: filesystem on $device is inconsistent (c)"
 573                 echo "*** xfs_check output ***"         >>$seqres.full
 574                 cat $tmp.fs_check                       >>$seqres.full
 575                 echo "*** end xfs_check output"         >>$seqres.full
 576
 577                 ok=0
 578         fi
 579
 580         $XFS_REPAIR_PROG -n $extra_options $extra_log_options $extra_rt_options $device >$tmp.repair 2>&1
 581         if [ $? -ne 0 ]; then
 582                 _log_err "_check_xfs_filesystem: filesystem on $device is inconsistent (r)"
 583                 echo "*** xfs_repair -n output ***"     >>$seqres.full
 584                 cat $tmp.repair                         >>$seqres.full
 585                 echo "*** end xfs_repair output"        >>$seqres.full
 586
 587                 ok=0
 588         fi
 589         rm -f $tmp.fs_check $tmp.logprint $tmp.repair
 590
 591         if [ "$ok" -ne 1 ] && [ "$DUMP_CORRUPT_FS" = "1" ]; then
 592                 local flatdev="$(basename "$device")"
 593                 _xfs_metadump "$seqres.$flatdev.check.md" "$device" "$logdev" \
 594                         compress >> $seqres.full
 595         fi
 596
 597         # Optionally test the index rebuilding behavior.
 598         if [ -n "$TEST_XFS_REPAIR_REBUILD" ]; then
 599                 rebuild_ok=1
 600                 $XFS_REPAIR_PROG $extra_options $extra_log_options $extra_rt_options $device >$tmp.repair 2>&1
 601                 if [ $? -ne 0 ]; then
 602                         _log_err "_check_xfs_filesystem: filesystem on $device is inconsistent (rebuild)"
 603                         echo "*** xfs_repair output ***"        >>$seqres.full
 604                         cat $tmp.repair                         >>$seqres.full
 605                         echo "*** end xfs_repair output"        >>$seqres.full
 606
 607                         ok=0
 608                         rebuild_ok=0
 609                 fi
 610                 rm -f $tmp.repair
 611
 612                 $XFS_REPAIR_PROG -n $extra_options $extra_log_options $extra_rt_options $device >$tmp.repair 2>&1
 613                 if [ $? -ne 0 ]; then
 614                         _log_err "_check_xfs_filesystem: filesystem on $device is inconsistent (rebuild-reverify)"
 615                         echo "*** xfs_repair -n output ***"     >>$seqres.full
 616                         cat $tmp.repair                         >>$seqres.full
 617                         echo "*** end xfs_repair output"        >>$seqres.full
 618
 619                         ok=0
 620                         rebuild_ok=0
 621                 fi
 622                 rm -f $tmp.repair
 623
 624                 if [ "$rebuild_ok" -ne 1 ] && [ "$DUMP_CORRUPT_FS" = "1" ]; then
 625                         local flatdev="$(basename "$device")"
 626                         _xfs_metadump "$seqres.$flatdev.rebuild.md" "$device" \
 627                                 "$logdev" compress >> $seqres.full
 628                 fi
 629         fi
 630
 631         if [ $ok -eq 0 ]; then
 632                 echo "*** mount output ***"             >>$seqres.full
 633                 _mount                                  >>$seqres.full
 634                 echo "*** end mount output"             >>$seqres.full
 635         elif [ "$type" = "xfs" ]; then
 636                 _mount_or_remount_rw "$extra_mount_options" $device $mountpoint
 637         fi
 638
 639         if [ $ok -eq 0 ]; then
 640                 status=1
 641                 if [ "$iam" != "check" ]; then
 642                         exit 1
 643                 fi
 644                 return 1
 645         fi
 646
 647         return 0
 648 }
 649
 650 _check_xfs_test_fs()
 651 {
 652         TEST_LOG="none"
 653         TEST_RT="none"
 654         [ "$USE_EXTERNAL" = yes -a ! -z "$TEST_LOGDEV" ] && \
 655                 TEST_LOG="$TEST_LOGDEV"
 656
 657         [ "$USE_EXTERNAL" = yes -a ! -z "$TEST_RTDEV" ] && \
 658                 TEST_RT="$TEST_RTDEV"
 659
 660         _check_xfs_filesystem $TEST_DEV $TEST_LOG $TEST_RT
 661         return $?
 662 }
 663
 664 _require_xfs_test_rmapbt()
 665 {
 666         _require_test
 667
 668         if [ "$($XFS_INFO_PROG "$TEST_DIR" | grep -c "rmapbt=1")" -ne 1 ]; then
 669                 _notrun "rmapbt not supported by test filesystem type: $FSTYP"
 670         fi
 671 }
 672
 673 _require_xfs_scratch_rmapbt()
 674 {
 675         _require_scratch
 676
 677         _scratch_mkfs > /dev/null
 678         _scratch_mount
 679         if [ "$($XFS_INFO_PROG "$SCRATCH_MNT" | grep -c "rmapbt=1")" -ne 1 ]; then
 680                 _scratch_unmount
 681                 _notrun "rmapbt not supported by scratch filesystem type: $FSTYP"
 682         fi
 683         _scratch_unmount
 684 }
 685
 686 _xfs_bmapx_find()
 687 {
 688         case "$1" in
 689         "attr")
 690                 param="a"
 691                 ;;
 692         "cow")
 693                 param="c"
 694                 ;;
 695         *)
 696                 param="e"
 697                 ;;
 698         esac
 699         shift
 700         file="$1"
 701         shift
 702
 703         $XFS_IO_PROG -c "bmap -${param}lpv" "$file" | grep -c "$@"
 704 }
 705
 706 # Reset all xfs error handling attributes, set them to original
 707 # status.
 708 #
 709 # Only one argument, and it's mandatory:
 710 #  - dev: device name, e.g. $SCRATCH_DEV
 711 #
 712 # Note: this function only works for XFS
 713 _reset_xfs_sysfs_error_handling()
 714 {
 715         local dev=$1
 716
 717         if [ ! -b "$dev" -o "$FSTYP" != "xfs" ]; then
 718                 _fail "Usage: reset_xfs_sysfs_error_handling <device>"
 719         fi
 720
 721         _set_fs_sysfs_attr $dev error/fail_at_unmount 1
 722         echo -n "error/fail_at_unmount="
 723         _get_fs_sysfs_attr $dev error/fail_at_unmount
 724
 725         # Make sure all will be configured to retry forever by default, except
 726         # for ENODEV, which is an unrecoverable error, so it will be configured
 727         # to not retry on error by default.
 728         for e in default EIO ENOSPC; do
 729                 _set_fs_sysfs_attr $dev \
 730                                    error/metadata/${e}/max_retries -1
 731                 echo -n "error/metadata/${e}/max_retries="
 732                 _get_fs_sysfs_attr $dev error/metadata/${e}/max_retries
 733
 734                 _set_fs_sysfs_attr $dev \
 735                                    error/metadata/${e}/retry_timeout_seconds 0
 736                 echo -n "error/metadata/${e}/retry_timeout_seconds="
 737                 _get_fs_sysfs_attr $dev \
 738                                    error/metadata/${e}/retry_timeout_seconds
 739         done
 740 }
 741
 742 # Skip if we are running an older binary without the stricter input checks.
 743 # Make multiple checks to be sure that there is no regression on the one
 744 # selected feature check, which would skew the result.
 745 #
 746 # At first, make a common function that runs the tests and returns
 747 # number of failed cases.
 748 _xfs_mkfs_validation_check()
 749 {
 750         local tmpfile=`mktemp`
 751         local cmd="$MKFS_XFS_PROG -f -N -d file,name=$tmpfile,size=1g"
 752
 753         $cmd -s size=8s >/dev/null 2>&1
 754         local sum=$?
 755
 756         $cmd -l version=2,su=260k >/dev/null 2>&1
 757         sum=`expr $sum + $?`
 758
 759         rm -f $tmpfile
 760         return $sum
 761 }
 762
 763 # Skip the test if all calls passed - mkfs accepts invalid input
 764 _require_xfs_mkfs_validation()
 765 {
 766         _xfs_mkfs_validation_check
 767         if [ "$?" -eq 0 ]; then
 768                 _notrun "Requires newer mkfs with stricter input checks: the oldest supported version of xfsprogs is 4.7."
 769         fi
 770 }
 771
 772 # The opposite of _require_xfs_mkfs_validation.
 773 _require_xfs_mkfs_without_validation()
 774 {
 775         _xfs_mkfs_validation_check
 776         if [ "$?" -ne 0 ]; then
 777                 _notrun "Requires older mkfs without strict input checks: the last supported version of xfsprogs is 4.5."
 778         fi
 779 }
 780
 781 # XFS ability to change UUIDs on V5/CRC filesystems
 782 #
 783 _require_meta_uuid()
 784 {
 785         # This will create a crc fs on $SCRATCH_DEV
 786         _require_xfs_crc
 787
 788         _scratch_xfs_db -x -c "uuid restore" 2>&1 \
 789            | grep -q "invalid UUID\|supported on V5 fs" \
 790            && _notrun "Userspace doesn't support meta_uuid feature"
 791
 792         _scratch_xfs_db -x -c "uuid generate" >/dev/null 2>&1
 793
 794         _try_scratch_mount >/dev/null 2>&1 \
 795            || _notrun "Kernel doesn't support meta_uuid feature"
 796         _scratch_unmount
 797 }
 798
 799 # this test requires mkfs.xfs have case-insensitive naming support
 800 _require_xfs_mkfs_ciname()
 801 {
 802         _scratch_mkfs_xfs_supported -n version=ci >/dev/null 2>&1 \
 803                 || _notrun "need case-insensitive naming support in mkfs.xfs"
 804 }
 805
 806 # this test requires mkfs.xfs have configuration file support
 807 _require_xfs_mkfs_cfgfile()
 808 {
 809         echo > /tmp/a
 810         _scratch_mkfs_xfs_supported -c options=/tmp/a >/dev/null 2>&1
 811         res=$?
 812         rm -rf /tmp/a
 813         test $res -eq 0 || _notrun "need configuration file support in mkfs.xfs"
 814 }
 815
 816 # XFS_DEBUG requirements
 817 _require_xfs_debug()
 818 {
 819         if grep -q "debug 0" /proc/fs/xfs/stat; then
 820                 _notrun "Require XFS built with CONFIG_XFS_DEBUG"
 821         fi
 822 }
 823 _require_no_xfs_debug()
 824 {
 825         if grep -q "debug 1" /proc/fs/xfs/stat; then
 826                 _notrun "Require XFS built without CONFIG_XFS_DEBUG"
 827         fi
 828 }
 829
 830 # Require that assertions will not crash the system.
 831 #
 832 # Assertions would always crash the system if XFS assert fatal was enabled
 833 # (CONFIG_XFS_ASSERT_FATAL=y).  If a test is designed to trigger an assertion,
 834 # skip the test on a CONFIG_XFS_ASSERT_FATAL built XFS by default.  Note:
 835 # CONFIG_XFS_ASSERT_FATAL can be disabled by setting bug_on_assert to zero if
 836 # we want test to run.
 837 _require_no_xfs_bug_on_assert()
 838 {
 839         if [ -f /sys/fs/xfs/debug/bug_on_assert ]; then
 840                 grep -q "1" /sys/fs/xfs/debug/bug_on_assert && \
 841                    _notrun "test requires XFS bug_on_assert to be off, turn it off to run the test"
 842         else
 843                 # Note: Prior to the creation of CONFIG_XFS_ASSERT_FATAL (and
 844                 # the sysfs knob bug_on_assert), assertions would always crash
 845                 # the system if XFS debug was enabled (CONFIG_XFS_DEBUG=y).  If
 846                 # a test is designed to trigger an assertion and the test
 847                 # designer does not want to hang fstests, skip the test.
 848                 _require_no_xfs_debug
 849         fi
 850 }
 851
 852 # Get a metadata field
 853 # The first arg is the field name
 854 # The rest of the arguments are xfs_db commands to find the metadata.
 855 _scratch_xfs_get_metadata_field()
 856 {
 857         local key="$1"
 858         shift
 859
 860         local grep_key="$(echo "${key}" | tr '[]()' '....')"
 861         local cmds=()
 862         local arg
 863         for arg in "$@"; do
 864                 cmds+=("-c" "${arg}")
 865         done
 866         _scratch_xfs_db "${cmds[@]}" -c "print ${key}" | grep "^${grep_key}" | \
 867                 sed -e 's/^.* = //g'
 868 }
 869
 870 # Set a metadata field
 871 # The first arg is the field name
 872 # The second arg is the new value
 873 # The rest of the arguments are xfs_db commands to find the metadata.
 874 _scratch_xfs_set_metadata_field()
 875 {
 876         local key="$1"
 877         local value="$2"
 878         shift; shift
 879
 880         local cmds=()
 881         local arg
 882         for arg in "$@"; do
 883                 cmds+=("-c" "${arg}")
 884         done
 885
 886         local wr_cmd="write"
 887         _scratch_xfs_db -x -c "help write" | egrep -q "(-c|-d)" && value="-- ${value}"
 888         _scratch_xfs_db -x -c "help write" | egrep -q "(-d)" && wr_cmd="${wr_cmd} -d"
 889         _scratch_xfs_db -x "${cmds[@]}" -c "${wr_cmd} ${key} ${value}"
 890 }
 891
 892 _scratch_xfs_get_sb_field()
 893 {
 894         _scratch_xfs_get_metadata_field "$1" "sb 0"
 895 }
 896
 897 _scratch_xfs_set_sb_field()
 898 {
 899         _scratch_xfs_set_metadata_field "$1" "$2" "sb 0"
 900 }
 901
 902 # Before xfsprogs commit 4222d000ed("db: write via array indexing doesn't
 903 # work"), xfs_db command to write a specific AGFL index doesn't work. It's a
 904 # bug in a diagnostic tool that is only used by XFS developers as a test
 905 # infrastructure, so it's fine to treat it as a infrastructure dependency as
 906 # all other _require rules.
 907 _require_xfs_db_write_array()
 908 {
 909         local supported=0
 910
 911         _require_test
 912         touch $TEST_DIR/$seq.img
 913         $MKFS_XFS_PROG -d file,name=$TEST_DIR/$seq.img,size=512m >/dev/null 2>&1
 914         $XFS_DB_PROG -x -c "agfl 0" -c "write bno[32] 78" $TEST_DIR/$seq.img \
 915                 >/dev/null 2>&1
 916         $XFS_DB_PROG -x -c "agfl 0" -c "print bno[32]" $TEST_DIR/$seq.img \
 917                 | grep -q "bno\[32\] = 78" && supported=1
 918         rm -f $TEST_DIR/$seq.img
 919         [ $supported -eq 0 ] && _notrun "xfs_db write can't support array"
 920 }
 921
 922 _require_xfs_spaceman_command()
 923 {
 924         if [ -z "$1" ]; then
 925                 echo "Usage: _require_xfs_spaceman_command command [switch]" 1>&2
 926                 exit 1
 927         fi
 928         local command=$1
 929         shift
 930         local param="$*"
 931         local param_checked=0
 932         local opts=""
 933
 934         _require_command "$XFS_SPACEMAN_PROG" "xfs_spaceman"
 935
 936         testfile=$TEST_DIR/$$.xfs_spaceman
 937         touch $testfile
 938         case $command in
 939         "health")
 940                 testio=`$XFS_SPACEMAN_PROG -c "health $param" $TEST_DIR 2>&1`
 941                 param_checked=1
 942                 ;;
 943         *)
 944                 testio=`$XFS_SPACEMAN_PROG -c "help $command" $TEST_DIR 2>&1`
 945         esac
 946
 947         rm -f $testfile 2>&1 > /dev/null
 948         echo $testio | grep -q "not found" && \
 949                 _notrun "xfs_spaceman $command support is missing"
 950         echo $testio | grep -q "Operation not supported" && \
 951                 _notrun "xfs_spaceman $command failed (old kernel/wrong fs?)"
 952         echo $testio | grep -q "Invalid" && \
 953                 _notrun "xfs_spaceman $command failed (old kernel/wrong fs/bad args?)"
 954         echo $testio | grep -q "foreign file active" && \
 955                 _notrun "xfs_spaceman $command not supported on $FSTYP"
 956         echo $testio | grep -q "Inappropriate ioctl for device" && \
 957                 _notrun "xfs_spaceman $command support is missing (missing ioctl?)"
 958         echo $testio | grep -q "Function not implemented" && \
 959                 _notrun "xfs_spaceman $command support is missing (missing syscall?)"
 960
 961         [ -n "$param" ] || return
 962
 963         if [ $param_checked -eq 0 ]; then
 964                 $XFS_SPACEMAN_PROG -c "help $command" | grep -q "^ $param --" || \
 965                         _notrun "xfs_spaceman $command doesn't support $param"
 966         fi
 967 }
 968
 969 _scratch_get_sfdir_prefix() {
 970         local dir_ino="$1"
 971
 972         for prefix in "u.sfdir3" "u.sfdir2" "u3.sfdir3"; do
 973                 if [ -n "$(_scratch_xfs_get_metadata_field \
 974                                 "${prefix}.hdr.parent.i4" \
 975                                 "inode ${dir_ino}")" ]; then
 976                         echo "${prefix}"
 977                         return 0
 978                 fi
 979         done
 980         _scratch_xfs_db -c "inode ${dir_ino}" -c 'p' >> $seqres.full
 981         return 1
 982 }
 983
 984 _scratch_get_bmx_prefix() {
 985         local ino="$1"
 986
 987         for prefix in "u3.bmx" "u.bmx"; do
 988                 if [ -n "$(_scratch_xfs_get_metadata_field \
 989                                 "${prefix}[0].startblock" \
 990                                 "inode ${ino}")" ]; then
 991                         echo "${prefix}"
 992                         return 0
 993                 fi
 994         done
 995         _scratch_xfs_db -c "inode ${ino}" -c 'p' >> $seqres.full
 996         return 1
 997 }
 998
 999 _scratch_get_iext_count()
1000 {
1001         local ino=$1
1002         local whichfork=$2
1003         local field=""
1004
1005         case $whichfork in
1006                 "attr")
1007                         field=core.naextents
1008                         ;;
1009                 "data")
1010                         field=core.nextents
1011                         ;;
1012                 *)
1013                         return 1
1014         esac
1015
1016         _scratch_xfs_get_metadata_field $field "inode $ino"
1017 }
1018
1019 #
1020 # Ensures that we don't pass any mount options incompatible with XFS v4
1021 #
1022 _force_xfsv4_mount_options()
1023 {
1024         local gquota=0
1025         local pquota=0
1026
1027         # Can't have group and project quotas in XFS v4
1028         echo "$MOUNT_OPTIONS" | egrep -q "(gquota|grpquota|grpjquota=|gqnoenforce)" && gquota=1
1029         echo "$MOUNT_OPTIONS" | egrep -q "(\bpquota|prjquota|pqnoenforce)" && pquota=1
1030
1031         if [ $gquota -gt 0 ] && [ $pquota -gt 0 ]; then
1032                 export MOUNT_OPTIONS=$(echo $MOUNT_OPTIONS \
1033                         | sed   -e 's/gquota/QUOTA/g'      \
1034                                 -e 's/grpquota/QUOTA/g'    \
1035                                 -e 's/grpjquota=[^, ]/QUOTA/g' \
1036                                 -e 's/gqnoenforce/QUOTA/g' \
1037                                 -e "s/QUOTA/defaults/g")
1038         fi
1039         echo "MOUNT_OPTIONS = $MOUNT_OPTIONS" >>$seqres.full
1040 }
1041
1042 # Find AG count of mounted filesystem
1043 _xfs_mount_agcount()
1044 {
1045         $XFS_INFO_PROG "$1" | grep agcount= | sed -e 's/^.*agcount=\([0-9]*\),.*$/\1/g'
1046 }
1047
1048 # Wipe the superblock of each XFS AGs
1049 _try_wipe_scratch_xfs()
1050 {
1051         local num='^[0-9]+$'
1052         local agcount
1053         local agsize
1054         local dbsize
1055
1056         # Try to wipe each SB if there's an existed XFS
1057         agcount=`_scratch_xfs_get_sb_field agcount 2>/dev/null`
1058         agsize=`_scratch_xfs_get_sb_field agblocks 2>/dev/null`
1059         dbsize=`_scratch_xfs_get_sb_field blocksize 2>/dev/null`
1060         if [[ $agcount =~ $num && $agsize =~ $num && $dbsize =~ $num ]];then
1061                 for ((i = 0; i < agcount; i++)); do
1062                         $XFS_IO_PROG -c "pwrite $((i * dbsize * agsize)) $dbsize" \
1063                                 $SCRATCH_DEV >/dev/null;
1064                 done
1065         fi
1066
1067         # Try to wipe each SB by default mkfs.xfs geometry
1068         local tmp=`mktemp -u`
1069         unset agcount agsize dbsize
1070         _scratch_mkfs_xfs -N 2>/dev/null | perl -ne '
1071                 if (/^meta-data=.*\s+agcount=(\d+), agsize=(\d+) blks/) {
1072                         print STDOUT "agcount=$1\nagsize=$2\n";
1073                 }
1074                 if (/^data\s+=\s+bsize=(\d+)\s/) {
1075                         print STDOUT "dbsize=$1\n";
1076                 }' > $tmp.mkfs
1077
1078         . $tmp.mkfs
1079         if [[ $agcount =~ $num && $agsize =~ $num && $dbsize =~ $num ]];then
1080                 for ((i = 0; i < agcount; i++)); do
1081                         $XFS_IO_PROG -c "pwrite $((i * dbsize * agsize)) $dbsize" \
1082                                 $SCRATCH_DEV >/dev/null;
1083                 done
1084         fi
1085         rm -f $tmp.mkfs
1086 }
1087
1088 _require_xfs_copy()
1089 {
1090         [ -n "$XFS_COPY_PROG" ] || _notrun "xfs_copy binary not yet installed"
1091         [ "$USE_EXTERNAL" = yes ] && \
1092                 _notrun "Cannot xfs_copy with external devices"
1093 }
1094
1095 __xfs_cowgc_interval_knob1="/proc/sys/fs/xfs/speculative_cow_prealloc_lifetime"
1096 __xfs_cowgc_interval_knob2="/proc/sys/fs/xfs/speculative_prealloc_lifetime"
1097
1098 _xfs_set_cowgc_interval() {
1099         if [ -w $__xfs_cowgc_interval_knob1 ]; then
1100                 echo "$@" > $__xfs_cowgc_interval_knob1
1101         elif [ -w $__xfs_cowgc_interval_knob2 ]; then
1102                 echo "$@" > $__xfs_cowgc_interval_knob2
1103         else
1104                 _fail "Can't find cowgc interval procfs knob?"
1105         fi
1106 }
1107
1108 _xfs_get_cowgc_interval() {
1109         if [ -w $__xfs_cowgc_interval_knob1 ]; then
1110                 cat $__xfs_cowgc_interval_knob1
1111         elif [ -w $__xfs_cowgc_interval_knob2 ]; then
1112                 cat $__xfs_cowgc_interval_knob2
1113         else
1114                 _fail "Can't find cowgc interval procfs knob?"
1115         fi
1116 }