common/rc

   1 ##/bin/bash
   2 #-----------------------------------------------------------------------
   3 #  Copyright (c) 2000-2006 Silicon Graphics, Inc.  All Rights Reserved.
   4 #  This program is free software; you can redistribute it and/or modify
   5 #  it under the terms of the GNU General Public License as published by
   6 #  the Free Software Foundation; either version 2 of the License, or
   7 #  (at your option) any later version.
   8 #
   9 #  This program is distributed in the hope that it will be useful,
  10 #  but WITHOUT ANY WARRANTY; without even the implied warranty of
  11 #  MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  12 #  GNU General Public License for more details.
  13 #
  14 #  You should have received a copy of the GNU General Public License
  15 #  along with this program; if not, write to the Free Software
  16 #  Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307
  17 #  USA
  18 #
  19 #  Contact information: Silicon Graphics, Inc., 1500 Crittenden Lane,
  20 #  Mountain View, CA 94043, USA, or: http://www.sgi.com
  21 #-----------------------------------------------------------------------
  22
  23 BC=$(which bc 2> /dev/null) || BC=
  24
  25 _require_math()
  26 {
  27         if [ -z "$BC" ]; then
  28                 _notrun "this test requires 'bc' tool for doing math operations"
  29         fi
  30 }
  31
  32 _math()
  33 {
  34         [ $# -le 0 ] && return
  35         if [ "$BC" ]; then
  36                 result=$(LANG=C echo "scale=0; $@" | "$BC" -q 2> /dev/null)
  37         else
  38                 _notrun "this test requires 'bc' tool for doing math operations"
  39         fi
  40         echo "$result"
  41 }
  42
  43 dd()
  44 {
  45    if [ "$HOSTOS" == "Linux" ]
  46    then
  47         command dd --help | grep noxfer > /dev/null 2>&1
  48
  49         if [ "$?" -eq 0 ]
  50             then
  51                 command dd status=noxfer $@
  52             else
  53                 command dd $@
  54         fi
  55    else
  56         command dd $@
  57    fi
  58 }
  59
  60 _btrfs_get_subvolid()
  61 {
  62         mnt=$1
  63         name=$2
  64
  65         $BTRFS_UTIL_PROG sub list $mnt | grep $name | awk '{ print $2 }'
  66 }
  67
  68 # Prints the md5 checksum of a given file
  69 _md5_checksum()
  70 {
  71         md5sum $1 | cut -d ' ' -f1
  72 }
  73
  74
  75 # ls -l w/ selinux sometimes puts a dot at the end:
  76 # -rwxrw-r--. id1 id2 file1
  77 # Also filter out lost+found directory on extN file system if present
  78
  79 _ls_l()
  80 {
  81         ls -l $* | sed "s/\(^[-rwxdlbcpsStT]*\)\. /\1 /" | grep -v 'lost+found'
  82 }
  83
  84 # we need common/config
  85 if [ "$iam" != "check" ]
  86 then
  87     if ! . ./common/config
  88         then
  89         echo "$iam: failed to source common/config"
  90         exit 1
  91     fi
  92 fi
  93
  94 # check for correct setup
  95 case "$FSTYP" in
  96     xfs)
  97          [ "$XFS_LOGPRINT_PROG" = "" ] && _fatal "xfs_logprint not found"
  98          [ "$XFS_REPAIR_PROG" = "" ] && _fatal "xfs_repair not found"
  99          [ "$XFS_DB_PROG" = "" ] && _fatal "xfs_db not found"
 100          [ "$MKFS_XFS_PROG" = "" ] && _fatal "mkfs_xfs not found"
 101          ;;
 102     udf)
 103          [ "$MKFS_UDF_PROG" = "" ] && _fatal "mkfs_udf/mkudffs not found"
 104          ;;
 105     btrfs)
 106          [ "$MKFS_BTRFS_PROG" = "" ] && _fatal "mkfs.btrfs not found"
 107          ;;
 108     nfs)
 109          ;;
 110 esac
 111
 112 # make sure we have a standard umask
 113 umask 022
 114
 115 _mount()
 116 {
 117     $MOUNT_PROG `_mount_ops_filter $*`
 118 }
 119
 120 _scratch_options()
 121 {
 122     type=$1
 123     SCRATCH_OPTIONS=""
 124
 125     if [ "$FSTYP" != "xfs" ]; then
 126         return
 127     fi
 128
 129     case $type in
 130     mkfs)
 131         [ "$HOSTOS" != "IRIX" ] && SCRATCH_OPTIONS="$SCRATCH_OPTIONS -f"
 132         rt_opt="-r"
 133         log_opt="-l"
 134         ;;
 135     mount)
 136         rt_opt="-o"
 137         log_opt="-o"
 138         ;;
 139     esac
 140     [ "$USE_EXTERNAL" = yes -a ! -z "$SCRATCH_RTDEV" ] && \
 141         SCRATCH_OPTIONS="$SCRATCH_OPTIONS ${rt_opt}rtdev=$SCRATCH_RTDEV"
 142     [ "$USE_EXTERNAL" = yes -a ! -z "$SCRATCH_LOGDEV" ] && \
 143         SCRATCH_OPTIONS="$SCRATCH_OPTIONS ${log_opt}logdev=$SCRATCH_LOGDEV"
 144 }
 145
 146 _test_options()
 147 {
 148     type=$1
 149     TEST_OPTIONS=""
 150
 151     if [ "$FSTYP" != "xfs" ]; then
 152         return
 153     fi
 154
 155     case $type in
 156     mkfs)
 157         rt_opt="-r"
 158         log_opt="-l"
 159         ;;
 160     mount)
 161         rt_opt="-o"
 162         log_opt="-o"
 163         ;;
 164     esac
 165     [ "$USE_EXTERNAL" = yes -a ! -z "$TEST_RTDEV" ] && \
 166         TEST_OPTIONS="$TEST_OPTIONS ${rt_opt}rtdev=$TEST_RTDEV"
 167     [ "$USE_EXTERNAL" = yes -a ! -z "$TEST_LOGDEV" ] && \
 168         TEST_OPTIONS="$TEST_OPTIONS ${log_opt}logdev=$TEST_LOGDEV"
 169 }
 170
 171 _mount_ops_filter()
 172 {
 173     params="$*"
 174
 175     #get mount point to handle dmapi mtpt option correctly
 176     let last_index=$#-1
 177     [ $last_index -gt 0 ] && shift $last_index
 178     FS_ESCAPED=$1
 179
 180     # irix is fussy about how it is fed its mount options
 181     # - multiple -o's are not allowed
 182     # - no spaces between comma delimitered options
 183     # the sed script replaces all -o's (except the first) with a comma
 184     # not required for linux, but won't hurt
 185
 186     echo $params | sed -e 's/[[:space:]]\+-o[[:space:]]*/UnIqUe/1; s/[[:space:]]\+-o[[:space:]]*/,/g; s/UnIqUe/ -o /1' \
 187         | sed -e 's/dmapi/dmi/' \
 188         | $PERL_PROG -ne "s#mtpt=[^,|^\n|^\s]*#mtpt=$FS_ESCAPED\1\2#; print;"
 189
 190 }
 191
 192 _scratch_mount_options()
 193 {
 194     _scratch_options mount
 195
 196     echo $SCRATCH_OPTIONS $MOUNT_OPTIONS $SELINUX_MOUNT_OPTIONS $* $SCRATCH_DEV $SCRATCH_MNT
 197 }
 198
 199 _scratch_mount()
 200 {
 201     _mount -t $FSTYP `_scratch_mount_options $*`
 202 }
 203
 204 _scratch_unmount()
 205 {
 206     $UMOUNT_PROG $SCRATCH_DEV
 207 }
 208
 209 _scratch_remount()
 210 {
 211     _scratch_unmount
 212     _scratch_mount
 213 }
 214
 215 _test_mount()
 216 {
 217     _test_options mount
 218     _mount -t $FSTYP $TEST_OPTIONS $TEST_FS_MOUNT_OPTS $SELINUX_MOUNT_OPTIONS $* $TEST_DEV $TEST_DIR
 219 }
 220
 221 _scratch_mkfs_options()
 222 {
 223     _scratch_options mkfs
 224     echo $SCRATCH_OPTIONS $MKFS_OPTIONS $* $SCRATCH_DEV
 225 }
 226
 227 _scratch_metadump()
 228 {
 229         dumpfile=$1
 230         options=
 231
 232         [ "$USE_EXTERNAL" = yes -a ! -z "$SCRATCH_LOGDEV" ] && \
 233                 options="-l $SCRATCH_LOGDEV"
 234
 235         xfs_metadump $options $SCRATCH_DEV $dumpfile
 236 }
 237
 238 _setup_large_xfs_fs()
 239 {
 240         fs_size=$1
 241         local tmp_dir=/tmp/
 242
 243         [ "$LARGE_SCRATCH_DEV" != yes ] && return 0
 244         [ -z "$SCRATCH_DEV_EMPTY_SPACE" ] && SCRATCH_DEV_EMPTY_SPACE=0
 245         [ $SCRATCH_DEV_EMPTY_SPACE -ge $fs_size ] && return 0
 246
 247         # calculate the size of the file we need to allocate.
 248         # Default free space in the FS is 50GB, but you can specify more via
 249         # SCRATCH_DEV_EMPTY_SPACE
 250         file_size=$(($fs_size - 50*1024*1024*1024))
 251         file_size=$(($file_size - $SCRATCH_DEV_EMPTY_SPACE))
 252
 253         # mount the filesystem, create the file, unmount it
 254         _scratch_mount 2>&1 >$tmp_dir/mnt.err
 255         local status=$?
 256         if [ $status -ne 0 ]; then
 257                 echo "mount failed"
 258                 cat $tmp_dir/mnt.err >&2
 259                 rm -f $tmp_dir/mnt.err
 260                 return $status
 261         fi
 262         rm -f $tmp_dir/mnt.err
 263
 264         xfs_io -F -f \
 265                 -c "truncate $file_size" \
 266                 -c "falloc -k 0 $file_size" \
 267                 -c "chattr +d" \
 268                 $SCRATCH_MNT/.use_space 2>&1 > /dev/null
 269         export NUM_SPACE_FILES=1
 270         status=$?
 271         umount $SCRATCH_MNT
 272         if [ $status -ne 0 ]; then
 273                 echo "large file prealloc failed"
 274                 cat $tmp_dir/mnt.err >&2
 275                 return $status
 276         fi
 277         return 0
 278 }
 279
 280 _scratch_mkfs_xfs_opts()
 281 {
 282         mkfs_opts=$*
 283
 284         _scratch_options mkfs
 285
 286         $MKFS_XFS_PROG $SCRATCH_OPTIONS $mkfs_opts $SCRATCH_DEV
 287 }
 288
 289
 290 _scratch_mkfs_xfs_supported()
 291 {
 292         mkfs_opts=$*
 293
 294         _scratch_options mkfs
 295
 296         $MKFS_XFS_PROG -N $MKFS_OPTIONS $SCRATCH_OPTIONS $mkfs_opts $SCRATCH_DEV
 297 }
 298
 299 _scratch_mkfs_xfs()
 300 {
 301         # extra mkfs options can be added by tests
 302         local extra_mkfs_options=$*
 303
 304         local tmp_dir=/tmp/
 305
 306         # save mkfs output in case conflict means we need to run again.
 307         # only the output for the mkfs that applies should be shown
 308         _scratch_mkfs_xfs_opts $MKFS_OPTIONS $extra_mkfs_options \
 309                 2>$tmp_dir.mkfserr 1>$tmp_dir.mkfsstd
 310         local mkfs_status=$?
 311
 312
 313         # a mkfs failure may be caused by conflicts between
 314         # $MKFS_OPTIONS and $extra_mkfs_options
 315         if [ $mkfs_status -ne 0 -a ! -z "$extra_mkfs_options" ]; then
 316                 (
 317                 echo -n "** mkfs failed with extra mkfs options "
 318                 echo "added to \"$MKFS_OPTIONS\" by test $seq **"
 319                 echo -n "** attempting to mkfs using only test $seq "
 320                 echo "options: $extra_mkfs_options **"
 321                 ) >> $seqres.full
 322
 323                 # running mkfs again. overwrite previous mkfs output files
 324                 _scratch_mkfs_xfs_opts $extra_mkfs_options \
 325                         2>$tmp_dir.mkfserr 1>$tmp_dir.mkfsstd
 326                 local mkfs_status=$?
 327         fi
 328
 329         if [ $mkfs_status -eq 0 -a "$LARGE_SCRATCH_DEV" = yes ]; then
 330                 # manually parse the mkfs output to get the fs size in bytes
 331                 local fs_size
 332                 fs_size=`cat $tmp_dir.mkfsstd | perl -ne '
 333                         if (/^data\s+=\s+bsize=(\d+)\s+blocks=(\d+)/) {
 334                                 my $size = $1 * $2;
 335                                 print STDOUT "$size\n";
 336                         }'`
 337                 _setup_large_xfs_fs $fs_size
 338                 mkfs_status=$?
 339         fi
 340
 341         # output stored mkfs output
 342         cat $tmp_dir.mkfserr >&2
 343         cat $tmp_dir.mkfsstd
 344         rm -f $tmp_dir.mkfserr $tmp_dir.mkfsstd
 345
 346         return $mkfs_status
 347 }
 348
 349 # xfs_check script is planned to be deprecated. But, we want to
 350 # be able to invoke "xfs_check" behavior in xfstests in order to
 351 # maintain the current verification levels.
 352 _xfs_check()
 353 {
 354     OPTS=" "
 355     DBOPTS=" "
 356     USAGE="Usage: xfs_check [-fsvV] [-l logdev] [-i ino]... [-b bno]... special"
 357
 358     while getopts "b:fi:l:stvV" c
 359     do
 360         case $c in
 361             s) OPTS=$OPTS"-s ";;
 362             t) OPTS=$OPTS"-t ";;
 363             v) OPTS=$OPTS"-v ";;
 364             i) OPTS=$OPTS"-i "$OPTARG" ";;
 365             b) OPTS=$OPTS"-b "$OPTARG" ";;
 366             f) DBOPTS=$DBOPTS" -f";;
 367             l) DBOPTS=$DBOPTS" -l "$OPTARG" ";;
 368             V) $XFS_DB_PROG -p xfs_check -V
 369                 return $?
 370                 ;;
 371         esac
 372     done
 373     set -- extra $@
 374     shift $OPTIND
 375     case $# in
 376         1)    ${XFS_DB_PROG}${DBOPTS} -F -i -p xfs_check -c "check$OPTS" $1
 377                status=$?
 378                ;;
 379         2)    echo $USAGE 1>&1
 380               status=2
 381               ;;
 382     esac
 383     return $status
 384 }
 385
 386 _setup_large_ext4_fs()
 387 {
 388         fs_size=$1
 389         local tmp_dir=/tmp/
 390
 391         [ "$LARGE_SCRATCH_DEV" != yes ] && return 0
 392         [ -z "$SCRATCH_DEV_EMPTY_SPACE" ] && SCRATCH_DEV_EMPTY_SPACE=0
 393         [ $SCRATCH_DEV_EMPTY_SPACE -ge $fs_size ] && return 0
 394
 395         # Default free space in the FS is 50GB, but you can specify more via
 396         # SCRATCH_DEV_EMPTY_SPACE
 397         space_to_consume=$(($fs_size - 50*1024*1024*1024 - $SCRATCH_DEV_EMPTY_SPACE))
 398
 399         # mount the filesystem and create 16TB - 4KB files until we consume
 400         # all the necessary space.
 401         _scratch_mount 2>&1 >$tmp_dir/mnt.err
 402         local status=$?
 403         if [ $status -ne 0 ]; then
 404                 echo "mount failed"
 405                 cat $tmp_dir/mnt.err >&2
 406                 rm -f $tmp_dir/mnt.err
 407                 return $status
 408         fi
 409         rm -f $tmp_dir/mnt.err
 410
 411         file_size=$((16*1024*1024*1024*1024 - 4096))
 412         nfiles=0
 413         while [ $space_to_consume -gt $file_size ]; do
 414
 415                 xfs_io -F -f \
 416                         -c "truncate $file_size" \
 417                         -c "falloc -k 0 $file_size" \
 418                         $SCRATCH_MNT/.use_space.$nfiles 2>&1
 419                 status=$?
 420                 if [ $status -ne 0 ]; then
 421                         break;
 422                 fi
 423
 424                 space_to_consume=$(( $space_to_consume - $file_size ))
 425                 nfiles=$(($nfiles + 1))
 426         done
 427
 428         # consume the remaining space.
 429         if [ $space_to_consume -gt 0 ]; then
 430                 xfs_io -F -f \
 431                         -c "truncate $space_to_consume" \
 432                         -c "falloc -k 0 $space_to_consume" \
 433                         $SCRATCH_MNT/.use_space.$nfiles 2>&1
 434                 status=$?
 435         fi
 436         export NUM_SPACE_FILES=$nfiles
 437
 438         umount $SCRATCH_MNT
 439         if [ $status -ne 0 ]; then
 440                 echo "large file prealloc failed"
 441                 cat $tmp_dir/mnt.err >&2
 442                 return $status
 443         fi
 444         return 0
 445 }
 446
 447 _scratch_mkfs_ext4()
 448 {
 449         # extra mkfs options can be added by tests
 450         local extra_mkfs_options=$*
 451
 452         local tmp_dir=/tmp/
 453
 454         /sbin/mkfs -t ext4 -- -F $MKFS_OPTIONS $extra_mkfs_options $SCRATCH_DEV \
 455                         2>$tmp_dir.mkfserr 1>$tmp_dir.mkfsstd
 456         local mkfs_status=$?
 457
 458         # a mkfs failure may be caused by conflicts between
 459         # $MKFS_OPTIONS and $extra_mkfs_options
 460         if [ $mkfs_status -ne 0 -a ! -z "$extra_mkfs_options" ]; then
 461                 (
 462                 echo -n "** mkfs failed with extra mkfs options "
 463                 echo "added to \"$MKFS_OPTIONS\" by test $seq **"
 464                 echo -n "** attempting to mkfs using only test $seq "
 465                 echo "options: $extra_mkfs_options **"
 466                 ) >> $seqres.full
 467
 468                 # running mkfs again. overwrite previous mkfs output files
 469                 /sbin/mkfs -t ext4 -- -F $extra_mkfs_options $SCRATCH_DEV \
 470                                 2>$tmp_dir.mkfserr 1>$tmp_dir.mkfsstd
 471                 local mkfs_status=$?
 472         fi
 473
 474         if [ $mkfs_status -eq 0 -a "$LARGE_SCRATCH_DEV" = yes ]; then
 475                 # manually parse the mkfs output to get the fs size in bytes
 476                 fs_size=`cat $tmp_dir.mkfsstd | awk ' \
 477                         /^Block size/ { split($2, a, "="); bs = a[2] ; } \
 478                         / inodes, / { blks = $3 } \
 479                         /reserved for the super user/ { resv = $1 } \
 480                         END { fssize = bs * blks - resv; print fssize }'`
 481
 482                 _setup_large_ext4_fs $fs_size
 483                 mkfs_status=$?
 484         fi
 485
 486         # output stored mkfs output
 487         cat $tmp_dir.mkfserr >&2
 488         cat $tmp_dir.mkfsstd
 489         rm -f $tmp_dir.mkfserr $tmp_dir.mkfsstd
 490
 491         return $mkfs_status
 492 }
 493
 494 _test_mkfs()
 495 {
 496     case $FSTYP in
 497     nfs*)
 498         # do nothing for nfs
 499         ;;
 500     udf)
 501         $MKFS_UDF_PROG $MKFS_OPTIONS $* $TEST_DEV > /dev/null
 502         ;;
 503     btrfs)
 504         $MKFS_BTRFS_PROG $MKFS_OPTIONS $* $TEST_DEV > /dev/null
 505         ;;
 506     *)
 507         yes | $MKFS_PROG -t $FSTYP -- $MKFS_OPTIONS $* $TEST_DEV
 508         ;;
 509     esac
 510 }
 511
 512 _scratch_mkfs()
 513 {
 514     case $FSTYP in
 515     xfs)
 516         _scratch_mkfs_xfs $*
 517         ;;
 518     nfs*)
 519         # do nothing for nfs
 520         ;;
 521     udf)
 522         $MKFS_UDF_PROG $MKFS_OPTIONS $* $SCRATCH_DEV > /dev/null
 523         ;;
 524     btrfs)
 525         $MKFS_BTRFS_PROG $MKFS_OPTIONS $* $SCRATCH_DEV > /dev/null
 526         ;;
 527     ext4)
 528         _scratch_mkfs_ext4 $*
 529         ;;
 530     tmpfs)
 531         # do nothing for tmpfs
 532         ;;
 533     *)
 534         yes | $MKFS_PROG -t $FSTYP -- $MKFS_OPTIONS $* $SCRATCH_DEV
 535         ;;
 536     esac
 537 }
 538
 539 _scratch_pool_mkfs()
 540 {
 541     case $FSTYP in
 542     btrfs)
 543         $MKFS_BTRFS_PROG $MKFS_OPTIONS $* $SCRATCH_DEV_POOL > /dev/null
 544         ;;
 545     *)
 546         echo "_scratch_pool_mkfs is not implemented for $FSTYP" 1>&2
 547         ;;
 548     esac
 549 }
 550
 551 # Create fs of certain size on scratch device
 552 # _scratch_mkfs_sized <size in bytes> [optional blocksize]
 553 _scratch_mkfs_sized()
 554 {
 555     fssize=$1
 556     blocksize=$2
 557     [ -z "$blocksize" ] && blocksize=4096
 558
 559     re='^[0-9]+$'
 560     if ! [[ $fssize =~ $re ]] ; then
 561         _notrun "error: _scratch_mkfs_sized: fs size \"$fssize\" not an integer."
 562     fi
 563     if ! [[ $blocksize =~ $re ]] ; then
 564         _notrun "error: _scratch_mkfs_sized: block size \"$blocksize\" not an integer."
 565     fi
 566
 567     blocks=`expr $fssize / $blocksize`
 568
 569     if [ "$HOSTOS" == "Linux" ]; then
 570         devsize=`blockdev --getsize64 $SCRATCH_DEV`
 571         [ "$fssize" -gt "$devsize" ] && _notrun "Scratch device too small"
 572     fi
 573
 574     case $FSTYP in
 575     xfs)
 576         # don't override MKFS_OPTIONS that set a block size.
 577         echo $MKFS_OPTIONS |egrep -q "b?size="
 578         if [ $? -eq 0 ]; then
 579                 _scratch_mkfs_xfs -d size=$fssize
 580         else
 581                 _scratch_mkfs_xfs -d size=$fssize -b size=$blocksize
 582         fi
 583         ;;
 584     ext2|ext3|ext4|ext4dev)
 585         yes | ${MKFS_PROG}.$FSTYP $MKFS_OPTIONS -b $blocksize $SCRATCH_DEV $blocks
 586         ;;
 587     udf)
 588         $MKFS_UDF_PROG $MKFS_OPTIONS -b $blocksize $SCRATCH_DEV $blocks
 589         ;;
 590     btrfs)
 591         $MKFS_BTRFS_PROG $MKFS_OPTIONS -b $fssize $SCRATCH_DEV
 592         ;;
 593     *)
 594         _notrun "Filesystem $FSTYP not supported in _scratch_mkfs_sized"
 595         ;;
 596     esac
 597 }
 598
 599 # Emulate an N-data-disk stripe w/ various stripe units
 600 # _scratch_mkfs_geom <sunit bytes> <swidth multiplier> [optional blocksize]
 601 _scratch_mkfs_geom()
 602 {
 603     sunit_bytes=$1
 604     swidth_mult=$2
 605     blocksize=$3
 606     [ -z "$blocksize" ] && blocksize=4096
 607
 608     let sunit_blocks=$sunit_bytes/$blocksize
 609     let swidth_blocks=$sunit_blocks*$swidth_mult
 610
 611     case $FSTYP in
 612     xfs)
 613         MKFS_OPTIONS+=" -b size=$blocksize, -d su=$sunit_bytes,sw=$swidth_mult"
 614         ;;
 615     ext4|ext4dev)
 616         MKFS_OPTIONS+=" -b $blocksize -E stride=$sunit_blocks,stripe_width=$swidth_blocks"
 617         ;;
 618     *)
 619         _notrun "can't mkfs $FSTYP with geometry"
 620         ;;
 621     esac
 622     _scratch_mkfs
 623 }
 624
 625 _scratch_resvblks()
 626 {
 627         case $FSTYP in
 628         xfs)
 629                 xfs_io -x -c "resblks $1" $SCRATCH_MNT
 630                 ;;
 631         *)
 632                 ;;
 633         esac
 634 }
 635
 636 _scratch_xfs_db_options()
 637 {
 638     SCRATCH_OPTIONS=""
 639     [ "$USE_EXTERNAL" = yes -a ! -z "$SCRATCH_LOGDEV" ] && \
 640         SCRATCH_OPTIONS="-l$SCRATCH_LOGDEV"
 641     echo $SCRATCH_OPTIONS $* $SCRATCH_DEV
 642 }
 643
 644 _scratch_xfs_logprint()
 645 {
 646     SCRATCH_OPTIONS=""
 647     [ "$USE_EXTERNAL" = yes -a ! -z "$SCRATCH_LOGDEV" ] && \
 648         SCRATCH_OPTIONS="-l$SCRATCH_LOGDEV"
 649     $XFS_LOGPRINT_PROG $SCRATCH_OPTIONS $* $SCRATCH_DEV
 650 }
 651
 652 _scratch_xfs_check()
 653 {
 654     SCRATCH_OPTIONS=""
 655     [ "$USE_EXTERNAL" = yes -a ! -z "$SCRATCH_LOGDEV" ] && \
 656         SCRATCH_OPTIONS="-l $SCRATCH_LOGDEV"
 657     [ "$LARGE_SCRATCH_DEV" = yes ] && \
 658         SCRATCH_OPTIONS=$SCRATCH_OPTIONS" -t"
 659     _xfs_check $SCRATCH_OPTIONS $* $SCRATCH_DEV
 660 }
 661
 662 _scratch_xfs_repair()
 663 {
 664     SCRATCH_OPTIONS=""
 665     [ "$USE_EXTERNAL" = yes -a ! -z "$SCRATCH_LOGDEV" ] && \
 666         SCRATCH_OPTIONS="-l$SCRATCH_LOGDEV"
 667     [ "$USE_EXTERNAL" = yes -a ! -z "$SCRATCH_RTDEV" ] && \
 668         SCRATCH_OPTIONS=$SCRATCH_OPTIONS" -r$SCRATCH_RTDEV"
 669     [ "$LARGE_SCRATCH_DEV" = yes ] && SCRATCH_OPTIONS=$SCRATCH_OPTIONS" -t"
 670     $XFS_REPAIR_PROG $SCRATCH_OPTIONS $* $SCRATCH_DEV
 671 }
 672
 673 _get_pids_by_name()
 674 {
 675     if [ $# -ne 1 ]
 676     then
 677         echo "Usage: _get_pids_by_name process-name" 1>&2
 678         exit 1
 679     fi
 680
 681     # Algorithm ... all ps(1) variants have a time of the form MM:SS or
 682     # HH:MM:SS before the psargs field, use this as the search anchor.
 683     #
 684     # Matches with $1 (process-name) occur if the first psarg is $1
 685     # or ends in /$1 ... the matching uses sed's regular expressions,
 686     # so passing a regex into $1 will work.
 687
 688     ps $PS_ALL_FLAGS \
 689     | sed -n \
 690         -e 's/$/ /' \
 691         -e 's/[         ][      ]*/ /g' \
 692         -e 's/^ //' \
 693         -e 's/^[^ ]* //' \
 694         -e "/[0-9]:[0-9][0-9]  *[^ ]*\/$1 /s/ .*//p" \
 695         -e "/[0-9]:[0-9][0-9]  *$1 /s/ .*//p"
 696 }
 697
 698 # fix malloc libs output
 699 #
 700 _fix_malloc()
 701 {
 702     # filter out the Electric Fence notice
 703     $PERL_PROG -e '
 704         while (<>) {
 705             if (defined $o && /^\s+Electric Fence/) {
 706                 chomp($o);
 707                 print "$o";
 708                 undef $o;
 709                 next;
 710             }
 711             print $o if (defined $o);
 712
 713             $o=$_;
 714         }
 715         print $o if (defined $o);
 716     '
 717 }
 718
 719 # check if run as root
 720 #
 721 _need_to_be_root()
 722 {
 723     id=`id | $SED_PROG -e 's/(.*//' -e 's/.*=//'`
 724     if [ "$id" -ne 0 ]
 725     then
 726         echo "Arrgh ... you need to be root (not uid=$id) to run this test"
 727         exit 1
 728     fi
 729 }
 730
 731
 732 #
 733 # _df_device : get an IRIX style df line for a given device
 734 #
 735 #       - returns "" if not mounted
 736 #       - returns fs type in field two (ala IRIX)
 737 #       - joins line together if split by fancy df formatting
 738 #       - strips header etc
 739 #
 740
 741 _df_device()
 742 {
 743     if [ $# -ne 1 ]
 744     then
 745         echo "Usage: _df_device device" 1>&2
 746         exit 1
 747     fi
 748
 749     $DF_PROG 2>/dev/null | $AWK_PROG -v what=$1 '
 750         match($1,what) && NF==1 {
 751             v=$1
 752             getline
 753             print v, $0
 754             exit
 755         }
 756         match($1,what) {
 757             print
 758             exit
 759         }
 760     '
 761 }
 762
 763 #
 764 # _df_dir : get an IRIX style df line for device where a directory resides
 765 #
 766 #       - returns fs type in field two (ala IRIX)
 767 #       - joins line together if split by fancy df formatting
 768 #       - strips header etc
 769 #
 770
 771 _df_dir()
 772 {
 773     if [ $# -ne 1 ]
 774     then
 775         echo "Usage: _df_dir device" 1>&2
 776         exit 1
 777     fi
 778
 779     $DF_PROG $1 2>/dev/null | $AWK_PROG -v what=$1 '
 780         NR == 2 && NF==1 {
 781             v=$1
 782             getline
 783             print v, $0;
 784             exit 0
 785         }
 786         NR == 2 {
 787             print;
 788             exit 0
 789         }
 790         {}
 791     '
 792     # otherwise, nada
 793 }
 794
 795 # return percentage used disk space for mounted device
 796
 797 _used()
 798 {
 799     if [ $# -ne 1 ]
 800     then
 801         echo "Usage: _used device" 1>&2
 802         exit 1
 803     fi
 804
 805     _df_device $1 | $AWK_PROG '{ sub("%", "") ; print $6 }'
 806 }
 807
 808 # return the FS type of a mounted device
 809 #
 810 _fs_type()
 811 {
 812     if [ $# -ne 1 ]
 813     then
 814         echo "Usage: _fs_type device" 1>&2
 815         exit 1
 816     fi
 817
 818     #
 819     # The Linux kernel shows NFSv4 filesystems in df output as
 820     # filesystem type nfs4, although we mounted it as nfs earlier.
 821     # Fix the filesystem type up here so that the callers don't
 822     # have to bother with this quirk.
 823     #
 824     _df_device $1 | $AWK_PROG '{ print $2 }' | sed -e 's/nfs4/nfs/'
 825 }
 826
 827 # return the FS mount options of a mounted device
 828 #
 829 # should write a version which just parses the output of mount for IRIX
 830 # compatibility, but since this isn't used at all, at the moment I'll leave
 831 # this for now
 832 #
 833 _fs_options()
 834 {
 835     if [ $# -ne 1 ]
 836     then
 837         echo "Usage: _fs_options device" 1>&2
 838         exit 1
 839     fi
 840
 841     $AWK_PROG -v dev=$1 '
 842         match($1,dev) { print $4 }
 843     ' </proc/mounts
 844 }
 845
 846 # returns device number if a file is a block device
 847 #
 848 _is_block_dev()
 849 {
 850     if [ $# -ne 1 ]
 851     then
 852         echo "Usage: _is_block_dev dev" 1>&2
 853         exit 1
 854     fi
 855
 856     _dev=$1
 857     if [ -L "${_dev}" ]; then
 858         _dev=`readlink -f ${_dev}`
 859     fi
 860
 861     if [ -b "${_dev}" ]; then
 862         src/lstat64 ${_dev} | $AWK_PROG '/Device type:/ { print $9 }'
 863     fi
 864 }
 865
 866 # Do a command, log it to $seqres.full, optionally test return status
 867 # and die if command fails. If called with one argument _do executes the
 868 # command, logs it, and returns its exit status. With two arguments _do
 869 # first prints the message passed in the first argument, and then "done"
 870 # or "fail" depending on the return status of the command passed in the
 871 # second argument. If the command fails and the variable _do_die_on_error
 872 # is set to "always" or the two argument form is used and _do_die_on_error
 873 # is set to "message_only" _do will print an error message to
 874 # $seqres.out and exit.
 875
 876 _do()
 877 {
 878     if [ $# -eq 1 ]; then
 879         _cmd=$1
 880     elif [ $# -eq 2 ]; then
 881         _note=$1
 882         _cmd=$2
 883         echo -n "$_note... "
 884     else
 885         echo "Usage: _do [note] cmd" 1>&2
 886         status=1; exit
 887     fi
 888
 889     (eval "echo '---' \"$_cmd\"") >>$seqres.full
 890     (eval "$_cmd") >$tmp._out 2>&1; ret=$?
 891     cat $tmp._out | _fix_malloc >>$seqres.full
 892     if [ $# -eq 2 ]; then
 893         if [ $ret -eq 0 ]; then
 894             echo "done"
 895         else
 896             echo "fail"
 897         fi
 898     fi
 899     if [ $ret -ne 0  ] \
 900         && [ "$_do_die_on_error" = "always" \
 901             -o \( $# -eq 2 -a "$_do_die_on_error" = "message_only" \) ]
 902     then
 903         [ $# -ne 2 ] && echo
 904         eval "echo \"$_cmd\" failed \(returned $ret\): see $seqres.full"
 905         status=1; exit
 906     fi
 907
 908     return $ret
 909 }
 910
 911 # bail out, setting up .notrun file
 912 #
 913 _notrun()
 914 {
 915     echo "$*" > $seqres.notrun
 916     echo "$seq not run: $*"
 917     status=0
 918     exit
 919 }
 920
 921 # just plain bail out
 922 #
 923 _fail()
 924 {
 925     echo "$*" | tee -a $seqres.full
 926     echo "(see $seqres.full for details)"
 927     status=1
 928     exit 1
 929 }
 930
 931 # tests whether $FSTYP is one of the supported filesystems for a test
 932 #
 933 _supported_fs()
 934 {
 935     for f
 936     do
 937         if [ "$f" = "$FSTYP" -o "$f" = "generic" ]
 938         then
 939             return
 940         fi
 941     done
 942
 943     _notrun "not suitable for this filesystem type: $FSTYP"
 944 }
 945
 946
 947 # tests whether $FSTYP is one of the supported OSes for a test
 948 #
 949 _supported_os()
 950 {
 951     for h
 952     do
 953         if [ "$h" = "$HOSTOS" ]
 954         then
 955             return
 956         fi
 957     done
 958
 959     _notrun "not suitable for this OS: $HOSTOS"
 960 }
 961
 962 # this test needs a scratch partition - check we're ok & unmount it
 963 #
 964 _require_scratch()
 965 {
 966     case "$FSTYP" in
 967         nfs*)
 968                  _notrun "requires a scratch device"
 969                  ;;
 970         tmpfs)
 971                 if [ -z "$SCRATCH_DEV" -o ! -d "$SCRATCH_MNT" ];
 972                 then
 973                     _notrun "this test requires a valid \$SCRATCH_MNT and unique $SCRATCH_DEV"
 974                 fi
 975                 ;;
 976         *)
 977                  if [ -z "$SCRATCH_DEV" -o "`_is_block_dev $SCRATCH_DEV`" = "" ]
 978                  then
 979                      _notrun "this test requires a valid \$SCRATCH_DEV"
 980                  fi
 981                  if [ "`_is_block_dev $SCRATCH_DEV`" = "`_is_block_dev $TEST_DEV`" ]
 982                  then
 983                      _notrun "this test requires a valid \$SCRATCH_DEV"
 984                  fi
 985                 if [ ! -d "$SCRATCH_MNT" ]
 986                 then
 987                      _notrun "this test requires a valid \$SCRATCH_MNT"
 988                 fi
 989                  ;;
 990     esac
 991
 992     # mounted?
 993     if _mount | grep -q $SCRATCH_DEV
 994     then
 995         # if it's mounted, make sure its on $SCRATCH_MNT
 996         if ! _mount | grep $SCRATCH_DEV | grep -q $SCRATCH_MNT
 997         then
 998             echo "\$SCRATCH_DEV is mounted but not on \$SCRATCH_MNT - aborting"
 999             exit 1
1000         fi
1001         # and then unmount it
1002         if ! $UMOUNT_PROG $SCRATCH_DEV
1003         then
1004             echo "failed to unmount $SCRATCH_DEV"
1005             exit 1
1006         fi
1007     fi
1008     touch ${RESULT_DIR}/require_scratch
1009 }
1010
1011 # this test needs a test partition - check we're ok & unmount it
1012 #
1013 _require_test()
1014 {
1015     case "$FSTYP" in
1016         nfs*)
1017                  _notrun "requires a test device"
1018                  ;;
1019         tmpfs)
1020                 if [ -z "$TEST_DEV" -o ! -d "$TEST_DIR" ];
1021                 then
1022                     _notrun "this test requires a valid \$TEST_DIR and unique $TEST_DEV"
1023                 fi
1024                 ;;
1025         *)
1026                  if [ -z "$TEST_DEV" -o "`_is_block_dev $TEST_DEV`" = "" ]
1027                  then
1028                      _notrun "this test requires a valid \$TEST_DEV"
1029                  fi
1030                  if [ "`_is_block_dev $SCRATCH_DEV`" = "`_is_block_dev $TEST_DEV`" ]
1031                  then
1032                      _notrun "this test requires a valid \$TEST_DEV"
1033                  fi
1034                 if [ ! -d "$TEST_DIR" ]
1035                 then
1036                      _notrun "this test requires a valid \$TEST_DIR"
1037                 fi
1038                  ;;
1039     esac
1040
1041     # mounted?
1042     if _mount | grep -q $TEST_DEV
1043     then
1044         # if it's mounted, make sure its on $TEST_DIR
1045         if ! _mount | grep $TEST_DEV | grep -q $TEST_DIR
1046         then
1047             echo "\$TEST_DEV is mounted but not on \$TEST_DIR - aborting"
1048             exit 1
1049         fi
1050     else
1051         out=`_mount_or_remount_rw "$MOUNT_OPTIONS" $TEST_DEV $TEST_DIR`
1052         if [ $? -ne 1 ]; then
1053                 echo $out
1054                 exit 1
1055         fi
1056     fi
1057     touch ${RESULT_DIR}/require_test
1058 }
1059
1060 # this test needs a logdev
1061 #
1062 _require_logdev()
1063 {
1064     [ -z "$SCRATCH_LOGDEV" -o ! -b "$SCRATCH_LOGDEV" ] && \
1065         _notrun "This test requires a valid \$SCRATCH_LOGDEV"
1066     [ "$USE_EXTERNAL" != yes ] && \
1067         _notrun "This test requires USE_EXTERNAL to be enabled"
1068
1069     # ensure its not mounted
1070     $UMOUNT_PROG $SCRATCH_LOGDEV 2>/dev/null
1071 }
1072
1073 # this test requires loopback device support
1074 #
1075 _require_loop()
1076 {
1077     if [ "$HOSTOS" != "Linux" ]
1078     then
1079         _notrun "This test requires linux for loopback device support"
1080     fi
1081
1082     modprobe loop >/dev/null 2>&1
1083     if grep loop /proc/devices >/dev/null 2>&1
1084     then
1085         :
1086     else
1087         _notrun "This test requires loopback device support"
1088     fi
1089 }
1090
1091 # this test requires ext2 filesystem support
1092 #
1093 _require_ext2()
1094 {
1095     if [ "$HOSTOS" != "Linux" ]
1096     then
1097         _notrun "This test requires linux for ext2 filesystem support"
1098     fi
1099
1100     modprobe ext2 >/dev/null 2>&1
1101     if grep ext2 /proc/filesystems >/dev/null 2>&1
1102     then
1103         :
1104     else
1105         _notrun "This test requires ext2 filesystem support"
1106     fi
1107 }
1108
1109 # this test requires that (large) loopback device files are not in use
1110 #
1111 _require_no_large_scratch_dev()
1112 {
1113     [ "$LARGE_SCRATCH_DEV" = yes ] && \
1114         _notrun "Large filesystem testing in progress, skipped this test"
1115 }
1116
1117 # this test requires that a realtime subvolume is in use, and
1118 # that the kernel supports realtime as well.
1119 #
1120 _require_realtime()
1121 {
1122     [ "$USE_EXTERNAL" = yes ] || \
1123         _notrun "External volumes not in use, skipped this test"
1124     [ "$SCRATCH_RTDEV" = "" ] && \
1125         _notrun "Realtime device required, skipped this test"
1126 }
1127
1128 # this test requires that a specified command (executable) exists
1129 # $1 - command, $2 - name for error message
1130 #
1131 _require_command()
1132 {
1133     [ -n "$1" ] && _cmd="$1" || _cmd="$2"
1134     [ -n "$1" -a -x "$1" ] || _notrun "$_cmd utility required, skipped this test"
1135 }
1136
1137 # this test requires the device mapper flakey target
1138 #
1139 _require_dm_flakey()
1140 {
1141     _require_command $DMSETUP_PROG
1142
1143     modprobe dm-flakey >/dev/null 2>&1
1144     $DMSETUP_PROG targets | grep flakey >/dev/null 2>&1
1145     if [ $? -eq 0 ]
1146     then
1147         :
1148     else
1149         _notrun "This test requires dm flakey support"
1150     fi
1151 }
1152
1153 # this test requires the projid32bit feature to be available in mkfs.xfs.
1154 #
1155 _require_projid32bit()
1156 {
1157        _scratch_mkfs_xfs_supported -i projid32bit=1 >/dev/null 2>&1 \
1158            || _notrun "mkfs.xfs doesn't have projid32bit feature"
1159 }
1160
1161 _require_projid16bit()
1162 {
1163         _scratch_mkfs_xfs_supported -i projid32bit=0 >/dev/null 2>&1 \
1164            || _notrun "16 bit project IDs not supported on $SCRATCH_DEV"
1165 }
1166
1167 # this test requires the crc feature to be available in mkfs.xfs
1168 #
1169 _require_xfs_mkfs_crc()
1170 {
1171         _scratch_mkfs_xfs_supported -m crc=1 >/dev/null 2>&1 \
1172            || _notrun "mkfs.xfs doesn't have crc feature"
1173 }
1174
1175 # this test requires the xfs kernel support crc feature
1176 #
1177 _require_xfs_crc()
1178 {
1179         _scratch_mkfs_xfs -m crc=1 >/dev/null 2>&1
1180         _scratch_mount >/dev/null 2>&1 \
1181            || _notrun "Kernel doesn't support crc feature"
1182         umount $SCRATCH_MNT
1183 }
1184
1185 # this test requires the bigalloc feature to be available in mkfs.ext4
1186 #
1187 _require_ext4_mkfs_bigalloc()
1188 {
1189         _scratch_mkfs_ext4 -O bigalloc >/dev/null 2>&1 \
1190            || _notrun "mkfs.ext4 doesn't have bigalloc feature"
1191 }
1192
1193 # this test requires the ext4 kernel support bigalloc feature
1194 #
1195 _require_ext4_bigalloc()
1196 {
1197         _scratch_mkfs_ext4 -O bigalloc >/dev/null 2>&1
1198         _scratch_mount >/dev/null 2>&1 \
1199            || _notrun "Ext4 kernel doesn't support bigalloc feature"
1200         umount $SCRATCH_MNT
1201 }
1202
1203 # this test requires the finobt feature to be available in mkfs.xfs
1204 #
1205 _require_xfs_mkfs_finobt()
1206 {
1207         _scratch_mkfs_xfs_supported -m crc=1,finobt=1 >/dev/null 2>&1 \
1208            || _notrun "mkfs.xfs doesn't have finobt feature"
1209 }
1210
1211 # this test requires the xfs kernel support finobt feature
1212 #
1213 _require_xfs_finobt()
1214 {
1215         _scratch_mkfs_xfs -m crc=1,finobt=1 >/dev/null 2>&1
1216         _scratch_mount >/dev/null 2>&1 \
1217            || _notrun "Kernel doesn't support finobt feature"
1218         umount $SCRATCH_MNT
1219 }
1220
1221 # this test requires xfs sysfs attribute support
1222 #
1223 _require_xfs_sysfs()
1224 {
1225         attr=$1
1226         sysfsdir=/sys/fs/xfs
1227         testdev=`_short_dev $TEST_DEV`
1228
1229         if [ ! -e $sysfsdir ]; then
1230                 _notrun "no kernel support for XFS sysfs attributes"
1231         fi
1232
1233         if [ ! -z $1 ] && [ ! -e $sysfsdir/$testdev/$attr ]; then
1234                 _notrun "sysfs attribute '$attr' is not supported"
1235         fi
1236 }
1237
1238 # this test requires that external log/realtime devices are not in use
1239 #
1240 _require_nonexternal()
1241 {
1242     [ "$USE_EXTERNAL" = yes ] && \
1243         _notrun "External device testing in progress, skipped this test"
1244 }
1245
1246 # this test requires that a (specified) aio-dio executable exists
1247 # $1 - command (optional)
1248 #
1249 _require_aiodio()
1250 {
1251     if [ -z "$1" ]
1252     then
1253         AIO_TEST=src/aio-dio-regress/aiodio_sparse2
1254         [ -x $AIO_TEST ] || _notrun "aio-dio utilities required"
1255     else
1256         AIO_TEST=src/aio-dio-regress/$1
1257         [ -x $AIO_TEST ] || _notrun "$AIO_TEST not built"
1258     fi
1259 }
1260
1261 # run an aio-dio program
1262 # $1 - command
1263 _run_aiodio()
1264 {
1265     if [ -z "$1" ]
1266     then
1267         echo "usage: _run_aiodio command_name" 2>&1
1268         status=1; exit 1
1269     fi
1270
1271     _require_aiodio $1
1272
1273     local testtemp=$TEST_DIR/aio-testfile
1274     rm -f $testtemp
1275     $AIO_TEST $testtemp 2>&1
1276     status=$?
1277     rm -f $testtemp
1278
1279     return $status
1280 }
1281
1282 # indicate whether YP/NIS is active or not
1283 #
1284 _yp_active()
1285 {
1286         local dn
1287         dn=$(domainname 2>/dev/null)
1288         test -n "${dn}" -a "${dn}" != "(none)"
1289         echo $?
1290 }
1291
1292 # cat the password file
1293 #
1294 _cat_passwd()
1295 {
1296         [ $(_yp_active) -eq 0 ] && ypcat passwd
1297         cat /etc/passwd
1298 }
1299
1300 # cat the group file
1301 #
1302 _cat_group()
1303 {
1304         [ $(_yp_active) -eq 0 ] && ypcat group
1305         cat /etc/group
1306 }
1307
1308 # check for the fsgqa user on the machine
1309 #
1310 _require_user()
1311 {
1312     qa_user=fsgqa
1313     _cat_passwd | grep -q $qa_user
1314     [ "$?" == "0" ] || _notrun "$qa_user user not defined."
1315     echo /bin/true | su $qa_user
1316     [ "$?" == "0" ] || _notrun "$qa_user cannot execute commands."
1317 }
1318
1319 # check for the fsgqa group on the machine
1320 #
1321 _require_group()
1322 {
1323     qa_group=fsgqa
1324     _cat_group | grep -q $qa_group
1325     [ "$?" == "0" ] || _notrun "$qa_group user not defined."
1326 }
1327
1328 _filter_user_do()
1329 {
1330         perl -ne "
1331 s,.*Permission\sdenied.*,Permission denied,;
1332 s,.*no\saccess\sto\stty.*,,;
1333 s,.*no\sjob\scontrol\sin\sthis\sshell.*,,;
1334 s,^\s*$,,;
1335         print;"
1336 }
1337
1338 _user_do()
1339 {
1340     if [ "$HOSTOS" == "IRIX" ]
1341         then
1342         echo $1 | /bin/bash "su $qa_user 2>&1" | _filter_user_do
1343     else
1344         echo $1 | su $qa_user 2>&1 | _filter_user_do
1345     fi
1346 }
1347
1348 _require_xfs_io_command()
1349 {
1350         if [ $# -ne 1 ]
1351         then
1352                 echo "Usage: _require_xfs_io_command command" 1>&2
1353                 exit 1
1354         fi
1355         command=$1
1356
1357         testfile=$TEST_DIR/$$.xfs_io
1358         case $command in
1359         "falloc" )
1360                 testio=`$XFS_IO_PROG -F -f -c "falloc 0 1m" $testfile 2>&1`
1361                 ;;
1362         "fpunch" | "fcollapse" | "zero" | "fzero" )
1363                 testio=`$XFS_IO_PROG -F -f -c "pwrite 0 20k" -c "fsync" \
1364                         -c "$command 4k 8k" $testfile 2>&1`
1365                 ;;
1366         "fiemap")
1367                 testio=`$XFS_IO_PROG -F -f -c "pwrite 0 20k" -c "fsync" \
1368                         -c "fiemap -v" $testfile 2>&1`
1369                 ;;
1370         "flink" )
1371                 testio=`$XFS_IO_PROG -T -F -c "flink $testfile" \
1372                         $TEST_DIR 2>&1`
1373                 echo $testio | egrep -q "invalid option|Is a directory" && \
1374                         _notrun "xfs_io $command support is missing"
1375                 ;;
1376         *)
1377                 testio=`$XFS_IO_PROG -c "$command help" 2>&1`
1378         esac
1379
1380         rm -f $testfile 2>&1 > /dev/null
1381         echo $testio | grep -q "not found" && \
1382                 _notrun "xfs_io $command support is missing"
1383         echo $testio | grep -q "Operation not supported" && \
1384                 _notrun "xfs_io $command failed (old kernel/wrong fs?)"
1385 }
1386
1387 # Check that a fs has enough free space (in 1024b blocks)
1388 #
1389 _require_fs_space()
1390 {
1391         MNT=$1
1392         BLOCKS=$2       # in units of 1024
1393         let GB=$BLOCKS/1024/1024
1394
1395         FREE_BLOCKS=`df -klP $MNT | grep -v Filesystem | awk '{print $4}'`
1396         [ $FREE_BLOCKS -lt $BLOCKS ] && \
1397                 _notrun "This test requires at least ${GB}GB free on $MNT to run"
1398 }
1399
1400 #
1401 # Check if the filesystem supports sparse files.
1402 #
1403 # Unfortunately there is no better way to do this than a manual black list.
1404 #
1405 _require_sparse_files()
1406 {
1407     case $FSTYP in
1408     hfsplus)
1409         _notrun "Sparse files not supported by this filesystem type: $FSTYP"
1410         ;;
1411     *)
1412         ;;
1413     esac
1414 }
1415
1416 _require_debugfs()
1417 {
1418     #boot_params always present in debugfs
1419     [ -d "$DEBUGFS_MNT/boot_params" ] || _notrun "Debugfs not mounted"
1420 }
1421
1422 _require_fail_make_request()
1423 {
1424     [ -f "$DEBUGFS_MNT/fail_make_request/probability" ] \
1425         || _notrun "$DEBUGFS_MNT/fail_make_request \
1426  not found. Seems that CONFIG_FAIL_MAKE_REQUEST kernel config option not enabled"
1427 }
1428
1429 #
1430 # Check if the file system supports seek_data/hole
1431 #
1432 _require_seek_data_hole()
1433 {
1434     testfile=$TEST_DIR/$$.seek
1435     testseek=`$here/src/seek_sanity_test -t $testfile 2>&1`
1436     rm -f $testfile &>/dev/null
1437     echo $testseek | grep -q "Kernel does not support" && \
1438         _notrun "File system does not support llseek(2) SEEK_DATA/HOLE"
1439 }
1440
1441 # check that a FS on a device is mounted
1442 # if so, return mount point
1443 #
1444 _is_mounted()
1445 {
1446     if [ $# -ne 1 ]
1447     then
1448         echo "Usage: _is_mounted device" 1>&2
1449         exit 1
1450     fi
1451
1452     device=$1
1453
1454     if _mount | grep "$device " | $AWK_PROG -v pattern="type $FSTYP" '
1455         pattern        { print $3 ; exit 0 }
1456         END            { exit 1 }
1457     '
1458     then
1459         echo "_is_mounted: $device is not a mounted $FSTYP FS"
1460         exit 1
1461     fi
1462 }
1463
1464 # remount a FS to a new mode (ro or rw)
1465 #
1466 _remount()
1467 {
1468     if [ $# -ne 2 ]
1469     then
1470         echo "Usage: _remount device ro/rw" 1>&2
1471         exit 1
1472     fi
1473     device=$1
1474     mode=$2
1475
1476     if ! mount -o remount,$mode $device
1477     then
1478         echo "_remount: failed to remount filesystem on $device as $mode"
1479         exit 1
1480     fi
1481 }
1482
1483 # Run the appropriate repair/check on a filesystem
1484 #
1485 # if the filesystem is mounted, it's either remounted ro before being
1486 # checked or it's unmounted and then remounted
1487 #
1488
1489 # If set, we remount ro instead of unmounting for fsck
1490 USE_REMOUNT=0
1491
1492 _umount_or_remount_ro()
1493 {
1494     if [ $# -ne 1 ]
1495     then
1496         echo "Usage: _umount_or_remount_ro <device>" 1>&2
1497         exit 1
1498     fi
1499
1500     device=$1
1501     mountpoint=`_is_mounted $device`
1502
1503     if [ $USE_REMOUNT -eq 0 ]; then
1504         $UMOUNT_PROG $device
1505     else
1506         _remount $device ro
1507     fi
1508     echo "$mountpoint"
1509 }
1510
1511 _mount_or_remount_rw()
1512 {
1513     if [ $# -ne 3 ]
1514     then
1515         echo "Usage: _mount_or_remount_rw <opts> <device> <mountpoint>" 1>&2
1516         exit 1
1517     fi
1518     mount_opts=$1
1519     device=$2
1520     mountpoint=$3
1521
1522     if [ $USE_REMOUNT -eq 0 ]
1523     then
1524         if ! _mount -t $FSTYP $mount_opts $device $mountpoint
1525         then
1526             echo "!!! failed to remount $device on $mountpoint"
1527             return 0 # ok=0
1528         fi
1529     else
1530         _remount $device rw
1531     fi
1532
1533     return 1 # ok=1
1534 }
1535
1536 # Check a generic filesystem in no-op mode; this assumes that the
1537 # underlying fsck program accepts "-n" for a no-op (check-only) run,
1538 # and that it will still return an errno for corruption in this mode.
1539 #
1540 # Filesystems which don't support this will need to define their
1541 # own check routine.
1542 #
1543 _check_generic_filesystem()
1544 {
1545     device=$1
1546
1547     # If type is set, we're mounted
1548     type=`_fs_type $device`
1549     ok=1
1550
1551     if [ "$type" = "$FSTYP" ]
1552     then
1553         # mounted ...
1554         mountpoint=`_umount_or_remount_ro $device`
1555     fi
1556
1557     fsck -t $FSTYP $FSCK_OPTIONS $device >$tmp.fsck 2>&1
1558     if [ $? -ne 0 ]
1559     then
1560         echo "_check_generic_filesystem: filesystem on $device is inconsistent (see $seqres.full)"
1561
1562         echo "_check_generic filesystem: filesystem on $device is inconsistent" >>$seqres.full
1563         echo "*** fsck.$FSTYP output ***"       >>$seqres.full
1564         cat $tmp.fsck                           >>$seqres.full
1565         echo "*** end fsck.$FSTYP output"       >>$seqres.full
1566
1567         ok=0
1568     fi
1569     rm -f $tmp.fsck
1570
1571     if [ $ok -eq 0 ]
1572     then
1573         echo "*** mount output ***"             >>$seqres.full
1574         _mount                                  >>$seqres.full
1575         echo "*** end mount output"             >>$seqres.full
1576     elif [ "$type" = "$FSTYP" ]
1577     then
1578         # was mounted ...
1579         _mount_or_remount_rw "$MOUNT_OPTIONS" $device $mountpoint
1580         ok=$?
1581     fi
1582
1583     if [ $ok -eq 0 ]; then
1584         status=1
1585         exit 1
1586     fi
1587
1588     return 0
1589 }
1590
1591 # run xfs_check and friends on a FS.
1592
1593 _check_xfs_filesystem()
1594 {
1595     if [ $# -ne 3 ]
1596     then
1597         echo "Usage: _check_xfs_filesystem device <logdev>|none <rtdev>|none" 1>&2
1598         exit 1
1599     fi
1600
1601     extra_mount_options=""
1602     device=$1
1603     if [ "$2" != "none" ]; then
1604         extra_log_options="-l$2"
1605         extra_mount_options="-ologdev=$2"
1606     fi
1607
1608     if [ "$3" != "none" ]; then
1609         extra_rt_options="-r$3"
1610         extra_mount_options=$extra_mount_options" -ortdev=$3"
1611     fi
1612     extra_mount_options=$extra_mount_options" $MOUNT_OPTIONS"
1613
1614     [ "$FSTYP" != xfs ] && return 0
1615
1616     type=`_fs_type $device`
1617     ok=1
1618
1619     if [ "$type" = "xfs" ]
1620     then
1621         # mounted ...
1622         mountpoint=`_umount_or_remount_ro $device`
1623     fi
1624
1625     $XFS_LOGPRINT_PROG -t $extra_log_options $device 2>&1 \
1626                 | tee $tmp.logprint | grep -q "<CLEAN>"
1627     if [ $? -ne 0 -a "$HOSTOS" = "Linux" ]
1628     then
1629         echo "_check_xfs_filesystem: filesystem on $device has dirty log (see $seqres.full)"
1630
1631         echo "_check_xfs_filesystem: filesystem on $device has dirty log"   >>$seqres.full
1632         echo "*** xfs_logprint -t output ***"   >>$seqres.full
1633         cat $tmp.logprint                       >>$seqres.full
1634         echo "*** end xfs_logprint output"      >>$seqres.full
1635
1636         ok=0
1637     fi
1638
1639     # xfs_check runs out of memory on large files, so even providing the test
1640     # option (-t) to avoid indexing the free space trees doesn't make it pass on
1641     # large filesystems. Avoid it.
1642     if [ "$LARGE_SCRATCH_DEV" != yes ]; then
1643             _xfs_check $extra_log_options $device 2>&1 |\
1644                  _fix_malloc >$tmp.fs_check
1645     fi
1646     if [ -s $tmp.fs_check ]
1647     then
1648         echo "_check_xfs_filesystem: filesystem on $device is inconsistent (c) (see $seqres.full)"
1649
1650         echo "_check_xfs_filesystem: filesystem on $device is inconsistent" >>$seqres.full
1651         echo "*** xfs_check output ***"         >>$seqres.full
1652         cat $tmp.fs_check                       >>$seqres.full
1653         echo "*** end xfs_check output"         >>$seqres.full
1654
1655         ok=0
1656     fi
1657
1658     $XFS_REPAIR_PROG -n $extra_log_options $extra_rt_options $device >$tmp.repair 2>&1
1659     if [ $? -ne 0 ]
1660     then
1661         echo "_check_xfs_filesystem: filesystem on $device is inconsistent (r) (see $seqres.full)"
1662
1663         echo "_check_xfs_filesystem: filesystem on $device is inconsistent" >>$seqres.full
1664         echo "*** xfs_repair -n output ***"     >>$seqres.full
1665         cat $tmp.repair | _fix_malloc           >>$seqres.full
1666         echo "*** end xfs_repair output"        >>$seqres.full
1667
1668         ok=0
1669     fi
1670     rm -f $tmp.fs_check $tmp.logprint $tmp.repair
1671
1672     if [ $ok -eq 0 ]
1673     then
1674         echo "*** mount output ***"             >>$seqres.full
1675         _mount                                  >>$seqres.full
1676         echo "*** end mount output"             >>$seqres.full
1677     elif [ "$type" = "xfs" ]
1678     then
1679         _mount_or_remount_rw "$extra_mount_options" $device $mountpoint
1680     fi
1681
1682     if [ $ok -eq 0 ]; then
1683         status=1
1684         exit 1
1685     fi
1686
1687     return 0
1688 }
1689
1690 # Filter the knowen errors the UDF Verifier reports.
1691 _udf_test_known_error_filter()
1692 {
1693         egrep -v "PVD  60  Error: Interchange Level: 1, Maximum Interchange Level: 0|FSD  28  Error: Interchange Level: 1, Maximum Interchange Level: 1,|PVD  72  Warning: Volume Set Identifier: \"\*IRIX UDF\",|Warning: [0-9]+ unused blocks NOT marked as unallocated."
1694
1695 }
1696
1697 _check_udf_filesystem()
1698 {
1699     [ "$DISABLE_UDF_TEST" == "1" ] && return
1700
1701     if [ $# -ne 1 -a $# -ne 2 ]
1702     then
1703         echo "Usage: _check_udf_filesystem device [last_block]" 1>&2
1704         exit 1
1705     fi
1706
1707     if [ ! -x $here/src/udf_test ]
1708     then
1709         echo "udf_test not installed, please download and build the Philips"
1710         echo "UDF Verification Software from http://www.extra.research.philips.com/udf/."
1711         echo "Then copy the udf_test binary to $here/src/."
1712         echo "If you do not wish to run udf_test then set environment variable DISABLE_UDF_TEST"
1713         echo "to 1."
1714         return
1715     fi
1716
1717     device=$1
1718     if [ $# -eq 2 ];
1719     then
1720         LAST_BLOCK=`expr \( $2 - 1 \)`
1721         OPT_ARG="-lastvalidblock $LAST_BLOCK"
1722     fi
1723
1724     rm -f $seqres.checkfs
1725     sleep 1 # Due to a problem with time stamps in udf_test
1726     $here/src/udf_test $OPT_ARG $device | tee $seqres.checkfs | egrep "Error|Warning" | \
1727         _udf_test_known_error_filter | \
1728         egrep -iv "Error count:.*[0-9]+.*total occurrences:.*[0-9]+|Warning count:.*[0-9]+.*total occurrences:.*[0-9]+" && \
1729         echo "Warning UDF Verifier reported errors see $seqres.checkfs."
1730 }
1731
1732 _check_xfs_test_fs()
1733 {
1734     TEST_LOG="none"
1735     TEST_RT="none"
1736     [ "$USE_EXTERNAL" = yes -a ! -z "$TEST_LOGDEV" ] && \
1737         TEST_LOG="$TEST_LOGDEV"
1738
1739     [ "$USE_EXTERNAL" = yes -a ! -z "$TEST_RTDEV" ] && \
1740         TEST_RT="$TEST_RTDEV"
1741
1742     _check_xfs_filesystem $TEST_DEV $TEST_LOG $TEST_RT
1743
1744     # check for ipath consistency
1745     if $XFS_GROWFS_PROG -n $TEST_DIR | grep -q 'inode-paths=1'; then
1746         # errors go to stderr
1747         xfs_check_ipaths $TEST_DIR >/dev/null
1748         xfs_repair_ipaths -n $TEST_DIR >/dev/null
1749     fi
1750 }
1751
1752 _check_btrfs_filesystem()
1753 {
1754     device=$1
1755
1756     # If type is set, we're mounted
1757     type=`_fs_type $device`
1758     ok=1
1759
1760     if [ "$type" = "$FSTYP" ]
1761     then
1762         # mounted ...
1763         mountpoint=`_umount_or_remount_ro $device`
1764     fi
1765
1766     btrfsck $device >$tmp.fsck 2>&1
1767     if [ $? -ne 0 ]
1768     then
1769         echo "_check_btrfs_filesystem: filesystem on $device is inconsistent (see $seqres.full)"
1770
1771         echo "_check_btrfs_filesystem: filesystem on $device is inconsistent" >>$seqres.full
1772         echo "*** fsck.$FSTYP output ***"       >>$seqres.full
1773         cat $tmp.fsck                           >>$seqres.full
1774         echo "*** end fsck.$FSTYP output"       >>$seqres.full
1775
1776         ok=0
1777     fi
1778     rm -f $tmp.fsck
1779
1780     if [ $ok -eq 0 ]
1781     then
1782         echo "*** mount output ***"             >>$seqres.full
1783         _mount                                  >>$seqres.full
1784         echo "*** end mount output"             >>$seqres.full
1785     elif [ "$type" = "$FSTYP" ]
1786     then
1787         # was mounted ...
1788         _mount_or_remount_rw "$MOUNT_OPTIONS" $device $mountpoint
1789         ok=$?
1790     fi
1791
1792     if [ $ok -eq 0 ]; then
1793         status=1
1794         exit 1
1795     fi
1796
1797     return 0
1798 }
1799
1800 _check_test_fs()
1801 {
1802     case $FSTYP in
1803     xfs)
1804         _check_xfs_test_fs
1805         ;;
1806     nfs)
1807         # no way to check consistency for nfs
1808         ;;
1809     udf)
1810         # do nothing for now
1811         ;;
1812     btrfs)
1813         _check_btrfs_filesystem $TEST_DEV
1814         ;;
1815     tmpfs)
1816         # no way to check consistency for tmpfs
1817         ;;
1818     *)
1819         _check_generic_filesystem $TEST_DEV
1820         ;;
1821     esac
1822 }
1823
1824 _check_scratch_fs()
1825 {
1826     device=$SCRATCH_DEV
1827     [ $# -eq 1 ] && device=$1
1828
1829     case $FSTYP in
1830     xfs)
1831         SCRATCH_LOG="none"
1832         SCRATCH_RT="none"
1833         [ "$USE_EXTERNAL" = yes -a ! -z "$SCRATCH_LOGDEV" ] && \
1834             SCRATCH_LOG="$SCRATCH_LOGDEV"
1835
1836         [ "$USE_EXTERNAL" = yes -a ! -z "$SCRATCH_RTDEV" ] && \
1837             SCRATCH_RT="$SCRATCH_RTDEV"
1838
1839         _check_xfs_filesystem $device $SCRATCH_LOG $SCRATCH_RT
1840         ;;
1841     udf)
1842         _check_udf_filesystem $device $udf_fsize
1843         ;;
1844     nfs*)
1845         # Don't know how to check an NFS filesystem, yet.
1846         ;;
1847     btrfs)
1848         _check_btrfs_filesystem $device
1849         ;;
1850     tmpfs)
1851         # no way to check consistency for tmpfs
1852         ;;
1853     *)
1854         _check_generic_filesystem $device
1855         ;;
1856     esac
1857 }
1858
1859 _full_fstyp_details()
1860 {
1861      [ -z "$FSTYP" ] && FSTYP=xfs
1862      if [ $FSTYP = xfs ]; then
1863         if [ -d /proc/fs/xfs ]; then
1864             if grep -q 'debug 0' /proc/fs/xfs/stat; then
1865                 FSTYP="$FSTYP (non-debug)"
1866             elif grep -q 'debug 1' /proc/fs/xfs/stat; then
1867                 FSTYP="$FSTYP (debug)"
1868             fi
1869         else
1870             if uname -a | grep -qi 'debug'; then
1871                 FSTYP="$FSTYP (debug)"
1872             else
1873                 FSTYP="$FSTYP (non-debug)"
1874             fi
1875         fi
1876      fi
1877      echo $FSTYP
1878 }
1879
1880 _full_platform_details()
1881 {
1882      os=`uname -s`
1883      host=`hostname -s`
1884      kernel=`uname -r`
1885      platform=`uname -m`
1886      echo "$os/$platform $host $kernel"
1887 }
1888
1889 _link_out_file()
1890 {
1891         if [ -z "$1" -o -z "$2" ]; then
1892                 echo Error must pass src and dst.
1893                 exit
1894         fi
1895         rm -f $2
1896         if [ "`uname`" == "IRIX64" ] || [ "`uname`" == "IRIX" ]; then
1897                 ln -s $1.irix $2
1898         elif [ "`uname`" == "Linux" ]; then
1899                 ln -s $1.linux $2
1900         else
1901                 echo Error test $seq does not run on the operating system: `uname`
1902                 exit
1903         fi
1904 }
1905
1906 _die()
1907 {
1908         echo $@
1909         exit 1
1910 }
1911
1912 #takes files, randomdata
1913 _nfiles()
1914 {
1915         f=0
1916         while [ $f -lt $1 ]
1917         do
1918                 file=f$f
1919                 echo > $file
1920                 if [ $size -gt 0 ]; then
1921                     if [ "$2" == "false" ]; then
1922                         dd if=/dev/zero of=$file bs=1024 count=$size 2>&1 | _filter_dd
1923                     else
1924                         dd if=/dev/urandom of=$file bs=1024 count=$size 2>&1 | _filter_dd
1925                     fi
1926                 fi
1927                 let f=$f+1
1928         done
1929 }
1930
1931 # takes dirname, depth, randomdata
1932 _descend()
1933 {
1934         dirname=$1; depth=$2; randomdata=$3
1935         mkdir $dirname  || die "mkdir $dirname failed"
1936         cd $dirname
1937
1938         _nfiles $files $randomdata          # files for this dir and data type
1939
1940         [ $depth -eq 0 ] && return
1941         let deep=$depth-1 # go 1 down
1942
1943         [ $verbose = true ] && echo "descending, depth from leaves = $deep"
1944
1945         d=0
1946         while [ $d -lt $dirs ]
1947         do
1948                 _descend d$d $deep &
1949                 let d=$d+1
1950                 wait
1951         done
1952 }
1953
1954 # Populate a filesystem with inodes for performance experiments
1955 #
1956 # usage: populate [-v] [-n ndirs] [-f nfiles] [-d depth] [-r root] [-s size] [-x]
1957 #
1958 _populate_fs()
1959 {
1960     here=`pwd`
1961     dirs=5          # ndirs in each subdir till leaves
1962     size=0          # sizeof files in K
1963     files=100       # num files in _each_ subdir
1964     depth=2         # depth of tree from root to leaves
1965     verbose=false
1966     root=root       # path of initial root of directory tree
1967     randomdata=false # -x data type urandom or zero
1968
1969     OPTIND=1
1970     while getopts "d:f:n:r:s:v:x" c
1971     do
1972         case $c in
1973         d)      depth=$OPTARG;;
1974         n)      dirs=$OPTARG;;
1975         f)      files=$OPTARG;;
1976         s)      size=$OPTARG;;
1977         v)      verbose=true;;
1978         r)      root=$OPTARG;;
1979         x)      randomdata=true;;
1980         esac
1981     done
1982
1983     _descend $root $depth $randomdata
1984     wait
1985
1986     cd $here
1987
1988     [ $verbose = true ] && echo done
1989 }
1990
1991 # query whether the given file has the given inode flag set
1992 #
1993 _test_inode_flag()
1994 {
1995     flag=$1
1996     file=$2
1997
1998     if which $XFS_IO_PROG >/dev/null; then
1999         if $XFS_IO_PROG -r -c 'lsattr -v' "$file" | grep -q "$flag" ; then
2000             return 0
2001         fi
2002     fi
2003     return 1
2004 }
2005
2006 # query the given files extsize allocator hint in bytes (if any)
2007 #
2008 _test_inode_extsz()
2009 {
2010     file=$1
2011     blocks=""
2012
2013     if which $XFS_IO_PROG >/dev/null; then
2014         blocks=`$XFS_IO_PROG -r -c 'stat' "$file" | \
2015                 awk '/^xattr.extsize =/ { print $3 }'`
2016     fi
2017     [ -z "$blocks" ] && blocks="0"
2018     echo $blocks
2019 }
2020
2021 # scratch_dev_pool should contain the disks pool for the btrfs raid
2022 _require_scratch_dev_pool()
2023 {
2024         local i
2025         local ndevs
2026
2027         if [ -z "$SCRATCH_DEV_POOL" ]; then
2028                 _notrun "this test requires a valid \$SCRATCH_DEV_POOL"
2029         fi
2030
2031         if [ -z "$1" ]; then
2032                 ndevs=2
2033         else
2034                 ndevs=$1
2035         fi
2036
2037         # btrfs test case needs ndevs or more scratch_dev_pool; other FS not sure
2038         # so fail it
2039         case $FSTYP in
2040         btrfs)
2041                 if [ "`echo $SCRATCH_DEV_POOL|wc -w`" -lt $ndevs ]; then
2042                         _notrun "btrfs and this test needs $ndevs or more disks in SCRATCH_DEV_POOL"
2043                 fi
2044         ;;
2045         *)
2046                 _notrun "dev_pool is not supported by fstype \"$FSTYP\""
2047         ;;
2048         esac
2049
2050         for i in $SCRATCH_DEV_POOL; do
2051                 if [ "`_is_block_dev $i`" = "" ]; then
2052                         _notrun "this test requires valid block disk $i"
2053                 fi
2054                 if [ "`_is_block_dev $i`" = "`_is_block_dev $TEST_DEV`" ]; then
2055                         _notrun "$i is part of TEST_DEV, this test requires unique disks"
2056                 fi
2057                 if _mount | grep -q $i; then
2058                         if ! $UMOUNT_PROG $i; then
2059                             echo "failed to unmount $i - aborting"
2060                             exit 1
2061                         fi
2062                 fi
2063                 # to help better debug when something fails, we remove
2064                 # traces of previous btrfs FS on the dev.
2065                 dd if=/dev/zero of=$i bs=4096 count=100 > /dev/null 2>&1
2066         done
2067 }
2068
2069 # We will check if the device is deletable
2070 _require_deletable_scratch_dev_pool()
2071 {
2072         local i
2073         local x
2074         for i in $SCRATCH_DEV_POOL; do
2075                 x=`echo $i | cut -d"/" -f 3`
2076                 if [ ! -f /sys/class/block/${x}/device/delete ]; then
2077                         _notrun "$i is a device which is not deletable"
2078                 fi
2079         done
2080 }
2081
2082 # We check for btrfs and (optionally) features of the btrfs command
2083 _require_btrfs()
2084 {
2085         cmd=$1
2086         _require_command $BTRFS_UTIL_PROG btrfs
2087         if [ -z "$1" ]; then
2088                 return 1;
2089         fi
2090         $BTRFS_UTIL_PROG $cmd --help >/dev/null 2>&1
2091         [ $? -eq 0 ] || _notrun "$BTRFS_UTIL_PROG too old (must support $cmd)"
2092 }
2093
2094 # Check that fio is present, and it is able to execute given jobfile
2095 _require_fio()
2096 {
2097         job=$1
2098
2099         _require_command $FIO_PROG
2100         if [ -z "$1" ]; then
2101                 return 1;
2102         fi
2103
2104         $FIO_PROG --warnings-fatal --showcmd $job >> $seqres.full 2>&1
2105         [ $? -eq 0 ] || _notrun "$FIO_PROG too old, see $seqres.full"
2106 }
2107
2108 # Does freeze work on this fs?
2109 _require_freeze()
2110 {
2111         xfs_freeze -f "$TEST_DIR" >/dev/null 2>&1
2112         result=$?
2113         xfs_freeze -u "$TEST_DIR" >/dev/null 2>&1
2114         [ $result -eq 0 ] || _notrun "$FSTYP does not support freezing"
2115 }
2116
2117 # arg 1 is dev to remove and is output of the below eg.
2118 # ls -l /sys/class/block/sdd | rev | cut -d "/" -f 3 | rev
2119 _devmgt_remove()
2120 {
2121         local lun=$1
2122         local disk=$2
2123
2124         echo 1 > /sys/class/scsi_device/${lun}/device/delete || _fail "Remove disk failed"
2125
2126         stat $disk > /dev/null 2>&1
2127         while [ $? -eq 0 ]; do
2128                 sleep 1
2129                 stat $disk > /dev/null 2>&1
2130         done
2131 }
2132
2133 # arg 1 is dev to add and is output of the below eg.
2134 # ls -l /sys/class/block/sdd | rev | cut -d "/" -f 3 | rev
2135 _devmgt_add()
2136 {
2137         local h
2138         local tdl
2139         # arg 1 will be in h:t:d:l format now in the h and "t d l" format
2140         h=`echo ${1} | cut -d":" -f 1`
2141         tdl=`echo ${1} | cut -d":" -f 2-|sed 's/:/ /g'`
2142
2143         echo ${tdl} >  /sys/class/scsi_host/host${h}/scan || _fail "Add disk failed"
2144 }
2145
2146 _require_fstrim()
2147 {
2148         if [ -z "$FSTRIM_PROG" ]; then
2149                 _notrun "This test requires fstrim utility."
2150         fi
2151 }
2152
2153 _test_batched_discard()
2154 {
2155         if [ $# -ne 1 ]; then
2156                 echo "Usage: _test_batched_discard mnt_point" 1>&2
2157                 exit 1
2158         fi
2159         _require_fstrim
2160         $FSTRIM_PROG ${1} &>/dev/null
2161 }
2162
2163 _require_dumpe2fs()
2164 {
2165         if [ -z "$DUMPE2FS_PROG" ]; then
2166                 _notrun "This test requires dumpe2fs utility."
2167         fi
2168 }
2169
2170 _require_ugid_map()
2171 {
2172         if [ ! -e /proc/self/uid_map ]; then
2173                 _notrun "This test requires procfs uid_map support."
2174         fi
2175         if [ ! -e /proc/self/gid_map ]; then
2176                 _notrun "This test requires procfs gid_map support."
2177         fi
2178 }
2179
2180 _require_cp_reflink()
2181 {
2182        cp --help | grep -q reflink || \
2183                _notrun "This test requires a cp with --reflink support."
2184 }
2185
2186 _require_fssum()
2187 {
2188         FSSUM_PROG=$here/src/fssum
2189         [ -x $FSSUM_PROG ] || _notrun "fssum not built"
2190 }
2191
2192 _require_btrfs_cloner()
2193 {
2194         CLONER_PROG=$here/src/cloner
2195         [ -x $CLONER_PROG ] || \
2196                 _notrun "cloner binary not present at $CLONER_PROG"
2197 }
2198
2199 # Given 2 files, verify that they have the same mapping but different
2200 # inodes - i.e. an undisturbed reflink
2201 # Silent if so, make noise if not
2202 _verify_reflink()
2203 {
2204        # not a hard link or symlink?
2205        cmp -s  <(stat -c '%i' $1) <(stat -c '%i' $2) \
2206                && echo "$1 and $2 are not reflinks: same inode number"
2207
2208        # same mapping?
2209        diff -u <($XFS_IO_PROG -c "fiemap" $1 | grep -v $1) \
2210                <($XFS_IO_PROG -c "fiemap" $2 | grep -v $2) \
2211                || echo "$1 and $2 are not reflinks: different extents"
2212 }
2213
2214 _require_relatime()
2215 {
2216         _scratch_mkfs > /dev/null 2>&1
2217         _mount -t $FSTYP -o relatime $SCRATCH_DEV $SCRATCH_MNT || \
2218                 _notrun "relatime not supported by the current kernel"
2219         _scratch_unmount
2220 }
2221
2222 _require_userns()
2223 {
2224         [ -x src/nsexec ] || _notrun "src/nsexec executable not found"
2225         src/nsexec -U true 2>/dev/null || _notrun "userns not supported by this kernel"
2226 }
2227
2228 _create_loop_device()
2229 {
2230         file=$1
2231         dev=`losetup -f --show $file` || _fail "Cannot assign $file to a loop device"
2232         echo $dev
2233 }
2234
2235 _destroy_loop_device()
2236 {
2237         dev=$1
2238         losetup -d $dev || _fail "Cannot destroy loop device $dev"
2239 }
2240
2241 _scale_fsstress_args()
2242 {
2243     args=""
2244     while [ $# -gt 0 ]; do
2245         case "$1" in
2246             -n) args="$args $1 $(($2 * $TIME_FACTOR))"; shift ;;
2247             -p) args="$args $1 $(($2 * $LOAD_FACTOR))"; shift ;;
2248             *) args="$args $1" ;;
2249         esac
2250         shift
2251     done
2252     echo $args
2253 }
2254
2255 #
2256 # Return the logical block size if running on a block device,
2257 # else substitute the page size.
2258 #
2259 _min_dio_alignment()
2260 {
2261     dev=$1
2262
2263     if [ -b "$dev" ]; then
2264         blockdev --getss $dev
2265     else
2266         $here/src/feature -s
2267     fi
2268 }
2269
2270 run_check()
2271 {
2272         echo "# $@" >> $seqres.full 2>&1
2273         "$@" >> $seqres.full 2>&1 || _fail "failed: '$@'"
2274 }
2275
2276 _run_btrfs_util_prog()
2277 {
2278         run_check $BTRFS_UTIL_PROG $*
2279 }
2280
2281 _require_btrfs_send_stream_version()
2282 {
2283         $BTRFS_UTIL_PROG send 2>&1 | \
2284                 grep '^[ \t]*\-\-stream\-version <version>' > /dev/null 2>&1
2285         if [ $? -ne 0 ]; then
2286                 _notrun "Missing btrfs-progs send --stream-version command line option, skipped this test"
2287         fi
2288 }
2289
2290 _require_btrfs_mkfs_feature()
2291 {
2292         if [ -z $1 ]; then
2293                 echo "Missing feature name argument for _require_btrfs_mkfs_feature"
2294                 exit 1
2295         fi
2296         feat=$1
2297         $MKFS_BTRFS_PROG -O list-all 2>&1 | \
2298                 grep '^[ \t]*'"$feat"'\b' > /dev/null 2>&1
2299         [ $? -eq 0 ] || \
2300                 _notrun "Feature $feat not supported in the available version of mkfs.btrfs"
2301 }
2302
2303 _require_btrfs_fs_feature()
2304 {
2305         if [ -z $1 ]; then
2306                 echo "Missing feature name argument for _require_btrfs_fs_feature"
2307                 exit 1
2308         fi
2309         feat=$1
2310         modprobe btrfs > /dev/null 2>&1
2311         [ -e /sys/fs/btrfs/features/$feat ] || \
2312                 _notrun "Feature $feat not supported by the available btrfs version"
2313 }
2314
2315 _get_total_inode()
2316 {
2317         if [ -z "$1" ]; then
2318                 echo "Usage: _get_total_inode <mnt>"
2319                 exit 1
2320         fi
2321         local nr_inode;
2322         nr_inode=`$DF_PROG -i $1 | tail -1 | awk '{print $3}'`
2323         echo $nr_inode
2324 }
2325
2326 _get_used_inode()
2327 {
2328         if [ -z "$1" ]; then
2329                 echo "Usage: _get_used_inode <mnt>"
2330                 exit 1
2331         fi
2332         local nr_inode;
2333         nr_inode=`$DF_PROG -i $1 | tail -1 | awk '{print $4}'`
2334         echo $nr_inode
2335 }
2336
2337 _get_free_inode()
2338 {
2339         if [ -z "$1" ]; then
2340                 echo "Usage: _get_free_inode <mnt>"
2341                 exit 1
2342         fi
2343         local nr_inode;
2344         nr_inode=`$DF_PROG -i $1 | tail -1 | awk '{print $5}'`
2345         echo $nr_inode
2346 }
2347
2348 init_rc()
2349 {
2350         if [ "$iam" == new ]
2351         then
2352                 return
2353         fi
2354         # make some further configuration checks here
2355         if [ "$TEST_DEV" = ""  ]
2356         then
2357                 echo "common/rc: Error: \$TEST_DEV is not set"
2358                 exit 1
2359         fi
2360
2361         # if $TEST_DEV is not mounted, mount it now as XFS
2362         if [ -z "`_fs_type $TEST_DEV`" ]
2363         then
2364                 # $TEST_DEV is not mounted
2365                 if ! _test_mount
2366                 then
2367                         echo "common/rc: retrying test device mount with external set"
2368                         [ "$USE_EXTERNAL" != "yes" ] && export USE_EXTERNAL=yes
2369                         if ! _test_mount
2370                         then
2371                                 echo "common/rc: could not mount $TEST_DEV on $TEST_DIR"
2372                                 exit 1
2373                         fi
2374                 fi
2375         fi
2376
2377         if [ "`_fs_type $TEST_DEV`" != "$FSTYP" ]
2378         then
2379                 echo "common/rc: Error: \$TEST_DEV ($TEST_DEV) is not a MOUNTED $FSTYP filesystem"
2380                 $DF_PROG $TEST_DEV
2381                 exit 1
2382         fi
2383         # Figure out if we need to add -F ("foreign", deprecated) option to xfs_io
2384         xfs_io -c stat $TEST_DIR 2>&1 | grep -q "is not on an XFS filesystem" && \
2385         export XFS_IO_PROG="$XFS_IO_PROG -F"
2386 }
2387
2388 # get real device path name by following link
2389 _real_dev()
2390 {
2391         local _dev=$1
2392         if [ -b "$_dev" ] && [ -L "$_dev" ]; then
2393                 _dev=`readlink -f "$_dev"`
2394         fi
2395         echo $_dev
2396 }
2397
2398 # basename of a device
2399 _short_dev()
2400 {
2401         echo `basename $(_real_dev $1)`
2402 }
2403
2404 init_rc
2405
2406 ################################################################################
2407 # make sure this script returns success
2408 /bin/true