common/config

   1 ##/bin/bash
   2 #
   3 # Copyright (c) 2000-2003,2006 Silicon Graphics, Inc.  All Rights Reserved.
   4 #
   5 # This program is free software; you can redistribute it and/or
   6 # modify it under the terms of the GNU General Public License as
   7 # published by the Free Software Foundation.
   8 #
   9 # This program is distributed in the hope that it would be useful,
  10 # but WITHOUT ANY WARRANTY; without even the implied warranty of
  11 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  12 # GNU General Public License for more details.
  13 #
  14 # You should have received a copy of the GNU General Public License
  15 # along with this program; if not, write the Free Software Foundation,
  16 # Inc.,  51 Franklin St, Fifth Floor, Boston, MA  02110-1301  USA
  17 #
  18 #
  19 # setup and check for config parameters, and in particular
  20 #
  21 # EMAIL -           email of the script runner.
  22 # TEST_DIR -        scratch test directory that is in an already
  23 #                   mounted XFS file system, needs to be be world
  24 #                   writeable
  25 # TEST_DEV -        device for file system containing TEST_DIR
  26 #
  27 # and optionally:
  28 # SCRATCH_DEV -     device you can make a scratch file system on
  29 # SCRATCH_MNT -     mount point for scratch file system
  30 # SCRATCH_LOGDEV -  scratch log device for external log testing
  31 # SCRATCH_RTDEV -   scratch rt dev
  32 # TEST_LOGDEV -     test log device for external log testing
  33 # TEST_RTDEV -      test rt dev
  34 # TAPE_DEV -        the tape device for the xfsdump tests
  35 # RMT_TAPE_DEV -    the remote tape device for the xfsdump tests
  36 # RMT_IRIXTAPE_DEV- the IRIX remote tape device for the xfsdump tests
  37 # RMT_TAPE_USER -   remote user for tape device
  38 # SELINUX_MOUNT_OPTIONS - Options to use when SELinux is enabled.
  39 #
  40 # - These can be added to $HOST_CONFIG_DIR (witch default to ./config)
  41 #   below or a separate local configuration file can be used (using
  42 #   the HOST_OPTIONS variable).
  43 # - This script is shared by the stress test system and the auto-qa
  44 #   system
  45 # - TEST_DEV & TEST_DIR must be assigned.
  46 # - this script shouldn't make any assertions about filesystem
  47 #   validity or mountedness.
  48 #
  49
  50 # all tests should use a common language setting to prevent golden
  51 # output mismatches.
  52 export LANG=C
  53 export LC_ALL=C
  54
  55 PATH=".:$PATH"
  56
  57 export HOST=`hostname -s`
  58 export HOSTOS=`uname -s`
  59
  60 export MODULAR=0               # using XFS as a module or not
  61 export BOOT="/boot"            # install target for kernels
  62 export EXTRA=${EXTRA:=xfs-qa}
  63
  64 # general parameters (mainly for auto-qa)
  65 export SOAK_PROC=3             # -p option to fsstress
  66 export SOAK_STRESS=10000       # -n option to fsstress
  67 export SOAK_PASSES=-1          # count of repetitions of fsstress (while soaking)
  68 export EMAIL=root@localhost    # where auto-qa will send its status messages
  69 export HOST_OPTIONS=${HOST_OPTIONS:=local.config}
  70 export CHECK_OPTIONS=${CHECK_OPTIONS:="-g auto"}
  71 export BENCH_PASSES=${BENCH_PASSES:=5}
  72 export XFS_MKFS_OPTIONS=${XFS_MKFS_OPTIONS:=-bsize=4096}
  73 export TIME_FACTOR=${TIME_FACTOR:=1}
  74 export LOAD_FACTOR=${LOAD_FACTOR:=1}
  75 export DEBUGFS_MNT=${DEBUGFS_MNT:="/sys/kernel/debug"}
  76
  77 # some constants for overlayfs setup
  78 export OVL_UPPER="ovl-upper"
  79 export OVL_LOWER="ovl-lower"
  80 export OVL_WORK="ovl-work"
  81 # overlay mount point parent must be the base fs root
  82 export OVL_MNT="ovl-mnt"
  83
  84 export PWD=`pwd`
  85 #export DEBUG=${DEBUG:=...} # arbitrary CFLAGS really.
  86 export MALLOCLIB=${MALLOCLIB:=/usr/lib/libefence.a}
  87 export LOCAL_CONFIGURE_OPTIONS=${LOCAL_CONFIGURE_OPTIONS:=--enable-readline=yes}
  88
  89 export RECREATE_TEST_DEV=false
  90
  91 # $1 = prog to look for
  92 set_prog_path()
  93 {
  94         type -P $1
  95 }
  96
  97 # Handle mkfs.$fstyp which does (or does not) require -f to overwrite
  98 set_mkfs_prog_path_with_opts()
  99 {
 100         local fstyp=$1
 101         local p=`set_prog_path mkfs.$fstyp`
 102
 103         # Note: mkfs.f2fs doesn't support the --help option yet, but it doesn't
 104         # matter since it also prints the help when an invalid option is given.
 105         if [ "$p" != "" ] && \
 106                 $p --help |& grep -q "[[:space:]]-f[[:space:]|]"; then
 107                 echo "$p -f"
 108         else
 109                 echo $p
 110         fi
 111 }
 112
 113 _fatal()
 114 {
 115     echo "$*"
 116     status=1
 117     exit 1
 118 }
 119
 120 export MKFS_PROG="`set_prog_path mkfs`"
 121 [ "$MKFS_PROG" = "" ] && _fatal "mkfs not found"
 122
 123 export MOUNT_PROG="`set_prog_path mount`"
 124 [ "$MOUNT_PROG" = "" ] && _fatal "mount not found"
 125
 126 export UMOUNT_PROG="`set_prog_path umount`"
 127 [ "$UMOUNT_PROG" = "" ] && _fatal "umount not found"
 128
 129 export FSSTRESS_PROG="./ltp/fsstress"
 130 [ ! -x $FSSTRESS_PROG ] && _fatal "fsstress not found or executable"
 131
 132 export PERL_PROG="`set_prog_path perl`"
 133 [ "$PERL_PROG" = "" ] && _fatal "perl not found"
 134
 135 export AWK_PROG="`set_prog_path awk`"
 136 [ "$AWK_PROG" = "" ] && _fatal "awk not found"
 137
 138 export SED_PROG="`set_prog_path sed`"
 139 [ "$SED_PROG" = "" ] && _fatal "sed not found"
 140
 141 export BC_PROG="`set_prog_path bc`"
 142 [ "$BC_PROG" = "" ] && _fatal "bc not found"
 143
 144 export PS_ALL_FLAGS="-ef"
 145
 146 export DF_PROG="`set_prog_path df`"
 147 [ "$DF_PROG" = "" ] && _fatal "df not found"
 148 [ "$HOSTOS" = "Linux" ] && export DF_PROG="$DF_PROG -T -P"
 149
 150 export XFS_IO_PROG="`set_prog_path xfs_io`"
 151 [ "$XFS_IO_PROG" = "" ] && _fatal "xfs_io not found"
 152
 153 export XFS_LOGPRINT_PROG="`set_prog_path xfs_logprint`"
 154 export XFS_REPAIR_PROG="`set_prog_path xfs_repair`"
 155 export XFS_DB_PROG="`set_prog_path xfs_db`"
 156 export XFS_GROWFS_PROG=`set_prog_path xfs_growfs`
 157 export XFS_SPACEMAN_PROG="`set_prog_path xfs_spaceman`"
 158 export XFS_SCRUB_PROG="`set_prog_path xfs_scrub`"
 159 export XFS_PARALLEL_REPAIR_PROG="`set_prog_path xfs_prepair`"
 160 export XFS_PARALLEL_REPAIR64_PROG="`set_prog_path xfs_prepair64`"
 161 export __XFSDUMP_PROG="`set_prog_path xfsdump`"
 162 if [ -n "$__XFSDUMP_PROG" ]; then
 163         export XFSDUMP_PROG="$__XFSDUMP_PROG -e"
 164 else
 165         export XFSDUMP_PROG=""
 166 fi
 167 export XFSRESTORE_PROG="`set_prog_path xfsrestore`"
 168 export XFSINVUTIL_PROG="`set_prog_path xfsinvutil`"
 169 export GETFATTR_PROG="`set_prog_path getfattr`"
 170 export SETFATTR_PROG="`set_prog_path setfattr`"
 171 export CHACL_PROG="`set_prog_path chacl`"
 172 export ATTR_PROG="`set_prog_path attr`"
 173 export QUOTA_PROG="`set_prog_path quota`"
 174 export XFS_QUOTA_PROG="`set_prog_path xfs_quota`"
 175 export KILLALL_PROG="`set_prog_path killall`"
 176 export INDENT_PROG="`set_prog_path indent`"
 177 export XFS_COPY_PROG="`set_prog_path xfs_copy`"
 178 export FSTRIM_PROG="`set_prog_path fstrim`"
 179 export DUMPE2FS_PROG="`set_prog_path dumpe2fs`"
 180 export FIO_PROG="`set_prog_path fio`"
 181 export FILEFRAG_PROG="`set_prog_path filefrag`"
 182 export E4DEFRAG_PROG="`set_prog_path e4defrag`"
 183 export LOGGER_PROG="`set_prog_path logger`"
 184 export DBENCH_PROG="`set_prog_path dbench`"
 185 export DMSETUP_PROG="`set_prog_path dmsetup`"
 186 export WIPEFS_PROG="`set_prog_path wipefs`"
 187 export DUMP_PROG="`set_prog_path dump`"
 188 export RESTORE_PROG="`set_prog_path restore`"
 189 export LVM_PROG="`set_prog_path lvm`"
 190 export CHATTR_PROG="`set_prog_path chattr`"
 191 export DEBUGFS_PROG="`set_prog_path debugfs`"
 192 export UUIDGEN_PROG="`set_prog_path uuidgen`"
 193 export GETRICHACL_PROG="`set_prog_path getrichacl`"
 194 export SETRICHACL_PROG="`set_prog_path setrichacl`"
 195 export KEYCTL_PROG="`set_prog_path keyctl`"
 196 export XZ_PROG="`set_prog_path xz`"
 197 export FLOCK_PROG="`set_prog_path flock`"
 198 export LDD_PROG="`set_prog_path ldd`"
 199 export TIMEOUT_PROG="`set_prog_path timeout`"
 200 export MAN_PROG="`set_prog_path man`"
 201 export NFS4_SETFACL_PROG="`set_prog_path nfs4_setfacl`"
 202 export NFS4_GETFACL_PROG="`set_prog_path nfs4_getfacl`"
 203 export UBIUPDATEVOL_PROG="`set_prog_path ubiupdatevol`"
 204 export THIN_CHECK_PROG="$(set_prog_path thin_check)"
 205 export PYTHON2_PROG="`set_prog_path python2`"
 206 export SQLITE3_PROG="`set_prog_path sqlite3`"
 207
 208 # use 'udevadm settle' or 'udevsettle' to wait for lv to be settled.
 209 # newer systems have udevadm command but older systems like RHEL5 don't.
 210 # But if neither one is available, just set it to "sleep 1" to wait for lv to
 211 # be settled
 212 UDEV_SETTLE_PROG="`set_prog_path udevadm`"
 213 if [ "$UDEV_SETTLE_PROG" == "" ]; then
 214         # try udevsettle command
 215         UDEV_SETTLE_PROG="`set_prog_path udevsettle`"
 216 else
 217         # udevadm is available, add 'settle' as subcommand
 218         UDEV_SETTLE_PROG="$UDEV_SETTLE_PROG settle"
 219 fi
 220 # neither command is available, use sleep 1
 221 if [ "$UDEV_SETTLE_PROG" == "" ]; then
 222         UDEV_SETTLE_PROG="sleep 1"
 223 fi
 224 export UDEV_SETTLE_PROG
 225
 226 case "$HOSTOS" in
 227     Linux)
 228         export MKFS_XFS_PROG="`set_prog_path mkfs.xfs`"
 229         export MKFS_EXT4_PROG="`set_prog_path mkfs.ext4`"
 230         export MKFS_UDF_PROG="`set_prog_path mkudffs`"
 231         export MKFS_BTRFS_PROG="`set_mkfs_prog_path_with_opts btrfs`"
 232         export MKFS_F2FS_PROG="`set_mkfs_prog_path_with_opts f2fs`"
 233         export DUMP_F2FS_PROG="`set_prog_path dump.f2fs`"
 234         export BTRFS_UTIL_PROG="`set_prog_path btrfs`"
 235         export BTRFS_SHOW_SUPER_PROG="`set_prog_path btrfs-show-super`"
 236         export BTRFS_CONVERT_PROG="`set_prog_path btrfs-convert`"
 237         export XFS_FSR_PROG="`set_prog_path xfs_fsr`"
 238         export MKFS_NFS_PROG="false"
 239         export MKFS_CIFS_PROG="false"
 240         export MKFS_OVERLAY_PROG="false"
 241         export MKFS_REISER4_PROG="`set_prog_path mkfs.reiser4`"
 242         export E2FSCK_PROG="`set_prog_path e2fsck`"
 243         export TUNE2FS_PROG="`set_prog_path tune2fs`"
 244         export FSCK_OVERLAY_PROG="`set_prog_path fsck.overlay`"
 245         ;;
 246 esac
 247
 248 # SELinux adds extra xattrs which can mess up our expected output.
 249 # So, mount with a context, and they won't be created.
 250 #
 251 # Since the context= option only accepts contexts defined in the SELinux
 252 # policy, and different systems may have different policies with
 253 # different context names, use the context of an existing directory.
 254 # Assume that any valid context is fine, since xfstests should really
 255 # only be run from an "unconfined" process, or with SELinux in permissive
 256 # mode.  But if not, just specify your own SELINUX_MOUNT_OPTIONS.
 257 if [ -x /usr/sbin/selinuxenabled ] && /usr/sbin/selinuxenabled; then
 258         : ${SELINUX_MOUNT_OPTIONS:="-o context=$(stat -c %C /)"}
 259         export SELINUX_MOUNT_OPTIONS
 260 fi
 261
 262 # check if mkfs.xfs supports v5 xfs
 263 XFS_MKFS_HAS_NO_META_SUPPORT=""
 264 touch /tmp/crc_check.img
 265 $MKFS_XFS_PROG -N -d file,name=/tmp/crc_check.img,size=32m -m crc=0 \
 266         >/dev/null 2>&1;
 267 if [ $? -ne 0 ]; then
 268         XFS_MKFS_HAS_NO_META_SUPPORT=true
 269 fi
 270 rm -f /tmp/crc_check.img
 271 export XFS_MKFS_HAS_NO_META_SUPPORT
 272
 273 # new doesn't need config file parsed, we can stop here
 274 if [ "$iam" == "new" ]; then
 275         return 0
 276 fi
 277
 278 _mount_opts()
 279 {
 280         case $FSTYP in
 281         9p)
 282                 export MOUNT_OPTIONS=$PLAN9_MOUNT_OPTIONS
 283                 ;;
 284         xfs)
 285                 export MOUNT_OPTIONS=$XFS_MOUNT_OPTIONS
 286                 ;;
 287         udf)
 288                 export MOUNT_OPTIONS=$UDF_MOUNT_OPTIONS
 289                 ;;
 290         nfs)
 291                 export MOUNT_OPTIONS=$NFS_MOUNT_OPTIONS
 292                 ;;
 293         cifs)
 294                 export MOUNT_OPTIONS=$CIFS_MOUNT_OPTIONS
 295                 ;;
 296         ceph)
 297                 export MOUNT_OPTIONS=$CEPHFS_MOUNT_OPTIONS
 298                 ;;
 299         glusterfs)
 300                 export MOUNT_OPTIONS=$GLUSTERFS_MOUNT_OPTIONS
 301                 ;;
 302         overlay)
 303                 export MOUNT_OPTIONS=$OVERLAY_MOUNT_OPTIONS
 304                 ;;
 305         ext2|ext3|ext4|ext4dev)
 306                 # acls & xattrs aren't turned on by default on ext$FOO
 307                 export MOUNT_OPTIONS="-o acl,user_xattr $EXT_MOUNT_OPTIONS"
 308                 ;;
 309         f2fs)
 310                 export MOUNT_OPTIONS="-o acl,user_xattr $F2FS_MOUNT_OPTIONS"
 311                 ;;
 312         reiserfs)
 313                 # acls & xattrs aren't turned on by default on reiserfs
 314                 export MOUNT_OPTIONS="-o acl,user_xattr $REISERFS_MOUNT_OPTIONS"
 315                 ;;
 316        reiser4)
 317                # acls & xattrs aren't supported by reiser4
 318                export MOUNT_OPTIONS=$REISER4_MOUNT_OPTIONS
 319                ;;
 320         gfs2)
 321                 # acls aren't turned on by default on gfs2
 322                 export MOUNT_OPTIONS="-o acl $GFS2_MOUNT_OPTIONS"
 323                 ;;
 324         tmpfs)
 325                 # We need to specify the size at mount, use 1G by default
 326                 export MOUNT_OPTIONS="-o size=1G $TMPFS_MOUNT_OPTIONS"
 327                 ;;
 328         ubifs)
 329                 export MOUNT_OPTIONS=$UBIFS_MOUNT_OPTIONS
 330                 ;;
 331         *)
 332                 ;;
 333         esac
 334 }
 335
 336 _test_mount_opts()
 337 {
 338         case $FSTYP in
 339         9p)
 340                 export TEST_FS_MOUNT_OPTS=$PLAN9_MOUNT_OPTIONS
 341                 ;;
 342         cifs)
 343                 export TEST_FS_MOUNT_OPTS=$CIFS_MOUNT_OPTIONS
 344                 ;;
 345         ceph)
 346                 export TEST_FS_MOUNT_OPTS=$CEPHFS_MOUNT_OPTIONS
 347                 ;;
 348         nfs)
 349                 export TEST_FS_MOUNT_OPTS=$NFS_MOUNT_OPTIONS
 350                 ;;
 351         glusterfs)
 352                 export TEST_FS_MOUNT_OPTS=$GLUSTERFS_MOUNT_OPTIONS
 353                 ;;
 354         ext2|ext3|ext4|ext4dev)
 355                 # acls & xattrs aren't turned on by default on older ext$FOO
 356                 export TEST_FS_MOUNT_OPTS="-o acl,user_xattr $EXT_MOUNT_OPTIONS"
 357                 ;;
 358         *)
 359                 ;;
 360         esac
 361 }
 362
 363 _mkfs_opts()
 364 {
 365         case $FSTYP in
 366         xfs)
 367                 export MKFS_OPTIONS=$XFS_MKFS_OPTIONS
 368                 ;;
 369         udf)
 370                 [ ! -z "$udf_fsize" ] && \
 371                         UDF_MKFS_OPTIONS="$UDF_MKFS_OPTIONS -s $udf_fsize"
 372                 export MKFS_OPTIONS=$UDF_MKFS_OPTIONS
 373                 ;;
 374         nfs)
 375                 export MKFS_OPTIONS=$NFS_MKFS_OPTIONS
 376                 ;;
 377         cifs)
 378                 export MKFS_OPTIONS=$CIFS_MKFS_OPTIONS
 379                 ;;
 380         ceph)
 381                 export MKFS_OPTIONS=$CEPHFS_MKFS_OPTIONS
 382                 ;;
 383         reiserfs)
 384                 export MKFS_OPTIONS="$REISERFS_MKFS_OPTIONS -q"
 385                 ;;
 386        reiser4)
 387                 export MKFS_OPTIONS=$REISER4_MKFS_OPTIONS
 388                 ;;
 389         gfs2)
 390                 export MKFS_OPTIONS="$GFS2_MKFS_OPTIONS -O -p lock_nolock"
 391                 ;;
 392         jfs)
 393                 export MKFS_OPTIONS="$JFS_MKFS_OPTIONS -q"
 394                 ;;
 395         f2fs)
 396                 export MKFS_OPTIONS="$F2FS_MKFS_OPTIONS"
 397                 ;;
 398         *)
 399                 ;;
 400         esac
 401 }
 402
 403 _fsck_opts()
 404 {
 405         case $FSTYP in
 406         ext2|ext3|ext4|ext4dev)
 407                 export FSCK_OPTIONS="-nf"
 408                 ;;
 409         reiser*)
 410                 export FSCK_OPTIONS="--yes"
 411                 ;;
 412         f2fs)
 413                 export FSCK_OPTIONS=""
 414                 ;;
 415         *)
 416                 export FSCK_OPTIONS="-n"
 417                 ;;
 418         esac
 419 }
 420
 421 known_hosts()
 422 {
 423         [ "$HOST_CONFIG_DIR" ] || HOST_CONFIG_DIR=`pwd`/configs
 424
 425         [ -f /etc/xfsqa.config ]             && export HOST_OPTIONS=/etc/xfsqa.config
 426         [ -f $HOST_CONFIG_DIR/$HOST ]        && export HOST_OPTIONS=$HOST_CONFIG_DIR/$HOST
 427         [ -f $HOST_CONFIG_DIR/$HOST.config ] && export HOST_OPTIONS=$HOST_CONFIG_DIR/$HOST.config
 428 }
 429
 430 # Returns a list of sections in config file
 431 # Each section starts with the section name in the format
 432 # [section_name1]. Only alphanumeric characters and '_' is allowed
 433 # in the section name otherwise the section will not be resognised.
 434 # Section name must be contained between square brackets.
 435 get_config_sections() {
 436         sed -n -e "s/^\[\([[:alnum:]_]*\)\]/\1/p" < $1
 437 }
 438
 439 if [ ! -f "$HOST_OPTIONS" ]; then
 440         known_hosts
 441 fi
 442
 443 export HOST_OPTIONS_SECTIONS="-no-sections-"
 444 export OPTIONS_HAVE_SECTIONS=false
 445 if [ -f "$HOST_OPTIONS" ]; then
 446         export HOST_OPTIONS_SECTIONS=`get_config_sections $HOST_OPTIONS`
 447         if [ -z "$HOST_OPTIONS_SECTIONS" ]; then
 448                 . $HOST_OPTIONS
 449                 export HOST_OPTIONS_SECTIONS="-no-sections-"
 450         else
 451                 export OPTIONS_HAVE_SECTIONS=true
 452         fi
 453 fi
 454
 455 _check_device()
 456 {
 457         local name=$1
 458         local dev_needed=$2
 459         local dev=$3
 460
 461         if [ -z "$dev" ]; then
 462                 if [ "$dev_needed" == "required" ]; then
 463                         _fatal "common/config: $name is required but not defined!"
 464                 fi
 465                 return 0
 466         fi
 467
 468         if [ -b "$dev" ] || ( echo $dev | grep -qE ":|//" ); then
 469                 # block device or a network url
 470                 return 0
 471         fi
 472
 473         case "$FSTYP" in
 474         9p)
 475                 # 9p mount tags are just plain strings, so anything is allowed
 476                 ;;
 477         overlay)
 478                 if [ ! -d "$dev" ]; then
 479                         _fatal "common/config: $name ($dev) is not a directory for overlay"
 480                 fi
 481                 ;;
 482         ubifs)
 483                 if [ ! -c "$dev" ]; then
 484                         _fatal "common/config: $name ($dev) is not a character device"
 485                 fi
 486                 ;;
 487         *)
 488                 _fatal "common/config: $name ($dev) is not a block device or a network filesystem"
 489         esac
 490 }
 491
 492 # check and return a canonical mount point path
 493 _canonicalize_mountpoint()
 494 {
 495         local name=$1
 496         local dir=$2
 497
 498         if [ -d "$dir" ]; then
 499                 # this follows symlinks and removes all trailing "/"s
 500                 readlink -e "$dir"
 501                 return 0
 502         fi
 503
 504         if [ "$FSTYP" != "overlay" ] || [[ "$name" == OVL_BASE_* ]]; then
 505                 _fatal "common/config: $name ($dir) is not a directory"
 506         fi
 507
 508         # base fs may not be mounted yet, so just check that parent dir
 509         # exists (where base fs will be mounted) because we are going to
 510         # mkdir the overlay mount point dir anyway
 511         local base=`basename $dir`
 512         local parent=`dirname $dir`
 513         parent=`_canonicalize_mountpoint OVL_BASE_$name "$parent"`
 514
 515         # prepend the overlay mount point to canonical parent path
 516         echo "$parent/$base"
 517 }
 518
 519 # On check -overlay, for the non multi section config case, this
 520 # function is called on every test, before init_rc().
 521 # When SCRATCH/TEST_* vars are defined in config file, config file
 522 # is sourced on every test and this function overrides the vars
 523 # every time.
 524 # When SCRATCH/TEST_* vars are defined in evironment and not
 525 # in config file, this function is called after vars have already
 526 # been overriden in the previous test.
 527 # In that case, TEST_DEV is a directory and not a blockdev and
 528 # the function will return without overriding the SCRATCH/TEST_* vars.
 529 _overlay_config_override()
 530 {
 531         # There are 2 options for configuring overlayfs tests:
 532         #
 533         # 1. (legacy) SCRATCH/TEST_DEV point to existing directories
 534         #    on an already mounted fs.  In this case, the new
 535         #    OVL_BASE_SCRATCH/TEST_* vars are set to use the legacy
 536         #    vars values (even though they may not be mount points).
 537         #
 538         [ ! -d "$TEST_DEV" ] || export OVL_BASE_TEST_DIR="$TEST_DEV"
 539         [ ! -d "$SCRATCH_DEV" ] || export OVL_BASE_SCRATCH_MNT="$SCRATCH_DEV"
 540
 541         # 2. SCRATCH/TEST_DEV point to the base fs partitions.  In this case,
 542         #    the new OVL_BASE_SCRATCH/TEST_DEV/MNT vars are set to the values
 543         #    of the configured base fs and SCRATCH/TEST_DEV vars are set to the
 544         #    overlayfs base and mount dirs inside base fs mount.
 545         [ -b "$TEST_DEV" ] || return 0
 546
 547         # Config file may specify base fs type, but we obay -overlay flag
 548         export OVL_BASE_FSTYP="$FSTYP"
 549         export FSTYP=overlay
 550
 551         # Store original base fs vars
 552         export OVL_BASE_TEST_DEV="$TEST_DEV"
 553         export OVL_BASE_TEST_DIR="$TEST_DIR"
 554         # If config does not set MOUNT_OPTIONS, its value may be
 555         # leftover from previous _overlay_config_override, so
 556         # don't use that value for base fs mount
 557         [ "$MOUNT_OPTIONS" != "$OVERLAY_MOUNT_OPTIONS" ] || unset MOUNT_OPTIONS
 558         export OVL_BASE_MOUNT_OPTIONS="$MOUNT_OPTIONS"
 559
 560         # Set TEST vars to overlay base and mount dirs inside base fs
 561         export TEST_DEV="$OVL_BASE_TEST_DIR"
 562         export TEST_DIR="$OVL_BASE_TEST_DIR/$OVL_MNT"
 563         export MOUNT_OPTIONS="$OVERLAY_MOUNT_OPTIONS"
 564
 565         [ -b "$SCRATCH_DEV" ] || return 0
 566
 567         # Store original base fs vars
 568         export OVL_BASE_SCRATCH_DEV="$SCRATCH_DEV"
 569         export OVL_BASE_SCRATCH_MNT="$SCRATCH_MNT"
 570
 571         # Set SCRATCH vars to overlay base and mount dirs inside base fs
 572         export SCRATCH_DEV="$OVL_BASE_SCRATCH_MNT"
 573         export SCRATCH_MNT="$OVL_BASE_SCRATCH_MNT/$OVL_MNT"
 574
 575         # Set fsck options, use default if user not set directly.
 576         export FSCK_OPTIONS="$OVERLAY_FSCK_OPTIONS"
 577         [ -z "$FSCK_OPTIONS" ] && _fsck_opts
 578 }
 579
 580 _overlay_config_restore()
 581 {
 582         export OVERLAY=true
 583         [ -z "$OVL_BASE_FSTYP" ] || export FSTYP=$OVL_BASE_FSTYP
 584         [ -z "$OVL_BASE_TEST_DEV" ] || export TEST_DEV=$OVL_BASE_TEST_DEV
 585         [ -z "$OVL_BASE_TEST_DIR" ] || export TEST_DIR=$OVL_BASE_TEST_DIR
 586         [ -z "$OVL_BASE_SCRATCH_DEV" ] || export SCRATCH_DEV=$OVL_BASE_SCRATCH_DEV
 587         [ -z "$OVL_BASE_SCRATCH_MNT" ] || export SCRATCH_MNT=$OVL_BASE_SCRATCH_MNT
 588         [ -z "$OVL_BASE_MOUNT_OPTIONS" ] || export MOUNT_OPTIONS=$OVL_BASE_MOUNT_OPTIONS
 589 }
 590
 591 # Parse config section options. This function will parse all the configuration
 592 # within a single section which name is passed as an argument. For section
 593 # name format see comments in get_config_sections().
 594 # Empty lines and everything after '#' will be ignored.
 595 # Configuration options should be defined in the format
 596 #
 597 # CONFIG_OPTION=value
 598 #
 599 # This 'CONFIG_OPTION' variable and will be exported as an environment variable.
 600 parse_config_section() {
 601         SECTION=$1
 602         if ! $OPTIONS_HAVE_SECTIONS; then
 603                 return 0
 604         fi
 605         eval `sed -e 's/[[:space:]]*\=[[:space:]]*/=/g' \
 606                 -e 's/#.*$//' \
 607                 -e 's/[[:space:]]*$//' \
 608                 -e 's/^[[:space:]]*//' \
 609                 -e "s/^\([^=]*\)=\"\?'\?\([^\"']*\)\"\?'\?$/export \1=\"\2\"/" \
 610                 < $HOST_OPTIONS \
 611                 | sed -n -e "/^\[$SECTION\]/,/^\s*\[/{/^[^#].*\=.*/p;}"`
 612 }
 613
 614 get_next_config() {
 615         if [ ! -z "$CONFIG_INCLUDED" ] && ! $OPTIONS_HAVE_SECTIONS; then
 616                 return 0
 617         fi
 618
 619         # We might have overriden FSTYP and TEST/SCRATCH vars with overlay values
 620         # in the previous section, so restore them to original values stored in
 621         # OVL_BASE_*.
 622         # We need to do this *before* old FSTYP and MOUNT_OPTIONS are recorded
 623         # and *before* SCRATCH_DEV and MOUNT_OPTIONS are unset
 624         if [ "$FSTYP" == "overlay" ]; then
 625                 _overlay_config_restore
 626         fi
 627
 628         local OLD_FSTYP=$FSTYP
 629         local OLD_MOUNT_OPTIONS=$MOUNT_OPTIONS
 630         local OLD_TEST_FS_MOUNT_OPTS=$TEST_FS_MOUNT_OPTS
 631         local OLD_MKFS_OPTIONS=$MKFS_OPTIONS
 632         local OLD_FSCK_OPTIONS=$FSCK_OPTIONS
 633         local OLD_USE_EXTERNAL=$USE_EXTERNAL
 634
 635         unset MOUNT_OPTIONS
 636         unset TEST_FS_MOUNT_OPTS
 637         unset MKFS_OPTIONS
 638         unset FSCK_OPTIONS
 639         unset USE_EXTERNAL
 640
 641         # We might have deduced SCRATCH_DEV from the SCRATCH_DEV_POOL in the previous
 642         # run, so we have to unset it now.
 643         if [ "$SCRATCH_DEV_NOT_SET" == "true" ]; then
 644                 unset SCRATCH_DEV
 645         fi
 646
 647         parse_config_section $1
 648
 649         if [ ! -z "$OLD_FSTYP" ] && [ $OLD_FSTYP != $FSTYP ]; then
 650                 [ -z "$MOUNT_OPTIONS" ] && _mount_opts
 651                 [ -z "$TEST_FS_MOUNT_OPTS" ] && _test_mount_opts
 652                 [ -z "$MKFS_OPTIONS" ] && _mkfs_opts
 653                 [ -z "$FSCK_OPTIONS" ] && _fsck_opts
 654
 655                 # clear the external devices if we are not using them
 656                 if [ -z "$USE_EXTERNAL" ]; then
 657                         unset TEST_RTDEV
 658                         unset TEST_LOGDEV
 659                         unset SCRATCH_RTDEV
 660                         unset SCRATCH_LOGDEV
 661                 fi
 662         else
 663                 [ -z "$MOUNT_OPTIONS" ] && export MOUNT_OPTIONS=$OLD_MOUNT_OPTIONS
 664                 [ -z "$TEST_FS_MOUNT_OPTS" ] && export TEST_FS_MOUNT_OPTS=$OLD_TEST_FS_MOUNT_OPTS
 665                 [ -z "$MKFS_OPTIONS" ] && export MKFS_OPTIONS=$OLD_MKFS_OPTIONS
 666                 [ -z "$FSCK_OPTIONS" ] && export FSCK_OPTIONS=$OLD_FSCK_OPTIONS
 667                 [ -z "$USE_EXTERNAL" ] && export USE_EXTERNAL=$OLD_USE_EXTERNAL
 668         fi
 669
 670         # set default RESULT_BASE
 671         if [ -z "$RESULT_BASE" ]; then
 672                 export RESULT_BASE="$here/results/"
 673         fi
 674
 675         #  Mandatory Config values.
 676         MC=""
 677         [ -z "$EMAIL" ]          && MC="$MC EMAIL"
 678         [ -z "$TEST_DIR" ]       && MC="$MC TEST_DIR"
 679         [ -z "$TEST_DEV" ]       && MC="$MC TEST_DEV"
 680
 681         if [ -n "$MC" ]; then
 682                 echo "Warning: need to define parameters for host $HOST"
 683                 echo "       or set variables:"
 684                 echo "       $MC"
 685                 exit 1
 686         fi
 687
 688         _check_device TEST_DEV required $TEST_DEV
 689         export TEST_DIR=`_canonicalize_mountpoint TEST_DIR $TEST_DIR`
 690
 691         # a btrfs tester will set only SCRATCH_DEV_POOL, we will put first of its dev
 692         # to SCRATCH_DEV and rest to SCRATCH_DEV_POOL to maintain the backward compatibility
 693         if [ ! -z "$SCRATCH_DEV_POOL" ]; then
 694                 if [ ! -z "$SCRATCH_DEV" ]; then
 695                         echo "common/config: Error: \$SCRATCH_DEV ($SCRATCH_DEV) should be unset when \$SCRATCH_DEV_POOL ($SCRATCH_DEV_POOL) is set"
 696                         exit 1
 697                 fi
 698                 SCRATCH_DEV=`echo $SCRATCH_DEV_POOL | awk '{print $1}'`
 699                 export SCRATCH_DEV
 700                 export SCRATCH_DEV_NOT_SET=true
 701         fi
 702
 703         _check_device SCRATCH_DEV optional $SCRATCH_DEV
 704         export SCRATCH_MNT=`_canonicalize_mountpoint SCRATCH_MNT $SCRATCH_MNT`
 705
 706         if [ -n "$USE_EXTERNAL" ]; then
 707                 _check_device TEST_RTDEV optional $TEST_RTDEV
 708                 _check_device TEST_LOGDEV optional $TEST_LOGDEV
 709                 _check_device SCRATCH_RTDEV optional $SCRATCH_RTDEV
 710                 _check_device SCRATCH_LOGDEV optional $SCRATCH_LOGDEV
 711         fi
 712
 713         # Override FSTYP from config when running ./check -overlay
 714         # and maybe override base fs TEST/SCRATCH_DEV with overlay base dirs.
 715         # We need to do this *after* default mount options are set by base FSTYP
 716         # and *after* SCRATCH_DEV is deduced from SCRATCH_DEV_POOL
 717         if [ "$OVERLAY" == "true" -o "$FSTYP" == "overlay" ]; then
 718                 _overlay_config_override
 719         fi
 720 }
 721
 722 if [ -z "$CONFIG_INCLUDED" ]; then
 723         get_next_config `echo $HOST_OPTIONS_SECTIONS | cut -f1 -d" "`
 724         export CONFIG_INCLUDED=true
 725
 726         # Autodetect fs type based on what's on $TEST_DEV unless it's been set
 727         # externally
 728         if [ -z "$FSTYP" ] && \
 729            [ "$HOSTOS" == "Linux" -o "$OSTYPE" == "linux-gnu" ] && \
 730            [ ! -z "$TEST_DEV" ]; then
 731                 FSTYP=`blkid -c /dev/null -s TYPE -o value $TEST_DEV`
 732         fi
 733         FSTYP=${FSTYP:=xfs}
 734         export FSTYP
 735         [ -z "$MOUNT_OPTIONS" ] && _mount_opts
 736         [ -z "$TEST_FS_MOUNT_OPTS" ] && _test_mount_opts
 737         [ -z "$MKFS_OPTIONS" ] && _mkfs_opts
 738         [ -z "$FSCK_OPTIONS" ] && _fsck_opts
 739 else
 740         # We get here for the non multi section case, on every test that sources
 741         # common/rc after re-sourcing the HOST_OPTIONS config file.
 742         # Because of this re-sourcing, we need to re-canonicalize the configured
 743         # mount points and re-override TEST/SCRATCH_DEV overlay vars.
 744
 745         # canonicalize the mount points
 746         # this follows symlinks and removes all trailing "/"s
 747         export TEST_DIR=`_canonicalize_mountpoint TEST_DIR $TEST_DIR`
 748         export SCRATCH_MNT=`_canonicalize_mountpoint SCRATCH_MNT $SCRATCH_MNT`
 749
 750         # Override FSTYP from config when running ./check -overlay
 751         # and maybe override base fs TEST/SCRATCH_DEV with overlay base dirs
 752         if [ "$OVERLAY" == "true" -o "$FSTYP" == "overlay" ]; then
 753                 _overlay_config_override
 754         fi
 755 fi
 756
 757 # make sure this script returns success
 758 /bin/true