common/btrfs

   1 #
   2 # Common btrfs specific functions
   3 #
   4
   5 _btrfs_get_subvolid()
   6 {
   7         mnt=$1
   8         name=$2
   9
  10         $BTRFS_UTIL_PROG sub list $mnt | grep $name | awk '{ print $2 }'
  11 }
  12
  13 # _require_btrfs_command <command> [<subcommand>|<option>]
  14 # We check for btrfs and (optionally) features of the btrfs command
  15 # It can both subfunction like "inspect-internal dump-tree" and
  16 # options like "check --qgroup-report"
  17 _require_btrfs_command()
  18 {
  19         local cmd=$1
  20         local param=$2
  21         local safe_param
  22
  23         _require_command "$BTRFS_UTIL_PROG" btrfs
  24         if [ -z "$1" ]; then
  25                 return 1;
  26         fi
  27         $BTRFS_UTIL_PROG $cmd --help &> /dev/null
  28         [ $? -eq 0 ] || _notrun "$BTRFS_UTIL_PROG too old (must support $cmd)"
  29
  30         test -z "$param" && return
  31
  32         # If $param is an option, replace leading "-"s for grep
  33         if [ ${param:0:1} == "-" ]; then
  34                 safe_param=$(echo $param | sed 's/^-*//')
  35                 $BTRFS_UTIL_PROG $cmd --help | grep -wq $safe_param || \
  36                         _notrun "$BTRFS_UTIL_PROG too old (must support $cmd $param)"
  37                 return
  38         fi
  39
  40         $BTRFS_UTIL_PROG $cmd $param --help &> /dev/null
  41         [ $? -eq 0 ] || _notrun "$BTRFS_UTIL_PROG too old (must support $cmd $param)"
  42 }
  43
  44 # Require extra check on btrfs qgroup numbers
  45 _require_btrfs_qgroup_report()
  46 {
  47         _require_btrfs_command check --qgroup-report
  48         touch ${RESULT_DIR}/require_scratch.require_qgroup_report
  49 }
  50
  51 _require_btrfs_dump_super()
  52 {
  53         if [ ! -x "$BTRFS_SHOW_SUPER_PROG" ]; then
  54                 _require_command "$BTRFS_UTIL_PROG" btrfs
  55                 if ! $BTRFS_UTIL_PROG inspect-internal dump-super --help >& /dev/null; then
  56                         _notrun "Missing btrfs-show-super or inspect-internal dump-super"
  57                 fi
  58                 BTRFS_SHOW_SUPER_PROG="$BTRFS_UTIL_PROG inspect-internal dump-super"
  59         fi
  60 }
  61
  62 _run_btrfs_util_prog()
  63 {
  64         run_check $BTRFS_UTIL_PROG $*
  65 }
  66
  67 _require_btrfs_mkfs_feature()
  68 {
  69         if [ -z $1 ]; then
  70                 echo "Missing feature name argument for _require_btrfs_mkfs_feature"
  71                 exit 1
  72         fi
  73         feat=$1
  74         $MKFS_BTRFS_PROG -O list-all 2>&1 | \
  75                 grep '^[ \t]*'"$feat"'\b' > /dev/null 2>&1
  76         [ $? -eq 0 ] || \
  77                 _notrun "Feature $feat not supported in the available version of mkfs.btrfs"
  78 }
  79
  80 _require_btrfs_fs_feature()
  81 {
  82         if [ -z $1 ]; then
  83                 echo "Missing feature name argument for _require_btrfs_fs_feature"
  84                 exit 1
  85         fi
  86         feat=$1
  87         modprobe btrfs > /dev/null 2>&1
  88         [ -e /sys/fs/btrfs/features/$feat ] || \
  89                 _notrun "Feature $feat not supported by the available btrfs version"
  90 }
  91
  92 _check_btrfs_filesystem()
  93 {
  94         device=$1
  95
  96         # If type is set, we're mounted
  97         type=`_fs_type $device`
  98         ok=1
  99
 100         if [ "$type" = "$FSTYP" ]; then
 101                 # mounted ...
 102                 mountpoint=`_umount_or_remount_ro $device`
 103         fi
 104
 105         if [ -f ${RESULT_DIR}/require_scratch.require_qgroup_report ]; then
 106                 $BTRFS_UTIL_PROG check $device --qgroup-report > $tmp.qgroup_report 2>&1
 107                 if grep -qE "Counts for qgroup.*are different" $tmp.qgroup_report ; then
 108                         echo "_check_btrfs_filesystem: filesystem on $device has wrong qgroup numbers (see $seqres.full)"
 109                         echo "_check_btrfs_filesystem: filesystem on $device has wrong qgroup numbers" \
 110                                 >> $seqres.full
 111                         echo "*** qgroup_report.$FSTYP output ***"      >>$seqres.full
 112                         cat $tmp.qgroup_report                          >>$seqres.full
 113                         echo "*** qgroup_report.$FSTYP output ***"      >>$seqres.full
 114                 fi
 115                 rm -f $tmp.qgroup_report
 116         fi
 117
 118         $BTRFS_UTIL_PROG check $device >$tmp.fsck 2>&1
 119         if [ $? -ne 0 ]; then
 120                 echo "_check_btrfs_filesystem: filesystem on $device is inconsistent (see $seqres.full)"
 121
 122                 echo "_check_btrfs_filesystem: filesystem on $device is inconsistent" >>$seqres.full
 123                 echo "*** fsck.$FSTYP output ***"       >>$seqres.full
 124                 cat $tmp.fsck                           >>$seqres.full
 125                 echo "*** end fsck.$FSTYP output"       >>$seqres.full
 126
 127                 ok=0
 128         fi
 129         rm -f $tmp.fsck
 130
 131         if [ $ok -eq 0 ]; then
 132                 echo "*** mount output ***"             >>$seqres.full
 133                 _mount                                  >>$seqres.full
 134                 echo "*** end mount output"             >>$seqres.full
 135         elif [ "$type" = "$FSTYP" ]; then
 136                 # was mounted ...
 137                 _mount_or_remount_rw "$MOUNT_OPTIONS" $device $mountpoint
 138                 ok=$?
 139         fi
 140
 141         if [ $ok -eq 0 ]; then
 142                 status=1
 143                 if [ "$iam" != "check" ]; then
 144                         exit 1
 145                 fi
 146                 return 1
 147         fi
 148
 149         return 0
 150 }
 151
 152 _require_btrfs_dev_del_by_devid()
 153 {
 154         $BTRFS_UTIL_PROG device delete --help | egrep devid > /dev/null 2>&1
 155         [ $? -eq 0 ] || _notrun "$BTRFS_UTIL_PROG too old "\
 156                         "(must support 'btrfs device delete <devid> /<mnt>')"
 157 }
 158
 159 # get btrfs profile configs being tested
 160 #
 161 # A set of pre-set profile configs are exported via _btrfs_profile_configs
 162 # array. Default configs can be overridden by setting BTRFS_PROFILE_CONFIGS
 163 # var in the format "metadata_profile:data_profile", multiple configs can be
 164 # seperated by space, e.g.
 165 # export BTRFS_PROFILE_CONFIGS="raid0:raid0 raid1:raid1 dup:single"
 166 _btrfs_get_profile_configs()
 167 {
 168         if [ "$FSTYP" != "btrfs" ]; then
 169                 return
 170         fi
 171
 172         if [ -z "$BTRFS_PROFILE_CONFIGS" ]; then
 173                 # Default configurations to test.
 174                 local configs=(
 175                         "single:single"
 176                         "dup:single"
 177                         "raid0:raid0"
 178                         "raid1:raid0"
 179                         "raid1:raid1"
 180                         "raid10:raid10"
 181                         "raid5:raid5"
 182                         "raid6:raid6"
 183                 )
 184         else
 185                 # User-provided configurations.
 186                 local configs=(${BTRFS_PROFILE_CONFIGS[@]})
 187         fi
 188
 189         _btrfs_profile_configs=()
 190         for cfg in "${configs[@]}"; do
 191                 local supported=true
 192                 local profiles=(${cfg/:/ })
 193                 if [ "$1" == "replace" ]; then
 194                         # We can't do replace with these profiles because they
 195                         # imply only one device ($SCRATCH_DEV), and we need to
 196                         # keep $SCRATCH_DEV around for _scratch_mount
 197                         # and _check_scratch_fs.
 198                         local unsupported=(
 199                                 "dup"
 200                         )
 201                 elif [ "$1" == "replace-missing" ]; then
 202                         # We can't replace missing devices with these profiles
 203                         # because there isn't enough redundancy.
 204                         local unsupported=(
 205                                 "single"
 206                                 "dup"
 207                                 "raid0"
 208                         )
 209                 else
 210                         local unsupported=()
 211                 fi
 212                 for unsupp in "${unsupported[@]}"; do
 213                         if [ "${profiles[0]}" == "$unsupp" -o "${profiles[1]}" == "$unsupp" ]; then
 214                              if [ -z "$BTRFS_PROFILE_CONFIGS" ]; then
 215                                      # For the default config, just omit it.
 216                                      supported=false
 217                              else
 218                                      # For user-provided config, don't run the test.
 219                                      _notrun "Profile $unsupp not supported for $1"
 220                              fi
 221                         fi
 222                 done
 223                 if "$supported"; then
 224                         _btrfs_profile_configs+=("-m ${profiles[0]} -d ${profiles[1]}")
 225                 fi
 226         done
 227         export _btrfs_profile_configs
 228 }
 229
 230 # stress btrfs by running balance operation in a loop
 231 _btrfs_stress_balance()
 232 {
 233         local options=$@
 234         while true; do
 235                 $BTRFS_UTIL_PROG balance start $options
 236         done
 237 }
 238
 239 # stress btrfs by creating/mounting/umounting/deleting subvolume in a loop
 240 _btrfs_stress_subvolume()
 241 {
 242         local btrfs_dev=$1
 243         local btrfs_mnt=$2
 244         local subvol_name=$3
 245         local subvol_mnt=$4
 246         local stop_file=$5
 247
 248         mkdir -p $subvol_mnt
 249         while [ ! -e $stop_file ]; do
 250                 $BTRFS_UTIL_PROG subvolume create $btrfs_mnt/$subvol_name
 251                 $MOUNT_PROG -o subvol=$subvol_name $btrfs_dev $subvol_mnt
 252                 $UMOUNT_PROG $subvol_mnt
 253                 $BTRFS_UTIL_PROG subvolume delete $btrfs_mnt/$subvol_name
 254         done
 255 }
 256
 257 # stress btrfs by running scrub in a loop
 258 _btrfs_stress_scrub()
 259 {
 260         local btrfs_mnt=$1
 261         while true; do
 262                 $BTRFS_UTIL_PROG scrub start -B $btrfs_mnt
 263         done
 264 }
 265
 266 # stress btrfs by defragmenting every file/dir in a loop and compress file
 267 # contents while defragmenting if second argument is not "nocompress"
 268 _btrfs_stress_defrag()
 269 {
 270         local btrfs_mnt=$1
 271         local compress=$2
 272
 273         while true; do
 274                 if [ "$compress" == "nocompress" ]; then
 275                         find $btrfs_mnt \( -type f -o -type d \) -exec \
 276                         $BTRFS_UTIL_PROG filesystem defrag {} \;
 277                 else
 278                         find $btrfs_mnt \( -type f -o -type d \) -exec \
 279                         $BTRFS_UTIL_PROG filesystem defrag -clzo {} \;
 280                         find $btrfs_mnt \( -type f -o -type d \) -exec \
 281                         $BTRFS_UTIL_PROG filesystem defrag -czlib {} \;
 282                 fi
 283         done
 284 }
 285
 286 # stress btrfs by remounting it with different compression algorithms in a loop
 287 # run this with fsstress running at background could exercise the compression
 288 # code path and ensure no race when switching compression algorithm with constant
 289 # I/O activity.
 290 _btrfs_stress_remount_compress()
 291 {
 292         local btrfs_mnt=$1
 293         while true; do
 294                 for algo in no zlib lzo; do
 295                         $MOUNT_PROG -o remount,compress=$algo $btrfs_mnt
 296                 done
 297         done
 298 }
 299
 300 # stress btrfs by replacing devices in a loop
 301 # Note that at least 3 devices are needed in SCRATCH_DEV_POOL and the last
 302 # device should be free(not used by btrfs)
 303 _btrfs_stress_replace()
 304 {
 305         local btrfs_mnt=$1
 306
 307         # The device number in SCRATCH_DEV_POOL should be at least 3,
 308         # one is SCRATCH_DEV, one is to be replaced, one is free device
 309         # we won't replace SCRATCH_DEV, see below for reason
 310         if [ "`echo $SCRATCH_DEV_POOL | wc -w`" -lt 3 ]; then
 311                 echo "_btrfs_stress_replace requires at least 3 devices in SCRATCH_DEV_POOL"
 312                 return
 313         fi
 314
 315         # take the last device as the first free_dev
 316         local free_dev="`echo $SCRATCH_DEV_POOL | $AWK_PROG '{print $NF}'`"
 317
 318         # free_dev should be really free
 319         if $BTRFS_UTIL_PROG filesystem show $btrfs_mnt | grep -q "$free_dev"; then
 320                 echo "_btrfs_stress_replace: $free_dev is used by btrfs"
 321                 return
 322         fi
 323
 324         # dev_pool is device list being currently used by btrfs (excluding SCRATCH_DEV)
 325         # and can be replaced. We don't replace SCRATCH_DEV because it will be used in
 326         # _scratch_mount and _check_scratch_fs etc.
 327         local dev_pool=`echo $SCRATCH_DEV_POOL | sed -e "s# *$SCRATCH_DEV *##" \
 328                         -e "s# *$free_dev *##"`
 329
 330         # set the first device in dev_pool as the first src_dev to be replaced
 331         local src_dev=`echo $dev_pool | $AWK_PROG '{print $1}'`
 332
 333         echo "dev_pool=$dev_pool"
 334         echo "free_dev=$free_dev, src_dev=$src_dev"
 335         while true; do
 336                 echo "Replacing $src_dev with $free_dev"
 337                 $BTRFS_UTIL_PROG replace start -fB $src_dev $free_dev $btrfs_mnt
 338                 if [ $? -ne 0 ]; then
 339                         # don't update src_dev and free_dev if replace failed
 340                         continue
 341                 fi
 342                 dev_pool="$dev_pool $free_dev"
 343                 dev_pool=`echo $dev_pool | sed -e "s# *$src_dev *##"`
 344                 free_dev=$src_dev
 345                 src_dev=`echo $dev_pool | $AWK_PROG '{print $1}'`
 346         done
 347 }
 348
 349 # find the right option to force output in bytes, older versions of btrfs-progs
 350 # print that by default, newer print human readable numbers with unit suffix
 351 _btrfs_qgroup_units()
 352 {
 353         $BTRFS_UTIL_PROG qgroup show --help 2>&1 | grep -q -- --raw && echo "--raw"
 354 }
 355
 356 _require_btrfs_loadable()
 357 {
 358         modprobe -r btrfs || _notrun "btrfs unloadable"
 359         modprobe btrfs || _notrun "Can't load btrfs"
 360 }
 361
 362 _reload_btrfs_ko()
 363 {
 364         modprobe -r btrfs || _fail "btrfs unload failed"
 365         modprobe btrfs || _fail "btrfs load failed"
 366 }