common/fuzzy: if the fuzz verb is random, keep fuzzing until we get a new value
[xfstests-dev.git] / common / filter
1 ##/bin/bash
2 #
3 # Copyright (c) 2000-2001 Silicon Graphics, Inc.  All Rights Reserved.
4 #
5 # This program is free software; you can redistribute it and/or
6 # modify it under the terms of the GNU General Public License as
7 # published by the Free Software Foundation.
8 #
9 # This program is distributed in the hope that it would be useful,
10 # but WITHOUT ANY WARRANTY; without even the implied warranty of
11 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
12 # GNU General Public License for more details.
13 #
14 # You should have received a copy of the GNU General Public License
15 # along with this program; if not, write the Free Software Foundation,
16 # Inc.,  51 Franklin St, Fifth Floor, Boston, MA  02110-1301  USA
17 #
18 #
19 # standard filters
20 #
21
22 # Checks that given_value is in range of correct_value +/- tolerance.
23 # Tolerance can be an absolute value or a percentage of the correct value
24 # (see examples with tolerances below).
25 # Outputs suitable message to stdout if it's not in range.
26 #
27 # A verbose option, -v, may be used as the LAST argument
28
29 # e.g. 
30 # foo: 0.0298 = 0.03 +/- 5%
31 # _within_tolerance "foo" 0.0298 0.03 5%  
32
33 # foo: 0.0298 = 0.03 +/- 0.01
34 # _within_tolerance "foo" 0.0298 0.03 0.01
35 #
36 # foo: 0.0298 = 0.03 -0.01 +0.002
37 # _within_tolerance "foo" 0.0298 0.03 0.01 0.002
38 #
39 # foo: verbose output of 0.0298 = 0.03 +/- 5% 
40 # _within_tolerance "foo" 0.0298 0.03 5% -v 
41 _within_tolerance()
42 {
43   _name=$1
44   _given_val=$2
45   _correct_val=$3
46   _mintol=$4
47   _maxtol=$_mintol
48   _verbose=0
49   _debug=false
50
51   # maxtol arg is optional
52   # verbose arg is optional
53   if [ $# -ge 5 ]
54   then 
55      if [ "$5" = "-v" ]
56      then
57         _verbose=1
58      else
59         _maxtol=$5
60      fi
61   fi
62   if [ $# -ge 6 ]
63   then
64      [ "$6" = "-v" ] && _verbose=1
65   fi
66
67   # find min with or without %
68   _mintolerance=`echo $_mintol | sed -e 's/%//'` 
69   if [ $_mintol = $_mintolerance ]
70   then 
71       _min=`echo "scale=5; $_correct_val-$_mintolerance" | bc`
72   else
73       _min=`echo "scale=5; $_correct_val-$_mintolerance*0.01*$_correct_val" | bc`
74   fi
75
76   # find max with or without %
77   _maxtolerance=`echo $_maxtol | sed -e 's/%//'` 
78   if [ $_maxtol = $_maxtolerance ]
79   then 
80       _max=`echo "scale=5; $_correct_val+$_maxtolerance" | bc`
81   else
82       _max=`echo "scale=5; $_correct_val+$_maxtolerance*0.01*$_correct_val" | bc`
83   fi
84
85   $_debug && echo "min = $_min"
86   $_debug && echo "max = $_max"
87
88   cat <<EOF >$tmp.bc.1
89 scale=5;
90 if ($_min <= $_given_val) 1;
91 if ($_min > $_given_val) 0; 
92 EOF
93
94   cat <<EOF >$tmp.bc.2
95 scale=5;
96 if ($_given_val <= $_max) 1;
97 if ($_given_val > $_max) 0;
98 EOF
99
100   _above_min=`bc <$tmp.bc.1`
101   _below_max=`bc <$tmp.bc.2`
102
103   rm -f $tmp.bc.[12]
104
105   _in_range=`expr $_above_min \& $_below_max` 
106
107   # fix up min, max precision for output
108   # can vary for 5.3, 6.2
109
110   # remove any trailing zeroes from min, max if they have fractional parts
111   _min=`echo $_min | sed -e '/\./s/0*$//' -e 's/\.$//'`
112   _max=`echo $_max | sed -e '/\./s/0*$//' -e 's/\.$//'`
113
114   if [ $_in_range -eq 1 ] 
115   then
116         [ $_verbose -eq 1 ] && echo $_name is in range
117         return 0
118   else
119         [ $_verbose -eq 1 ] && echo $_name has value of $_given_val
120         [ $_verbose -eq 1 ] && echo $_name is NOT in range $_min .. $_max       
121         return 1
122   fi
123 }
124
125 # ctime(3) dates
126 #
127 _filter_date()
128 {
129     sed \
130         -e 's/[A-Z][a-z][a-z] [A-z][a-z][a-z]  *[0-9][0-9]* [0-9][0-9]:[0-9][0-9]:[0-9][0-9] [0-9][0-9][0-9][0-9]$/DATE/'
131 }
132
133 # prints filtered output on stdout, values (use eval) on stderr
134 # Non XFS filesystems always return a 4k block size and a 256 byte inode.
135 _filter_mkfs()
136 {
137     case $FSTYP in
138     xfs)
139         ;;
140     *)
141         cat - >/dev/null
142         perl -e 'print STDERR "dbsize=4096\nisize=256\n"'
143         return ;;
144     esac
145
146     echo "_fs_has_crcs=0" >&2
147     set -
148     perl -ne '
149     if (/^meta-data=([\w,|\/.-]+)\s+isize=(\d+)\s+agcount=(\d+), agsize=(\d+) blks/) {
150         print STDERR "ddev=$1\nisize=$2\nagcount=$3\nagsize=$4\n";
151         print STDOUT "meta-data=DDEV isize=XXX agcount=N, agsize=XXX blks\n";
152     }
153     if (/^\s+=\s+sectsz=(\d+)\s+attr=(\d+)/) {
154         print STDERR "sectsz=$1\nattr=$2\n";
155     }
156     if (/^\s+=\s+crc=(\d)/) {
157         print STDERR "_fs_has_crcs=$1\n";
158     }
159     if (/^data\s+=\s+bsize=(\d+)\s+blocks=(\d+), imaxpct=(\d+)/) {
160         print STDERR "dbsize=$1\ndblocks=$2\nimaxpct=$3\n";
161         print STDOUT "data     = bsize=XXX blocks=XXX, imaxpct=PCT\n";
162     }
163     if (/^\s+=\s+sunit=(\d+)\s+swidth=(\d+) blks/) {
164         print STDERR "sunit=$1\nswidth=$2\nunwritten=1\n";
165         print STDOUT "         = sunit=XXX swidth=XXX, unwritten=X\n";
166     }
167     if (/^naming\s+=version\s+(\d+)\s+bsize=(\d+)/) {
168         print STDERR "dirversion=$1\ndirbsize=$2\n";
169         print STDOUT "naming   =VERN bsize=XXX\n";
170     }
171     if (/^log\s+=(internal log|[\w|\/.-]+)\s+bsize=(\d+)\s+blocks=(\d+),\s+version=(\d+)/ ||
172         /^log\s+=(internal log|[\w|\/.-]+)\s+bsize=(\d+)\s+blocks=(\d+)/) {
173         print STDERR "ldev=\"$1\"\nlbsize=$2\nlblocks=$3\nlversion=$4\n";
174         print STDOUT "log      =LDEV bsize=XXX blocks=XXX\n";
175     }
176     if (/^\s+=\s+sectsz=(\d+)\s+sunit=(\d+) blks/) {
177         print STDERR "logsectsz=$1\nlogsunit=$2\n\n";
178     }
179     if (/^realtime\s+=([\w|\/.-]+)\s+extsz=(\d+)\s+blocks=(\d+), rtextents=(\d+)/) {
180         print STDERR "rtdev=$1\nrtextsz=$2\nrtblocks=$3\nrtextents=$4\n";
181         print STDOUT "realtime =RDEV extsz=XXX blocks=XXX, rtextents=XXX\n";
182     }'
183 }
184
185
186 # prints the bits we care about in growfs
187
188 _filter_growfs()
189 {
190     perl -ne '
191     if (/^data\s+=\s+bsize=(\d+)\s+blocks=(\d+), imaxpct=(\d+)/) {
192         print "xfs_growfs --BlockSize=$1 --Blocks=$2\n";
193     }
194     elsif (/^data/) {
195         print;
196     }'
197 }
198
199 _filter_dd()
200 {
201     $AWK_PROG '
202         /records in/                { next }
203         /records out/               { next }
204         /No space left on device/   { print "   !!! disk full (expected)" 
205                                       next }
206                                     { print "   *** " $0 }
207     '
208 }
209
210 common_line_filter()
211 {
212     perl -ne 'if (/.*:(.*)/) {
213         if ( "$last_line" ne "$1" ) { print "$_"; $first_match=1; }
214         elsif ( $first_match==1 ) { print "*\n"; $first_match=0; }
215         $last_line="$1";
216     }
217     else {
218         print $_; $last_line=$_;
219     }'
220 }
221
222 _filter_xfs_io()
223 {
224     # Apart from standard numeric values, we also filter out 'inf' and 'nan'
225     # which can result from division in some cases
226     sed -e "s/[0-9/.]* [GMKiBbytes]*, [0-9]* ops\; [0-9/:. sec]* ([infa0-9/.]* [EPGMKiBbytes]*\/sec and [infa0-9/.]* ops\/sec)/XXX Bytes, X ops\; XX:XX:XX.X (XXX YYY\/sec and XXX ops\/sec)/"
227 }
228
229 # stderr filter for xfs_io to handle change of error output format (e.g.
230 # pwrite64 -> pwrite).
231 _filter_xfs_io_error()
232 {
233         sed -e "s/^\(.*\)64\(: .*$\)/\1\2/"
234 }
235
236 _filter_xfs_io_unique()
237 {
238     common_line_filter | _filter_xfs_io
239 }
240
241 _filter_xfs_io_units_modified()
242 {
243         UNIT=$1
244         UNIT_SIZE=$2
245
246         $AWK_PROG -v unit="$UNIT" -v unit_size=$UNIT_SIZE '
247                 /wrote/ {
248                         split($2, bytes, "/")
249
250                         bytes_written = strtonum(bytes[1])
251
252                         offset = strtonum($NF)
253
254                         unit_start = offset / unit_size
255                         unit_start = int(unit_start)
256                         unit_end = (offset + bytes_written - 1) / unit_size
257                         unit_end = int(unit_end)
258
259                         printf("%ss modified: [%d - %d]\n", unit, unit_start, unit_end)
260
261                         next
262                 }
263         '
264 }
265
266 _filter_xfs_io_blocks_modified()
267 {
268         BLOCK_SIZE=$(_get_block_size $SCRATCH_MNT)
269
270         _filter_xfs_io_units_modified "Block" $BLOCK_SIZE
271 }
272
273 _filter_xfs_io_pages_modified()
274 {
275         PAGE_SIZE=$(get_page_size)
276
277         _filter_xfs_io_units_modified "Page" $PAGE_SIZE
278 }
279
280
281 _filter_test_dir()
282 {
283         # TEST_DEV may be a prefix of TEST_DIR (e.g. /mnt, /mnt/ovl-mnt)
284         # so substitute TEST_DIR first
285         sed -e "s,\B$TEST_DIR,TEST_DIR,g" \
286             -e "s,\B$TEST_DEV,TEST_DEV,g"
287 }
288
289 _filter_scratch()
290 {
291         # SCRATCH_DEV may be a prefix of SCRATCH_MNT (e.g. /mnt, /mnt/ovl-mnt)
292         # so substitute SCRATCH_MNT first
293         sed -e "s,\B$SCRATCH_MNT,SCRATCH_MNT,g" \
294             -e "s,\B$SCRATCH_DEV,SCRATCH_DEV,g" \
295             -e "/.use_space/d"
296 }
297
298 _filter_testdir_and_scratch()
299 {
300         # filter both $TEST_DIR and $SCRATCH_MNT, but always filter the longer
301         # string first if the other string is a substring of the first one
302         if echo "$TEST_DIR" | grep -q "$SCRATCH_MNT"; then
303                 _filter_test_dir | _filter_scratch
304         else
305                 _filter_scratch | _filter_test_dir
306         fi
307 }
308
309 # Turn any device in the scratch pool into SCRATCH_DEV
310 _filter_scratch_pool()
311 {
312         FILTER_STRINGS=`echo $SCRATCH_DEV_POOL | sed -e 's/\s\+/\\\|/g'`
313         sed -e "s,$FILTER_STRINGS,SCRATCH_DEV,g"
314 }
315
316 _filter_spaces()
317 {
318         sed -e "s/\s\+/ /g"
319 }
320
321 _filter_quota()
322 {
323         # Long dev name might be split onto its own line; last
324         # seds remove that newline if present
325         _filter_testdir_and_scratch | _filter_spaces | \
326         sed -e 'N;s/SCRATCH_DEV\n/SCRATCH_DEV/g' | \
327         sed -e 'N;s/TEST_DEV\n/TEST_DEV/g'
328 }
329
330 _filter_project_quota()
331 {
332         # Project ID 0 is always present on disk but was not reported
333         # until the GETNEXTQUOTA ioctl came into use.  Filter it out.
334         # But if you specify a name for ID 0, that means you want to
335         # deal with it by yourself, this function won't filter it out.
336         _filter_quota | grep -v "^\#0 \|^(null) "
337 }
338
339 # Account for different "ln" failure messages
340 _filter_ln()
341 {
342         sed -e "s,\(creating symbolic link .*\) to .*: ,\1: ," \
343             -e "s,failed to create,creating,"
344 }
345
346 # If given an arg, filter *that* UUID string
347 # Otherwise look for something that looks like a generic UUID
348 _filter_uuid()
349 {
350         if [ ! -z $1 ]; then
351                 UUID=$1
352                 sed -e "s/\(uuid[ :=]\+\) $UUID/\1 <EXACTUUID>/i"
353         else
354                 sed -e "s/\(uuid[ :=]\+\) [0-9a-f-][0-9a-f-]*/\1 <UUID>/ig"
355         fi
356 }
357
358 # In mixed group the added disks may have zero used size
359 _filter_zero_size()
360 {
361         sed -e "s/0\.00/<SIZE>/g"
362 }
363
364 # Filter out sizes like 6.14MB etc
365 _filter_size()
366 {
367         sed -e "s/[0-9\.]\+\s\?[b|k|m|g|t][i]\?[b]\?/<SIZE>/ig"
368 }
369
370 # Convert string read from stdin like 128K to bytes and print it to stdout
371 _filter_size_to_bytes()
372 {
373         read size
374         suffix=${size:${#size}-1}
375         mul=1
376         case $suffix in
377                 k|K) mul=1024 ;;
378                 m|M) mul=$((1024*1024)) ;;
379                 g|G) mul=$((1024*1024*1024)) ;;
380                 t|T) mul=$((1024*1024*1024*1024)) ;;
381         esac
382         echo $((${size:0:${#size}-1}*$mul))
383 }
384
385 # Print trimmed bytes of fstrim
386 # Starting from util-linux v2.23 fstrim usees human readable sizes in
387 # verbose output
388 _filter_fstrim()
389 {
390         egrep -o "[0-9]+ bytes" | $AWK_PROG '{print $1}'
391 }
392
393 # Older mount output referred to "block device" when mounting RO devices
394 # It's gone in newer versions
395 _filter_ro_mount() {
396         sed -e "s/mount: block device/mount:/g" \
397             -e "s/mount: cannot mount block device/mount: cannot mount/g"
398 }
399
400 _filter_od()
401 {
402         BLOCK_SIZE=$(_get_block_size $SCRATCH_MNT)
403         $AWK_PROG -v block_size=$BLOCK_SIZE '
404                 /^[0-9]+/ {
405                         offset = strtonum("0"$1);
406                         $1 = sprintf("%o", offset / block_size);
407                         print $0;
408                 }
409                 /\*/
410         '
411 }
412
413 # Remove quotes from failed mknod calls. Starting with Coreutils v8.25,
414 # mknod errors print unquoted filenames
415 _filter_mknod()
416 {
417         sed -e "s/mknod: [\`']\(.*\)': File exists/mknod: \1: File exists/"
418 }
419
420 _filter_lostfound()
421 {
422         sed -e '/^lost+found$/d'
423 }
424
425 _filter_ovl_dirs()
426 {
427         sed -e "s,$OVL_LOWER,OVL_LOWER,g" \
428             -e "s,$OVL_UPPER,OVL_UPPER,g" \
429             -e "s,$OVL_WORK,OVL_WORK,g"
430 }
431
432 # interpret filefrag output,
433 # eg. "physical 1234, length 10, logical 5678" -> "1234#10#5678"
434 _filter_filefrag()
435 {
436         perl -ne '
437         if (/blocks? of (\d+) bytes/) {
438                 $blocksize = $1;
439                 next
440         }
441         ($ext, $logical, $physical, $length) =
442                 (/^\s*(\d+):\s+(\d+)..\s+\d+:\s+(\d+)..\s+\d+:\s+(\d+):/)
443         or next;
444         ($flags) = /.*:\s*(\S*)$/;
445         print $physical * $blocksize, "#",
446               $length * $blocksize, "#",
447               $logical * $blocksize, "#",
448               $flags, "\n"'
449 }
450
451 # We generate WARNINGs on purpose when applications mix buffered/mmap IO with
452 # direct IO on the same file. This is a helper for _check_dmesg() to filter out
453 # such warnings.
454 _filter_aiodio_dmesg()
455 {
456         local warn1="WARNING:.*fs/xfs/xfs_file\.c:.*xfs_file_dio_aio_write.*"
457         local warn2="WARNING:.*fs/xfs/xfs_file\.c:.*xfs_file_dio_aio_read.*"
458         local warn3="WARNING:.*fs/xfs/xfs_file\.c:.*xfs_file_read_iter.*"
459         local warn4="WARNING:.*fs/xfs/xfs_file\.c:.*xfs_file_aio_read.*"
460         local warn5="WARNING:.*fs/iomap\.c:.*iomap_dio_rw.*"
461         local warn6="WARNING:.*fs/xfs/xfs_aops\.c:.*__xfs_get_blocks.*"
462         local warn7="WARNING:.*fs/iomap\.c:.*iomap_dio_actor.*"
463         local warn8="WARNING:.*fs/iomap\.c:.*iomap_dio_complete.*"
464         local warn9="WARNING:.*fs/direct-io\.c:.*dio_complete.*"
465         sed -e "s#$warn1#Intentional warnings in xfs_file_dio_aio_write#" \
466             -e "s#$warn2#Intentional warnings in xfs_file_dio_aio_read#" \
467             -e "s#$warn3#Intentional warnings in xfs_file_read_iter#" \
468             -e "s#$warn4#Intentional warnings in xfs_file_aio_read#" \
469             -e "s#$warn5#Intentional warnings in iomap_dio_rw#" \
470             -e "s#$warn6#Intentional warnings in __xfs_get_blocks#" \
471             -e "s#$warn7#Intentional warnings in iomap_dio_actor#" \
472             -e "s#$warn8#Intentional warnings in iomap_dio_complete#" \
473             -e "s#$warn9#Intentional warnings in dio_complete#"
474 }
475
476 # make sure this script returns success
477 /bin/true