Add xfsdump support for the security extended attributes namespace.
[xfstests-dev.git] / common.dump
1 #/bin/sh
2
3 #
4 # Functions useful for xfsdump/xfsrestore tests
5 #
6 # Copyright (c) 2000-2002 Silicon Graphics, Inc.  All Rights Reserved.
7
8 # This program is free software; you can redistribute it and/or modify it
9 # under the terms of version 2 of the GNU General Public License as
10 # published by the Free Software Foundation.
11
12 # This program is distributed in the hope that it would be useful, but
13 # WITHOUT ANY WARRANTY; without even the implied warranty of
14 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.
15
16 # Further, this software is distributed without any warranty that it is
17 # free of the rightful claim of any third person regarding infringement
18 # or the like.  Any license provided herein, whether implied or
19 # otherwise, applies only to this software file.  Patent licenses, if
20 # any, provided herein do not apply to combinations of this program with
21 # other software, or any other product whatsoever.
22
23 # You should have received a copy of the GNU General Public License along
24 # with this program; if not, write the Free Software Foundation, Inc., 59
25 # Temple Place - Suite 330, Boston MA 02111-1307, USA.
26
27 # Contact information: Silicon Graphics, Inc., 1600 Amphitheatre Pkwy,
28 # Mountain View, CA  94043, or:
29
30 # http://www.sgi.com 
31
32 # For further information regarding this notice, see: 
33
34 # http://oss.sgi.com/projects/GenInfo/SGIGPLNoticeExplan/
35 #
36
37 # --- initializations ---
38 rm -f $here/$seq.full
39
40 if [ -n "$DEBUGDUMP" ]; then
41   _dump_debug=-v5
42   _restore_debug=-v5
43   _invutil_debug=-d
44 fi
45  
46 # Use dump/restore in qa directory for debugging
47 PATH="$here:$PATH"
48 export PATH
49 #which xfsdump
50 #which xfsrestore
51 #which xfsinvutil
52
53 # status returned for not run tests
54 NOTRUNSTS=2
55
56 # name those directories
57 dump_file=$tmp.dumpfile
58 # dump_file=$here/dumpfile #TEMP OVERRIDE DUMP FILE
59 dump_sdir=dumpdir
60 dump_dir=$SCRATCH_MNT/$dump_sdir
61 restore_sdir=restoredir
62 restore_dir=$SCRATCH_MNT/$restore_sdir
63 multi=3
64 dumptape=$TAPE_DEV
65 media_label="stress_tape_media"
66 session_label="stress_$seq"
67
68 nobody=4 # define this uid/gid as a number
69 do_quota_check=true # do quota check if quotas enabled
70
71 _need_to_be_root
72
73 # install our cleaner
74 trap "_cleanup; exit \$status" 0 1 2 3 15
75
76 # start inventory from a known base - move it aside for test
77 for dir in /var/xfsdump/inventory /var/lib/xfsdump/inventory; do
78     if [ -d $dir ]; then
79         [ -d $dir.$seq ] && rm -rf $dir.$seq
80         mv $dir $dir.$seq
81     fi
82 done
83
84 have_mtvariable=false
85 [ `uname` = "Linux" ] && have_mtvariable=true
86
87 #
88 # do a remote/local mt
89 #
90 _mt()
91 {
92     op=$1
93     if _isrmt; then  
94         # REMOTE
95         _rmtdev=`echo $dumptape | $AWK_PROG -F: '{print $2}'`
96
97         if echo $dumptape | grep '@' >/dev/null; then
98             _spec=`echo $dumptape | $AWK_PROG -F: '{print $1}'`
99             _rmtuser=`echo $_spec | $AWK_PROG -F@ '{print $1}'`
100             _rmthost=`echo $_spec | $AWK_PROG -F@ '{print $2}'`
101             rsh -n -l $_rmtuser $_rmthost "mt -t $_rmtdev $op"
102         else
103             _rmthost=`echo $dumptape | $AWK_PROG -F: '{print $1}'`
104             rsh -n $_rmthost "mt -t $_rmtdev $op"
105         fi
106     else
107         #LOCAL
108         mt -t $dumptape $op
109     fi
110 }
111
112 _check_onl()
113 {
114     _limit=10
115     i=0
116     while [ $i -lt $_limit ]; do  
117         echo "Checking online..." >>$here/$seq.full
118         if _mt status >$tmp.status 2>&1; then
119             break; 
120         else
121             sleep 2 
122         fi
123         i=`expr $i + 1`
124     done
125
126
127     if [ $i -eq $_limit ]; then
128         echo "ERROR: mt -f $dumptape failed"
129         cat $tmp.status
130
131         echo "mt -f $dumptape failed" >$seq.notrun 
132         status=$NOTRUNSTS
133         exit
134     fi 
135
136
137     if egrep -i 'onl|ready' $tmp.status | grep -iv 'not ready' >/dev/null; then
138         :
139     else
140         echo "ERROR: $dumptape is not online"
141         cat $tmp.status
142
143         echo "dumptape, $dumptape, is not online" >$seq.notrun 
144         status=$NOTRUNSTS
145         exit
146     fi
147 }
148
149 _wait_tape()
150 {
151     echo "Wait for tape, $dumptape, ..." >>$here/$seq.full
152
153     i=0
154     while [ $i -lt 20 ]; do  
155         echo "Checking status..." >>$here/$seq.full
156         if _mt status 2>&1 | tee -a $here/$seq.full | egrep -i "onl|ready" >/dev/null; then
157             break; 
158         else
159             sleep 2 
160         fi
161         i=`expr $i + 1`
162     done
163 }
164
165 #
166 # Keep trying so we know we really have rewound
167 #
168 _rewind()
169 {
170     echo "Initiate rewind..." >>$here/$seq.full
171     _wait_tape
172     _mt rewind >/dev/null
173     _wait_tape
174 }
175
176 #
177 # Do a custom erase because: 
178 # (i) some machines don't support it
179 # (ii) some machines take forever to do it
180 #
181 _erase_soft()
182 {
183     echo "Erasing tape" | tee -a $here/$seq.full
184     _rewind
185     _mt weof 3
186     _rewind
187 }
188
189 _erase_hard()
190 {
191     echo "Erasing tape" | tee -a $here/$seq.full
192     _mt erase
193 }
194
195 _isrmt()
196 {
197     echo $dumptape | grep ':' >/dev/null
198 }
199
200 #
201 # Get tape ready
202 #
203 _set_variable()
204 {
205     $have_mtvariable || return
206
207     if _isrmt; then
208         :
209     else
210         # LOCAL
211         echo "Put scsi tape driver into variable block size mode"
212         mt -f $dumptape setblk 0
213     fi  
214 }
215
216 _require_tape()
217 {
218     dumptape=$1
219
220     if [ -z "$dumptape" ]; then
221         echo "This test requires a dump tape - none was specified"
222         echo "No dump tape specified" >$seq.notrun 
223         status=$NOTRUNSTS
224         exit
225     fi
226
227     _check_onl
228     _set_variable
229 }
230
231 _wipe_fs()
232 {
233     _require_scratch
234
235     _scratch_mkfs_xfs >>$here/$seq.full || _fail "mkfs failed"
236     _scratch_mount >>$here/$seq.full || _fail "mount failed"
237 }
238
239
240 # Cleanup created dirs and files
241 # Called by trap
242 #
243 _cleanup()
244 {
245     cd $here
246     rm -f $tmp.*
247
248     if [ -n "$DEBUGDUMP" ]; then
249         # save it for inspection
250         for dir in /var/xfsdump/inventory /var/lib/xfsdump/inventory; do
251             [ -d $dir ] || continue
252             tar -cvf $seq.inventory.tar $dir
253             ls -lR $dir >$seq.inventory.ls
254         done
255     fi
256
257     # put inventory dir back
258     for dir in /var/xfsdump/inventory /var/lib/xfsdump/inventory; do
259         [ -d $dir.$seq ] || continue
260         rm -rf $dir             # get rid of new one
261         mv $dir.$seq $dir
262     done
263
264     if [ $status -ne $NOTRUNSTS ]; then
265         # Sleep added to stop _check_scratch_fs from complaining that the
266         # scratch_dev is still busy
267         sleep 10
268
269         _check_scratch_fs
270     fi
271 }
272
273 #
274 # ensure that bulkstat data will
275 # match with incore data
276 # by forcing disk data to be written out
277 #
278 _stable_fs()
279 {
280     _saveddir=`pwd`; cd /
281     umount $SCRATCH_MNT >>$here/$seq.full || _fail "unmount failed"
282     _scratch_mount >>$here/$seq.full || _fail "mount failed"
283     cd $_saveddir
284 }
285
286 #
287 # Run fsstress to create a mixture of 
288 # files,dirs,links,symlinks
289 #
290 # Pinched from test 013.
291 #
292 _create_dumpdir_stress()
293 {
294     echo "Creating directory system to dump using fsstress."
295
296     _wipe_fs
297
298     _param="-f link=10 -f creat=10 -f mkdir=10 -f truncate=5 -f symlink=10"
299     _count=200
300     rm -rf $dump_dir
301     if ! mkdir $dump_dir; then
302         echo "    failed to mkdir $dump_dir"
303         status=1
304         exit
305     fi
306     echo ""
307     echo "-----------------------------------------------"
308     echo "fsstress : $_param"
309     echo "-----------------------------------------------"
310     if ! $here/ltp/fsstress $_param -s 1 $FSSTRESS_AVOID -n $_count -d $dump_dir >$tmp.out 2>&1
311     then
312         echo "    fsstress (count=$_count) returned $? - see $here/$seq.full"
313         
314         echo "--------------------------------------"       >>$here/$here/$seq.full
315         echo "output from fsstress:"                        >>$here/$here/$seq.full
316         echo "--------------------------------------"       >>$here/$here/$seq.full
317         cat $tmp.out                                        >>$here/$here/$seq.full
318         status=1
319     fi
320
321     _stable_fs
322 }
323
324 _mk_fillconfig1()
325 {
326     cat <<End-of-File >$tmp.config
327 # pathname      size in bytes   owner   group
328 #
329 small           10      $nobody $nobody
330 big             102400  daemon  sys
331 sub/small       10      bin     bin
332 sub/big         102400  $nobody sys
333 #
334 sub/a           1       $nobody $nobody
335 sub/b           2       $nobody $nobody
336 sub/c           4       $nobody $nobody
337 sub/d           8       $nobody $nobody
338 sub/e           16      $nobody $nobody
339 sub/f           32      $nobody $nobody
340 sub/g           64      $nobody $nobody
341 sub/h           128     $nobody $nobody
342 sub/i           256     $nobody $nobody
343 sub/j           512     $nobody $nobody
344 sub/k           1024    $nobody $nobody
345 sub/l           2048    $nobody $nobody
346 sub/m           4096    $nobody $nobody
347 sub/n           8192    $nobody $nobody
348 #
349 sub/a00         100     $nobody $nobody
350 sub/b00         200     $nobody $nobody
351 sub/c00         400     $nobody $nobody
352 sub/d00         800     $nobody $nobody
353 sub/e00         1600    $nobody $nobody
354 sub/f00         3200    $nobody $nobody
355 sub/g00         6400    $nobody $nobody
356 sub/h00         12800   $nobody $nobody
357 sub/i00         25600   $nobody $nobody
358 sub/j00         51200   $nobody $nobody
359 sub/k00         102400  $nobody $nobody
360 sub/l00         204800  $nobody $nobody
361 sub/m00         409600  $nobody $nobody
362 sub/n00         819200  $nobody $nobody
363 #
364 sub/a000        1000    $nobody $nobody
365 sub/e000        16000   $nobody $nobody
366 sub/h000        128000  $nobody $nobody
367 sub/k000        1024000 $nobody $nobody
368 End-of-File
369 }
370
371 _mk_fillconfig2()
372 {
373     cat <<End-of-File >$tmp.config
374 # pathname      size in bytes
375 #
376 smalll          10      $nobody $nobody
377 biggg           102400  $nobody $nobody
378 sub/smalll      10      $nobody $nobody
379 sub/biggg       102400  $nobody $nobody
380 End-of-File
381 }
382
383 _mk_fillconfig_perm()
384 {
385     # dir_guid: ugo=rwx,g+s on dir is for IRIX chmod(1)
386
387     cat <<End-of-File >$tmp.config
388 # pathname      size/dir  user group mode
389 #
390 file_suid       10      $nobody $nobody 04777
391 file_guid       10      $nobody $nobody 02777
392 file_sticky     10      $nobody $nobody 01777
393 file_mix1       10      $nobody $nobody 761
394 file_mix2       10      $nobody $nobody 642
395 dir_suid        d       $nobody $nobody 04777
396 dir_guid        d       $nobody $nobody ugo=rwx,g+s
397 dir_sticky      d       $nobody $nobody 01777
398 dir_mix1        d       $nobody $nobody 761
399 dir_mix2        d       $nobody $nobody 642
400 End-of-File
401 }
402
403 _mk_fillconfig_ea()
404 {
405     cat <<End-of-File >$tmp.config
406 # pathname      size    user    group    perm   name value namespace
407 #
408 smalll          10      $nobody $nobody  777    attr1 some_text   user 
409 biggg           102400  $nobody $nobody  777    attr2 some_text2  root
410 sub/smalll      10      $nobody $nobody  777    attr3 some_text3  user
411 sub/biggg       102400  $nobody $nobody  777    attr4 some_text4  root
412 dir             d       $nobody $nobody  777    attr5 dir_text    user
413 #
414 # Add more files so that there are more than the number
415 # of streams.
416 # There are bugs in dump/restore for # non-dir files < # streams
417 # It can be tested in another configuration.
418 # It is a pathalogical case.
419 #
420 sub/a           1       $nobody $nobody
421 sub/b           2       $nobody $nobody
422 sub/c           4       $nobody $nobody
423 sub/d           8       $nobody $nobody
424 sub/e           16      $nobody $nobody
425 sub/f           32      $nobody $nobody
426 sub/g           64      $nobody $nobody
427 sub/h           128     $nobody $nobody
428 sub/i           256     $nobody $nobody
429 sub/j           512     $nobody $nobody
430 sub/k           1024    $nobody $nobody
431 sub/l           2048    $nobody $nobody
432 sub/m           4096    $nobody $nobody
433 sub/n           8192    $nobody $nobody
434 End-of-File
435 }
436
437 #
438 # extended file attribute flags
439 #
440 _mk_fillconfig_xattr()
441 {
442     cat <<End-of-File >$tmp.config
443 # pathname      size    user    group    perm   name 
444 #
445 xflag_realtime  10      $nobody $nobody  777    XFS_XFLAG_REALTIME
446 xflag_prealloc  10      $nobody $nobody  777    XFS_XFLAG_PREALLOC
447 xflag_immutable 10      $nobody $nobody  777    XFS_XFLAG_IMMUTABLE
448 xflag_append    10      $nobody $nobody  777    XFS_XFLAG_APPEND
449 xflag_sync      10      $nobody $nobody  777    XFS_XFLAG_SYNC
450 xflag_noatime   10      $nobody $nobody  777    XFS_XFLAG_NOATIME
451 xflag_nodump    10      $nobody $nobody  777    XFS_XFLAG_NODUMP
452 xflag_hasattr   10      $nobody $nobody  777    XFS_XFLAG_HASATTR
453 End-of-File
454 }
455
456 #
457 # Create a bunch of directories/files of different sizes
458 # filled with data.
459 #
460 # Pinched from test 001.
461 #
462 _do_create_dumpdir_fill()
463 {
464     echo "Creating directory system to dump using src/fill."
465
466     mkdir -p $dump_dir || _fail "cannot mkdir \"$dump_dir\""
467     cd $dump_dir
468
469     $verbose && echo -n "Setup "
470     sed -e '/^#/d' $tmp.config \
471     | while read file nbytes owner group perms ea_name ea_value namespace
472     do
473         if [ $nbytes = "d" ]; then
474             # create a directory
475             dir=$file   
476             if [ ! -d $dir ]
477             then
478                 if mkdir $dir
479                 then
480                     :
481                 else
482                     $verbose && echo
483                     echo "Error: cannot mkdir \"$dir\""
484                     exit 1
485                 fi
486             fi
487         else
488             # create a directory/file
489             dir=`dirname $file`
490             if [ "$dir" != "." ]
491             then
492                 if [ ! -d $dir ]
493                 then
494                     if mkdir $dir
495                     then
496                         :
497                     else
498                         $verbose && echo
499                         echo "Error: cannot mkdir \"$dir\""
500                         exit 1
501                     fi
502                 fi
503             fi
504             rm -f $file
505             if $here/src/fill $file $file $nbytes
506             then
507                 :
508             else
509                 $verbose && echo
510                 echo "Error: cannot create \"$file\""
511                 exit 1
512             fi
513         fi
514         if [ -n "$owner" -a -n "$group" ]; then
515             chown $owner.$group $file
516         fi
517         if [ -n "$perms" ]; then
518             chmod $perms $file
519         fi
520         # extended attributes (EA)
521         if [ -n "$ea_name" -a -n "$ea_value" ]; then
522             if [ "X$namespace" = "Xroot" ]; then
523                 attr -R -s $ea_name -V $ea_value $file
524             else
525                 attr -s $ea_name -V $ea_value $file
526             fi
527         # extended file attribute flags - no value - NOT EAs
528         elif [ -n "$ea_name" -a -z "$ea_value" ]; then
529             # set the flag
530             # TODO XXX
531             # use xfs_io to send the ioctl
532             :
533         fi
534         $verbose && echo -n "."
535     done
536     $verbose && echo
537
538     cd $here
539 }
540
541 _create_dumpdir_largefile()
542 {
543     _wipe_fs
544     mkdir -p $dump_dir || _fail "cannot mkdir \"$dump_dir\""
545     _largesize=4294967297
546     _largefile=$dump_dir/largefile
547     echo "dd a largefile at offset $_largesize"
548     POSIXLY_CORRECT=yes \
549     dd if=/dev/zero of=$_largefile bs=1 seek=$_largesize count=10 2>&1
550     _stable_fs
551 }       
552
553 _create_dumpdir_fill()
554 {
555     _wipe_fs
556     _mk_fillconfig1
557     _do_create_dumpdir_fill
558     _stable_fs
559 }       
560
561 _create_dumpdir_fill2()
562 {
563     _wipe_fs
564     _mk_fillconfig2
565     _do_create_dumpdir_fill
566     _stable_fs
567 }       
568
569 _create_dumpdir_fill_perm()
570 {
571     _wipe_fs
572     _mk_fillconfig_perm
573     _do_create_dumpdir_fill
574     _stable_fs
575 }       
576
577 _create_dumpdir_fill_ea()
578 {
579     _wipe_fs
580     _mk_fillconfig_ea
581     _do_create_dumpdir_fill
582     _stable_fs
583 }       
584
585
586 #
587 # Append a subset of the fill'ed files
588 # So we can see if just these get dumped on an incremental
589 #
590 _append_dumpdir_fill()
591 {
592     cd $dump_dir
593     cat <<End-of-File >$tmp.config
594 # pathname
595 #
596 small   
597 sub/big 
598 #
599 sub/a
600 sub/c
601 sub/e
602 End-of-File
603     sed -e '/^#/d' $tmp.config \
604     | while read file
605     do
606         echo 'Extra text' >>$file
607     done
608
609     cd $here
610     _stable_fs
611 }
612
613 _do_create_dump_symlinks()
614 {
615     echo "Creating directory system of symlinks to dump."
616
617     mkdir -p $dump_dir || _fail "cannot mkdir \"$dump_dir\""
618     cd $dump_dir
619
620     $verbose && echo -n "Setup "
621     sed -e '/^#/d' $tmp.config \
622     | while read file nbytes owner group owner2 group2 perms perms2
623     do
624         dir=`dirname $file`
625         if [ "$dir" != "." ]
626         then
627             if [ ! -d $dir ]
628             then
629                 if mkdir $dir
630                 then
631                     :
632                 else
633                     $verbose && echo
634                     echo "Error: cannot mkdir \"$dir\""
635                     exit 1
636                 fi
637             fi
638         fi
639         rm -f $file
640         touch $file
641
642         # Do chmod on symlink using umask.
643         # This won't do the right thing as it subtracts permissions.
644         # However, I don't care, as long as I get some different perms
645         # for testing.
646         if [ -n "$perms2" ]; then
647             omask=`umask`
648             umask $perms2
649         fi
650         ln -s $file $file-link
651         if [ -n "$perms2" ]; then
652             umask $omask        
653         fi
654
655         if [ -n "$owner" -a -n "$group" ]; then
656             chown $owner.$group $file
657         fi
658         if [ -n "$owner" -a -n "$group" ]; then
659             chown -h $owner.$group $file-link
660         fi
661         if [ -n "$perms" ]; then
662             chmod $perms $file
663         fi
664         $verbose && echo -n "."
665     done
666     $verbose && echo
667
668     cd $here
669 }
670
671 _mk_symlink_config()
672 {
673     cat <<End-of-File >$tmp.config
674 # path  size    owner1  group1  owner2  group2  perm1   perm2 
675 #
676 a       0       $nobody $nobody daemon  sys     124     421
677 b       0       daemon  sys     bin     bin     347     743
678 sub/a   0       bin     bin     $nobody sys     777     777
679 sub/b   0       $nobody sys     $nobody $nobody 367     763
680 End-of-File
681 }
682
683 _create_dumpdir_symlinks()
684 {
685     _wipe_fs
686     _mk_symlink_config
687     _do_create_dump_symlinks
688     _stable_fs
689 }       
690
691 #
692 # create hardlinks of form $_fname, $_fname_h1 $_fname_h2 ...
693 #
694 _create_hardlinks()
695 {
696     _fname=$1   
697     _numlinks=$2
698
699     touch $_fname
700     _j=1
701     while [ $_j -le $_numlinks ]; do
702         _suffix=_h$_j
703         _hardlink=$_fname$_suffix
704         echo "creating hardlink $_hardlink to $_fname"
705         ln $_fname $_hardlink
706         _j=`expr $_j + 1`
707     done
708 }
709
710 #
711 # create a set of hardlinks
712 # create hardlinks of form file1, file1_h1 file1_h2 ...
713 # create hardlinks of form file2, file2_h1 file2_h2 ...
714 # create hardlinks of form file3, file3_h1 file3_h2 ...
715 #
716 _create_hardset()
717 {
718     _numsets=$1
719     _i=1
720     while [ $_i -le $_numsets ]; do
721         _create_hardlinks file$_i 5
722         _i=`expr $_i + 1`
723     done
724 }
725
726
727 _modify_level()
728 {
729     _level=$1
730     echo "mod level $_level" >$dump_dir/file$_level
731 }
732
733 _create_dumpdir_hardlinks()
734 {
735     _numsets=$1
736     _wipe_fs
737     echo "Creating directory system of hardlinks to incrementally dump."
738
739     mkdir -p $dump_dir || _fail "cannot mkdir \"$dump_dir\""
740     cd $dump_dir
741
742     _create_hardset $_numsets
743
744     cd $here
745     _stable_fs
746 }
747
748 #
749 # Filter for ls
750 # Filter out dates on symlinks and char devices
751 # Filter out size on directories because this can differ
752 # when transitioning to long inode numbers (ie. 64 bits).
753 #
754 _ls_filter()
755 {
756   $AWK_PROG '
757         /^l/ { date = $8; sub(date,"DATE"); print}
758         /^c/ { date = $9; sub(date,"DATE"); print}
759         /^d/ { size = $5; sub(size,"SIZE"); print}
760         {print}' \
761   | sed -e 's/total [0-9][0-9]*/total TOTAL/' -e 's/[ \t][ \t]*/ /g'
762 }
763
764
765
766 # Filter out the non-deterministic dump msgs from
767 # xfsdump and xfsrestore
768 #
769 _dump_filter_main()
770 {
771   sed \
772       -e "s/`hostname`/HOSTNAME/"   \
773       -e "s#$SCRATCH_DEV#SCRATCH_DEV#"    \
774       -e "s#$SCRATCH_RAWDEV#SCRATCH_DEV#"    \
775       -e "s#$dumptape#TAPE_DEV#"    \
776       -e "s#$SCRATCH_MNT#SCRATCH_MNT#"    \
777       -e "s#$dump_file#DUMP_FILE#"  \
778       -e 's#/var/lib/xfsdump#/var/xfsdump#' \
779       -e 's/id:[        ]*[0-9a-f-]*/id: ID/'  \
780       -e 's/time:[      ].*/time: TIME/'       \
781       -e 's/date:[      ].*/date: DATE/'       \
782       -e 's/dump begun .*/dump begun DATE/'    \
783       -e 's/[0-9][0-9]* seconds/SECS seconds/' \
784       -e 's/restore.[0-9][0-9]*/restore.PID/' \
785       -e 's/ino [0-9][0-9]*/ino INO/' \
786       -e '/: dump size/s/[0-9][0-9]*/NUM/'     \
787       -e '/dump size:/s/[0-9][0-9]*/NUM/'      \
788       -e '/dump size per stream:/s/[0-9][0-9]*/NUM/' \
789       -e 's/\(media file size[   ]*\)[0-9][0-9]*/\1NUM/' \
790       -e 's/\(mfile size:[       ]*\)[0-9][0-9]*/\1NUM/' \
791       -e '/drive[        ]*[0-9][0-9]*:/d' \
792       -e '/\/dev\/tty/d' \
793       -e '/inventory session uuid/d' \
794       -e '/ - Running single-threaded/d' \
795       -e '/^.*I\/O metrics: .*$/d' \
796       -e 's/1048576/BLOCKSZ/' \
797       -e 's/2097152/BLOCKSZ/' \
798       -e 's/(pid[        ]*[1-9][0-9]*)/\(pid PID\)/' \
799   | perl -ne '
800       if ($_ =~ /(?:Dump|Restore) Summary/) {
801         $skip = 1;
802       } elsif ($_ =~ /(?:Dump|Restore) Status/) {
803         $skip = 0;
804       }
805       print if (! $skip);'
806 }
807
808 _dump_filter()
809 {
810    if $do_quota_check
811    then
812        _dump_filter_main | _check_quota_dumprestore | _check_quota_entries
813    else
814        _dump_filter_main
815    fi
816 }
817
818 _invutil_filter()
819 {
820   _dump_filter_main \
821   | sed \
822         -e 's/UUID[     ]*:[    ][0-9a-f-]*/UUID                :       ID/' \
823         -e 's/TIME OF DUMP[     ]*:.*/TIME OF DUMP      :       TIME/' \
824         -e 's/HOSTNAME:SCRATCH_MNT.*/HOSTNAME:SCRATCH_MNT/' \
825         -e 's#inventory/[0-9a-f-]*#inventory/UUID#' \
826
827 }
828
829
830 _dir_filter()
831 {
832   sed \
833     -e "s#$dump_file#DUMP_FILE#"      \
834     -e "s#$SCRATCH_DEV#SCRATCH_DEV#"        \
835     -e "s#$SCRATCH_RAWDEV#SCRATCH_DEV#"    \
836     -e "s#$dumptape#TAPE_DEV#"         \
837     -e "s#$dump_dir#DUMP_DIR#g"       \
838     -e "s#$restore_dir#RESTORE_DIR#g" \
839     -e "s#$SCRATCH_MNT#SCRATCH_MNT#g"       \
840     -e "s#$dump_sdir#DUMP_SUBDIR#g"   \
841     -e "s#$restore_sdir#RESTORE_SUBDIR#g" \
842     -e "s#$$#PID#g" \
843
844 }
845
846 #
847 # Note: requires a space between option letter and argument 
848 #
849 _parse_args()
850 {
851     OPTIND=0
852     dump_args=""
853     while [ $# -gt 0 ]
854     do
855         case $1
856         in
857         -f)
858             [ -z "$2" ] && _fail "missing argument for -f"
859             dumptape=$2 
860             shift
861             ;;
862         -L)
863             [ -z "$2" ] && _fail "missing argument for -L"
864             session_label=$2
865             shift
866             ;;
867         -o)
868             dump_args="$dump_args -o"
869             ;;
870         -F)
871             dump_args="$dump_args -F"
872             ;;
873         --multi)
874             multi=$2
875             shift
876             ;;
877         -q)
878             do_quota_check=true
879             ;;
880         -Q)
881             do_quota_check=false
882             ;;
883         -l)
884             [ -z "$2" ] && _fail "missing argument for -l"
885             dump_args="$dump_args -l$2"
886             shift
887             ;;
888         *)
889             _fail "invalid argument to common.dump function: $1"
890             ;;
891         esac
892         shift
893     done
894 }
895
896
897 #
898 # Dump a subdir
899 #
900 _do_dump_sub()
901 {
902     _parse_args $*
903
904     echo "Dumping to tape..."
905     opts="$_dump_debug$dump_args -s $dump_sdir -f $dumptape -M $media_label -L $session_label $SCRATCH_MNT"
906     echo "xfsdump $opts" | _dir_filter  
907     xfsdump $opts 2>&1 | tee -a $here/$seq.full | _dump_filter
908 }
909
910 #
911 # Do dump to tape
912 #
913 _do_dump()
914 {
915     _parse_args $*
916
917     echo "Dumping to tape..."
918     opts="$_dump_debug$dump_args -f $dumptape -M $media_label -L $session_label $SCRATCH_MNT"
919     echo "xfsdump $opts" | _dir_filter  
920     xfsdump $opts 2>&1 | tee -a $here/$seq.full | _dump_filter
921 }
922
923
924 #
925 # Do full dump with -m
926 #
927 _do_dump_min()
928 {
929     _parse_args $*
930
931     echo "Dumping to tape..."
932     onemeg=1048576
933     opts="$_dump_debug$dump_args -m -b $onemeg -l0 -f $dumptape -M $media_label -L $session_label $SCRATCH_MNT"
934     echo "xfsdump $opts" | _dir_filter  
935     xfsdump $opts 2>&1 | tee -a $here/$seq.full | _dump_filter
936 }
937
938
939 #
940 # Do full dump to file
941 #
942 _do_dump_file()
943 {
944     _parse_args $*
945
946     echo "Dumping to file..."
947     opts="$_dump_debug$dump_args -f $dump_file -M $media_label -L $session_label $SCRATCH_MNT"
948     echo "xfsdump $opts" | _dir_filter  
949     xfsdump $opts 2>&1 | tee -a $here/$seq.full | _dump_filter
950 }
951
952 #
953 # Do full dump to multiple files
954 #
955 _do_dump_multi_file()
956 {
957     _parse_args "$@"
958
959     multi_args=""
960
961     i=0
962     while [ $i -lt $multi ]
963     do
964         multi_args="$multi_args -f $dump_file.$i -M $media_label.$i"
965         i=`expr $i + 1`
966     done
967
968     echo "Dumping to files..."
969     opts="$_dump_debug$dump_args $multi_args -L $session_label $SCRATCH_MNT"
970     echo "xfsdump $opts" | _dir_filter  
971     xfsdump $opts 2>&1 | tee -a $here/$seq.full | _dump_filter
972 }
973
974
975 _prepare_restore_dir()
976 {
977     rm -rf $restore_dir
978     mkdir $restore_dir || _fail "failed to mkdir $restore_dir"
979 }
980
981
982 #
983 # Get tape ready and restore dir
984 #
985 _prepare_restore()
986 {
987     _prepare_restore_dir
988
989     echo "Rewinding tape"
990     _rewind
991 }
992
993 #
994 # Restore the tape into $restore_dir
995 #
996 _do_restore()
997 {
998     _parse_args $*
999     _prepare_restore
1000
1001
1002     echo "Restoring from tape..."
1003     opts="$_restore_debug -f $dumptape  -L $session_label $restore_dir"
1004     echo "xfsrestore $opts" | _dir_filter  
1005     xfsrestore $opts 2>&1 | tee -a $here/$seq.full | _dump_filter
1006 }
1007
1008 #
1009 # Restore the tape into $restore_dir using -m
1010 #
1011 _do_restore_min()
1012 {
1013     _parse_args $*
1014     _prepare_restore
1015
1016     echo "Restoring from tape..."
1017     onemeg=1048576
1018     opts="$_restore_debug -m -b $onemeg -f $dumptape  -L $session_label $restore_dir"
1019     echo "xfsrestore $opts" | _dir_filter  
1020     xfsrestore $opts 2>&1 | tee -a $here/$seq.full | _dump_filter
1021 }
1022
1023 #
1024 # Restore the tape from a dump file
1025 #
1026 _do_restore_file()
1027 {
1028     _parse_args $*
1029     _prepare_restore_dir
1030
1031     echo "Restoring from file..."
1032     opts="$_restore_debug -f $dump_file  -L $session_label $restore_dir"
1033     echo "xfsrestore $opts" | _dir_filter  
1034     xfsrestore $opts 2>&1 | tee -a $here/$seq.full | _dump_filter
1035 }
1036
1037 #
1038 # Cumulative restore from a file
1039 # Need to specify the dump level e.g. "-l 0"
1040 #
1041 _do_restore_file_cum()
1042 {
1043     _parse_args $*
1044     if echo $dump_args | grep '\-l0' >/dev/null; then
1045         _prepare_restore_dir
1046     fi
1047
1048     echo "Restoring cumumlative from file..."
1049     opts="$_restore_debug -f $dump_file -r $restore_dir"
1050     echo "xfsrestore $opts" | _dir_filter  
1051     xfsrestore $opts 2>&1 | tee -a $here/$seq.full | _dump_filter
1052 }
1053
1054 _do_restore_toc()
1055 {
1056     echo "Contents of dump ..."
1057     opts="$_restore_debug -f $dump_file -t"
1058     echo "xfsrestore $opts" | _dir_filter
1059     cd $SCRATCH_MNT # for IRIX which needs xfs cwd
1060     xfsrestore $opts 2>&1 | tee -a $here/$seq.full | _dump_filter_main |\
1061     _check_quota_file |\
1062     _check_quota_entries |\
1063     $AWK_PROG 'NF != 1 { print; next }
1064                {files = sprintf("%s\n%s", files, $1)}
1065                 END { print files | "sort" } '
1066     # the above awk code is to alpha sort only the output
1067     # of files (and not the verbose restore msgs)
1068     cd $here # put back
1069 }
1070
1071 #
1072 # Restore the tape from multiple dump files
1073 #
1074 _do_restore_multi_file()
1075 {
1076     _parse_args "$@"
1077     _prepare_restore_dir
1078
1079     multi_args=""
1080
1081     i=0
1082     while [ $i -lt $multi ]
1083     do
1084         multi_args="$multi_args -f $dump_file.$i"
1085         i=`expr $i + 1`
1086     done
1087
1088     echo "Restoring from file..."
1089     opts="$_restore_debug $multi_args -L $session_label $restore_dir"
1090     echo "xfsrestore $opts" | _dir_filter  
1091     xfsrestore $opts 2>&1 | tee -a $here/$seq.full | _dump_filter
1092 }
1093
1094 #
1095 # Do xfsdump piped into xfsrestore - xfsdump | xfsrestore
1096 #
1097 # Use -s as we want to dump and restore to the same xfs partition
1098 #
1099 _do_dump_restore()
1100 {
1101     _parse_args $*
1102     _prepare_restore_dir
1103     echo "xfsdump|xfsrestore ..."
1104     restore_opts="$_restore_debug - $restore_dir"
1105     dump_opts="$_dump_debug$dump_args -s $dump_sdir - $SCRATCH_MNT"
1106     echo "xfsdump $dump_opts | xfsrestore $restore_opts" | _dir_filter  
1107     xfsdump $dump_opts 2>$tmp.dump.mlog | xfsrestore $restore_opts 2>&1 | tee -a $here/$seq.full | _dump_filter
1108     _dump_filter <$tmp.dump.mlog
1109 }
1110
1111 #
1112 # Compare dumped subdirectory with restored dir
1113 # using ls -lR.
1114 # Thus no contents are compared but permissions, sizes,
1115 # owners, etc... are.
1116 #
1117 _ls_compare_sub()
1118 {
1119     #
1120     # verify we got back what we dumped
1121     #
1122     echo "Comparing listing of dump directory with restore directory"
1123     ls -lR $dump_dir | tee -a $here/$seq.full | _ls_filter >$tmp.dump_dir
1124     ls -lR $restore_dir/$dump_sdir | tee -a $here/$seq.full | _ls_filter \
1125     | sed -e "s#$restore_sdir\/##" >$tmp.restore_dir
1126
1127     diff -cs $tmp.dump_dir $tmp.restore_dir | sed -e "s#$tmp#TMP#g"
1128 }
1129
1130 #
1131 # filter out the date fields
1132 #
1133 _ls_nodate_filter()
1134 {
1135     $AWK_PROG 'NF == 9 { print $1, $2, $3, $4, $9 }'
1136 }
1137
1138 #
1139 # _ls_compare_sub but don't compare dates
1140 _ls_nodate_compare_sub()
1141 {
1142     #
1143     # verify we got back what we dumped
1144     #
1145     echo "Comparing listing of dump directory with restore directory"
1146     ls -lR $dump_dir | tee -a $here/$seq.full | _ls_filter | _ls_nodate_filter >$tmp.dump_dir
1147     ls -lR $restore_dir/$dump_sdir | tee -a $here/$seq.full | _ls_filter \
1148     | _ls_nodate_filter | sed -e "s#$restore_sdir\/##" >$tmp.restore_dir
1149
1150     diff -cs $tmp.dump_dir $tmp.restore_dir | sed -e "s#$tmp#TMP#g"
1151 }
1152
1153 #
1154 # Compare using recursive diff the files of the dumped
1155 # subdirectory.
1156 # This one will compare the contents.
1157 #
1158 _diff_compare_sub()
1159 {
1160     echo "Comparing dump directory with restore directory"
1161     diff -rs $dump_dir $restore_dir/$dump_sdir | _dir_filter
1162 }
1163
1164 _get_eas_on_path()
1165 {
1166     _path=$1
1167
1168 # Tim - this is the IRIX way...
1169     # find $_path -exec attr -l {} \; |\
1170     # awk '{print $9, $2}' |\
1171     # sed 's/["]//g' |\
1172     # sort |\
1173 # and this is now the Linux way...
1174     echo "User names"
1175     getfattr --absolute-names -Rh -m user $_path |\
1176     perl -wn -e '
1177         if (m/^# file: (\S+)/) { $file = $1 }
1178         elsif (m/^user\.(\w+)/) { print $file, " ",$1,"\n" }' |\
1179     sort |\
1180     while read file ea_name; do
1181         attr -g $ea_name $file
1182     done
1183
1184     if [ "$USE_ATTR_SECURE" = yes ]; then
1185         echo "Security names"
1186         getfattr --absolute-names -Rh -m security $_path |\
1187         perl -wn -e '
1188             if (m/^# file: (\S+)/) { $file = $1 }
1189             elsif (m/^security\.(\w+)/) { print $file, " ",$1,"\n" }' |\
1190         sort |\
1191         while read file ea_name; do
1192             attr -g $ea_name $file
1193         done
1194     fi
1195
1196     echo "Root names"
1197     getfattr --absolute-names -Rh -m trusted $_path |\
1198     perl -wn -e '
1199         if (m/^# file: (\S+)/) { $file = $1 }
1200         elsif (m/^trusted\.(\w+)/) { print $file, " ",$1,"\n" }' |\
1201     sort |\
1202     while read file ea_name; do
1203         attr -R -g $ea_name $file
1204     done
1205 }
1206
1207 #
1208 # Compare the extended attributes of the files/dirs
1209 # b/w the dumped and restore dirs.
1210 #
1211 #
1212 # Attribute "attr5" had a 8 byte value for /spare1/dump.5460/dir:
1213 # Attribute "attr5" had a 8 byte value for /spare1/restore.5460/dump.5460/dir:
1214 #
1215 _diff_compare_eas()
1216 {
1217     echo "Comparing dump directory with restore directory"
1218     echo "Looking at the extended attributes (EAs)"
1219     echo "EAs on dump"
1220     _get_eas_on_path $dump_dir | tee $seq.ea1 | _dir_filter
1221     echo "EAs on restore"
1222     _get_eas_on_path $restore_dir/$dump_sdir \
1223     | sed -e "s#$restore_sdir\/##" \
1224     | tee $seq.ea2 \
1225     | _dir_filter
1226     diff -s $seq.ea1 $seq.ea2
1227 }
1228
1229
1230 #
1231 # Compare using recursive diff the files of the dumped
1232 # filesystem
1233 #
1234 _diff_compare()
1235 {
1236     echo "Comparing dump directory with restore directory"
1237     diff -rs $SCRATCH_MNT $restore_dir | _dir_filter | _check_quota_diff
1238 }
1239
1240 #
1241 # Check out the dump inventory
1242 #
1243 _dump_inventory()
1244 {
1245     xfsdump $_dump_debug -I | tee -a $here/$seq.full | _dump_filter_main
1246 }
1247
1248 #
1249 # Do the xfsinvutil cmd with debug and filters
1250 # Need to set variable: "$middate" to the invutil date 
1251 #
1252 _do_invutil()
1253 {
1254     host=`hostname`
1255     echo "xfsinvutil $_invutil_debug -M $host:$SCRATCH_MNT \"$middate\" $*" >$here/$seq.full
1256     xfsinvutil $_invutil_debug $* -M $host:$SCRATCH_MNT "$middate" \
1257     | tee -a $here/$seq.full | _invutil_filter
1258 }
1259
1260 #
1261 # ensure we can find the user quota msg if user quotas are on
1262 # ensure we can find the group quota msg if group quotas are on
1263 #
1264 _check_quota()
1265 {
1266     usermsg=$1 
1267     groupmsg=$2 
1268     uquota=0
1269     gquota=0 
1270     $here/src/feature -U $SCRATCH_DEV && uquota=1
1271     $here/src/feature -G $SCRATCH_DEV && gquota=1
1272
1273     $AWK_PROG -v uquota=$uquota -v gquota=$gquota -v full=$here/$seq.full \
1274               -v usermsg="$usermsg" -v groupmsg="$groupmsg" '
1275         $0 ~ groupmsg {
1276                         print "Found group quota:", $0 >>full
1277                         found_gquota = 1
1278                         if (!gquota) {
1279                             print "Found extra:", $0
1280                         }
1281                         next
1282         }
1283         $0 ~ usermsg {
1284                         print "Found user quota:", $0 >>full
1285                         found_uquota = 1
1286                         if (!uquota) {
1287                             print "Found extra:", $0
1288                         }
1289                         next
1290         }
1291                         { print }
1292         END {
1293                 if (uquota && !found_uquota) {
1294                     print "Missing: ", usermsg
1295                 }
1296                 if (gquota && !found_gquota) {
1297                     print "Missing: ", groupmsg
1298                 }
1299         }
1300     '
1301 }
1302
1303 #
1304 # xfsrestore: 3 directories and 40 entries processed 
1305 #   $5 = 40 
1306 #   num entries needs to be reduced by num quota file(s) 
1307 #
1308 _check_quota_entries()
1309 {
1310     uquota=0
1311     gquota=0 
1312     $here/src/feature -U $SCRATCH_DEV && uquota=1
1313     $here/src/feature -G $SCRATCH_DEV && gquota=1
1314     $AWK_PROG -v uquota=$uquota -v gquota=$gquota '
1315         /entries processed/ { 
1316                 if (uquota) $5--
1317                 if (gquota) $5--
1318         }
1319         {print}'
1320 }
1321
1322 #
1323 # Look for:
1324 # xfsdump: saving user quota information for: SCRATCH_MNT
1325 # xfsdump: saving group quota information for: SCRATCH_MNT
1326 # xfsrestore: user quota information written to ...'
1327 # xfsrestore: group quota information written to ...'
1328 #
1329 _check_quota_dumprestore()
1330 {
1331    _check_quota 'user quota information' \
1332                 'group quota information'
1333 }
1334
1335 #
1336 # Look for:
1337 # Only in RESTORE_DIR: xfsdump_quotas
1338 # Only in RESTORE_DIR: xfsdump_quotas_group
1339 #
1340 _check_quota_diff()
1341 {
1342    _check_quota 'Only in RESTORE_DIR: xfsdump_quotas' \
1343        'Only in RESTORE_DIR: xfsdump_quotas_group' 
1344 }
1345
1346 #
1347 # Look for the quota file in the output
1348 # Ensure that it is there if it should be
1349 # Filter it out so that the output is always the same
1350 # even with no quotas
1351 #
1352 _check_quota_file()
1353 {
1354    _check_quota 'xfsdump_quotas' 'xfsdump_quotas_group'
1355 }
1356
1357 # make sure this script returns success
1358 /bin/true