bench

   1 #!/bin/sh
   2 #
   3 # Wrapper for automating benchmarking runs.
   4 # Usage:   bench [passes] [user] [group] [script]
   5 #
   6 # ..where passes is the number of times to run each script; uid/gid
   7 # gives credentials to use when running the script; and script is a
   8 # simple wrapper around each actual benchmark tool (eg. see run.*),
   9 # if this is ommited, all run.* scripts are used in turn.
  10 #
  11 # Each run.foo script should report a comma-separated-value list of
  12 # benchmark results on stdout or fail with a non-zero exit code;
  13 # unless the -i option is supplied in which case it should instead
  14 # report a comma-separated-value list of column headers (for report
  15 # generation purposes).
  16 #
  17 #-----------------------------------------------------------------------
  18 # Copyright (c) 2002 Silicon Graphics, Inc.  All Rights Reserved.
  19 #
  20 # This program is free software; you can redistribute it and/or modify it
  21 # under the terms of version 2 of the GNU General Public License as
  22 # published by the Free Software Foundation.
  23 #
  24 # This program is distributed in the hope that it would be useful, but
  25 # WITHOUT ANY WARRANTY; without even the implied warranty of
  26 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.
  27 #
  28 # Further, this software is distributed without any warranty that it is
  29 # free of the rightful claim of any third person regarding infringement
  30 # or the like.  Any license provided herein, whether implied or
  31 # otherwise, applies only to this software file.  Patent licenses, if
  32 # any, provided herein do not apply to combinations of this program with
  33 # other software, or any other product whatsoever.
  34 #
  35 # You should have received a copy of the GNU General Public License along
  36 # with this program; if not, write the Free Software Foundation, Inc., 59
  37 # Temple Place - Suite 330, Boston MA 02111-1307, USA.
  38 #
  39 # Contact information: Silicon Graphics, Inc., 1600 Amphitheatre Pkwy,
  40 # Mountain View, CA  94043, or:
  41 #
  42 # http://www.sgi.com
  43 #
  44 # For further information regarding this notice, see:
  45 #
  46 # http://oss.sgi.com/projects/GenInfo/SGIGPLNoticeExplan/
  47 #-----------------------------------------------------------------------
  48 #
  49 # creator
  50 owner=nathans@sgi.com
  51
  52 tmp=/tmp/$$
  53 seq=bench
  54 here=`pwd`
  55 status=1        # failure is the default!
  56
  57 # get standard environment, filters and checks
  58 . ./common.rc
  59 . ./common.filter
  60
  61 _cleanup()
  62 {
  63     echo "        *** umount"
  64     umount $SCRATCH_DEV >/dev/null 2>&1
  65 }
  66
  67 trap "_cleanup; exit \$status" 0 1 2 3 15
  68
  69 ROOT="."
  70 LOG="$ROOT/bench.log"
  71 FULL="$ROOT/bench.full"
  72
  73 _log()
  74 {
  75     echo "$*" 1>&2
  76     echo "$*" >>$LOG
  77     echo "$*" >>$FULL
  78     sync
  79 }
  80
  81 _logp()
  82 {
  83     tee -a $FULL
  84 }
  85
  86 _fail()
  87 {
  88     _log "$*"
  89     status=1
  90     exit 1
  91 }
  92
  93 _run_benchmark()
  94 {
  95     pass=1
  96     uid=`id -u $user`
  97     gid=`id -g $group`
  98
  99     while [ $pass -le $passes -o $passes -lt 0 ]
 100     do
 101         _log "        *** clean scratch device [$bench starting, pass $pass]"
 102         mkfs_xfs -f $SCRATCH_DEV 2>&1 |  _fix_malloc >>$FULL \
 103                         || _fail "            !!! failed to mkfs SCRATCH_DEV"
 104
 105         _log "        *** mounting scratch device"
 106         mount -t xfs $SCRATCH_DEV $SCRATCH_MNT \
 107                             || _fail "            !!! failed to mount"
 108
 109         _log "        *** mkdir"
 110         mkdir $SCRATCH_MNT/bench \
 111                             || _fail "            !!! couldn't mkdir benchdir"
 112         chown -R $user.$group $SCRATCH_MNT/bench \
 113                             || _fail "            !!! couldn't chown benchdir"
 114         cd $SCRATCH_MNT/bench
 115
 116         _log "        *** bench [src/runas -u $uid -g $gid run.$bench]"
 117         $here/src/runas -u $uid -g $gid $here/run.$bench | _logp
 118         [ $? -eq 0 ]        || _fail "            !!! non-zero $bench status"
 119         cd $here
 120
 121         _log "        *** unmounting scratch device"
 122         umount $SCRATCH_DEV 2>&1 | _logp \
 123                             || _fail "            !!! failed to umount"
 124
 125         _log "        *** post-umount filesystem check"
 126         _check_fs $SCRATCH_DEV
 127
 128         let "pass = pass + 1"
 129     done
 130 }
 131
 132 # real QA test starts here
 133
 134 _require_scratch
 135
 136 passes=-1
 137 user=root
 138 group=root
 139 benches=`echo run.* | sed -e 's/run\.//g'`
 140
 141 [ $# -gt 0 ] && passes=$1
 142 [ $# -gt 1 ] && user=$2
 143 [ $# -gt 2 ] && group=$3
 144 [ $# -gt 3 ] && benches=$4
 145
 146 [ -z "$benches" -o "$benches" = "*" ] && _fail "no benchmark scripts found"
 147
 148 for bench in $benches
 149 do
 150     echo "" >$FULL
 151     echo "" >$LOG
 152     _log "*** benchmark started (passes=$passes, benchmark=$bench)"
 153     _log "***     (`date`)"
 154     _log "        *** unmounting scratch device"
 155     umount $SCRATCH_DEV 2>&1 | _fix_malloc >>$FULL
 156
 157     _run_benchmark |  _fix_malloc
 158
 159     _log "*** done $bench"
 160 done
 161 status=0