/[MITgcm]/MITgcm/verification/testreport
ViewVC logotype

Diff of /MITgcm/verification/testreport

Parent Directory Parent Directory | Revision Log Revision Log | View Revision Graph Revision Graph | View Patch Patch

revision 1.93 by jmc, Wed Sep 5 16:09:31 2007 UTC revision 1.98 by jmc, Wed Sep 12 21:50:21 2007 UTC
# Line 236  testoutput_run() Line 236  testoutput_run()
236      #      #
237      #  test output from 1 run in "directory"      #  test output from 1 run in "directory"
238      if test "x$ADM" = x ; then      if test "x$ADM" = x ; then
239          if [ $debug -gt 0 ]; then          # default list of output variables to be checked:
240              echo testoutput_run: testoutput_var $1 cg2d_init_res 1>&2          #  1rst : main variable used to decide if it pass or FAIL
241          fi          #  others : number of matching digits to be printed in summary.txt
242          testoutput_var $1 "cg2d_init_res" "cg2d init. residual" $2 $3; cg2dres=$?          listChk=$DEF_CHECK_LIST
243          if [ $debug -gt 0 ]; then          #  load experiment-specific list from file "tr_checklist" (if it exist)
244              echo testoutput_run: cg2dres=$cg2dres 1>&2          if test -r $1/$2/tr_checklist ; then listChk=`cat $1/$2/tr_checklist` ; fi
245          fi          sVar=`echo $listChk | awk '{print $1}'`
246          testoutput_var $1 "dynstat_theta_min" "theta minimum" $2 $3; tmin=$?          # remove 1rst var and expand the list: + => min max mean s.d
247          testoutput_var $1 "dynstat_theta_max" "theta maximum" $2 $3; tmax=$?          listVar=`echo $listChk | sed 's/ [a-zA-Z0-9]*+/&mn &mx &av &sd/g' \
248          testoutput_var $1 "dynstat_theta_mean" "theta mean" $2 $3; tmean=$?                                 | sed 's/+//g' | sed "s/^$sVar//"`
249          testoutput_var $1 "dynstat_theta_sd" "theta s.d." $2 $3; tsd=$?          if [ $debug -gt 0 ]; then echo "testoutput_run: listVar(I)='$listVar'" 1>&2 ; fi
250          testoutput_var $1 "dynstat_salt_min" "salt minimum" $2 $3; smin=$?          for ii in 1 2 3 4 5 6 7 8 9 ; do
251          testoutput_var $1 "dynstat_salt_max" "salt maximum" $2 $3; smax=$?            tst=`eval 'echo "$HAVE_PTR0'$ii'"'`
252          testoutput_var $1 "dynstat_salt_mean" "salt mean" $2 $3; smean=$?           #echo "-- ptr test=" $tst "number of var=" `echo $listVar | awk '{print NF}'` 1>&2
253          testoutput_var $1 "dynstat_salt_sd" "salt s.d." $2 $3; ssd=$?            if test "x$tst" != xt ; then listVar=`echo "$listVar" | sed "s/ pt$ii..//g"` ; fi
254          testoutput_var $1 "dynstat_uvel_min" "U minimum" $2 $3; umin=$?          done
255          testoutput_var $1 "dynstat_uvel_max" "U maximum" $2 $3; umax=$?          tst=`echo $sVar $listVar | awk '{ for(i=2;i<=NF;i++){t+=($i==$1)}; print t }'`
256          testoutput_var $1 "dynstat_uvel_mean" "U mean" $2 $3; umean=$?          if test $tst != 1 ; then
257          testoutput_var $1 "dynstat_uvel_sd" "U s.d." $2 $3; usd=$?            if test $tst = 0 ; then echo "==> WARNING: selected var >$sVar< not found" 1>&2
258          testoutput_var $1 "dynstat_vvel_min" "V minimum" $2 $3; vmin=$?                   else echo "==> WARNING: found selected var >$sVar< $tst times" 1>&2 ; fi
259          testoutput_var $1 "dynstat_vvel_max" "V maximum" $2 $3; vmax=$?            echo "==> WARNING: in checked list:" $listVar 1>&2
260          testoutput_var $1 "dynstat_vvel_mean" "V mean" $2 $3; vmean=$?          #- put it back once:
261          testoutput_var $1 "dynstat_vvel_sd" "V s.d." $2 $3; vsd=$?            listVar=" $sVar "`echo "$listVar " | sed "s/ $sVar / /g"`
262            fi
263          #  This is for PTRACERS          if [ $debug -gt 0 ]; then echo "testoutput_run: listVar(M)='$listVar'" 1>&2 ; fi
264          for ii in $PTRACERS_NUM ; do          echo "listVar='$listVar'" > $CDIR"/summary.txt"
265              eval `echo "p0"$ii"_min=99"`          allargs=""
266              eval `echo "p0"$ii"_max=99"`          for xx in $listVar
267              eval `echo "p0"$ii"_mean=99"`          do
268              eval `echo "p0"$ii"_sd=99"`            case $xx in
269              tst=`eval 'echo "$HAVE_PTR0'$ii'"'`             'PS')  if [ $debug -gt 0 ]
270              #echo 'tst = '$tst                    then echo testoutput_run: testoutput_var $1 cg2d_init_res 1>&2 ; fi
271              if test "x$tst" = xt ; then                    testoutput_var $1 "cg2d_init_res" "cg2d init. residual" $2 $3; yy=$?
272                  a="trcstat_ptracer0"                    if [ $debug -gt 0 ] ; then echo testoutput_run: cg2dres=$yy 1>&2 ; fi ;;
273                  testoutput_var $1 "$a"$ii"_min"  "p0"$ii"_min"  $2 $3             'Tmn') testoutput_var $1 "dynstat_theta_min"  "theta minimum"  $2 $3; yy=$? ;;
274                  RETVAL=$? ; eval `echo "p0"$ii"_min="$RETVAL`             'Tmx') testoutput_var $1 "dynstat_theta_max"  "theta maximum"  $2 $3; yy=$? ;;
275                  testoutput_var $1 "$a"$ii"_max"  "p0"$ii"_max"  $2 $3             'Tav') testoutput_var $1 "dynstat_theta_mean" "theta mean"     $2 $3; yy=$? ;;
276                  RETVAL=$? ; eval `echo "p0"$ii"_max="$RETVAL`             'Tsd') testoutput_var $1 "dynstat_theta_sd"   "theta s.d."     $2 $3; yy=$? ;;
277                  testoutput_var $1 "$a"$ii"_mean" "p0"$ii"_mean" $2 $3             'Smn') testoutput_var $1 "dynstat_salt_min"  "salt minimum"    $2 $3; yy=$? ;;
278                  RETVAL=$? ; eval `echo "p0"$ii"_mean="$RETVAL`             'Smx') testoutput_var $1 "dynstat_salt_max"  "salt maximum"    $2 $3; yy=$? ;;
279                  testoutput_var $1 "$a"$ii"_sd"   "p0"$ii"_sd"   $2 $3             'Sav') testoutput_var $1 "dynstat_salt_mean" "salt mean"       $2 $3; yy=$? ;;
280                  RETVAL=$? ; eval `echo "p0"$ii"_sd="$RETVAL`             'Ssd') testoutput_var $1 "dynstat_salt_sd"   "salt s.d."       $2 $3; yy=$? ;;
281              fi             'Umn') testoutput_var $1 "dynstat_uvel_min"  "U minimum"       $2 $3; yy=$? ;;
282          done             'Umx') testoutput_var $1 "dynstat_uvel_max"  "U maximum"       $2 $3; yy=$? ;;
283               'Uav') testoutput_var $1 "dynstat_uvel_mean" "U mean"          $2 $3; yy=$? ;;
284          allargs="$cg2dres $tmin $tmax $tmean $tsd $smin $smax $smean $ssd"             'Usd') testoutput_var $1 "dynstat_uvel_sd"   "U s.d."          $2 $3; yy=$? ;;
285          allargs="$allargs $umin $umax $umean $usd $vmin $vmax $vmean $vsd"             'Vmn') testoutput_var $1 "dynstat_vvel_min"  "V minimum"       $2 $3; yy=$? ;;
286          allargs="$allargs $p01_min $p01_max $p01_mean $p01_sd"             'Vmx') testoutput_var $1 "dynstat_vvel_max"  "V maximum"       $2 $3; yy=$? ;;
287          allargs="$allargs $p02_min $p02_max $p02_mean $p02_sd"             'Vav') testoutput_var $1 "dynstat_vvel_mean" "V mean"          $2 $3; yy=$? ;;
288          allargs="$allargs $p03_min $p03_max $p03_mean $p03_sd"             'Vsd') testoutput_var $1 "dynstat_vvel_sd"   "V s.d."          $2 $3; yy=$? ;;
289          allargs="$allargs $p04_min $p04_max $p04_mean $p04_sd"          'pt1mn'|'pt2mn'|'pt3mn'|'pt4mn'|'pt5mn') ii=`echo $xx | sed 's/pt//' | sed 's/..$//'`
290          allargs="$allargs $p05_min $p05_max $p05_mean $p05_sd"             testoutput_var $1 "trcstat_ptracer0"$ii"_min"  "p0"$ii"_min"   $2 $3; yy=$? ;;
291            'pt1mx'|'pt2mx'|'pt3mx'|'pt4mx'|'pt5mx') ii=`echo $xx | sed 's/pt//' | sed 's/..$//'`
292          eval "dashnum $allargs"             testoutput_var $1 "trcstat_ptracer0"$ii"_max"  "p0"$ii"_max"   $2 $3; yy=$? ;;
293            'pt1av'|'pt2av'|'pt3av'|'pt4av'|'pt5av') ii=`echo $xx | sed 's/pt//' | sed 's/..$//'`
294               testoutput_var $1 "trcstat_ptracer0"$ii"_mean" "p0"$ii"_mean" $2 $3; yy=$? ;;
295            'pt1sd'|'pt2sd'|'pt3sd'|'pt4sd'|'pt5sd') ii=`echo $xx | sed 's/pt//' | sed 's/..$//'`
296               testoutput_var $1 "trcstat_ptracer0"$ii"_sd"   "p0"$ii"_sd"    $2 $3; yy=$? ;;
297                  *) yy=99; echo "WARNING: asking for var=$xx : not recognized !" 1>&2 ;;
298              esac
299              if test $xx = $sVar
300              then allargs="$allargs > $yy <"
301              else allargs="$allargs $yy"
302              fi
303            done
304    
305            nbVar=`echo $listVar | awk '{print NF}'`
306            if [ $nbVar -lt $LEN_CHECK_LIST ] ; then
307            #-- fill line (up to standard length) with dot:
308              adNul=`expr $LEN_CHECK_LIST - $nbVar | awk '{for(i=1;i<=$1;i++){print "."}}'`
309              echo $allargs $adNul
310            else
311              echo $allargs
312            fi
313    
314      else      else
315          testoutput_ad $1 $2 "precision_grdchk_result"          testoutput_ad $1 $2 "precision_grdchk_result"
# Line 565  runmodel() Line 585  runmodel()
585                  RETVAL=8                  RETVAL=8
586                  ENDVAL=-1                  ENDVAL=-1
587          else          else
588              if test $OUTPUTFILE -ot $EXECUTABLE ; then              if test ! -f $OUTPUTFILE -o $OUTPUTFILE -ot $EXECUTABLE ; then
589                  # output do not exist or is older than executable:
590                  rm -f run.log ; touch run.log                  rm -f run.log ; touch run.log
591                  if test -f run.log_00 ; then cat run.log_00 >> run.log ; fi                  if test -f run.log_00 ; then cat run.log_00 >> run.log ; fi
592                  ( eval $COMMAND ) >> run.log 2>&1                  ( eval $COMMAND ) >> run.log 2>&1
# Line 616  int main( int argc, char** argv )  { Line 637  int main( int argc, char** argv )  {
637    double a,b,abave,relerr;    double a,b,abave,relerr;
638    best = -22;    best = -22;
639    lncnt = 0;    lncnt = 0;
640    while( 1 & (lncnt+=1) < 999 )  {    while( 1 & ( (lncnt+=1) < 999 ) )  {
641      scanf("%d", &linnum);      scanf("%d", &linnum);
642      if (linnum == -1)  break;      if (linnum == -1)  break;
643      scanf("%lf", &a);  scanf("%lf", &b);      scanf("%lf", &a);  scanf("%lf", &b);
# Line 660  formatresults() Line 681  formatresults()
681      nm=$1      nm=$1
682      printf '%s %s %s %s' $2 $3 $4 $5      printf '%s %s %s %s' $2 $3 $4 $5
683      shift; shift; shift; shift; shift;      shift; shift; shift; shift; shift;
684      printf '%3s' $@      listPrt=$@
685        listRes=`echo $listPrt | sed 's/>//' | sed 's/<//'`
686        xx=`echo $listPrt | sed 's/.*>//' | sed 's/<.*//' | awk '{print $1}'`
687        printf '%3s' $listPrt
688    #   line below does not work on hp-ux_ia64 : do those substitutions later on
689    #   printf '%3s' $listPrt | sed 's/ 99/ --/g' | sed 's/  > />/' | sed 's/  < /</'
690            
691      if [ $1 = '--' ]; then      if [ $xx = '..' ]; then
692            printf ' N/O '
693        elif [ $xx = '--' ]; then
694            printf ' N/O '
695        elif [ $xx = 99 ]; then
696          printf ' N/O '          printf ' N/O '
697      else      else
698          if [ $1 -ge $MATCH_CRIT ]; then          if [ $xx -ge $MATCH_CRIT ]; then
699              printf ' pass'              printf ' pass'
700          else          else
701              printf ' FAIL'              printf ' FAIL'
# Line 932  fi Line 962  fi
962  #echo "OK"  #echo "OK"
963  echo "OK (COMMAND= $COMMAND )"  echo "OK (COMMAND= $COMMAND )"
964    
965    # set the Default List of output variables to be checked:
966    #  (use default or load experiment-specific list from file "tr_checklist")
967    # content : 1rst = main variable used to decide if it pass or FAIL
968    #         others = number of matching digits to be printed in summary.txt
969    if test "x$ADM" != xt ; then
970        DEF_CHECK_LIST='PS PS T+ S+ U+ V+ pt1+ pt2+ pt3+ pt4+ pt5+'
971        EMPTY_RESULTS='.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..'
972        LEN_CHECK_LIST=`echo $DEF_CHECK_LIST | sed 's/ [a-zA-Z0-9]*+/&mn &mx &av &sd/g' | awk '{print NF-1}'`
973        ii=`echo $EMPTY_RESULTS | awk '{print NF}'`
974        EMPTY_RESULTS=$EMPTY_RESULTS`expr $LEN_CHECK_LIST - $ii | awk 'BEGIN{FS=":"}{for(i=1;i<=$1;i++){printf "  ."}}'`
975    fi
976    
977  #  create the FORTRAN comparison code  #  create the FORTRAN comparison code
978  createcodelet  createcodelet
979    
# Line 996  echo Line 1038  echo
1038  echo >> $SUMMARY  echo >> $SUMMARY
1039  if test "x$ADM" = x ; then  if test "x$ADM" = x ; then
1040      if [ $MATCH_CRIT -lt 10 ] ;      if [ $MATCH_CRIT -lt 10 ] ;
1041      then line_0="      "$MATCH_CRIT ;      then line_0="default  "$MATCH_CRIT ;
1042      else line_0="     "$MATCH_CRIT ; fi      else line_0="default "$MATCH_CRIT ; fi
1043      line_0="   $line_0  ----T-----  ----S-----  ----U-----  ----V-----"         line_0="$line_0  ----T-----  ----S-----  ----U-----  ----V-----"
1044  #   line_0="            ----T-----  ----S-----  ----U-----  ----V-----"  #   line_0="            ----T-----  ----S-----  ----U-----  ----V-----"
1045      line_1="G D M    c        m  s        m  s        m  s        m  s"      line_1="G D M    c        m  s        m  s        m  s        m  s"
1046      line_2="E p a R  g  m  m  e  .  m  m  e  .  m  m  e  .  m  m  e  ."      line_2="E p a R  g  m  m  e  .  m  m  e  .  m  m  e  .  m  m  e  ."
# Line 1128  for dir in $TESTDIRS ; do Line 1170  for dir in $TESTDIRS ; do
1170      fi      fi
1171      echo      echo
1172      unset genmake makedepend make run      unset genmake makedepend make run
1173      results='-- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --'      results=$EMPTY_RESULTS
1174    
1175      #  Create an output dir for each OPTFILE/tdir combination      #  Create an output dir for each OPTFILE/tdir combination
1176      rel_CDIR=$DRESULTS"/"$dir      rel_CDIR=$DRESULTS"/"$dir
# Line 1155  for dir in $TESTDIRS ; do Line 1197  for dir in $TESTDIRS ; do
1197      if test "x$ADM" = x ; then      if test "x$ADM" = x ; then
1198          fres=`formatresults $dir ${genmake:-N} ${makedepend:-N} ${make:-N} ${run:-N} $results`          fres=`formatresults $dir ${genmake:-N} ${makedepend:-N} ${make:-N} ${run:-N} $results`
1199          echo          echo
1200          echo "$fres" >> $SUMMARY          echo "$fres" | sed 's/ 99/ --/g' | sed 's/  > />/' | sed 's/  < /</' >> $SUMMARY
1201          echo "fresults='$fres'" > $CDIR"/summary.txt"          touch $CDIR"/summary.txt"
1202            echo "fresults='$fres'" | sed 's/ 99/ --/g' >> $CDIR"/summary.txt"
1203          echo "MACH='$MACH'" >> $CDIR"/summary.txt"          echo "MACH='$MACH'" >> $CDIR"/summary.txt"
1204          echo "UNAMEA='$UNAMEA'" >> $CDIR"/summary.txt"          echo "UNAMEA='$UNAMEA'" >> $CDIR"/summary.txt"
1205          echo "DATE='$DATE'" >> $CDIR"/summary.txt"          echo "DATE='$DATE'" >> $CDIR"/summary.txt"
# Line 1164  for dir in $TESTDIRS ; do Line 1207  for dir in $TESTDIRS ; do
1207    
1208          for ex in $extra_runs ; do          for ex in $extra_runs ; do
1209              unset run              unset run
1210              results='-- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --'              results=$EMPTY_RESULTS
1211              #  Create an output dir for each OPTFILE/tdir.ex combination              #  Create an output dir for each OPTFILE/tdir.ex combination
1212              rel_CDIR=$DRESULTS"/"$dir"."$ex              rel_CDIR=$DRESULTS"/"$dir"."$ex
1213              mkdir $rel_CDIR              mkdir $rel_CDIR
# Line 1174  for dir in $TESTDIRS ; do Line 1217  for dir in $TESTDIRS ; do
1217              linkdata $dir/tr_run.$ex input.$ex input              linkdata $dir/tr_run.$ex input.$ex input
1218              runmodel $dir/tr_run.$ex && run=Y \              runmodel $dir/tr_run.$ex && run=Y \
1219                  && results=`testoutput_run $dir tr_run.$ex ${ex}".txt"`                  && results=`testoutput_run $dir tr_run.$ex ${ex}".txt"`
             fres=`printf '%s %s %s %s' ${genmake:-N} ${makedepend:-N} ${make:-N} ${run:-N}`  
1220              fres=`formatresults $dir ${genmake:-N} ${makedepend:-N} ${make:-N} ${run:-N} $results`              fres=`formatresults $dir ${genmake:-N} ${makedepend:-N} ${make:-N} ${run:-N} $results`
1221              fres="$fres.$ex"              fres="$fres.$ex"
1222              echo              echo
1223              echo "$fres" >> $SUMMARY              echo "$fres" | sed 's/ 99/ --/g' | sed 's/  > />/' | sed 's/  < /</' >> $SUMMARY
1224              echo "fresults='$fres'" > $CDIR"/summary.txt"              touch $CDIR"/summary.txt"
1225                echo "fresults='$fres'" | sed 's/ 99/ --/g' >> $CDIR"/summary.txt"
1226              echo "MACH='$MACH'" >> $CDIR"/summary.txt"              echo "MACH='$MACH'" >> $CDIR"/summary.txt"
1227              echo "UNAMEA='$UNAMEA'" >> $CDIR"/summary.txt"              echo "UNAMEA='$UNAMEA'" >> $CDIR"/summary.txt"
1228              echo "DATE='$DATE'" >> $CDIR"/summary.txt"              echo "DATE='$DATE'" >> $CDIR"/summary.txt"
# Line 1193  for dir in $TESTDIRS ; do Line 1236  for dir in $TESTDIRS ; do
1236          fres=$fres"$results   $dir"          fres=$fres"$results   $dir"
1237          echo          echo
1238          echo "$fres" >> $SUMMARY          echo "$fres" >> $SUMMARY
1239          echo "fresults='$fres'" > $CDIR"/summary.txt"          touch $CDIR"/summary.txt"
1240            echo "fresults='$fres'" >> $CDIR"/summary.txt"
1241          echo "MACH='$MACH'" >> $CDIR"/summary.txt"          echo "MACH='$MACH'" >> $CDIR"/summary.txt"
1242          echo "UNAMEA='$UNAMEA'" >> $CDIR"/summary.txt"          echo "UNAMEA='$UNAMEA'" >> $CDIR"/summary.txt"
1243          echo "DATE='$DATE'" >> $CDIR"/summary.txt"          echo "DATE='$DATE'" >> $CDIR"/summary.txt"
# Line 1247  fi Line 1291  fi
1291  rm -f tr_cmpnum.c tr_cmpnum  rm -f tr_cmpnum.c tr_cmpnum
1292    
1293  if test "x$CLEANUP" != xt ; then  if test "x$CLEANUP" != xt ; then
1294      cat $SUMMARY | sed 's/ -- -- -- --//g'      cat $SUMMARY | sed 's/  \.  \.  \.  \.  \.  \.  \.  \.  \.  \.  \.  \.//'
1295      if test -e tr_out.txt ; then      if test -e tr_out.txt ; then
1296          mv tr_out.txt tr_out.txt.old          mv tr_out.txt tr_out.txt.old
1297      fi      fi
1298      cat $SUMMARY | sed 's/ -- -- -- --//g' > tr_out.txt      cat $SUMMARY | sed '/^[YN] [YN] [YN] [YN]/ s/  \.//g' > tr_out.txt
1299  fi  fi
1300    
1301  if test "x$DELDIR" = xt ; then  if test "x$DELDIR" = xt ; then
Legend:
Removed from v.1.93  
changed lines
  Added in v.1.98
  ViewVC Help
Powered by ViewVC 1.1.22