/[MITgcm]/MITgcm/verification/testreport
ViewVC logotype

Diff of /MITgcm/verification/testreport

Parent Directory Parent Directory | Revision Log Revision Log | View Revision Graph Revision Graph | View Patch Patch

revision 1.113 by jmc, Wed Mar 12 02:20:04 2008 UTC revision 1.120 by utke, Thu Jan 29 21:45:43 2009 UTC
# Line 30  usage() Line 30  usage()
30      echo "                             Bourne-compatible \"sh\" shell"      echo "                             Bourne-compatible \"sh\" shell"
31      echo "                             (DEF=\"\" for \"bash\")"      echo "                             (DEF=\"\" for \"bash\")"
32      echo "  (-adm|-ad)               perform an adjoint run"      echo "  (-adm|-ad)               perform an adjoint run"
33        echo "  (-oad)                   perform an OpenAD adjoint run"
34      echo "  (-command) STRING        command to run"      echo "  (-command) STRING        command to run"
35      echo "                             (DEF=\"make output.txt\")"      echo "                             (DEF=\"make output.txt\")"
36      echo "  (-m|-make) STRING        command to use for \"make\""      echo "  (-m|-make) STRING        command to use for \"make\""
# Line 179  testoutput_var() Line 180  testoutput_var()
180      return $digits_of_similarity      return $digits_of_similarity
181  }  }
182    
 check_for_add_mon_output()  
 {  
     # Check for additional types of monitor output  
     if test "x$1" = x ; then  
         return  
     fi  
   
     for ii in $PTRACERS_NUM ; do  
         eval "HAVE_PTR0"$ii"=f"  
     done  
   
     ptr_add="trcstat_ptracerXX_min trcstat_ptracerXX_max"  
     ptr_add="$ptr_add trcstat_ptracerXX_mean trcstat_ptracerXX_sd"  
     for ii in $PTRACERS_NUM ; do  
         for jj in $ptr_add ; do  
             name=`eval "echo $jj | sed -e 's|XX|0"$ii"|g'"`  
             tst=`grep $name $1 | wc -l | awk '{print $1}'`  
             if test ! "x$tst" = x0 ; then  
                 eval "HAVE_PTR0"$ii"=t"  
             fi  
         done  
         #  eval 'echo "HAVE_PTR0'$ii' = $HAVE_PTR0'$ii'"'  
     done  
 }  
   
183  testoutput_run()  testoutput_run()
184  {  {
185      # testoutput_run directory subdir reference_output      # testoutput_run directory subdir reference_output
# Line 221  testoutput_run() Line 197  testoutput_run()
197          listVar=`echo $listChk | sed 's/ [a-zA-Z0-9]*+/&mn &mx &av &sd/g' \          listVar=`echo $listChk | sed 's/ [a-zA-Z0-9]*+/&mn &mx &av &sd/g' \
198                                 | sed 's/+//g' | sed "s/^$sVar//"`                                 | sed 's/+//g' | sed "s/^$sVar//"`
199          if [ $debug -gt 0 ]; then echo "testoutput_run: listVar(I)='$listVar'" 1>&2 ; fi          if [ $debug -gt 0 ]; then echo "testoutput_run: listVar(I)='$listVar'" 1>&2 ; fi
200          for ii in 1 2 3 4 5 6 7 8 9 ; do          # check for ptracer output in reference_output file :
201            tst=`eval 'echo "$HAVE_PTR0'$ii'"'`          outpref=$1/results/$3
202           #echo "-- ptr test=" $tst "number of var=" `echo $listVar | awk '{print NF}'` 1>&2          ptr_mon="trcstat_ptracerXX_min trcstat_ptracerXX_max"
203            if test "x$tst" != xt ; then listVar=`echo "$listVar" | sed "s/ pt$ii..//g"` ; fi          ptr_mon="$ptr_mon trcstat_ptracerXX_mean trcstat_ptracerXX_sd"
204          done          for ii in $PTRACERS_NUM ; do
205          tst=`echo $sVar $listVar | awk '{ for(i=2;i<=NF;i++){t+=($i==$1)}; print t }'`              ptrfound=0
206                for jj in $ptr_mon ; do
207                    name=`eval "echo $jj | sed -e 's|XX|0"$ii"|g'"`
208                    tst=`grep $name $outpref | wc -l | awk '{print $1}'`
209                    if test ! "x$tst" = x0 ; then ptrfound=1 ; fi
210                done
211                if test $ptrfound = '1' ; then
212                    eval "HAVE_PTR0"$ii"=t"
213                else
214                    eval "HAVE_PTR0"$ii"=f"
215                  if test "x$ADM" = x -a "x$OADM" = x; then
216                  # remove this ptr from the list of output variable to check
217                  # echo "-- ptr test=" $tst "number of var=" `echo $listVar | awk '{print NF}'` 1>&2
218                    listVar=`echo "$listVar" | sed "s/ pt$ii..//g"`
219                  fi
220                fi
221            #   eval 'echo "HAVE_PTR0'$ii' = $HAVE_PTR0'$ii'"' 1>&2
222            done
223            tst=`echo $sVar $listVar | awk '{ for(i=2;i<=NF;i++){if($i==$1)t+=1}; print t }'`
224          if test $tst != 1 ; then          if test $tst != 1 ; then
225            if test $tst = 0 ; then echo "==> WARNING: selected var >$sVar< not found" 1>&2            if test $tst = 0 ; then echo "==> WARNING: selected var >$sVar< not found" 1>&2
226                   else echo "==> WARNING: found selected var >$sVar< $tst times" 1>&2 ; fi                   else echo "==> WARNING: found selected var >$sVar< $tst times" 1>&2 ; fi
# Line 321  genmakemodel() Line 315  genmakemodel()
315          (          (
316              cd $1;              cd $1;
317              command="$GENMAKE2  -ds -m $MAKE"              command="$GENMAKE2  -ds -m $MAKE"
318              if test "x$ADM" = x ; then              if test "x$ADM" = xt ; then
                 command="$command --mods=../code"  
             else  
319                  command="$command --mods=../code_ad"                  command="$command --mods=../code_ad"
320                elif test "x$OADM" = xt ; then
321                    command="$command -adof ../../../tools/adjoint_options/adjoint_oad -mods '../code_oad ../../OpenAD/code_oad_all'"
322                else
323                    command="$command --mods=../code"
324              fi              fi
325              if test "x$OPTFILE" != xNONE ; then              if test "x$OPTFILE" != xNONE ; then
326                  command="$command --optfile=$OPTFILE"                  command="$command --optfile=$OPTFILE"
# Line 349  genmakemodel() Line 345  genmakemodel()
345              fi              fi
346              fi              fi
347              printf 'genmake ... ' 1>&2              printf 'genmake ... ' 1>&2
348              $command > make.log 2>&1              # $command > make.log 2>&1
349                eval $command > make.log 2>&1
350              RETVAL=$?              RETVAL=$?
351              #  Reduce the size of the testing emails!              #  Reduce the size of the testing emails!
352              head -100 Makefile > $CDIR/Makefile_head              head -100 Makefile > $CDIR/Makefile_head
# Line 444  makemodel() Line 441  makemodel()
441          cd $1;          cd $1;
442          if test -r Makefile ; then          if test -r Makefile ; then
443              printf 'make ... ' 1>&2              printf 'make ... ' 1>&2
444              if test "x$ADM" = x ; then              if test "x$ADM" = xt ; then
445                    $MAKE adall >> make.log 2>&1
446                elif test "x$OADM" = xt ; then
447                    $MAKE adAll >> make.log 2>&1
448                else
449                  if test "x$JOBS" = x ; then                  if test "x$JOBS" = x ; then
450                      $MAKE >> make.log 2>&1                      $MAKE >> make.log 2>&1
451                  else                  else
452                      $MAKE -j $JOBS >> make.log 2>&1                      $MAKE -j $JOBS >> make.log 2>&1
453                  fi                  fi
             else  
                 $MAKE adall >> make.log 2>&1  
454              fi              fi
455              RETVAL=$?              RETVAL=$?
456              if test "x$RETVAL" != x0 ; then              if test "x$RETVAL" != x0 ; then
# Line 573  runmodel() Line 572  runmodel()
572          echo          echo
573          if test -L $EXECUTABLE -a -x "../"$builddir"/"$EXECUTABLE ; then          if test -L $EXECUTABLE -a -x "../"$builddir"/"$EXECUTABLE ; then
574              diff -q $EXECUTABLE "../"$builddir"/"$EXECUTABLE > /dev/null 2>&1              diff -q $EXECUTABLE "../"$builddir"/"$EXECUTABLE > /dev/null 2>&1
575              outD=$? ; if test $outD != 0 ; then rm -f $EXECUTABLE ; rm -f run.log ; fi              outD=$? ; if test $outD != 0 ; then rm -f $EXECUTABLE ; fi
576          fi          fi
577          if test ! -x $EXECUTABLE -a -x "../"$builddir"/"$EXECUTABLE ; then          if test ! -x $EXECUTABLE -a -x "../"$builddir"/"$EXECUTABLE ; then
578              echo " link" $EXECUTABLE "from dir ../"$builddir > run.log_00              echo " link" $EXECUTABLE "from dir ../"$builddir > run.log_tmp
579              ln -sf "../"$builddir"/"$EXECUTABLE .              ln -sf "../"$builddir"/"$EXECUTABLE .
580          fi          fi
581          if test ! -x $EXECUTABLE ; then          if test ! -x $EXECUTABLE ; then
582                  rm -f run.log ; touch run.log                  rm -f $RUNLOG ; touch $RUNLOG
583                  if test -f run.log_00 ; then cat run.log_00 >> run.log ; fi                  if test -f run.log_tmp ; then cat run.log_tmp >> $RUNLOG ; fi
584                  echo " no executable:" $EXECUTABLE >> run.log                  echo " no executable:" $EXECUTABLE >> $RUNLOG
585                  RETVAL=8                  RETVAL=8
586                  ENDVAL=-1                  ENDVAL=-1
587          else          else
588              if test ! -f $OUTPUTFILE -o $OUTPUTFILE -ot $EXECUTABLE ; then              if test ! -f $OUTPUTFILE -o $OUTPUTFILE -ot $EXECUTABLE ; then
589                # output do not exist or is older than executable:                # output do not exist or is older than executable:
590                  rm -f run.log ; touch run.log                  rm -f $RUNLOG ; touch $RUNLOG
591                  if test -f run.log_00 ; then cat run.log_00 >> run.log ; fi                  if test -f run.log_tmp ; then cat run.log_tmp >> $RUNLOG ; fi
592                  ( eval $COMMAND ) >> run.log 2>&1                  ( eval $COMMAND ) >> $RUNLOG 2>&1
593                  RETVAL=$?                  RETVAL=$?
594              else              else
595                  RETVAL=0                  RETVAL=0
596                  if test -f run.log ; then                  if test -f $RUNLOG ; then
597                      if test -f run.log_00 ; then cat run.log_00 >> run.log ; fi                      if test -f run.log_tmp ; then cat run.log_tmp >> $RUNLOG ; fi
598                      echo "---------->> $OUTPUTFILE is up to date " >> run.log 2>&1                      echo "---------->> $OUTPUTFILE is up to date " >> $RUNLOG 2>&1
599                  else                  else
600                      touch run.log                      touch $RUNLOG
601                      if test -f run.log_00 ; then cat run.log_00 >> run.log ; fi                      if test -f run.log_tmp ; then cat run.log_tmp >> $RUNLOG ; fi
602                      echo "---------->> $OUTPUTFILE is up to date " >> run.log 2>&1                      echo "---------->> $OUTPUTFILE is up to date " >> $RUNLOG 2>&1
603                      echo " no previous run.log: assume NORMAL END" >> run.log 2>&1                      echo " no previous $RUNLOG: assume NORMAL END" >> $RUNLOG 2>&1
604                  fi                  fi
605              fi              fi
606              ENDVAL=`cat run.log | grep -v 'ABNORMAL END' | grep -c 'NORMAL END'`              ENDVAL=`cat $RUNLOG | grep -v 'ABNORMAL END' | grep -c 'NORMAL END'`
607          fi          fi
608          rm -f run.log_00          rm -f run.log_tmp
609          #if test "x$RETVAL" = x0 ; then          #if test "x$RETVAL" = x0 ; then
610          if [ $RETVAL -eq 0 -a $ENDVAL -gt 0 ] ; then          if [ $RETVAL -eq 0 -a $ENDVAL -gt 0 ] ; then
611              tail run.log              tail $RUNLOG
612              echo successful 1>&2              echo successful 1>&2
613              # === Reduce the size of the testing emails!              # === Reduce the size of the testing emails!
614              #cp $OUTPUTFILE $CDIR"/"$OUTPUTFILE              #cp $OUTPUTFILE $CDIR"/"$OUTPUTFILE
615              if test -s STDERR.0000 ; then cp STDERR.0000 $CDIR"/STDERR.0000" ; fi              if test -s STDERR.0000 ; then cp STDERR.0000 $CDIR"/STDERR.0000" ; fi
616              return 0              return 0
617          else          else
618              tail run.log              tail $RUNLOG
619              echo failed '(run:' $RETVAL ' end:' $ENDVAL ')' 1>&2              echo failed '(run:' $RETVAL ' end:' $ENDVAL ')' 1>&2
620              cp run.log $CDIR"/run.log"              cp $RUNLOG $CDIR"/"$RUNLOG
621              if test -s STDERR.0000 ; then cp STDERR.0000 $CDIR"/STDERR.0000" ; fi              if test -s STDERR.0000 ; then cp STDERR.0000 $CDIR"/STDERR.0000" ; fi
622              return 1              return 1
623          fi          fi
# Line 762  OUTDIR= Line 761  OUTDIR=
761  DELDIR=  DELDIR=
762    
763  ADM=  ADM=
764    OADM=
765    
766  # Additional monitor types  # list of pTracers to check for monitor output
767  PTRACERS_NUM="1 2 3 4 5"  PTRACERS_NUM="1 2 3 4 5"
768    
769  MATCH_CRIT=13  MATCH_CRIT=13
# Line 863  for ac_option ; do Line 863  for ac_option ; do
863    
864          -adm | -ad) ADM=t ;;          -adm | -ad) ADM=t ;;
865    
866            -oad) OADM=t; NODEPEND=t ;;
867    
868          -ieee) IEEE=true ;;          -ieee) IEEE=true ;;
869          -noieee) IEEE= ;;          -noieee) IEEE= ;;
870          -gsl) GSL=t ;;          -gsl) GSL=t ;;
# Line 905  if test "x$ADM" = xt ; then Line 907  if test "x$ADM" = xt ; then
907      inputdir=input_ad      inputdir=input_ad
908      ref_outp="output_adm.txt"      ref_outp="output_adm.txt"
909      EXECUTABLE="mitgcmuv_ad"      EXECUTABLE="mitgcmuv_ad"
910    elif test "x$OADM" = xt ; then
911        code_dir=code_oad
912        inputdir=input_oad
913        ref_outp="output_oadm.txt"
914        EXECUTABLE="mitgcmuv_ad"
915  else  else
916      code_dir=code      code_dir=code
917      inputdir=input      inputdir=input
# Line 957  if test "x$OPTFILE" = xNONE -a "x$MITGCM Line 964  if test "x$OPTFILE" = xNONE -a "x$MITGCM
964      OPTFILE=$MITGCM_OF      OPTFILE=$MITGCM_OF
965  fi  fi
966    
967    RUNLOG="run.log"
968  OUTPUTFILE=$ref_outp  OUTPUTFILE=$ref_outp
969  if test "x$COMMAND" = x ; then  if test "x$COMMAND" = x ; then
970      COMMAND="./$EXECUTABLE > $OUTPUTFILE"      COMMAND="./$EXECUTABLE > $OUTPUTFILE"
# Line 971  echo "OK (COMMAND= $COMMAND )" Line 979  echo "OK (COMMAND= $COMMAND )"
979  #  (use default or load experiment-specific list from file "tr_checklist")  #  (use default or load experiment-specific list from file "tr_checklist")
980  # content : 1rst = main variable used to decide if it pass or FAIL  # content : 1rst = main variable used to decide if it pass or FAIL
981  #         others = number of matching digits to be printed in summary.txt  #         others = number of matching digits to be printed in summary.txt
982  if test "x$ADM" = x ; then  if test "x$ADM" = x -a "x$OADM" = x; then
983      DEF_CHECK_LIST='PS PS T+ S+ U+ V+ pt1+ pt2+ pt3+ pt4+ pt5+'      DEF_CHECK_LIST='PS PS T+ S+ U+ V+ pt1+ pt2+ pt3+ pt4+ pt5+'
984      EMPTY_RESULTS='.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..'      EMPTY_RESULTS='.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..'
985      LEN_CHECK_LIST=`echo $DEF_CHECK_LIST | sed 's/ [a-zA-Z0-9]*+/&mn &mx &av &sd/g' | awk '{print NF-1}'`      LEN_CHECK_LIST=`echo $DEF_CHECK_LIST | sed 's/ [a-zA-Z0-9]*+/&mn &mx &av &sd/g' | awk '{print NF-1}'`
# Line 995  fi Line 1003  fi
1003    
1004  #  Create a uniquely named directory to store results  #  Create a uniquely named directory to store results
1005  CMDLINE=$0  CMDLINE=$0
1006  for xx in "$@" ; do CMDLINE="$CMDLINE '$xx'" ; done  for xx in "$@" ; do nw=`echo $xx | wc -w`
1007        if test $nw = '1' ; then CMDLINE="$CMDLINE $xx"
1008                            else CMDLINE="$CMDLINE '$xx'" ; fi
1009    done
1010    #for xx in "$@" ; do CMDLINE="$CMDLINE '$xx'" ; done
1011  MACH=`hostname`  MACH=`hostname`
1012  UNAMEA=`uname -a`  UNAMEA=`uname -a`
1013  DATE=`date +%Y%m%d`  DATE=`date +%Y%m%d`
# Line 1048  else Line 1060  else
1060  fi  fi
1061  echo  echo
1062  echo >> $SUMMARY  echo >> $SUMMARY
1063  if test "x$ADM" = x ; then  if test "x$ADM" = x -a "x$OADM" = x; then
1064      if [ $MATCH_CRIT -lt 10 ] ;      if [ $MATCH_CRIT -lt 10 ] ;
1065      then line_0="default  "$MATCH_CRIT ;      then line_0="default  "$MATCH_CRIT ;
1066      else line_0="default "$MATCH_CRIT ; fi      else line_0="default "$MATCH_CRIT ; fi
# Line 1059  if test "x$ADM" = x ; then Line 1071  if test "x$ADM" = x ; then
1071      line_3="N n k u  2  i  a  a  d  i  a  a  d  i  a  a  d  i  a  a  d"      line_3="N n k u  2  i  a  a  d  i  a  a  d  i  a  a  d  i  a  a  d"
1072      line_4="2 d e n  d  n  x  n  .  n  x  n  .  n  x  n  .  n  x  n  ."      line_4="2 d e n  d  n  x  n  .  n  x  n  .  n  x  n  .  n  x  n  ."
1073      for ii in $PTRACERS_NUM ; do      for ii in $PTRACERS_NUM ; do
         #  tst=`eval 'echo $HAVE_PTR0'$ii`  
         #  if test "x$tst" = xt ; then  
1074          line_0="$line_0  --PTR 0"$ii"--"          line_0="$line_0  --PTR 0"$ii"--"
1075          line_1="$line_1        m  s"          line_1="$line_1        m  s"
1076          line_2="$line_2  m  m  e  ."          line_2="$line_2  m  m  e  ."
1077          line_3="$line_3  i  a  a  d"          line_3="$line_3  i  a  a  d"
1078          line_4="$line_4  n  x  n  ."          line_4="$line_4  n  x  n  ."
         #  fi  
1079      done      done
1080      echo "$line_0" | tee -a $SUMMARY      echo "$line_0" | tee -a $SUMMARY
1081      echo "$line_1" | tee -a $SUMMARY      echo "$line_1" | tee -a $SUMMARY
# Line 1106  for dir in $TESTDIRS ; do Line 1115  for dir in $TESTDIRS ; do
1115      #  Cleanup only!      #  Cleanup only!
1116      if test "x$CLEANUP" = xt ; then      if test "x$CLEANUP" = xt ; then
1117          if test -r $BUILD_DIR/Makefile ; then          if test -r $BUILD_DIR/Makefile ; then
1118              echo '  ------  clean dir:' $dir/build              echo '  ------  clean dir:' $dir/$builddir
1119              ( cd $BUILD_DIR ; make CLEAN )              ( cd $BUILD_DIR ; make CLEAN )
1120          fi          fi
1121          if test -d $dir/$rundir/CVS ; then          if test -d $dir/$rundir/CVS ; then
# Line 1127  for dir in $TESTDIRS ; do Line 1136  for dir in $TESTDIRS ; do
1136          echo "can't read \"$fout\" -- skipping $dir"          echo "can't read \"$fout\" -- skipping $dir"
1137          continue          continue
1138      fi      fi
     if test "x$ADM" = x ; then  
         check_for_add_mon_output  $fout  
     fi  
1139    
1140      # Check for additional types of monitor output      # Check for specific files for particular type of run
1141    
1142      if test ! -r $CODE_DIR"/SIZE.h_mpi" -a "x$MPI" = "xt" ; then      if test ! -r $CODE_DIR"/SIZE.h_mpi" -a "x$MPI" = "xt" ; then
1143          echo "can't find \"$CODE_DIR/SIZE.h_mpi\" -- skipping $dir"          echo "can't find \"$CODE_DIR/SIZE.h_mpi\" -- skipping $dir"
# Line 1255  for dir in $TESTDIRS ; do Line 1261  for dir in $TESTDIRS ; do
1261  done  done
1262    
1263  printf "Start time:  " >> $SUMMARY  printf "Start time:  " >> $SUMMARY
1264  echo $start_date >> $SUMMARY  echo "$start_date" >> $SUMMARY
1265  printf "End time:    " >> $SUMMARY  printf "End time:    " >> $SUMMARY
1266  date >> $SUMMARY  date >> $SUMMARY
1267    
Legend:
Removed from v.1.113  
changed lines
  Added in v.1.120
  ViewVC Help
Powered by ViewVC 1.1.22