/[MITgcm]/MITgcm/verification/testreport
ViewVC logotype

Diff of /MITgcm/verification/testreport

Parent Directory Parent Directory | Revision Log Revision Log | View Revision Graph Revision Graph | View Patch Patch

revision 1.115 by jmc, Sun Apr 6 19:19:47 2008 UTC revision 1.122 by jmc, Wed Apr 15 22:22:36 2009 UTC
# Line 11  usage() Line 11  usage()
11      echo      echo
12      echo "where possible OPTIONS are:"      echo "where possible OPTIONS are:"
13      echo "  (-help|-h)               print usage"      echo "  (-help|-h)               print usage"
14      echo "  (-mth)                   run multi threaded (using eedata.mth)"      echo "  (-mth)                   run multi-threaded (using eedata.mth)"
15      echo "  (-mpi)                   compile and run using MPI"      echo "  (-mpi)                   compile and run using MPI"
16      echo "  (-ieee|-noieee)          if possible, use IEEE compiler flags"      echo "  (-ieee|-noieee)          if possible, use IEEE compiler flags"
17      echo "                             (DEF=\"-ieee\")"      echo "                             (DEF=\"-ieee\")"
# Line 30  usage() Line 30  usage()
30      echo "                             Bourne-compatible \"sh\" shell"      echo "                             Bourne-compatible \"sh\" shell"
31      echo "                             (DEF=\"\" for \"bash\")"      echo "                             (DEF=\"\" for \"bash\")"
32      echo "  (-adm|-ad)               perform an adjoint run"      echo "  (-adm|-ad)               perform an adjoint run"
33        echo "  (-oad)                   perform an OpenAD adjoint run"
34      echo "  (-command) STRING        command to run"      echo "  (-command) STRING        command to run"
35      echo "                             (DEF=\"make output.txt\")"      echo "                             (DEF=\"make output.txt\")"
36      echo "  (-m|-make) STRING        command to use for \"make\""      echo "  (-m|-make) STRING        command to use for \"make\""
# Line 179  testoutput_var() Line 180  testoutput_var()
180      return $digits_of_similarity      return $digits_of_similarity
181  }  }
182    
 check_for_add_mon_output()  
 {  
     # Check for additional types of monitor output  
     if test "x$1" = x ; then  
         return  
     fi  
   
     for ii in $PTRACERS_NUM ; do  
         eval "HAVE_PTR0"$ii"=f"  
     done  
   
     ptr_add="trcstat_ptracerXX_min trcstat_ptracerXX_max"  
     ptr_add="$ptr_add trcstat_ptracerXX_mean trcstat_ptracerXX_sd"  
     for ii in $PTRACERS_NUM ; do  
         for jj in $ptr_add ; do  
             name=`eval "echo $jj | sed -e 's|XX|0"$ii"|g'"`  
             tst=`grep $name $1 | wc -l | awk '{print $1}'`  
             if test ! "x$tst" = x0 ; then  
                 eval "HAVE_PTR0"$ii"=t"  
             fi  
         done  
         #  eval 'echo "HAVE_PTR0'$ii' = $HAVE_PTR0'$ii'"'  
     done  
 }  
   
183  testoutput_run()  testoutput_run()
184  {  {
185      # testoutput_run directory subdir reference_output      # testoutput_run directory subdir reference_output
# Line 221  testoutput_run() Line 197  testoutput_run()
197          listVar=`echo $listChk | sed 's/ [a-zA-Z0-9]*+/&mn &mx &av &sd/g' \          listVar=`echo $listChk | sed 's/ [a-zA-Z0-9]*+/&mn &mx &av &sd/g' \
198                                 | sed 's/+//g' | sed "s/^$sVar//"`                                 | sed 's/+//g' | sed "s/^$sVar//"`
199          if [ $debug -gt 0 ]; then echo "testoutput_run: listVar(I)='$listVar'" 1>&2 ; fi          if [ $debug -gt 0 ]; then echo "testoutput_run: listVar(I)='$listVar'" 1>&2 ; fi
200          for ii in 1 2 3 4 5 6 7 8 9 ; do          # check for ptracer output in reference_output file :
201            tst=`eval 'echo "$HAVE_PTR0'$ii'"'`          outpref=$1/results/$3
202           #echo "-- ptr test=" $tst "number of var=" `echo $listVar | awk '{print NF}'` 1>&2          ptr_mon="trcstat_ptracerXX_min trcstat_ptracerXX_max"
203            if test "x$tst" != xt ; then listVar=`echo "$listVar" | sed "s/ pt$ii..//g"` ; fi          ptr_mon="$ptr_mon trcstat_ptracerXX_mean trcstat_ptracerXX_sd"
204          done          for ii in $PTRACERS_NUM ; do
205          tst=`echo $sVar $listVar | awk '{ for(i=2;i<=NF;i++){t+=($i==$1)}; print t }'`              ptrfound=0
206                for jj in $ptr_mon ; do
207                    name=`eval "echo $jj | sed -e 's|XX|0"$ii"|g'"`
208                    tst=`grep $name $outpref | wc -l | awk '{print $1}'`
209                    if test ! "x$tst" = x0 ; then ptrfound=1 ; fi
210                done
211                if test $ptrfound = '1' ; then
212                    eval "HAVE_PTR0"$ii"=t"
213                else
214                    eval "HAVE_PTR0"$ii"=f"
215                  if test "x$ADM" = x -a "x$OADM" = x; then
216                  # remove this ptr from the list of output variable to check
217                  # echo "-- ptr test=" $tst "number of var=" `echo $listVar | awk '{print NF}'` 1>&2
218                    listVar=`echo "$listVar" | sed "s/ pt$ii..//g"`
219                  fi
220                fi
221            #   eval 'echo "HAVE_PTR0'$ii' = $HAVE_PTR0'$ii'"' 1>&2
222            done
223            tst=`echo $sVar $listVar | awk '{ for(i=2;i<=NF;i++){if($i==$1)t+=1}; print t }'`
224          if test $tst != 1 ; then          if test $tst != 1 ; then
225            if test $tst = 0 ; then echo "==> WARNING: selected var >$sVar< not found" 1>&2            if test $tst = 0 ; then echo "==> WARNING: selected var >$sVar< not found" 1>&2
226                   else echo "==> WARNING: found selected var >$sVar< $tst times" 1>&2 ; fi                   else echo "==> WARNING: found selected var >$sVar< $tst times" 1>&2 ; fi
# Line 321  genmakemodel() Line 315  genmakemodel()
315          (          (
316              cd $1;              cd $1;
317              command="$GENMAKE2  -ds -m $MAKE"              command="$GENMAKE2  -ds -m $MAKE"
318              if test "x$ADM" = x ; then              if test "x$ADM" = xt ; then
                 command="$command --mods=../code"  
             else  
319                  command="$command --mods=../code_ad"                  command="$command --mods=../code_ad"
320                elif test "x$OADM" = xt ; then
321                    command="$command -adof ../../../tools/adjoint_options/adjoint_oad -mods '../code_oad ../../OpenAD/code_oad_all'"
322                else
323                    command="$command --mods=../code"
324              fi              fi
325              if test "x$OPTFILE" != xNONE ; then              if test "x$OPTFILE" != xNONE ; then
326                  command="$command --optfile=$OPTFILE"                  command="$command --optfile=$OPTFILE"
# Line 338  genmakemodel() Line 334  genmakemodel()
334              if test "x$MPI" = xt ; then              if test "x$MPI" = xt ; then
335                  command="$command -mpi"                  command="$command -mpi"
336              fi              fi
337                if test "x$MULTI_THREAD" = xt ; then
338                #- run multi-threaded using OpenMP:
339                    command="$command -omp"
340                fi
341              if test "x$TS" = xt ; then              if test "x$TS" = xt ; then
342                  command="$command -ts"                  command="$command -ts"
343              fi              fi
# Line 349  genmakemodel() Line 349  genmakemodel()
349              fi              fi
350              fi              fi
351              printf 'genmake ... ' 1>&2              printf 'genmake ... ' 1>&2
352              $command > make.log 2>&1              # $command > make.log 2>&1
353                eval $command > make.log 2>&1
354              RETVAL=$?              RETVAL=$?
355              #  Reduce the size of the testing emails!              #  Reduce the size of the testing emails!
356              head -100 Makefile > $CDIR/Makefile_head              head -100 Makefile > $CDIR/Makefile_head
# Line 444  makemodel() Line 445  makemodel()
445          cd $1;          cd $1;
446          if test -r Makefile ; then          if test -r Makefile ; then
447              printf 'make ... ' 1>&2              printf 'make ... ' 1>&2
448              if test "x$ADM" = x ; then              if test "x$ADM" = xt ; then
449                    $MAKE adall >> make.log 2>&1
450                elif test "x$OADM" = xt ; then
451                    $MAKE adAll >> make.log 2>&1
452                else
453                  if test "x$JOBS" = x ; then                  if test "x$JOBS" = x ; then
454                      $MAKE >> make.log 2>&1                      $MAKE >> make.log 2>&1
455                  else                  else
456                      $MAKE -j $JOBS >> make.log 2>&1                      $MAKE -j $JOBS >> make.log 2>&1
457                  fi                  fi
             else  
                 $MAKE adall >> make.log 2>&1  
458              fi              fi
459              RETVAL=$?              RETVAL=$?
460              if test "x$RETVAL" != x0 ; then              if test "x$RETVAL" != x0 ; then
# Line 573  runmodel() Line 576  runmodel()
576          echo          echo
577          if test -L $EXECUTABLE -a -x "../"$builddir"/"$EXECUTABLE ; then          if test -L $EXECUTABLE -a -x "../"$builddir"/"$EXECUTABLE ; then
578              diff -q $EXECUTABLE "../"$builddir"/"$EXECUTABLE > /dev/null 2>&1              diff -q $EXECUTABLE "../"$builddir"/"$EXECUTABLE > /dev/null 2>&1
579              outD=$? ; if test $outD != 0 ; then rm -f $EXECUTABLE ; rm -f run.log ; fi              outD=$? ; if test $outD != 0 ; then rm -f $EXECUTABLE ; fi
580          fi          fi
581          if test ! -x $EXECUTABLE -a -x "../"$builddir"/"$EXECUTABLE ; then          if test ! -x $EXECUTABLE -a -x "../"$builddir"/"$EXECUTABLE ; then
582              echo " link" $EXECUTABLE "from dir ../"$builddir > run.log_00              echo " link" $EXECUTABLE "from dir ../"$builddir > run.log_tmp
583              ln -sf "../"$builddir"/"$EXECUTABLE .              ln -sf "../"$builddir"/"$EXECUTABLE .
584          fi          fi
585          if test ! -x $EXECUTABLE ; then          if test ! -x $EXECUTABLE ; then
586                  rm -f run.log ; touch run.log                  rm -f $RUNLOG ; touch $RUNLOG
587                  if test -f run.log_00 ; then cat run.log_00 >> run.log ; fi                  if test -f run.log_tmp ; then cat run.log_tmp >> $RUNLOG ; fi
588                  echo " no executable:" $EXECUTABLE >> run.log                  echo " no executable:" $EXECUTABLE >> $RUNLOG
589                  RETVAL=8                  RETVAL=8
590                  ENDVAL=-1                  ENDVAL=-1
591          else          else
592              if test ! -f $OUTPUTFILE -o $OUTPUTFILE -ot $EXECUTABLE ; then              if test ! -f $OUTPUTFILE -o $OUTPUTFILE -ot $EXECUTABLE ; then
593                # output do not exist or is older than executable:                # output do not exist or is older than executable:
594                  rm -f run.log ; touch run.log                  rm -f $RUNLOG ; touch $RUNLOG
595                  if test -f run.log_00 ; then cat run.log_00 >> run.log ; fi                  if test -f run.log_tmp ; then cat run.log_tmp >> $RUNLOG ; fi
596                  ( eval $COMMAND ) >> run.log 2>&1                  ( eval $COMMAND ) >> $RUNLOG 2>&1
597                  RETVAL=$?                  RETVAL=$?
598              else              else
599                  RETVAL=0                  RETVAL=0
600                  if test -f run.log ; then                  if test -f $RUNLOG ; then
601                      if test -f run.log_00 ; then cat run.log_00 >> run.log ; fi                      if test -f run.log_tmp ; then cat run.log_tmp >> $RUNLOG ; fi
602                      echo "---------->> $OUTPUTFILE is up to date " >> run.log 2>&1                      echo "---------->> $OUTPUTFILE is up to date " >> $RUNLOG 2>&1
603                  else                  else
604                      touch run.log                      touch $RUNLOG
605                      if test -f run.log_00 ; then cat run.log_00 >> run.log ; fi                      if test -f run.log_tmp ; then cat run.log_tmp >> $RUNLOG ; fi
606                      echo "---------->> $OUTPUTFILE is up to date " >> run.log 2>&1                      echo "---------->> $OUTPUTFILE is up to date " >> $RUNLOG 2>&1
607                      echo " no previous run.log: assume NORMAL END" >> run.log 2>&1                      echo " no previous $RUNLOG: assume NORMAL END" >> $RUNLOG 2>&1
608                  fi                  fi
609              fi              fi
610              ENDVAL=`cat run.log | grep -v 'ABNORMAL END' | grep -c 'NORMAL END'`              ENDVAL=`cat $RUNLOG | grep -v 'ABNORMAL END' | grep -c 'NORMAL END'`
611          fi          fi
612          rm -f run.log_00          rm -f run.log_tmp
613          #if test "x$RETVAL" = x0 ; then          #if test "x$RETVAL" = x0 ; then
614          if [ $RETVAL -eq 0 -a $ENDVAL -gt 0 ] ; then          if [ $RETVAL -eq 0 -a $ENDVAL -gt 0 ] ; then
615              tail run.log              tail $RUNLOG
616              echo successful 1>&2              echo successful 1>&2
617              # === Reduce the size of the testing emails!              # === Reduce the size of the testing emails!
618              #cp $OUTPUTFILE $CDIR"/"$OUTPUTFILE              #cp $OUTPUTFILE $CDIR"/"$OUTPUTFILE
619              if test -s STDERR.0000 ; then cp STDERR.0000 $CDIR"/STDERR.0000" ; fi              if test -s STDERR.0000 ; then cp STDERR.0000 $CDIR"/STDERR.0000" ; fi
620              return 0              return 0
621          else          else
622              tail run.log              tail $RUNLOG
623              echo failed '(run:' $RETVAL ' end:' $ENDVAL ')' 1>&2              echo failed '(run:' $RETVAL ' end:' $ENDVAL ')' 1>&2
624              cp run.log $CDIR"/run.log"              cp $RUNLOG $CDIR"/"$RUNLOG
625              if test -s STDERR.0000 ; then cp STDERR.0000 $CDIR"/STDERR.0000" ; fi              if test -s STDERR.0000 ; then cp STDERR.0000 $CDIR"/STDERR.0000" ; fi
626              return 1              return 1
627          fi          fi
# Line 762  OUTDIR= Line 765  OUTDIR=
765  DELDIR=  DELDIR=
766    
767  ADM=  ADM=
768    OADM=
769    
770  # Additional monitor types  # list of pTracers to check for monitor output
771  PTRACERS_NUM="1 2 3 4 5"  PTRACERS_NUM="1 2 3 4 5"
772    
773  MATCH_CRIT=13  MATCH_CRIT=13
# Line 863  for ac_option ; do Line 867  for ac_option ; do
867    
868          -adm | -ad) ADM=t ;;          -adm | -ad) ADM=t ;;
869    
870            -oad) OADM=t; NODEPEND=t ;;
871    
872          -ieee) IEEE=true ;;          -ieee) IEEE=true ;;
873          -noieee) IEEE= ;;          -noieee) IEEE= ;;
874          -gsl) GSL=t ;;          -gsl) GSL=t ;;
# Line 905  if test "x$ADM" = xt ; then Line 911  if test "x$ADM" = xt ; then
911      inputdir=input_ad      inputdir=input_ad
912      ref_outp="output_adm.txt"      ref_outp="output_adm.txt"
913      EXECUTABLE="mitgcmuv_ad"      EXECUTABLE="mitgcmuv_ad"
914    elif test "x$OADM" = xt ; then
915        code_dir=code_oad
916        inputdir=input_oad
917        ref_outp="output_oadm.txt"
918        EXECUTABLE="mitgcmuv_ad"
919  else  else
920      code_dir=code      code_dir=code
921      inputdir=input      inputdir=input
# Line 957  if test "x$OPTFILE" = xNONE -a "x$MITGCM Line 968  if test "x$OPTFILE" = xNONE -a "x$MITGCM
968      OPTFILE=$MITGCM_OF      OPTFILE=$MITGCM_OF
969  fi  fi
970    
971    RUNLOG="run.log"
972  OUTPUTFILE=$ref_outp  OUTPUTFILE=$ref_outp
973  if test "x$COMMAND" = x ; then  if test "x$COMMAND" = x ; then
974      COMMAND="./$EXECUTABLE > $OUTPUTFILE"      COMMAND="./$EXECUTABLE > $OUTPUTFILE"
# Line 971  echo "OK (COMMAND= $COMMAND )" Line 983  echo "OK (COMMAND= $COMMAND )"
983  #  (use default or load experiment-specific list from file "tr_checklist")  #  (use default or load experiment-specific list from file "tr_checklist")
984  # content : 1rst = main variable used to decide if it pass or FAIL  # content : 1rst = main variable used to decide if it pass or FAIL
985  #         others = number of matching digits to be printed in summary.txt  #         others = number of matching digits to be printed in summary.txt
986  if test "x$ADM" = x ; then  if test "x$ADM" = x -a "x$OADM" = x; then
987      DEF_CHECK_LIST='PS PS T+ S+ U+ V+ pt1+ pt2+ pt3+ pt4+ pt5+'      DEF_CHECK_LIST='PS PS T+ S+ U+ V+ pt1+ pt2+ pt3+ pt4+ pt5+'
988      EMPTY_RESULTS='.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..'      EMPTY_RESULTS='.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..'
989      LEN_CHECK_LIST=`echo $DEF_CHECK_LIST | sed 's/ [a-zA-Z0-9]*+/&mn &mx &av &sd/g' | awk '{print NF-1}'`      LEN_CHECK_LIST=`echo $DEF_CHECK_LIST | sed 's/ [a-zA-Z0-9]*+/&mn &mx &av &sd/g' | awk '{print NF-1}'`
# Line 995  fi Line 1007  fi
1007    
1008  #  Create a uniquely named directory to store results  #  Create a uniquely named directory to store results
1009  CMDLINE=$0  CMDLINE=$0
1010  for xx in "$@" ; do CMDLINE="$CMDLINE '$xx'" ; done  for xx in "$@" ; do nw=`echo $xx | wc -w`
1011        if test $nw = '1' ; then CMDLINE="$CMDLINE $xx"
1012                            else CMDLINE="$CMDLINE '$xx'" ; fi
1013    done
1014    #for xx in "$@" ; do CMDLINE="$CMDLINE '$xx'" ; done
1015  MACH=`hostname`  MACH=`hostname`
1016  UNAMEA=`uname -a`  UNAMEA=`uname -a`
1017  DATE=`date +%Y%m%d`  DATE=`date +%Y%m%d`
1018  BASE="tr_"$MACH"_"$DATE"_"  BASE="tr_"$MACH"_"$DATE"_"
1019  if test "x$OUTDIR" != x ; then  if test "x$OUTDIR" != x ; then
1020      BASE="tr_"$OUTDIR"_"$DATE"_"      BASE="tr_"$OUTDIR"_"$DATE"_"
1021    else
1022        short_name=`hostname | sed 's/\..*$//'`
1023        BASE="tr_"$short_name"_"$DATE"_"
1024  fi  fi
1025  DNUM=0  DNUM=0
1026  DRESULTS="$BASE$DNUM"  DRESULTS="$BASE$DNUM"
# Line 1048  else Line 1067  else
1067  fi  fi
1068  echo  echo
1069  echo >> $SUMMARY  echo >> $SUMMARY
1070  if test "x$ADM" = x ; then  if test "x$ADM" = x -a "x$OADM" = x; then
1071      if [ $MATCH_CRIT -lt 10 ] ;      if [ $MATCH_CRIT -lt 10 ] ;
1072      then line_0="default  "$MATCH_CRIT ;      then line_0="default  "$MATCH_CRIT ;
1073      else line_0="default "$MATCH_CRIT ; fi      else line_0="default "$MATCH_CRIT ; fi
# Line 1059  if test "x$ADM" = x ; then Line 1078  if test "x$ADM" = x ; then
1078      line_3="N n k u  2  i  a  a  d  i  a  a  d  i  a  a  d  i  a  a  d"      line_3="N n k u  2  i  a  a  d  i  a  a  d  i  a  a  d  i  a  a  d"
1079      line_4="2 d e n  d  n  x  n  .  n  x  n  .  n  x  n  .  n  x  n  ."      line_4="2 d e n  d  n  x  n  .  n  x  n  .  n  x  n  .  n  x  n  ."
1080      for ii in $PTRACERS_NUM ; do      for ii in $PTRACERS_NUM ; do
         #  tst=`eval 'echo $HAVE_PTR0'$ii`  
         #  if test "x$tst" = xt ; then  
1081          line_0="$line_0  --PTR 0"$ii"--"          line_0="$line_0  --PTR 0"$ii"--"
1082          line_1="$line_1        m  s"          line_1="$line_1        m  s"
1083          line_2="$line_2  m  m  e  ."          line_2="$line_2  m  m  e  ."
1084          line_3="$line_3  i  a  a  d"          line_3="$line_3  i  a  a  d"
1085          line_4="$line_4  n  x  n  ."          line_4="$line_4  n  x  n  ."
         #  fi  
1086      done      done
1087      echo "$line_0" | tee -a $SUMMARY      echo "$line_0" | tee -a $SUMMARY
1088      echo "$line_1" | tee -a $SUMMARY      echo "$line_1" | tee -a $SUMMARY
# Line 1127  for dir in $TESTDIRS ; do Line 1143  for dir in $TESTDIRS ; do
1143          echo "can't read \"$fout\" -- skipping $dir"          echo "can't read \"$fout\" -- skipping $dir"
1144          continue          continue
1145      fi      fi
     if test "x$ADM" = x ; then  
         check_for_add_mon_output  $fout  
     fi  
1146    
1147      # Check for additional types of monitor output      # Check for specific files for particular type of run
1148    
1149      if test ! -r $CODE_DIR"/SIZE.h_mpi" -a "x$MPI" = "xt" ; then      if test ! -r $CODE_DIR"/SIZE.h_mpi" -a "x$MPI" = "xt" ; then
1150          echo "can't find \"$CODE_DIR/SIZE.h_mpi\" -- skipping $dir"          echo "can't find \"$CODE_DIR/SIZE.h_mpi\" -- skipping $dir"
Legend:
Removed from v.1.115  
changed lines
  Added in v.1.122
  ViewVC Help
Powered by ViewVC 1.1.22