/[MITgcm]/MITgcm/verification/testreport

Diff of /MITgcm/verification/testreport

Parent Directory | Revision Log | View Revision Graph Revision Graph | View Patch Patch

-revision 1.91 by jmc,
Wed Sep  5 00:07:25 2007 UTC
+revision 1.109 by jmc,
Thu Dec 13 18:28:41 2007 UTC
 Line 15 
 usage()
      echo "  (-mpi)                   compile and run using MPI"
      echo "  (-ieee|-noieee)          if possible, use IEEE compiler flags"
      echo "                             (DEF=\"-ieee\")"
+     echo "  (-gsl)                   compile with \"-gsl\" flag"
      echo "  (-of=|-optfile=)STRING   list of optfiles to use"
      echo "  (-a|-addr) STRING        list of email recipients"
-     echo "                             (DEF=\"edhill@mitgcm.org\")"
+     echo "                             (DEF=\"\" no email is sent)"
      echo "  (-t|-tdir) STRING        list of group and/or exp. dirs to test"
      echo "                             (recognized groups: basic, tutorials)"
      echo "                             (DEF=\"\" which test all)"
-Line 35 
 usage()
+Line 36 
 usage()
      echo "                             (DEF=\"hostname\")"
      echo "  (-ptr|-ptracers) STRING  specify which ptracers to test"
      echo "                             (DEF=\"1 2 3 4 5\")"
+     echo "  (-match) NUMBER          Matching Criteria (number of digits)"
+     echo "                             (DEF=\"12\")"
      echo "  (-j) JOBS                use \"make -j JOBS\" for parallel builds"
      echo "  (-clean)                 *ONLY* run \"make CLEAN\""
      echo "  (-quick|-q)              same as \"-nogenmake -noclean -nodepend\""
-Line 92 
 build_mpack()
+Line 95 
 build_mpack()
      echo "OK"
  }
- testoutput_for_prop()
+ testoutput_var()
  {
-     # testoutput_for_prop dir s1 label subdir extension
+     # testoutput_var dir s1 label subdir reference_output
      #
-     #  compares files $dir/$subdir/$OUTPUTFILE and $dir/results/output.txt
+     #  compares 1 variable output selected from file $dir/$subdir/$OUTPUTFILE
-     #  using search strings s1 and text label
+     #     with same output from reference file $dir/results/$reference_output
+     #  using search strings s1 and text label
      if [ $debug -gt 0 ]; then
-         echo testoutput_for_prop: grep "$2" $1/$4/$OUTPUTFILE 1>&2
+         echo testoutput_var: grep "$2" $1/$4/$OUTPUTFILE 1>&2
      fi
      if [ -r $1/$4/$OUTPUTFILE ]; then
          grep "$2" $1/$4/$OUTPUTFILE | sed 's/.*=//' | cat -n > tmp1.txt
          lncntA=`wc -l tmp1.txt | awk '{print $1}' `
-         if [ $lncntA -lt 3 ]; then
+         if [ $lncntA -lt 2 ]; then
              if [ $verbose -gt 0 ]; then
                  echo Not enough lines of output when searching for "$2" 1>&2
              fi
              return 99
          fi
      else
-         echo testoutput_for_prop: $OUTPUTFILE from model run was not readable 1>&2
+         echo testoutput_var: $OUTPUTFILE from model run was not readable 1>&2
          return 99
      fi
      if [ $debug -gt 0 ]; then
-         echo testoutput_for_prop: grep "$2" $1/results/output.$5 1>&2
+         echo testoutput_var: grep "$2" $1/results/$5 1>&2
      fi
-     grep "$2" $1/results/output.$5 | sed 's/.*=//' | cat -n > tmp2.txt
+     grep "$2" $1/results/$5 | sed 's/.*=//' | cat -n > tmp2.txt
      lncntB=`wc -l tmp2.txt | awk '{print $1}' `
-     if [ $lncntB -lt 3 ]; then
+     if [ $lncntB -lt 2 ]; then
          if [ $verbose -gt 0 ]; then
              echo Not enough lines of output when searching for "$2" 1>&2
          fi
-Line 134 
 testoutput_for_prop()
+Line 138 
 testoutput_for_prop()
      fi
      has_nan=`cat tmp1.txt | grep -i nan | wc -l`
      if [ $has_nan -gt 0  ] ; then
-         echo testoutput_for_prop: $OUTPUTFILE contains $has_nan NaN values  1>&2
+         echo testoutput_var: $OUTPUTFILE contains $has_nan NaN values  1>&2
          return 99
      fi
      has_inf=`cat tmp1.txt | grep -i inf | wc -l`
      if [ $has_inf -gt 0  ] ; then
-         echo testoutput_for_prop: $OUTPUTFILE contains $has_inf Inf values  1>&2
+         echo testoutput_var: $OUTPUTFILE contains $has_inf Inf values  1>&2
          return 99
      fi
      if [ $debug -gt 0 ]; then
-         echo testoutput_for_prop: join tmp1.txt tmp2.txt 1>&2
+         echo testoutput_var: join tmp1.txt tmp2.txt 1>&2
      fi
      join tmp1.txt tmp2.txt | awk '{print $1 " " $2 " " $3}' > tmp3.txt
      if [ $debug -gt 0 ]; then
-         echo testoutput_for_prop: compare_lines 1>&2
+         echo testoutput_var: compare_lines 1>&2
      fi
      if [ $verbose -gt 1 ]; then
          cat tmp3.txt 1>&2
-Line 158 
 testoutput_for_prop()
+Line 162 
 testoutput_for_prop()
      digits_of_similarity=`./tr_cmpnum < tmp4.txt`
      if [ $digits_of_similarity -eq 99 ]; then
          if [ $verbose -gt 0 ]; then
-             echo testoutput_for_prop: No comparison was available for \"$2\" 1>&2
+             echo testoutput_var: No comparison was available for \"$3\" 1>&2
          fi
          digits_of_similarity=99
      else
          if [ $verbose -gt 0 ]; then
-             echo There were $digits_of_similarity decimal places of similarity for \"$2\" 1>&2
+             echo There were $digits_of_similarity decimal places of similarity for \"$3\" 1>&2
          fi
      fi
      rm -f tmp1.txt tmp2.txt tmp3.txt tmp4.txt
-Line 171 
 testoutput_for_prop()
+Line 175 
 testoutput_for_prop()
      return $digits_of_similarity
  }
- dashnum()
- {
-     # dashnum n1 n2 n3 ...
-     #
-     #  print numbers using %3i format or "--" if number = 99
-     for num in $@ ; do
-         if [ $num = 99 ]; then
-             printf ' --'
-         else
-             printf '%3i' $num
-         fi
-     done
- }
- testoutput_ad()
- {
-     grep $3 $1/results_ad/output_adm.txt | awk '{print NR " " $5}' > t05.txt
-     grep $3 $1/$2/$OUTPUTFILE | awk '{print NR " " $5}' > t15.txt
-     grep $3 $1/results_ad/output_adm.txt | awk '{print NR " " $6}' > t06.txt
-     grep $3 $1/$2/$OUTPUTFILE | awk '{print NR " " $6}' > t16.txt
-     join t05.txt t15.txt > t5.txt
-     join t06.txt t16.txt > t6.txt
-     echo "-1" >> t5.txt
-     echo "-1" >> t6.txt
-     digits_5=`./tr_cmpnum < t5.txt`
-     digits_6=`./tr_cmpnum < t6.txt`
-     dashnum $digits_5 $digits_6
-     rm -f t[01][56].txt t[56].txt
- }
  check_for_add_mon_output()
  {
      # Check for additional types of monitor output
-Line 227 
 check_for_add_mon_output()
+Line 200 
 check_for_add_mon_output()
      done
  }
- testoutput()
+ testoutput_run()
  {
-     # testoutput directory subdir extension
+     # testoutput_run directory subdir reference_output
      #
-     #  test output in "directory"
+     #  test output from 1 run in "directory"
-     if test "x$ADM" = x ; then
+ # --> same processing for adjoint & forward test
-         if [ $debug -gt 0 ]; then
+         # default list of output variables to be checked:
-             echo testoutput: testoutput_for_prop $1 cg2d_init_res 1>&2
+         #  1rst : main variable used to decide if it pass or FAIL
-         fi
+         #  others : number of matching digits to be printed in summary.txt
-         testoutput_for_prop $1 "cg2d_init_res" "cg2d init. residual" $2 $3; cg2dres=$?
+         listChk=$DEF_CHECK_LIST
-         if [ $debug -gt 0 ]; then
+         #  load experiment-specific list from file "tr_checklist" (if it exist)
-             echo testoutput: cg2dres=$cg2dres 1>&2
+         if test -r $1/$2/tr_checklist ; then listChk=`cat $1/$2/tr_checklist` ; fi
-         fi
+         sVar=`echo $listChk | awk '{print $1}'`
-         testoutput_for_prop $1 "dynstat_theta_min" "theta minimum" $2 $3; tmin=$?
+         # remove 1rst var and expand the list: + => min max mean s.d
-         testoutput_for_prop $1 "dynstat_theta_max" "theta maximum" $2 $3; tmax=$?
+         listVar=`echo $listChk | sed 's/ [a-zA-Z0-9]*+/&mn &mx &av &sd/g' \
-         testoutput_for_prop $1 "dynstat_theta_mean" "theta mean" $2 $3; tmean=$?
+                                | sed 's/+//g' | sed "s/^$sVar//"`
-         testoutput_for_prop $1 "dynstat_theta_sd" "theta s.d." $2 $3; tsd=$?
+         if [ $debug -gt 0 ]; then echo "testoutput_run: listVar(I)='$listVar'" 1>&2 ; fi
-         testoutput_for_prop $1 "dynstat_salt_min" "salt minimum" $2 $3; smin=$?
+         for ii in 1 2 3 4 5 6 7 8 9 ; do
-         testoutput_for_prop $1 "dynstat_salt_max" "salt maximum" $2 $3; smax=$?
+           tst=`eval 'echo "$HAVE_PTR0'$ii'"'`
-         testoutput_for_prop $1 "dynstat_salt_mean" "salt mean" $2 $3; smean=$?
+          #echo "-- ptr test=" $tst "number of var=" `echo $listVar | awk '{print NF}'` 1>&2
-         testoutput_for_prop $1 "dynstat_salt_sd" "salt s.d." $2 $3; ssd=$?
+           if test "x$tst" != xt ; then listVar=`echo "$listVar" | sed "s/ pt$ii..//g"` ; fi
-         testoutput_for_prop $1 "dynstat_uvel_min" "U minimum" $2 $3; umin=$?
+         done
-         testoutput_for_prop $1 "dynstat_uvel_max" "U maximum" $2 $3; umax=$?
+         tst=`echo $sVar $listVar | awk '{ for(i=2;i<=NF;i++){t+=($i==$1)}; print t }'`
-         testoutput_for_prop $1 "dynstat_uvel_mean" "U mean" $2 $3; umean=$?
+         if test $tst != 1 ; then
-         testoutput_for_prop $1 "dynstat_uvel_sd" "U s.d." $2 $3; usd=$?
+           if test $tst = 0 ; then echo "==> WARNING: selected var >$sVar< not found" 1>&2
-         testoutput_for_prop $1 "dynstat_vvel_min" "V minimum" $2 $3; vmin=$?
+                  else echo "==> WARNING: found selected var >$sVar< $tst times" 1>&2 ; fi
-         testoutput_for_prop $1 "dynstat_vvel_max" "V maximum" $2 $3; vmax=$?
+           echo "==> WARNING: in checked list:" $listVar 1>&2
-         testoutput_for_prop $1 "dynstat_vvel_mean" "V mean" $2 $3; vmean=$?
+         #- put it back once:
-         testoutput_for_prop $1 "dynstat_vvel_sd" "V s.d." $2 $3; vsd=$?
+           listVar=" $sVar "`echo "$listVar " | sed "s/ $sVar / /g"`
+         fi
-         #  This is for PTRACERS
+         if [ $debug -gt 0 ]; then echo "testoutput_run: listVar(M)='$listVar'" 1>&2 ; fi
-         for ii in $PTRACERS_NUM ; do
+         echo "listVar='$listVar'" > $CDIR"/summary.txt"
-             eval `echo "p0"$ii"_min=99"`
+         allargs=""
-             eval `echo "p0"$ii"_max=99"`
+         for xx in $listVar
-             eval `echo "p0"$ii"_mean=99"`
+         do
-             eval `echo "p0"$ii"_sd=99"`
+           case $xx in
-             tst=`eval 'echo "$HAVE_PTR0'$ii'"'`
+            'PS')  if [ $debug -gt 0 ]
-             #echo 'tst = '$tst
+                   then echo testoutput_run: testoutput_var $1 cg2d_init_res 1>&2 ; fi
-             if test "x$tst" = xt ; then
+                   testoutput_var $1 "cg2d_init_res" "Press. Solver (cg2d)" $2 $3; yy=$?
-                 a="trcstat_ptracer0"
+                   if [ $debug -gt 0 ] ; then echo testoutput_run: cg2dres=$yy 1>&2 ; fi ;;
-                 testoutput_for_prop $1 "$a"$ii"_min"  "p0"$ii"_min"  $2 $3
+           'Cost') testoutput_var $1 "ADM  precision_derivative_cost" "ADM Cost" $2 $3; yy=$? ;;
-                 RETVAL=$? ; eval `echo "p0"$ii"_min="$RETVAL`
+           'Grad') testoutput_var $1 "ADM  precision_derivative_grad" "ADM Grad" $2 $3; yy=$? ;;
-                 testoutput_for_prop $1 "$a"$ii"_max"  "p0"$ii"_max"  $2 $3
+            'Tmn') testoutput_var $1 "dynstat_theta_min"  "Theta minimum"  $2 $3; yy=$? ;;
-                 RETVAL=$? ; eval `echo "p0"$ii"_max="$RETVAL`
+            'Tmx') testoutput_var $1 "dynstat_theta_max"  "Theta maximum"  $2 $3; yy=$? ;;
-                 testoutput_for_prop $1 "$a"$ii"_mean" "p0"$ii"_mean" $2 $3
+            'Tav') testoutput_var $1 "dynstat_theta_mean" "Theta mean"     $2 $3; yy=$? ;;
-                 RETVAL=$? ; eval `echo "p0"$ii"_mean="$RETVAL`
+            'Tsd') testoutput_var $1 "dynstat_theta_sd"   "Theta Std.Dev"  $2 $3; yy=$? ;;
-                 testoutput_for_prop $1 "$a"$ii"_sd"   "p0"$ii"_sd"   $2 $3
+            'Smn') testoutput_var $1 "dynstat_salt_min"  "Salt minimum"    $2 $3; yy=$? ;;
-                 RETVAL=$? ; eval `echo "p0"$ii"_sd="$RETVAL`
+            'Smx') testoutput_var $1 "dynstat_salt_max"  "Salt maximum"    $2 $3; yy=$? ;;
-             fi
+            'Sav') testoutput_var $1 "dynstat_salt_mean" "Salt mean"       $2 $3; yy=$? ;;
-         done
+            'Ssd') testoutput_var $1 "dynstat_salt_sd"   "Salt Std.Dev"    $2 $3; yy=$? ;;
+            'Umn') testoutput_var $1 "dynstat_uvel_min"  "U minimum"       $2 $3; yy=$? ;;
-         allargs="$cg2dres $tmin $tmax $tmean $tsd $smin $smax $smean $ssd"
+            'Umx') testoutput_var $1 "dynstat_uvel_max"  "U maximum"       $2 $3; yy=$? ;;
-         allargs="$allargs $umin $umax $umean $usd $vmin $vmax $vmean $vsd"
+            'Uav') testoutput_var $1 "dynstat_uvel_mean" "U mean"          $2 $3; yy=$? ;;
-         allargs="$allargs $p01_min $p01_max $p01_mean $p01_sd"
+            'Usd') testoutput_var $1 "dynstat_uvel_sd"   "U Std.Dev"       $2 $3; yy=$? ;;
-         allargs="$allargs $p02_min $p02_max $p02_mean $p02_sd"
+            'Vmn') testoutput_var $1 "dynstat_vvel_min"  "V minimum"       $2 $3; yy=$? ;;
-         allargs="$allargs $p03_min $p03_max $p03_mean $p03_sd"
+            'Vmx') testoutput_var $1 "dynstat_vvel_max"  "V maximum"       $2 $3; yy=$? ;;
-         allargs="$allargs $p04_min $p04_max $p04_mean $p04_sd"
+            'Vav') testoutput_var $1 "dynstat_vvel_mean" "V mean"          $2 $3; yy=$? ;;
-         allargs="$allargs $p05_min $p05_max $p05_mean $p05_sd"
+            'Vsd') testoutput_var $1 "dynstat_vvel_sd"   "V Std.Dev"       $2 $3; yy=$? ;;
+         'pt1mn'|'pt2mn'|'pt3mn'|'pt4mn'|'pt5mn') ii=`echo $xx | sed 's/pt//' | sed 's/..$//'`
-         eval "dashnum $allargs"
+            testoutput_var $1 "trcstat_ptracer0"$ii"_min"  "p0"$ii"_min"   $2 $3; yy=$? ;;
+         'pt1mx'|'pt2mx'|'pt3mx'|'pt4mx'|'pt5mx') ii=`echo $xx | sed 's/pt//' | sed 's/..$//'`
-     else
+            testoutput_var $1 "trcstat_ptracer0"$ii"_max"  "p0"$ii"_max"   $2 $3; yy=$? ;;
-         testoutput_ad $1 $2 "precision_grdchk_result"
+         'pt1av'|'pt2av'|'pt3av'|'pt4av'|'pt5av') ii=`echo $xx | sed 's/pt//' | sed 's/..$//'`
-     fi
+            testoutput_var $1 "trcstat_ptracer0"$ii"_mean" "p0"$ii"_mean" $2 $3; yy=$? ;;
+         'pt1sd'|'pt2sd'|'pt3sd'|'pt4sd'|'pt5sd') ii=`echo $xx | sed 's/pt//' | sed 's/..$//'`
+            testoutput_var $1 "trcstat_ptracer0"$ii"_sd"   "p0"$ii"_StDv"  $2 $3; yy=$? ;;
+          'Qntmn') testoutput_var $1 "extforcing_qnet_min" "Qnet minimum"  $2 $3; yy=$? ;;
+          'Qntmx') testoutput_var $1 "extforcing_qnet_max" "Qnet maximum"  $2 $3; yy=$? ;;
+          'Qntav') testoutput_var $1 "extforcing_qnet_mean" "Qnet mean"    $2 $3; yy=$? ;;
+          'Qntsd') testoutput_var $1 "extforcing_qnet_sd"  "Qnet Std.Dev"  $2 $3; yy=$? ;;
+          'aSImn') testoutput_var $1 "seaice_area_min"   "SIce Area min"   $2 $3; yy=$? ;;
+          'aSImx') testoutput_var $1 "seaice_area_max"   "SIce Area max"   $2 $3; yy=$? ;;
+          'aSIav') testoutput_var $1 "seaice_area_mean"  "SIce Area mean"  $2 $3; yy=$? ;;
+          'aSIsd') testoutput_var $1 "seaice_area_sd"    "SIce Area StDv"  $2 $3; yy=$? ;;
+          'hSImn') testoutput_var $1 "seaice_heff_min"   "SIce Heff min"   $2 $3; yy=$? ;;
+          'hSImx') testoutput_var $1 "seaice_heff_max"   "SIce Hell max"   $2 $3; yy=$? ;;
+          'hSIav') testoutput_var $1 "seaice_heff_mean"  "SIce Hell mean"  $2 $3; yy=$? ;;
+          'hSIsd') testoutput_var $1 "seaice_heff_sd"    "SIce Hell StDv"  $2 $3; yy=$? ;;
+         'AthSiG') testoutput_var $1 "thSI_Ice_Area_G" "thSIc Area Global" $2 $3; yy=$? ;;
+         'AthSiS') testoutput_var $1 "thSI_Ice_Area_S" "thSIc Area South"  $2 $3; yy=$? ;;
+         'AthSiN') testoutput_var $1 "thSI_Ice_Area_N" "thSIc Area North"  $2 $3; yy=$? ;;
+         'HthSiG') testoutput_var $1 "thSI_IceH_ave_G" "thSIc H Global"    $2 $3; yy=$? ;;
+         'HthSiS') testoutput_var $1 "thSI_IceH_ave_S" "thSIc H South"     $2 $3; yy=$? ;;
+         'HthSiN') testoutput_var $1 "thSI_IceH_ave_N" "thSIc H North"     $2 $3; yy=$? ;;
+               *) yy=99; echo "WARNING: asking for var=$xx : not recognized !" 1>&2 ;;
+           esac
+           if test $xx = $sVar
+           then allargs="$allargs > $yy <"
+           else allargs="$allargs $yy"
+           fi
+         done
+         nbVar=`echo $listVar | awk '{print NF}'`
+         if [ $nbVar -lt $LEN_CHECK_LIST ] ; then
+         #-- fill line (up to standard length) with dot:
+           adNul=`expr $LEN_CHECK_LIST - $nbVar | awk '{for(i=1;i<=$1;i++){print "."}}'`
+           echo $allargs $adNul
+         else
+           echo $allargs
+         fi
+ # <-- same processing for adjoint & forward test
  }
  genmakemodel()
-Line 318 
 genmakemodel()
+Line 328 
 genmakemodel()
              if test "x$IEEE" != x ; then
                  command="$command -ieee"
              fi
+             if test "x$GSL" = xt ; then
+                 command="$command -gsl"
+             fi
              if test "x$MPI" = xt ; then
                  command="$command -mpi"
              fi
-Line 390 
 run_clean()
+Line 403 
 run_clean()
              find . -type l -exec rm {} \;
              rm -f $EXECUTABLE *.txt STD* *diagnostics.log datetime
              rm -rf mnc_test_*
+             rm -f *_MIT_CE_000.opt0000 costfunction*0000
              echo successful 1>&2
              exit 0
          )
-Line 518 
 linkdata()
+Line 532 
 linkdata()
                      if test -h eedata ; then rm -f eedata ; fi
                  fi
              fi
+             prevDir='NONE'
              for ldir in $* ; do
-                 if test -d "../"$ldir ; then
+                 if test -d "../"$ldir -a $ldir != $prevDir ; then
                      printf 'ldir='${ldir} 1>&2
                      files=`( cd "../"$ldir ; ls -1 | grep -v CVS )`
                      for i in $files ; do
-Line 535 
 linkdata()
+Line 550 
 linkdata()
                      fi
                      printf ' ; ' 1>&2
                  fi
+                 prevDir=$ldir
              done
          )
      fi
-Line 551 
 runmodel()
+Line 567 
 runmodel()
          printf 'runmodel in %s ...' $1 1>&2
          # make output.txt
          echo
+         if test -L $EXECUTABLE -a -x "../"$builddir"/"$EXECUTABLE ; then
+             diff -q $EXECUTABLE "../"$builddir"/"$EXECUTABLE > /dev/null 2>&1
+             outD=$? ; if test $outD != 0 ; then rm -f $EXECUTABLE ; rm -f run.log ; fi
+         fi
          if test ! -x $EXECUTABLE -a -x "../"$builddir"/"$EXECUTABLE ; then
              echo " link" $EXECUTABLE "from dir ../"$builddir > run.log_00
              ln -sf "../"$builddir"/"$EXECUTABLE .
-Line 562 
 runmodel()
+Line 582 
 runmodel()
                  RETVAL=8
                  ENDVAL=-1
          else
-             if test $OUTPUTFILE -ot $EXECUTABLE ; then
+             if test ! -f $OUTPUTFILE -o $OUTPUTFILE -ot $EXECUTABLE ; then
+               # output do not exist or is older than executable:
                  rm -f run.log ; touch run.log
                  if test -f run.log_00 ; then cat run.log_00 >> run.log ; fi
                  ( eval $COMMAND ) >> run.log 2>&1
-Line 613 
 int main( int argc, char** argv )  {
+Line 634 
 int main( int argc, char** argv )  {
    double a,b,abave,relerr;
    best = -22;
    lncnt = 0;
-   while( 1 & (lncnt+=1) < 999 )  {
+   while( 1 & ( (lncnt+=1) < 999 ) )  {
      scanf("%d", &linnum);
      if (linnum == -1)  break;
      scanf("%lf", &a);  scanf("%lf", &b);
-Line 657 
 formatresults()
+Line 678 
 formatresults()
      nm=$1
      printf '%s %s %s %s' $2 $3 $4 $5
      shift; shift; shift; shift; shift;
-     printf '%3s' $@
+     listPrt=$@
+     listRes=`echo $listPrt | sed 's/>//' | sed 's/<//'`
+     xx=`echo $listPrt | sed 's/.*>//' | sed 's/<.*//' | awk '{print $1}'`
+     printf '%3s' $listPrt
+ #   line below does not work on hp-ux_ia64 : do those substitutions later on
+ #   printf '%3s' $listPrt | sed 's/ 99/ --/g' | sed 's/  > />/' | sed 's/  < /</'
-     if [ $1 = '--' ]; then
+     if [ $xx = '..' ]; then
+         printf ' N/O '
+     elif [ $xx = '--' ]; then
+         printf ' N/O '
+     elif [ $xx = 99 ]; then
          printf ' N/O '
      else
-         if [ $1 -gt 12 ]; then
+         if [ $xx -ge $MATCH_CRIT ]; then
              printf ' pass'
          else
              printf ' FAIL'
-Line 677 
 scandirs()
+Line 707 
 scandirs()
  {
      if [ $# -eq 1 ]; then
          for arg in * ; do
-             test -d $arg/$1 && echo $arg
+             test -f $arg/$1 && echo $arg
          done
      else
          echo $*
-Line 692 
 scandirs()
+Line 722 
 scandirs()
  debug=0
  verbose=1
  clean=0
- expts=''
- # ieee=1
  IEEE=true
  if test "x$MITGCM_IEEE" != x ; then
      IEEE=$MITGCM_IEEE
  fi
+ GSL=f
  CLEANUP=f
  QUICK=f
-Line 734 
 ADM=
+Line 762 
 ADM=
  # Additional monitor types
  PTRACERS_NUM="1 2 3 4 5"
+ MATCH_CRIT=13
  printf "parsing options...  "
  ac_prev=
-Line 798 
 for ac_option ; do
+Line 828 
 for ac_option ; do
          -ptracers=* | --ptracers=* | -ptr=* | --ptr=*)
              PTRACERS_NUM=$ac_optarg ;;
+         -match | --match ) ac_prev=MATCH_CRIT ;;
+         -match=* | --match=* ) MATCH_CRIT=$ac_optarg ;;
          -j) ac_prev=JOBS ;;
          -j=*) JOBS=$ac_optarg ;;
-Line 824 
 for ac_option ; do
+Line 857 
 for ac_option ; do
          -ieee) IEEE=true ;;
          -noieee) IEEE= ;;
+         -gsl) GSL=t ;;
          -verbose) verbose=2 ;;
          -debug) debug=1 ;;
-Line 857 
 if test "x$QUICK" = xt ; then
+Line 891 
 if test "x$QUICK" = xt ; then
      NODEPEND=t
  fi
+ #- setting for forward or ADM testing
+ if test "x$ADM" = xt ; then
+     code_dir=code_ad
+     inputdir=input_ad
+     ref_outp="output_adm.txt"
+     EXECUTABLE="mitgcmuv_ad"
+ else
+     code_dir=code
+     inputdir=input
+     ref_outp="output.txt"
+     EXECUTABLE="mitgcmuv"
+ fi
  if test "x$TESTDIRS" = x ; then
-     if test "x$ADM" = xt ; then
+     LIST=`scandirs results/$ref_outp`
-         LIST=`scandirs results_ad`
-     else
-         LIST=`scandirs results`
-     fi
  else
      #- expand group of experiments:
      LIST=" "
-Line 906 
 if test "x$OPTFILE" = xNONE -a "x$MITGCM
+Line 949 
 if test "x$OPTFILE" = xNONE -a "x$MITGCM
      OPTFILE=$MITGCM_OF
  fi
- if test "x$ADM" = xt ; then
+ OUTPUTFILE=$ref_outp
-     EXECUTABLE="mitgcmuv_ad"
-     OUTPUTFILE="output_adm.txt"
- else
-     EXECUTABLE="mitgcmuv"
-     OUTPUTFILE="output.txt"
- fi
  if test "x$COMMAND" = x ; then
      COMMAND="./$EXECUTABLE > $OUTPUTFILE"
  fi
-Line 921 
 if test "x$MPI" = xt ; then
+Line 957 
 if test "x$MPI" = xt ; then
      OUTPUTFILE="STDOUT.0000"
  fi
- #echo "OK"
  echo "OK (COMMAND= $COMMAND )"
+ # set the Default List of output variables to be checked:
+ #  (use default or load experiment-specific list from file "tr_checklist")
+ # content : 1rst = main variable used to decide if it pass or FAIL
+ #         others = number of matching digits to be printed in summary.txt
+ if test "x$ADM" = x ; then
+     DEF_CHECK_LIST='PS PS T+ S+ U+ V+ pt1+ pt2+ pt3+ pt4+ pt5+'
+     EMPTY_RESULTS='.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..'
+     LEN_CHECK_LIST=`echo $DEF_CHECK_LIST | sed 's/ [a-zA-Z0-9]*+/&mn &mx &av &sd/g' | awk '{print NF-1}'`
+     ii=`echo $EMPTY_RESULTS | awk '{print NF}'`
+     EMPTY_RESULTS=$EMPTY_RESULTS`expr $LEN_CHECK_LIST - $ii | awk 'BEGIN{FS=":"}{for(i=1;i<=$1;i++){printf "  ."}}'`
+ else
+     DEF_CHECK_LIST='Grad Cost Grad'
+     EMPTY_RESULTS='.. ..'
+     LEN_CHECK_LIST=`echo $DEF_CHECK_LIST | sed 's/ [a-zA-Z0-9]*+/&mn &mx &av &sd/g' | awk '{print NF-1}'`
+ fi
  #  create the FORTRAN comparison code
  createcodelet
-Line 987 
 fi
+Line 1038 
 fi
  echo
  echo >> $SUMMARY
  if test "x$ADM" = x ; then
-     line_0="            ----T-----  ----S-----  ----U-----  ----V-----"
+     if [ $MATCH_CRIT -lt 10 ] ;
+     then line_0="default  "$MATCH_CRIT ;
+     else line_0="default "$MATCH_CRIT ; fi
+        line_0="$line_0  ----T-----  ----S-----  ----U-----  ----V-----"
+ #   line_0="            ----T-----  ----S-----  ----U-----  ----V-----"
      line_1="G D M    c        m  s        m  s        m  s        m  s"
      line_2="E p a R  g  m  m  e  .  m  m  e  .  m  m  e  .  m  m  e  ."
      line_3="N n k u  2  i  a  a  d  i  a  a  d  i  a  a  d  i  a  a  d"
-Line 1011 
 if test "x$ADM" = x ; then
+Line 1066 
 if test "x$ADM" = x ; then
  else
      echo "ADJOINT=true" >> $SUMMARY
      echo >> $SUMMARY
+     if [ $MATCH_CRIT -lt 10 ] ;
+     then line_0="default     "$MATCH_CRIT ;
+     else line_0="default    "$MATCH_CRIT ; fi
+     echo "$line_0" | tee -a $SUMMARY
      cat << EOF | tee -a $SUMMARY
  G D M    C  G
  E p a R  o  r
-Line 1023 
 fi
+Line 1082 
 fi
  #  ...and each test directory...
  for dir in $TESTDIRS ; do
+     # set builddir & rundir:
+     builddir="build"
+     if test ! -d $dir/$builddir ; then mkdir $dir/$builddir ; fi
+     rundir="run"
+     if test ! -d $dir/$rundir ; then
+         rundir=$builddir
+     fi
+     CODE_DIR=$dir/$code_dir
+     BUILD_DIR=$dir/$builddir
      #  Cleanup only!
      if test "x$CLEANUP" = xt ; then
-         if test -r $dir/build/Makefile ; then
+         if test -r $BUILD_DIR/Makefile ; then
              echo '  ------  clean dir:' $dir/build
-             ( cd $dir/build ; make CLEAN )
+             ( cd $BUILD_DIR ; make CLEAN )
          fi
-         if test -d $dir/run/CVS ; then
+         if test -d $dir/$rundir/CVS ; then
-             echo '  ------  clean dir:' $dir/run
+             echo '  ------  clean dir:' $dir/$rundir
-             run_clean $dir/run
+             run_clean $dir/$rundir
          fi
          (
              cd $dir
-Line 1042 
 for dir in $TESTDIRS ; do
+Line 1111 
 for dir in $TESTDIRS ; do
      #  Verify that the testdir exists and contains previous
      #  results in the correct location--or skip this directory!
-     fout=
+     fout=$dir"/results/"$ref_outp
-     if test "x$ADM" = x ; then
-         fout=$dir"/results/output.txt"
-     else
-         fout=$dir"/results_ad/output_adm.txt"
-     fi
      if test ! -r $fout ; then
          echo "can't read \"$fout\" -- skipping $dir"
          continue
-Line 1058 
 for dir in $TESTDIRS ; do
+Line 1122 
 for dir in $TESTDIRS ; do
      # Check for additional types of monitor output
-     builddir="build"
-     if test ! -d $dir/$builddir ; then mkdir $dir/$builddir ; fi
-     rundir="run"
-    #rundir=$builddir
-     if test ! -d $dir/$rundir ; then
-         rundir=$builddir
-     fi
-     if test "x$ADM" = x ; then
-         code_dir=code
-         CODE_DIR=$dir/code
-         input_dirs='input'
-     else
-         code_dir=code_ad
-         CODE_DIR=$dir/code_ad
-         input_dirs='input_ad input'
-     fi
-     BUILD_DIR=$dir/$builddir
      if test ! -r $CODE_DIR"/SIZE.h_mpi" -a "x$MPI" = "xt" ; then
          echo "can't find \"$CODE_DIR/SIZE.h_mpi\" -- skipping $dir"
          continue
-Line 1088 
 for dir in $TESTDIRS ; do
+Line 1133 
 for dir in $TESTDIRS ; do
      #  Check whether there are "extra runs" for this testdir
      extra_runs=
-     if test "x$ADM" = x ; then
+     ex_run_dirs=`( cd $dir ; echo $inputdir.* )`
-         ex_run_dirs=`( cd $dir ; echo input.* )`
+     #echo "ex_run_dirs='$ex_run_dirs'"
-         #echo "ex_run_dirs='$ex_run_dirs'"
+     for exd in $ex_run_dirs ; do
-         for exd in $ex_run_dirs ; do
+         name=`echo $exd | sed -e "s/$inputdir\.//"`
-             name=`echo $exd | sed -e 's/input.//g'`
+         refExOut=`echo $ref_outp | sed "s/\./.${name}./"`
-             outf="$dir/results/output.$name.txt"
+         outf="$dir/results/$refExOut"
-             if test -f $outf -a -r $outf ; then
+         if test -f $outf -a -r $outf ; then
-                 if test "x$MULTI_THREAD" = "xt" ; then
+             if test "x$MULTI_THREAD" = "xt" ; then
-                     if test -r $dir"/"$exd"/eedata.mth" ; then
+                 if test -r $dir"/"$exd"/eedata.mth" ; then
-                         extra_runs="$extra_runs $name"
-                     #else echo $dir"/"$exd"/eedata.mth: not found"
-                     fi
-                 else
                      extra_runs="$extra_runs $name"
+                 #else echo $dir"/"$exd"/eedata.mth: not found"
                  fi
+             else
+                 extra_runs="$extra_runs $name"
              fi
-         done
+         fi
-     fi
+     done
      echo "-------------------------------------------------------------------------------"
      echo
-Line 1116 
 for dir in $TESTDIRS ; do
+Line 1160 
 for dir in $TESTDIRS ; do
      fi
      echo
      unset genmake makedepend make run
-     results='-- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --'
+     results=$EMPTY_RESULTS
      #  Create an output dir for each OPTFILE/tdir combination
      rel_CDIR=$DRESULTS"/"$dir
-Line 1134 
 for dir in $TESTDIRS ; do
+Line 1178 
 for dir in $TESTDIRS ; do
              && symlink_mpifiles $dir $code_dir $builddir \
              && makedependmodel $dir/$builddir && makedepend=Y \
              && makemodel $dir/$builddir && make=Y \
-             && linkdata $dir/$rundir $input_dirs \
+             && linkdata $dir/$rundir $inputdir input \
              && runmodel $dir/$rundir && run=Y \
-             && results=`testoutput $dir $rundir "txt"`
+             && results=`testoutput_run $dir $rundir $ref_outp`
      fi
      echo
-     if test "x$ADM" = x ; then
          fres=`formatresults $dir ${genmake:-N} ${makedepend:-N} ${make:-N} ${run:-N} $results`
          echo
-         echo "$fres" >> $SUMMARY
+         echo "$fres" | sed 's/ 99/ --/g' | sed 's/  > />/' | sed 's/  < /</' >> $SUMMARY
-         echo "fresults='$fres'" > $CDIR"/summary.txt"
+         touch $CDIR"/summary.txt"
+         echo "fresults='$fres'" | sed 's/ 99/ --/g' >> $CDIR"/summary.txt"
          echo "MACH='$MACH'" >> $CDIR"/summary.txt"
          echo "UNAMEA='$UNAMEA'" >> $CDIR"/summary.txt"
          echo "DATE='$DATE'" >> $CDIR"/summary.txt"
          echo "tdir='$dir'" >> $CDIR"/summary.txt"
+         if test "x$ADM" = xt ; then
+             head -1 $dir/$builddir/taf_ad.log >> $CDIR"/summary.txt"
+             grep -A3 'Seconds in section "ALL' $dir/$rundir/$OUTPUTFILE \
+                                 >> $CDIR"/summary.txt"
+         fi
          for ex in $extra_runs ; do
              unset run
-             results='-- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --'
+             results=$EMPTY_RESULTS
+             #  reference output file
+             refExOut=`echo $ref_outp | sed "s/\./.${ex}./g"`
              #  Create an output dir for each OPTFILE/tdir.ex combination
              rel_CDIR=$DRESULTS"/"$dir"."$ex
              mkdir $rel_CDIR
              CDIR=`pwd`"/$rel_CDIR"
              test ! -e "$dir/tr_run.$ex" && mkdir "$dir/tr_run.$ex"
              run_clean $dir/tr_run.$ex
-             linkdata $dir/tr_run.$ex input.$ex input
+             linkdata $dir/tr_run.$ex $inputdir.$ex $inputdir input
              runmodel $dir/tr_run.$ex && run=Y \
-                 && results=`testoutput $dir tr_run.$ex ${ex}".txt"`
+             && results=`testoutput_run $dir tr_run.$ex $refExOut`
-             fres=`printf '%s %s %s %s' ${genmake:-N} ${makedepend:-N} ${make:-N} ${run:-N}`
              fres=`formatresults $dir ${genmake:-N} ${makedepend:-N} ${make:-N} ${run:-N} $results`
              fres="$fres.$ex"
              echo
-             echo "$fres" >> $SUMMARY
+             echo "$fres" | sed 's/ 99/ --/g' | sed 's/  > />/' | sed 's/  < /</' >> $SUMMARY
-             echo "fresults='$fres'" > $CDIR"/summary.txt"
+             touch $CDIR"/summary.txt"
+             echo "fresults='$fres'" | sed 's/ 99/ --/g' >> $CDIR"/summary.txt"
              echo "MACH='$MACH'" >> $CDIR"/summary.txt"
              echo "UNAMEA='$UNAMEA'" >> $CDIR"/summary.txt"
              echo "DATE='$DATE'" >> $CDIR"/summary.txt"
              echo "tdir='$dir.$ex'" >> $CDIR"/summary.txt"
+             if test "x$ADM" = xt ; then
+                 head -1 $dir/$builddir/taf_ad.log >> $CDIR"/summary.txt"
+                 grep -A3 'Seconds in section "ALL' $dir/tr_run.$ex/$OUTPUTFILE \
+                                    >> $CDIR"/summary.txt"
+             fi
              if test "x$POSTCLEAN" = xt ; then
                  run_clean $dir/tr_run.$ex
              fi
          done
-     else
-         fres=`printf '%s %s %s %s' ${genmake:-N} ${makedepend:-N} ${make:-N} ${run:-N}`
-         fres=$fres"$results   $dir"
-         echo
-         echo "$fres" >> $SUMMARY
-         echo "fresults='$fres'" > $CDIR"/summary.txt"
-         echo "MACH='$MACH'" >> $CDIR"/summary.txt"
-         echo "UNAMEA='$UNAMEA'" >> $CDIR"/summary.txt"
-         echo "DATE='$DATE'" >> $CDIR"/summary.txt"
-         echo "tdir='$dir'" >> $CDIR"/summary.txt"
-         grep -A3 'Seconds in section "ALL' $dir/$rundir/$OUTPUTFILE \
-                            >> $CDIR"/summary.txt"
-     fi
      #postclean $dir/$builddir
      if test "x$POSTCLEAN" = xt ; then
-Line 1235 
 fi
+Line 1278 
 fi
  rm -f tr_cmpnum.c tr_cmpnum
  if test "x$CLEANUP" != xt ; then
-     cat $SUMMARY | sed 's/ -- -- -- --//g'
+     cat $SUMMARY | sed 's/ \.  \.  \.  \.  \.  \.  \.  \.  \.  \.  \.  \. //'
      if test -e tr_out.txt ; then
          mv tr_out.txt tr_out.txt.old
      fi
-     cat $SUMMARY | sed 's/ -- -- -- --//g' > tr_out.txt
+     cat $SUMMARY | sed '/^[YN] [YN] [YN] [YN]/ s/ \. //g' > tr_out.txt
  fi
  if test "x$DELDIR" = xt ; then

 Legend:



Removed from v.1.91
 


changed lines


 
Added in v.1.109
 Legend:



Removed from v.1.91
 


changed lines


 
Added in v.1.109
-Removed from v.1.91
+Added in v.1.109

	ViewVC Help
Powered by ViewVC 1.1.22