/[MITgcm]/MITgcm/verification/testreport

Diff of /MITgcm/verification/testreport

Parent Directory | Revision Log | View Revision Graph Revision Graph | View Patch Patch

-revision 1.46 by jmc,
Sun Jul 18 21:27:42 2004 UTC
+revision 1.71 by jmc,
Tue Aug 16 17:12:46 2005 UTC
 Line 27 
 usage()
      echo "                             (DEF=\"make output.txt\")"
      echo "  (-m|-make) STRING        command to use for \"make\""
      echo "                             (DEF=\"make\")"
+     echo "  (-odir) STRING           used to build output directory name"
+     echo "                             (DEF=\"hostname\")"
+     echo "  (-ptracers|-ptr) STRING  specify which ptracers to test"
+     echo "                             (DEF=\"1 2 3 4 5\")"
      echo "  (-j) JOBS                use \"make -j JOBS\" for parallel builds"
      echo "  (-clean)                 *ONLY* run \"make CLEAN\""
      echo "  (-quick|-q)              same as \"-nogenmake -noclean -nodepend\""
-Line 35 
 usage()
+Line 39 
 usage()
      echo "  (-nodepend|-nd)          skip the \"make depend\" stage"
      echo "  (-deldir|-dd)            on success, delete the output directory"
      echo
-     echo "and where STRING follows a whitespace-delimited format"
+     echo "and where STRING can be a whitespace-delimited list"
      echo "such as:"
+     echo
      echo "  -t 'exp0 exp2 exp3' "
      echo "  -addr='abc@123.com testing@home.org'"
      echo
+     echo "provided that the expression is properly quoted within the current"
+     echo "shell (note the use of single quotes to protect white space)."
+     echo
      exit 1
  }
-Line 89 
 testoutput_for_prop()
+Line 97 
 testoutput_for_prop()
      fi
      if [ -r $1/$4/output.txt ]; then
          grep "$2" $1/$4/output.txt | sed 's/.*=//' | cat -n > tmp1.txt
-         lncnt=`wc -l tmp1.txt | awk '{print $1}' `
+         lncntA=`wc -l tmp1.txt | awk '{print $1}' `
-         if [ $lncnt -lt 3 ]; then
+         if [ $lncntA -lt 3 ]; then
              if [ $verbose -gt 0 ]; then
                  echo Not enough lines of output when searching for "$2" 1>&2
              fi
-Line 104 
 testoutput_for_prop()
+Line 112 
 testoutput_for_prop()
          echo testoutput_for_prop: grep "$2" $1/results/output.txt$5 1>&2
      fi
      grep "$2" $1/results/output.txt$5 | sed 's/.*=//' | cat -n > tmp2.txt
-     lncnt=`wc -l tmp2.txt | awk '{print $1}' `
+     lncntB=`wc -l tmp2.txt | awk '{print $1}' `
-     if [ $lncnt -lt 3 ]; then
+     if [ $lncntB -lt 3 ]; then
          if [ $verbose -gt 0 ]; then
              echo Not enough lines of output when searching for "$2" 1>&2
          fi
          return 99
      fi
+     if [ $lncntA -ne $lncntB ]; then
+         if [ $verbose -gt 0 ]; then
+             echo Not same Nb of lines when searching for "$2" ":" $lncntA $lncntB 1>&2
+         fi
+         return 99
+     fi
+     non_real_numb=`egrep -c -i 'NAN|INF' tmp1.txt`
+     if [ $non_real_numb -gt 0 ]; then
+         echo testoutput_for_prop: output.txt has $non_real_numb not real numbers 1>&2
+         return 99
+     fi
      if [ $debug -gt 0 ]; then
          echo testoutput_for_prop: join tmp1.txt tmp2.txt 1>&2
      fi
-Line 171 
 testoutput_ad()
+Line 190 
 testoutput_ad()
      rm -f t[01][56].txt t[56].txt
  }
+ check_for_add_mon_output()
+ {
+     # Check for additional types of monitor output
+     if test "x$1" = x ; then
+         return
+     fi
+     for ii in $PTRACERS_NUM ; do
+         eval "HAVE_PTR0"$ii"=f"
+     done
+     ptr_add="trcstat_ptracerXX_min trcstat_ptracerXX_max"
+     ptr_add="$ptr_add trcstat_ptracerXX_mean trcstat_ptracerXX_sd"
+     for ii in $PTRACERS_NUM ; do
+         for jj in $ptr_add ; do
+             name=`eval "echo $jj | sed -e 's|XX|0"$ii"|g'"`
+             tst=`grep $name $1 | wc -l | awk '{print $1}'`
+             if test ! "x$tst" = x0 ; then
+                 eval "HAVE_PTR0"$ii"=t"
+             fi
+         done
+         #  eval 'echo "HAVE_PTR0'$ii' = $HAVE_PTR0'$ii'"'
+     done
+ }
  testoutput()
  {
      # testoutput directory subdir extension
-Line 200 
 testoutput()
+Line 244 
 testoutput()
          testoutput_for_prop $1 "dynstat_vvel_max" "V maximum" $2 $3; vmax=$?
          testoutput_for_prop $1 "dynstat_vvel_mean" "V mean" $2 $3; vmean=$?
          testoutput_for_prop $1 "dynstat_vvel_sd" "V s.d." $2 $3; vsd=$?
-         dashnum $cg2dres $tmin $tmax $tmean $tsd $smin $smax $smean $ssd \
-             $umin $umax $umean $usd $vmin $vmax $vmean $vsd
+         #  This is for PTRACERS
+         for ii in $PTRACERS_NUM ; do
+             eval `echo "p0"$ii"_min=99"`
+             eval `echo "p0"$ii"_max=99"`
+             eval `echo "p0"$ii"_mean=99"`
+             eval `echo "p0"$ii"_sd=99"`
+             tst=`eval 'echo "$HAVE_PTR0'$ii'"'`
+             #echo 'tst = '$tst
+             if test "x$tst" = xt ; then
+                 a="trcstat_ptracer0"
+                 testoutput_for_prop $1 "$a"$ii"_min"  "p0"$ii"_min"  $2 $3
+                 RETVAL=$? ; eval `echo "p0"$ii"_min="$RETVAL`
+                 testoutput_for_prop $1 "$a"$ii"_max"  "p0"$ii"_max"  $2 $3
+                 RETVAL=$? ; eval `echo "p0"$ii"_max="$RETVAL`
+                 testoutput_for_prop $1 "$a"$ii"_mean" "p0"$ii"_mean" $2 $3
+                 RETVAL=$? ; eval `echo "p0"$ii"_mean="$RETVAL`
+                 testoutput_for_prop $1 "$a"$ii"_sd"   "p0"$ii"_sd"   $2 $3
+                 RETVAL=$? ; eval `echo "p0"$ii"_sd="$RETVAL`
+             fi
+         done
+         allargs="$cg2dres $tmin $tmax $tmean $tsd $smin $smax $smean $ssd"
+         allargs="$allargs $umin $umax $umean $usd $vmin $vmax $vmean $vsd"
+         allargs="$allargs $p01_min $p01_max $p01_mean $p01_sd"
+         allargs="$allargs $p02_min $p02_max $p02_mean $p02_sd"
+         allargs="$allargs $p03_min $p03_max $p03_mean $p03_sd"
+         allargs="$allargs $p04_min $p04_max $p04_mean $p04_sd"
+         allargs="$allargs $p05_min $p05_max $p05_mean $p05_sd"
+         eval "dashnum $allargs"
      else
          testoutput_ad $1 $2 "precision_grdchk_result"
      fi
-Line 233 
 genmakemodel()
+Line 307 
 genmakemodel()
              if test "x$IEEE" != x ; then
                  command="$command -ieee"
              fi
+             if test "x$MPI" = xt ; then
+                 command="$command -mpi"
+             fi
              printf 'genmake ... ' 1>&2
              $command > make.log 2>&1
              RETVAL=$?
              #  Reduce the size of the testing emails!
-             #  cp Makefile $CDIR
+             head -100 Makefile > $CDIR/Makefile_head
              if test "x$RETVAL" != x0 ; then
                  tail make.log
                  echo "genmakemodel: genmake failed" 1>&2
-Line 278 
 makeclean()
+Line 355 
 makeclean()
      fi
  }
+ postclean()
+ {
+     # postclean directory
+     if test "x$POSTCLEAN" = xt ; then
+         (
+             cd $1;
+             if test -r Makefile ; then
+                 $MAKE CLEAN >> /dev/null 2>&1
+             fi
+             exit 0
+         )
+     fi
+ }
  makedependmodel()
  {
      # makedependmodel directory
-Line 389 
 linkdata()
+Line 480 
 linkdata()
              if test "x$ADM" = x ; then
                  files=`( cd ../input ; ls -1 | grep -v CVS )`
                  for i in $files ; do
-                     if test ! -d "../input/"$i ; then
+                     if test ! -d "../input/"$i -a ! -f $i ; then
                          ln -sf "../input/"$i $i
                      fi
                  done
-Line 436 
 runmodel()
+Line 527 
 runmodel()
              # else
              #   cp output.txt_adm $CDIR"/output.txt_adm"
              # fi
+             if test -s STDERR.0000 ; then cp STDERR.0000 $CDIR"/STDERR.0000" ; fi
              return 0
          else
              tail run.log
              echo failed 1>&2
              cp run.log $CDIR"/run.log"
+             if test -s STDERR.0000 ; then cp STDERR.0000 $CDIR"/STDERR.0000" ; fi
              return 1
          fi
      )
-Line 456 
 createcodelet()
+Line 549 
 createcodelet()
  #include <math.h>
  int main( int argc, char** argv )  {
    int linnum,best,lncnt;
-   double a,b,diff;
+   double a,b,abave,relerr;
-   best = -16;
+   best = -22;
    lncnt = 0;
    while( 1 & (lncnt+=1) < 999 )  {
      scanf("%d", &linnum);
      if (linnum == -1)  break;
      scanf("%lf", &a);  scanf("%lf", &b);
-     diff = 0.5*(fabs(a)+fabs(b));
+     abave = 0.5*(fabs(a)+fabs(b));
-     if (diff > 1.e-12) {
+     if (abave > 0.0) {
-       diff=fabs(a-b)/diff;
+       relerr=fabs(a-b)/abave;
-       if (diff > 0.0) {
+       if (relerr > 0.0) { linnum = (int)rint(log10(relerr)); }
-         linnum = (int)log10(diff);
+       else { linnum = -16 ; }
-         best = (best > linnum) ? best : linnum;
+       best = (best > linnum) ? best : linnum;
-       }
-       else {
-         if (best == -16 && diff != 0)  best = -22;
-       }
      }
    }
    if (lncnt == 999) best=-29;
-Line 480 
 int main( int argc, char** argv )  {
+Line 569 
 int main( int argc, char** argv )  {
    return 0;
  }
  EOF
-     cc -o tmp_cmpnum tmp_cmpnum.c -lm
+     $CC -o tmp_cmpnum tmp_cmpnum.c -lm
      if [ -x ./tmp_cmpnum ]; then
          echo "OK"
          return 0
      else
          echo
-         echo "ERROR: failed to compile comparison code"
+         echo "ERROR: failed to compile comparison code -- please specify"
+         echo "  a C compiler using the CC environment variable."
          exit 1
      fi
  }
-Line 567 
 QUICK=f
+Line 657 
 QUICK=f
  NOGENMAKE=f
  NOCLEAN=f
  NODEPEND=f
+ POSTCLEAN=f
  BASH=
  OPTFILE=NONE
-Line 576 
 MPACKDIR="../tools/mpack-1.6"
+Line 667 
 MPACKDIR="../tools/mpack-1.6"
  HAVE_MPACK=
  MPACK="$MPACKDIR/mpack"
  COMMAND=
- MAKE=make
+ if test "x$MAKE" = x ; then
+     MAKE=make
+ fi
+ if test "x$CC" = x ; then
+     CC=cc
+ fi
  JOBS=
  MPI=f
+ OUTDIR=
  DELDIR=
  ADM=
+ # Additional monitor types
+ PTRACERS_NUM="1 2 3 4 5"
  printf "parsing options...  "
  ac_prev=
-Line 632 
 for ac_option ; do
+Line 732 
 for ac_option ; do
          -make=* | --make=*)
              MAKE=$ac_optarg ;;
+         -odir | --odir)
+             ac_prev=OUTDIR ;;
+         -odir=* | --odir=*)
+             OUTDIR=$ac_optarg ;;
+         -ptracers | --ptracers | -ptr | --ptr)
+             ac_prev=PTRACERS_NUM ;;
+         -ptracers=* | --ptracers=* | -ptr=* | --ptr=*)
+             PTRACERS_NUM=$ac_optarg ;;
          -j) ac_prev=JOBS ;;
          -j=*) JOBS=$ac_optarg ;;
          -clean | --clean)
-             CLEANUP=t ;;
+             CLEANUP=t ; DELDIR=t ;;
          -quick | --quick | -q | --q)
              QUICK=t ;;
-Line 647 
 for ac_option ; do
+Line 757 
 for ac_option ; do
          -nodepend | --nodepend | -nd | --nd)
              NODEPEND=t ;;
+         -postclean | --postclean | -pc | --pc)
+             POSTCLEAN=t ;;
          -mpi) MPI=t ;;
          -adm | -ad) ADM=t ;;
-Line 713 
 MACH=`hostname`
+Line 826 
 MACH=`hostname`
  UNAMEA=`uname -a`
  DATE=`date +%Y%m%d`
  BASE="tr_"$MACH"_"$DATE"_"
+ if test "x$OUTDIR" != x ; then
+     BASE="tr_"$OUTDIR"_"$DATE"_"
+ fi
  DNUM=0
  DRESULTS="$BASE$DNUM"
  while test -e $DRESULTS ; do
-Line 758 
 fi
+Line 874 
 fi
  echo
  echo >> $SUMMARY
  if test "x$ADM" = x ; then
-     cat << EOF | tee -a $SUMMARY
+     line_0="            ----T-----  ----S-----  ----U-----  ----V-----"
-                 T           S           U           V
+     line_1="G D M    c        m  s        m  s        m  s        m  s"
- G D M    c        m  s        m  s        m  s        m  s
+     line_2="E p a R  g  m  m  e  .  m  m  e  .  m  m  e  .  m  m  e  ."
- E p a R  g  m  m  e  .  m  m  e  .  m  m  e  .  m  m  e  .
+     line_3="N n k u  2  i  a  a  d  i  a  a  d  i  a  a  d  i  a  a  d"
- N n k u  2  i  a  a  d  i  a  a  d  i  a  a  d  i  a  a  d
+     line_4="2 d e n  d  n  x  n  .  n  x  n  .  n  x  n  .  n  x  n  ."
-d e n  d  n  x  n  .  n  x  n  .  n  x  n  .  n  x  n  .
+     for ii in $PTRACERS_NUM ; do
+         #  tst=`eval 'echo $HAVE_PTR0'$ii`
- EOF
+         #  if test "x$tst" = xt ; then
+         line_0="$line_0  --PTR 0"$ii"--"
+         line_1="$line_1        m  s"
+         line_2="$line_2  m  m  e  ."
+         line_3="$line_3  i  a  a  d"
+         line_4="$line_4  n  x  n  ."
+         #  fi
+     done
+     echo "$line_0" | tee -a $SUMMARY
+     echo "$line_1" | tee -a $SUMMARY
+     echo "$line_2" | tee -a $SUMMARY
+     echo "$line_3" | tee -a $SUMMARY
+     echo "$line_4" | tee -a $SUMMARY
+     echo " "       | tee -a $SUMMARY
  else
      echo "ADJOINT=true" >> $SUMMARY
      echo >> $SUMMARY
-Line 789 
 for dir in $TESTDIRS ; do
+Line 918 
 for dir in $TESTDIRS ; do
          if test -r $dir/input/Makefile ; then
              ( cd $dir/input ; make CLEAN )
          fi
+         (
+             cd $dir
+             rm -rf tr_run.*
+         )
          continue
      fi
-Line 804 
 for dir in $TESTDIRS ; do
+Line 937 
 for dir in $TESTDIRS ; do
          echo "can't read \"$fout\" -- skipping $dir"
          continue
      fi
+     if test "x$ADM" = x ; then
+         check_for_add_mon_output  $fout
+     fi
+     # Check for additional types of monitor output
      builddir="input"
      rundir="input"
-Line 879 
 for dir in $TESTDIRS ; do
+Line 1017 
 for dir in $TESTDIRS ; do
          echo "DATE='$DATE'" >> $CDIR"/summary.txt"
          echo "tdir='$dir'" >> $CDIR"/summary.txt"
-         OLD_COMMAND=$COMMAND
-         COMMAND="./mitgcmuv > output.txt"
          for ex in $extra_runs ; do
-             test -e "$dir/tr_run.$ex" && rm -rf "$dir/tr_run.$ex"
+             test ! -e "$dir/tr_run.$ex" && mkdir "$dir/tr_run.$ex"
-             mkdir "$dir/tr_run.$ex"
+             for ldir in input.$ex input ; do
-             links=`( cd "$dir/input" > /dev/null 2>&1 ; ls -1 | grep -v CVS )`
+                 (
+                     cd "$dir/$ldir" > /dev/null 2>&1
+                     ls -1 2>/dev/null \
+                         | sed -e 's|^CVS$||g' | sed -e 's|^output.txt$||g'
+                 ) > tr_exrun_links
+                 (
+                     cd "$dir/tr_run.$ex"
+                     cat ../../tr_exrun_links | while read i ; do
+                         if test ! "x$i" = x ; then
+                             test ! -r $i  &&  ln -s "../"$ldir"/"$i $i
+                         fi
+                     done
+                 )
+                 test -e tr_exrun_links  &&  rm -f tr_exrun_links
+             done
+             ldir=build
+             (
+                 cd "$dir/$ldir" > /dev/null 2>&1
+                 ls -1 Makefile *.[fFhco] mitgcmuv  2>/dev/null \
+                     | sed -e 's|^CVS$||g' | sed -e 's|^output.txt$||g'
+             ) > tr_exrun_links
              (
                  cd "$dir/tr_run.$ex"
-                 for i in $links; do
+                     cat ../../tr_exrun_links | while read i ; do
-                     ln -s ../input/$i $i
+                         if test ! "x$i" = x ; then
-                 done
+                             test ! -r $i  &&  ln -s "../"$ldir"/"$i $i
-             )
+                         fi
-             links=`( cd "$dir/input.$ex" > /dev/null 2>&1 ; ls -1 | grep -v CVS )`
+                     done
-             (
-                 cd "$dir/tr_run.$ex"
-                 for i in $links; do
-                     test -e $i  &&  rm -f $i
-                     ln -s ../input.$ex/$i $i
-                 done
-                 ln -s ../$builddir/mitgcmuv mitgcmuv
              )
+             test -e tr_exrun_links  &&  rm -f tr_exrun_links
              runmodel $dir/tr_run.$ex && run=Y \
                  && results=`testoutput $dir tr_run.$ex "."$ex`
              fres=`printf '%s %s %s %s' ${genmake:-N} ${makedepend:-N} ${make:-N} ${run:-N}`
-Line 913 
 for dir in $TESTDIRS ; do
+Line 1063 
 for dir in $TESTDIRS ; do
              echo "DATE='$DATE'" >> $CDIR"/summary.txt"
              echo "tdir='$dir'" >> $CDIR"/summary.txt"
          done
-         COMMAND=$OLD_COMMAND
      else
          fres=`printf '%s %s %s %s' ${genmake:-N} ${makedepend:-N} ${make:-N} ${run:-N}`
          fres=$fres"$results   $dir"
-Line 925 
 for dir in $TESTDIRS ; do
+Line 1074 
 for dir in $TESTDIRS ; do
          echo "DATE='$DATE'" >> $CDIR"/summary.txt"
          echo "tdir='$dir'" >> $CDIR"/summary.txt"
      fi
+     postclean $dir/$builddir
      echo "-------------------------------------------------------------------------------"
-Line 966 
 fi
+Line 1117 
 fi
  rm -f tmp_cmpnum.c tmp_cmpnum
  if test "x$CLEANUP" != xt ; then
-     cat $SUMMARY
+     cat $SUMMARY | sed 's/ -- -- -- --//g'
      if test -e tr_out.txt ; then
          mv tr_out.txt tr_out.txt.old
      fi
-     cat $SUMMARY > tr_out.txt
+     cat $SUMMARY | sed 's/ -- -- -- --//g' > tr_out.txt
  fi
  if test "x$DELDIR" = xt ; then

 Legend:



Removed from v.1.46
 


changed lines


 
Added in v.1.71
 Legend:



Removed from v.1.46
 


changed lines


 
Added in v.1.71
-Removed from v.1.46
+Added in v.1.71

	ViewVC Help
Powered by ViewVC 1.1.22