/[MITgcm]/MITgcm/verification/testreport

Diff of /MITgcm/verification/testreport

Parent Directory | Revision Log | View Revision Graph Revision Graph | View Patch Patch

-revision 1.52 by edhill,
Wed Dec  1 16:59:42 2004 UTC
+revision 1.80 by jmc,
Thu Jun  8 21:39:35 2006 UTC
 Line 27 
 usage()
      echo "                             (DEF=\"make output.txt\")"
      echo "  (-m|-make) STRING        command to use for \"make\""
      echo "                             (DEF=\"make\")"
+     echo "  (-odir) STRING           used to build output directory name"
+     echo "                             (DEF=\"hostname\")"
      echo "  (-ptracers|-ptr) STRING  specify which ptracers to test"
      echo "                             (DEF=\"1 2 3 4 5\")"
      echo "  (-j) JOBS                use \"make -j JOBS\" for parallel builds"
-Line 95 
 testoutput_for_prop()
+Line 97 
 testoutput_for_prop()
      fi
      if [ -r $1/$4/output.txt ]; then
          grep "$2" $1/$4/output.txt | sed 's/.*=//' | cat -n > tmp1.txt
-         lncnt=`wc -l tmp1.txt | awk '{print $1}' `
+         lncntA=`wc -l tmp1.txt | awk '{print $1}' `
-         if [ $lncnt -lt 3 ]; then
+         if [ $lncntA -lt 3 ]; then
              if [ $verbose -gt 0 ]; then
                  echo Not enough lines of output when searching for "$2" 1>&2
              fi
-Line 110 
 testoutput_for_prop()
+Line 112 
 testoutput_for_prop()
          echo testoutput_for_prop: grep "$2" $1/results/output.txt$5 1>&2
      fi
      grep "$2" $1/results/output.txt$5 | sed 's/.*=//' | cat -n > tmp2.txt
-     lncnt=`wc -l tmp2.txt | awk '{print $1}' `
+     lncntB=`wc -l tmp2.txt | awk '{print $1}' `
-     if [ $lncnt -lt 3 ]; then
+     if [ $lncntB -lt 3 ]; then
          if [ $verbose -gt 0 ]; then
              echo Not enough lines of output when searching for "$2" 1>&2
          fi
          return 99
      fi
+     if [ $lncntA -ne $lncntB ]; then
+         if [ $verbose -gt 0 ]; then
+             echo Not same Nb of lines when searching for "$2" ":" $lncntA $lncntB 1>&2
+         fi
+         return 99
+     fi
+     has_nan=`cat tmp1.txt | grep -i nan | wc -l`
+     if [ $has_nan -gt 0  ] ; then
+         echo testoutput_for_prop: output.txt contains $has_nan NaN values  1>&2
+         return 99
+     fi
+     has_inf=`cat tmp1.txt | grep -i inf | wc -l`
+     if [ $has_inf -gt 0  ] ; then
+         echo testoutput_for_prop: output.txt contains $has_inf Inf values  1>&2
+         return 99
+     fi
      if [ $debug -gt 0 ]; then
          echo testoutput_for_prop: join tmp1.txt tmp2.txt 1>&2
      fi
-Line 163 
 dashnum()
+Line 181 
 dashnum()
  testoutput_ad()
  {
-     grep $3 $1/results_ad/output.txt_adm | awk '{print NR " " $5}' > t05.txt
+     grep $3 $1/results_ad/output_adm.txt | awk '{print NR " " $5}' > t05.txt
-     grep $3 $1/$2/output.txt_adm | awk '{print NR " " $5}' > t15.txt
+     grep $3 $1/$2/output_adm.txt | awk '{print NR " " $5}' > t15.txt
-     grep $3 $1/results_ad/output.txt_adm | awk '{print NR " " $6}' > t06.txt
+     grep $3 $1/results_ad/output_adm.txt | awk '{print NR " " $6}' > t06.txt
-     grep $3 $1/$2/output.txt_adm | awk '{print NR " " $6}' > t16.txt
+     grep $3 $1/$2/output_adm.txt | awk '{print NR " " $6}' > t16.txt
      join t05.txt t15.txt > t5.txt
      join t06.txt t16.txt > t6.txt
      echo "-1" >> t5.txt
-Line 286 
 genmakemodel()
+Line 304 
 genmakemodel()
                  command="$command --mods=../code"
              else
                  command="$command --mods=../code_ad"
-                 command="$command -adof=../../../tools/adjoint_options/adjoint_staf"
              fi
              if test "x$OPTFILE" != xNONE ; then
                  command="$command --optfile=$OPTFILE"
-Line 294 
 genmakemodel()
+Line 311 
 genmakemodel()
              if test "x$IEEE" != x ; then
                  command="$command -ieee"
              fi
+             if test "x$MPI" = xt ; then
+                 command="$command -mpi"
+             fi
              printf 'genmake ... ' 1>&2
              $command > make.log 2>&1
              RETVAL=$?
-Line 339 
 makeclean()
+Line 359 
 makeclean()
      fi
  }
+ postclean()
+ {
+     # postclean directory
+     if test "x$POSTCLEAN" = xt ; then
+         (
+             cd $1;
+             if test -r Makefile ; then
+                 $MAKE CLEAN >> /dev/null 2>&1
+             fi
+             exit 0
+         )
+     fi
+ }
  makedependmodel()
  {
      # makedependmodel directory
-Line 450 
 linkdata()
+Line 484 
 linkdata()
              if test "x$ADM" = x ; then
                  files=`( cd ../input ; ls -1 | grep -v CVS )`
                  for i in $files ; do
-                     if test ! -d "../input/"$i ; then
+                     if test ! -d "../input/"$i -a ! -f $i ; then
                          ln -sf "../input/"$i $i
                      fi
                  done
              else
-                 files=`( cd ../input ; ls -1 *.bin | grep -v CVS )`
-                 for i in $files ; do
-                     if test ! -d "../input/"$i ; then
-                         ln -sf "../input/"$i $i
-                     fi
-                 done
                  files=`( cd ../input_ad ; ls -1 | grep -v CVS )`
                  for i in $files ; do
                      if test ! -d "../input_ad/"$i ; then
                          ln -sf "../input_ad/"$i $i
                      fi
                  done
+                 files=`( cd ../input ; ls -1 | grep -v CVS )`
+                 for i in $files ; do
+                     if test ! -d "../input/"$i ; then
+                      if test ! -r $i  ; then
+                         ln -sf "../input/"$i $i
+                      fi
+                     fi
+                 done
              fi
          )
      fi
-Line 480 
 runmodel()
+Line 516 
 runmodel()
      #  (where "$COMMAND" is relative to "directory")
      (
          cd $1
-         printf 'runmodel ... ' 1>&2
+         printf 'runmodel in %s ...' $1 1>&2
          # make output.txt
          echo
          rm -f run.log
+         if test $OUTPUTFILE -ot $EXECUTABLE ; then
+            ( eval $COMMAND ) > run.log 2>&1
+            RETVAL=$?
+         else
+            echo " $OUTPUTFILE is up to date " > run.log 2>&1
+            RETVAL=0
+         fi
          # echo "COMMAND='$COMMAND'"
          # echo "pwd='"`pwd`"'"
-         ( eval $COMMAND ) > run.log 2>&1
-         RETVAL=$?
          if test "x$RETVAL" = x0 ; then
              tail run.log
              echo successful 1>&2
-Line 495 
 runmodel()
+Line 536 
 runmodel()
              # if test "x$ADM" = x ; then
              #   cp output.txt $CDIR"/output.txt"
              # else
-             #   cp output.txt_adm $CDIR"/output.txt_adm"
+             #   cp output_adm.txt $CDIR"/output_adm.txt"
              # fi
              if test -s STDERR.0000 ; then cp STDERR.0000 $CDIR"/STDERR.0000" ; fi
              return 0
-Line 520 
 createcodelet()
+Line 561 
 createcodelet()
  int main( int argc, char** argv )  {
    int linnum,best,lncnt;
    double a,b,abave,relerr;
-   best = -16;
+   best = -22;
    lncnt = 0;
    while( 1 & (lncnt+=1) < 999 )  {
      scanf("%d", &linnum);
-Line 529 
 int main( int argc, char** argv )  {
+Line 570 
 int main( int argc, char** argv )  {
      abave = 0.5*(fabs(a)+fabs(b));
      if (abave > 0.0) {
        relerr=fabs(a-b)/abave;
-       if (relerr > 0.0) {
+       if (relerr > 0.0) { linnum = (int)rint(log10(relerr)); }
-         linnum = (int)log10(relerr);
+       else { linnum = -16 ; }
-         best = (best > linnum) ? best : linnum;
+       best = (best > linnum) ? best : linnum;
-       }
-     }
-     else {
-       if (best == -16 && abave != 0)  best = -22;
      }
    }
    if (lncnt == 999) best=-29;
-Line 543 
 int main( int argc, char** argv )  {
+Line 580 
 int main( int argc, char** argv )  {
    return 0;
  }
  EOF
-     cc -o tmp_cmpnum tmp_cmpnum.c -lm
+     $CC -o tmp_cmpnum tmp_cmpnum.c -lm
      if [ -x ./tmp_cmpnum ]; then
          echo "OK"
          return 0
      else
          echo
-         echo "ERROR: failed to compile comparison code"
+         echo "ERROR: failed to compile comparison code -- please specify"
+         echo "  a C compiler using the CC environment variable."
          exit 1
      fi
  }
-Line 630 
 QUICK=f
+Line 668 
 QUICK=f
  NOGENMAKE=f
  NOCLEAN=f
  NODEPEND=f
+ POSTCLEAN=f
  BASH=
  OPTFILE=NONE
-Line 639 
 MPACKDIR="../tools/mpack-1.6"
+Line 678 
 MPACKDIR="../tools/mpack-1.6"
  HAVE_MPACK=
  MPACK="$MPACKDIR/mpack"
  COMMAND=
- MAKE=make
+ if test "x$MAKE" = x ; then
+     MAKE=make
+ fi
+ if test "x$CC" = x ; then
+     CC=cc
+ fi
  JOBS=
  MPI=f
+ OUTDIR=
  DELDIR=
  ADM=
-Line 698 
 for ac_option ; do
+Line 743 
 for ac_option ; do
          -make=* | --make=*)
              MAKE=$ac_optarg ;;
+         -odir | --odir)
+             ac_prev=OUTDIR ;;
+         -odir=* | --odir=*)
+             OUTDIR=$ac_optarg ;;
          -ptracers | --ptracers | -ptr | --ptr)
              ac_prev=PTRACERS_NUM ;;
          -ptracers=* | --ptracers=* | -ptr=* | --ptr=*)
-Line 707 
 for ac_option ; do
+Line 757 
 for ac_option ; do
          -j=*) JOBS=$ac_optarg ;;
          -clean | --clean)
-             CLEANUP=t ;;
+             CLEANUP=t ; DELDIR=t ;;
          -quick | --quick | -q | --q)
              QUICK=t ;;
-Line 718 
 for ac_option ; do
+Line 768 
 for ac_option ; do
          -nodepend | --nodepend | -nd | --nd)
              NODEPEND=t ;;
+         -postclean | --postclean | -pc | --pc)
+             POSTCLEAN=t ;;
          -mpi) MPI=t ;;
          -adm | -ad) ADM=t ;;
-Line 759 
 if test "x$OPTFILE" = xNONE -a "x$MITGCM
+Line 812 
 if test "x$OPTFILE" = xNONE -a "x$MITGCM
      OPTFILE=$MITGCM_OF
  fi
+ if test "x$ADM" = xt ; then
+     EXECUTABLE="mitgcmuv_ad"
+     OUTPUTFILE="output_adm.txt"
+ else
+     EXECUTABLE="mitgcmuv"
+     OUTPUTFILE="output.txt"
+ fi
  if test "x$ADM" = xt -a "x$COMMAND" = x ; then
-     COMMAND="./mitgcmuv_ad > output.txt_adm 2>&1"
+     COMMAND="./$EXECUTABLE > $OUTPUTFILE"
  fi
  if test "x$COMMAND" = x ; then
-     COMMAND="$MAKE output.txt"
+     COMMAND="./$EXECUTABLE > $OUTPUTFILE"
  fi
- echo "OK"
+ #echo "OK"
+ echo "OK (COMMAND= $COMMAND )"
  #  create the FORTRAN comparison code
  createcodelet
-Line 784 
 MACH=`hostname`
+Line 846 
 MACH=`hostname`
  UNAMEA=`uname -a`
  DATE=`date +%Y%m%d`
  BASE="tr_"$MACH"_"$DATE"_"
+ if test "x$OUTDIR" != x ; then
+     BASE="tr_"$OUTDIR"_"$DATE"_"
+ fi
  DNUM=0
  DRESULTS="$BASE$DNUM"
  while test -e $DRESULTS ; do
-Line 873 
 for dir in $TESTDIRS ; do
+Line 938 
 for dir in $TESTDIRS ; do
          if test -r $dir/input/Makefile ; then
              ( cd $dir/input ; make CLEAN )
          fi
+         (
+             cd $dir
+             rm -rf tr_run.*
+         )
          continue
      fi
-Line 881 
 for dir in $TESTDIRS ; do
+Line 950 
 for dir in $TESTDIRS ; do
      fout=
      if test "x$ADM" = x ; then
          fout=$dir"/results/output.txt"
-         check_for_add_mon_output  $fout
      else
-         fout=$dir"/results_ad/output.txt_adm"
+         fout=$dir"/results_ad/output_adm.txt"
      fi
      if test ! -r $fout ; then
          echo "can't read \"$fout\" -- skipping $dir"
          continue
      fi
+     if test "x$ADM" = x ; then
+         check_for_add_mon_output  $fout
+     fi
      # Check for additional types of monitor output
-Line 935 
 for dir in $TESTDIRS ; do
+Line 1006 
 for dir in $TESTDIRS ; do
      echo "Experiment:  $dir"
      echo
      unset genmake makedepend make run
-     results='-- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --'
+     results='-- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --'
      #  Create an output dir for each OPTFILE/tdir combination
      rel_CDIR=$DRESULTS"/"$dir
-Line 966 
 for dir in $TESTDIRS ; do
+Line 1037 
 for dir in $TESTDIRS ; do
          echo "DATE='$DATE'" >> $CDIR"/summary.txt"
          echo "tdir='$dir'" >> $CDIR"/summary.txt"
-         OLD_COMMAND=$COMMAND
-         COMMAND="./mitgcmuv > output.txt"
          for ex in $extra_runs ; do
-             test -e "$dir/tr_run.$ex" && rm -rf "$dir/tr_run.$ex"
+             unset run
-             mkdir "$dir/tr_run.$ex"
+             results='-- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --'
-             links=`( cd "$dir/input" > /dev/null 2>&1 ; ls -1 | grep -v CVS )`
+             #  Create an output dir for each OPTFILE/tdir.ex combination
+             rel_CDIR=$DRESULTS"/"$dir"."$ex
+             mkdir $rel_CDIR
+             CDIR=`pwd`"/$rel_CDIR"
+             test ! -e "$dir/tr_run.$ex" && mkdir "$dir/tr_run.$ex"
+             for ldir in input.$ex input ; do
+                 (
+                     cd "$dir/$ldir" > /dev/null 2>&1
+                     ls -1 2>/dev/null \
+                         | sed -e 's|^CVS$||g' | sed -e 's|^output.txt$||g'
+                 ) > tr_exrun_links
+                 (
+                     cd "$dir/tr_run.$ex"
+                     cat ../../tr_exrun_links | while read i ; do
+                         if test ! "x$i" = x ; then
+                             test ! -r $i  &&  ln -s "../"$ldir"/"$i $i
+                         fi
+                     done
+                 )
+                 test -e tr_exrun_links  &&  rm -f tr_exrun_links
+             done
+             ldir=build
              (
-                 cd "$dir/tr_run.$ex"
+                 cd $dir/tr_run.$ex
-                 for i in $links; do
+                 test ! -e mitgcmuv  &&  ln -s "../"$ldir"/"mitgcmuv .
-                     ln -s ../input/$i $i
-                 done
-             )
-             links=`( cd "$dir/input.$ex" > /dev/null 2>&1 ; ls -1 | grep -v CVS )`
-             (
-                 cd "$dir/tr_run.$ex"
-                 for i in $links; do
-                     test -e $i  &&  rm -f $i
-                     ln -s ../input.$ex/$i $i
-                 done
-                 ln -s ../$builddir/mitgcmuv mitgcmuv
              )
              runmodel $dir/tr_run.$ex && run=Y \
                  && results=`testoutput $dir tr_run.$ex "."$ex`
-Line 998 
 for dir in $TESTDIRS ; do
+Line 1077 
 for dir in $TESTDIRS ; do
              echo "MACH='$MACH'" >> $CDIR"/summary.txt"
              echo "UNAMEA='$UNAMEA'" >> $CDIR"/summary.txt"
              echo "DATE='$DATE'" >> $CDIR"/summary.txt"
-             echo "tdir='$dir'" >> $CDIR"/summary.txt"
+             echo "tdir='$dir.$ex'" >> $CDIR"/summary.txt"
          done
-         COMMAND=$OLD_COMMAND
      else
          fres=`printf '%s %s %s %s' ${genmake:-N} ${makedepend:-N} ${make:-N} ${run:-N}`
          fres=$fres"$results   $dir"
-Line 1011 
 for dir in $TESTDIRS ; do
+Line 1089 
 for dir in $TESTDIRS ; do
          echo "UNAMEA='$UNAMEA'" >> $CDIR"/summary.txt"
          echo "DATE='$DATE'" >> $CDIR"/summary.txt"
          echo "tdir='$dir'" >> $CDIR"/summary.txt"
+         grep -A3 'Seconds in section "ALL' $dir/$rundir/$OUTPUTFILE \
+                            >> $CDIR"/summary.txt"
      fi
+     postclean $dir/$builddir
      echo "-------------------------------------------------------------------------------"
-Line 1053 
 fi
+Line 1135 
 fi
  rm -f tmp_cmpnum.c tmp_cmpnum
  if test "x$CLEANUP" != xt ; then
-     cat $SUMMARY
+     cat $SUMMARY | sed 's/ -- -- -- --//g'
      if test -e tr_out.txt ; then
          mv tr_out.txt tr_out.txt.old
      fi
-     cat $SUMMARY > tr_out.txt
+     cat $SUMMARY | sed 's/ -- -- -- --//g' > tr_out.txt
  fi
  if test "x$DELDIR" = xt ; then

 Legend:



Removed from v.1.52
 


changed lines


 
Added in v.1.80
 Legend:



Removed from v.1.52
 


changed lines


 
Added in v.1.80
-Removed from v.1.52
+Added in v.1.80

	ViewVC Help
Powered by ViewVC 1.1.22