/[MITgcm]/MITgcm/verification/testreport
ViewVC logotype

Diff of /MITgcm/verification/testreport

Parent Directory Parent Directory | Revision Log Revision Log | View Revision Graph Revision Graph | View Patch Patch

revision 1.157 by jmc, Thu Jan 27 04:51:03 2011 UTC revision 1.161 by jmc, Sat Apr 30 22:20:17 2011 UTC
# Line 238  testoutput_run() Line 238  testoutput_run()
238            listVar=" $sVar "`echo "$listVar " | sed "s/ $sVar / /g"`            listVar=" $sVar "`echo "$listVar " | sed "s/ $sVar / /g"`
239          fi          fi
240          if [ $debug -gt 0 ]; then echo "testoutput_run: listVar(M)='$listVar'" 1>&2 ; fi          if [ $debug -gt 0 ]; then echo "testoutput_run: listVar(M)='$listVar'" 1>&2 ; fi
         #- report to this experiment local summary file ---  
         echo "MACH='$MACH'" > $locDIR"/summary.txt"  
         echo "UNAMEA='$UNAMEA'" >> $locDIR"/summary.txt"  
         echo "DATE='$DATE'" >> $locDIR"/summary.txt"  
         grep '(PID\.TID 0000\.0001)      n.. =' $1/$2/$OUTPUTFILE \  
          | sed 's/(PID.TID 0000.0001)     //' >> $locDIR"/summary.txt"  
241          echo "listVar='$listVar'" >> $locDIR"/summary.txt"          echo "listVar='$listVar'" >> $locDIR"/summary.txt"
242          #---          #---
243          allargs=""          allargs=""
# Line 430  run_clean() Line 424  run_clean()
424              find . -name "*.data" -exec rm {} \;              find . -name "*.data" -exec rm {} \;
425              find . -name "fort.*" -exec rm {} \;              find . -name "fort.*" -exec rm {} \;
426              find . -type l -exec rm {} \;              find . -type l -exec rm {} \;
427              rm -f $EXECUTABLE $RUNLOG *.txt STD* *diagnostics.log datetime              #- should remove executable only if sym-link (alredy done above)
428                rm -f $RUNLOG *.txt STD* *diagnostics.log datetime
429              rm -rf mnc_test_*              rm -rf mnc_test_*
430              rm -f *_MIT_CE_000.opt0000 costfunction*0000              rm -f *_MIT_CE_000.opt0000 costfunction*0000
431              echo successful              echo successful
# Line 466  makemodel() Line 461  makemodel()
461  {  {
462      # makemodel directory      # makemodel directory
463      (      (
464        mk_fail=0
465      if test "x$NOMAKE" = xt ; then      if test "x$NOMAKE" = xt ; then
466          cd $1;          cd $1;
467          if test -x $EXECUTABLE ; then          if test -x $EXECUTABLE ; then
468              echo "make skipped!"              echo "make skipped!"
469          else          else
470              echo "no executable!"              echo "no executable!"
471              return 2              mk_fail=3
472          fi          fi
473      else      else
474          cd $1;          cd $1;
# Line 495  makemodel() Line 491  makemodel()
491                  echo failed                  echo failed
492                  cp make.tr_log genmake.log genmake.tr_log $CDIR                  cp make.tr_log genmake.log genmake.tr_log $CDIR
493                  rm -f $EXECUTABLE                  rm -f $EXECUTABLE
494                  return 1                  mk_fail=1
495              else              else
496                  echo successful                  echo successful
497              fi              fi
498            else
499                echo "no Makefile !"
500                mk_fail=2
501          fi          fi
502      fi      fi
503        if test "x$ADM" = xt -a -f taf_ad.log ; then
504                head -1 taf_ad.log >> $CDIR"/summary.txt"
505                nerr=`grep -c 'TAF *.* ERROR ' taf_ad.log`
506                nwar=`grep -c 'TAF RECOMPUTATION *.* WARNING ' taf_ad.log`
507                echo " TAF reports $nerr Errors and $nwar Recomputation Warnings" \
508                                    >> $CDIR"/summary.txt"
509        fi
510        if test $mk_fail != 0 ; then return $mk_fail ; fi
511      )      )
512  }  }
513    
514  mk_mpi_size()  mk_mpi_size()
515  {  {
516      # mk_mpi_size input_file output_file proc_Nb      # mk_mpi_size input_file output_file proc_Nb prefer_to_split_X
517      #      #
518      # make new SIZE.h (=output_file) from SIZE.h_mpi (=input_file)      # make new SIZE.h (=output_file) from SIZE.h_mpi (=input_file)
519      #     for an MPI build with no more than proc_Nb processors ;      #     for an MPI build with no more than proc_Nb processors ;
# Line 515  mk_mpi_size() Line 522  mk_mpi_size()
522      inp=$1      inp=$1
523      out=$2      out=$2
524      np=$3      np=$3
525        dirX=$4
526      tmp=TTT.$$      tmp=TTT.$$
527    
528      px=`grep "^     & *nPx *=" $inp | sed "s/^     & *nPx *= *//" | sed 's/, *$//'`      px=`grep "^     & *nPx *=" $inp | sed "s/^     & *nPx *= *//" | sed 's/, *$//'`
# Line 532  mk_mpi_size() Line 540  mk_mpi_size()
540            if [ `expr $py % $j` -eq 0 ] ; then            if [ `expr $py % $j` -eq 0 ] ; then
541              ij=`expr $i \* $j`              ij=`expr $i \* $j`
542              if [ $ij -gt $pp ] ; then              if [ $ij -gt $pp ] ; then
543                    flag=1
544                elif [ $ij -eq $pp ] ; then
545                    flag=$dirX
546                else
547                    flag=0
548                fi
549                if test $flag = 1 ; then
550                if [ $ij -le $np ] ; then                if [ $ij -le $np ] ; then
551                  ix=$i ; jy=$j ; pp=$ij                  ix=$i ; jy=$j ; pp=$ij
552                  #echo "  ix,jy= $ix,$jy"                  #echo "  ix,jy= $ix,$jy"
# Line 682  runmodel() Line 697  runmodel()
697      (      (
698          cd $1          cd $1
699          printf 'runmodel in %s ... ' $1          printf 'runmodel in %s ... ' $1
700            if test "x$MPI" != x0 ; then
701                #- adjust the MPI run command with the right number of Procs
702                #echo '' ; echo "  COMMAND='$COMMAND'"
703                COMMAND=`echo $COMMAND | sed "s/ TR_NPROC / $LOC_NPROC /"`
704                if test "x$MPI_MFILE" != x ; then
705                  COMMAND=`echo $COMMAND | sed "s/ TR_MFILE / ..\/..\/$LOC_MFILE /"`
706                fi
707                #echo "  COMMAND='$COMMAND'"
708            fi
709          if test -L $EXECUTABLE ; then          if test -L $EXECUTABLE ; then
710            if test -x "../"$builddir"/"$EXECUTABLE ; then            if test -x "../"$builddir"/"$EXECUTABLE ; then
711              cmp $EXECUTABLE "../"$builddir"/"$EXECUTABLE > /dev/null 2>&1              cmp $EXECUTABLE "../"$builddir"/"$EXECUTABLE > /dev/null 2>&1
# Line 693  runmodel() Line 717  runmodel()
717              echo " link" $EXECUTABLE "from dir ../"$builddir > run.log_tmp              echo " link" $EXECUTABLE "from dir ../"$builddir > run.log_tmp
718              ln -sf "../"$builddir"/"$EXECUTABLE .              ln -sf "../"$builddir"/"$EXECUTABLE .
719          fi          fi
         if test "x$MPI" != x0 ; then  
             #- adjust the MPI run command with the right number of Procs  
             #echo '' ; echo "  COMMAND='$COMMAND'"  
             COMMAND=`echo $COMMAND | sed "s/ TR_NPROC / $LOC_NPROC /"`  
             if test "x$MPI_MFILE" != x ; then  
               COMMAND=`echo $COMMAND | sed "s/ TR_MFILE / ..\/..\/$LOC_MFILE /"`  
             fi  
             #echo "  COMMAND='$COMMAND'"  
         fi  
720          if test ! -x $EXECUTABLE ; then          if test ! -x $EXECUTABLE ; then
721              rm -f $RUNLOG ; touch $RUNLOG              rm -f $RUNLOG ; touch $RUNLOG
722              if test -f run.log_tmp ; then cat run.log_tmp >> $RUNLOG ; fi              if test -f run.log_tmp ; then cat run.log_tmp >> $RUNLOG ; fi
# Line 730  runmodel() Line 745  runmodel()
745            fi            fi
746          fi          fi
747          rm -f run.log_tmp          rm -f run.log_tmp
748            #- in all cases where OutputFile exists, report SIZE (and AD time)
749            if test -f $OUTPUTFILE ; then
750              grep '(PID\.TID 0000\.0001)      n.. =' $OUTPUTFILE \
751                    | sed 's/(PID.TID 0000.0001)     //' >> $CDIR"/summary.txt"
752              if test "x$ADM" = xt ; then
753                grep -A3 'Seconds in section "ALL' $OUTPUTFILE >> $CDIR"/summary.txt"
754              fi
755            fi
756            if test -s STDERR.0000 ; then cp STDERR.0000 $CDIR"/STDERR.0000" ; fi
757          if [ $RETVAL -eq 0 -a $ENDVAL -gt 0 ] ; then          if [ $RETVAL -eq 0 -a $ENDVAL -gt 0 ] ; then
758              echo successful              echo successful
759              printf '=> output from running in %s :\n' $1 1>&2              printf '=> output from running in %s :\n' $1 1>&2
760              tail $RUNLOG | sed 's/^.*/> &/g' 1>&2              tail $RUNLOG | sed 's/^.*/> &/g' 1>&2
             # === Reduce the size of the testing emails!  
             #cp $OUTPUTFILE $CDIR"/"$OUTPUTFILE  
             if test -s STDERR.0000 ; then cp STDERR.0000 $CDIR"/STDERR.0000" ; fi  
761              return 0              return 0
762          elif [ $RETVAL -ne 0 -a $ENDVAL -gt 0 ] ; then          elif [ $RETVAL -ne 0 -a $ENDVAL -gt 0 ] ; then
763              #-- for some weird cases (run is finihed but with error code)              #-- for some weird cases (run is finihed but with error code)
# Line 749  runmodel() Line 770  runmodel()
770              printf '=> output from running in %s :\n' $1 1>&2              printf '=> output from running in %s :\n' $1 1>&2
771              tail $RUNLOG | sed 's/^.*/> &/g' 1>&2              tail $RUNLOG | sed 's/^.*/> &/g' 1>&2
772              cp $RUNLOG $CDIR"/"$RUNLOG              cp $RUNLOG $CDIR"/"$RUNLOG
             if test -s STDERR.0000 ; then cp STDERR.0000 $CDIR"/STDERR.0000" ; fi  
773              return 1              return 1
774          fi          fi
775      )      )
# Line 851  scandirs() Line 871  scandirs()
871    
872  check_eedata()  check_eedata()
873  {  {
874      # check_eedata size.h eedata      # check_eedata eedata size.h
875      if [ $# -eq 2 ] ; then      if [ $# -eq 2 ] ; then
876        if test -f $1 -a -f $2 ; then       if test -f $1 -a -f $2 ; then
877        sx=`grep "^     & *nSx *=" $1 | sed "s/^     & *nSx *=//" | sed 's/, *$//'`        nx=`grep "^ *nTx *=" $1 | tail -1 | sed 's/^ *nTx *= *//' | sed "s/, *$//"`
878        nx=`grep "^ *nTx *=" $2 | tail -1 | sed 's/^ *nTx *= *//' | sed "s/, *$//"`        sx=`grep "^     & *nSx *=" $2 | sed "s/^     & *nSx *=//" | sed 's/, *$//'`
879        if test "x$nx" = x ; then        if test "x$nx" = x ; then
880          rx=10          rx=10
881        else        else
882          rx=`expr $sx % $nx`          rx=`expr $sx % $nx`
883        fi        fi
884        sy=`grep "^     & *nSy *=" $1 | sed "s/^     & *nSy *=//" | sed 's/, *$//'`        ny=`grep "^ *nTy *=" $1 | tail -1 | sed 's/^ *nTy *= *//' | sed "s/, *$//"`
885        ny=`grep "^ *nTy *=" $2 | tail -1 | sed 's/^ *nTy *= *//' | sed "s/, *$//"`        sy=`grep "^     & *nSy *=" $2 | sed "s/^     & *nSy *=//" | sed 's/, *$//'`
886        if test "x$ny" = x ; then        if test "x$ny" = x ; then
887          ry=20          ry=20
888        else        else
889          ry=`expr $sy % $ny`          ry=`expr $sy % $ny`
890        fi        fi
891        echo `expr $rx + $ry`        echo `expr $rx + $ry`
892      else       else
893        echo '-1'        echo '-1'
894        fi       fi
895        elif [ $# -eq 1 ] ; then
896         if test -f $1 ; then
897          nx=`grep "^ *nTx *=" $1 | tail -1 | sed 's/^ *nTx *= *//' | sed "s/, *$//"`
898          if test "x$nx" = x ; then nx=1 ; fi
899          ny=`grep "^ *nTy *=" $1 | tail -1 | sed 's/^ *nTy *= *//' | sed "s/, *$//"`
900          if test "x$ny" = x ; then ny=1 ; fi
901         #echo $nx $ny
902          echo $nx
903         else
904          echo '-1'
905         fi
906      else      else
907        echo '-2'        echo '-2'
908      fi      fi
# Line 1315  for dir in $TESTDIRS ; do Line 1346  for dir in $TESTDIRS ; do
1346    
1347      # Check for specific files for particular type of run      # Check for specific files for particular type of run
1348    
1349        if test ! -r $CODE_DIR"/SIZE.h_mpi"  -a "x$MPI" != "x0" ; then
1350            echo "can't find \"$CODE_DIR/SIZE.h_mpi\" -- skipping $dir"
1351            continue
1352        fi
1353        if test ! -r $dir"/input/eedata.mth" -a "x$MULTI_THREAD" = "xt" ; then
1354            echo "can't find \"$dir/input/eedata.mth\" -- skipping $dir"
1355            continue
1356        fi
1357    
1358      if test "x$MPI" != "x0" ; then      if test "x$MPI" != "x0" ; then
1359          if test -r $CODE_DIR"/SIZE.h_mpi" ; then          prefer_X=0
1360              #- create new SIZE.h with no more than '$MPI' Procs          if test "x$MULTI_THREAD" = "xt" ; then
1361              mk_mpi_size $CODE_DIR"/SIZE.h_mpi" $BUILD_DIR"/tr_size.mpi" $MPI              retv=`check_eedata $dir"/input/eedata.mth"`
1362              LOC_NPROC=$?              if test $retv = 1 ; then prefer_X=1 ; fi
1363              (   cd $BUILD_DIR          fi
1364                  if test -r SIZE.h.mpi ; then          #- create new SIZE.h with no more than '$MPI' Procs
1365                      cmp tr_size.mpi SIZE.h.mpi > /dev/null 2>&1 ; RETVAL=$?          mk_mpi_size $CODE_DIR"/SIZE.h_mpi" $BUILD_DIR"/tr_size.mpi" $MPI $prefer_X
1366                  else RETVAL=1          LOC_NPROC=$?
1367                  fi          (   cd $BUILD_DIR
1368                  if test "x$RETVAL" = x0 ; then              if test -r SIZE.h.mpi ; then
1369                      rm -f tr_size.mpi                  cmp tr_size.mpi SIZE.h.mpi > /dev/null 2>&1 ; RETVAL=$?
1370                  else              else RETVAL=1
1371                      rm -f SIZE.h.mpi ; mv tr_size.mpi SIZE.h.mpi              fi
1372                  fi              if test "x$RETVAL" = x0 ; then
1373              )                  rm -f tr_size.mpi
1374          else              else
1375              echo "can't find \"$CODE_DIR/SIZE.h_mpi\" -- skipping $dir"                  rm -f SIZE.h.mpi ; mv tr_size.mpi SIZE.h.mpi
1376              continue              fi
1377          fi          )
1378          if test "x$MPI_MFILE" != x ; then          if test "x$MPI_MFILE" != x ; then
1379              #- create new MPI machine-file with the right number of Procs              #- create new MPI machine-file with the right number of Procs
1380              rm -f $LOC_MFILE              rm -f $LOC_MFILE
# Line 1350  for dir in $TESTDIRS ; do Line 1390  for dir in $TESTDIRS ; do
1390                  echo " new LOC_MFILE=$LOC_MFILE : $nl procs for LOC_NPROC=$LOC_NPROC"                  echo " new LOC_MFILE=$LOC_MFILE : $nl procs for LOC_NPROC=$LOC_NPROC"
1391              fi              fi
1392          fi          fi
1393      fi          if test "x$MULTI_THREAD" = "xt" ; then
1394      if test ! -r $dir"/input/eedata.mth" -a "x$MULTI_THREAD" = "xt" ; then              retv=`check_eedata $dir"/input/eedata.mth" $BUILD_DIR"/SIZE.h.mpi"`
1395          echo "can't find \"$dir/input/eedata.mth\" -- skipping $dir"              if test $retv != 0 ; then
1396          continue                  echo "input/eedata.mth tiling misfit -- skipping $dir"
1397      fi                  continue
1398      if test "x$MPI" != "x0" -a "x$MULTI_THREAD" = "xt" ; then              fi
         retv=`check_eedata $BUILD_DIR"/SIZE.h.mpi" $dir"/input/eedata.mth"`  
         if test $retv != 0 ; then  
             echo "input/eedata.mth tiling misfit -- skipping $dir"  
             continue  
1399          fi          fi
1400      fi      fi
1401    
# Line 1379  for dir in $TESTDIRS ; do Line 1415  for dir in $TESTDIRS ; do
1415                if test "x$MPI" = "x0" ; then                if test "x$MPI" = "x0" ; then
1416                  extra_runs="$extra_runs $name"                  extra_runs="$extra_runs $name"
1417                else                else
1418                  retv=`check_eedata $BUILD_DIR"/SIZE.h.mpi" $dir"/"$exd"/eedata.mth"`                  retv=`check_eedata $dir"/"$exd"/eedata.mth" $BUILD_DIR"/SIZE.h.mpi"`
1419                  if test $retv = 0 ; then                  if test $retv = 0 ; then
1420                      extra_runs="$extra_runs $name"                      extra_runs="$extra_runs $name"
1421                  else                  else
# Line 1404  for dir in $TESTDIRS ; do Line 1440  for dir in $TESTDIRS ; do
1440      unset genmake makedepend make run      unset genmake makedepend make run
1441      results=$EMPTY_RESULTS      results=$EMPTY_RESULTS
1442    
1443      #  Create an output dir for each OPTFILE/tdir combination      #  Create an output dir & summary.txt file for each tested experiment (tdir)
1444      locDIR=$DRESULTS"/"$dir      locDIR=$DRESULTS"/"$dir
1445      mkdir $locDIR      mkdir $locDIR
1446        #- report to this experiment local summary file ---
1447        echo "DATE='$DATE' ; tdir='$dir'" > $locDIR"/summary.txt"
1448        echo "MACH='$MACH'" >> $locDIR"/summary.txt"
1449        echo "UNAMEA='$UNAMEA'" >> $locDIR"/summary.txt"
1450      CDIR=`pwd`"/$locDIR"      CDIR=`pwd`"/$locDIR"
1451    
1452      if test "x$NORUN" = xt ; then      if test "x$NORUN" = xt ; then
# Line 1432  for dir in $TESTDIRS ; do Line 1472  for dir in $TESTDIRS ; do
1472          fres=`formatresults $dir ${genmake:-N} ${makedepend:-N} ${make:-N} ${run:-N} $results`          fres=`formatresults $dir ${genmake:-N} ${makedepend:-N} ${make:-N} ${run:-N} $results`
1473          echo 1>&2          echo 1>&2
1474          echo "$fres" | sed 's/ 99/ --/g' | sed 's/  > />/' | sed 's/  < /</' >> $SUMMARY          echo "$fres" | sed 's/ 99/ --/g' | sed 's/  > />/' | sed 's/  < /</' >> $SUMMARY
         touch $locDIR"/summary.txt"  
1475          echo "fresults='$fres'" | sed 's/ 99/ --/g' >> $locDIR"/summary.txt"          echo "fresults='$fres'" | sed 's/ 99/ --/g' >> $locDIR"/summary.txt"
         echo "tdir='$dir'" >> $locDIR"/summary.txt"  
         if test "x$ADM" = xt ; then  
             head -1 $dir/$builddir/taf_ad.log >> $locDIR"/summary.txt"  
             nerr=`grep -c 'TAF *.* ERROR ' $dir/$builddir/taf_ad.log`  
             nwar=`grep -c 'TAF RECOMPUTATION *.* WARNING ' $dir/$builddir/taf_ad.log`  
             echo " TAF reports $nerr Errors and $nwar Recomputation Warnings" \  
                                 >> $locDIR"/summary.txt"  
             grep -A3 'Seconds in section "ALL' $dir/$rundir/$OUTPUTFILE \  
                                 >> $locDIR"/summary.txt"  
         fi  
1476    
1477          for ex in $extra_runs ; do          for ex in $extra_runs ; do
1478              unset run              unset run
1479              results=$EMPTY_RESULTS              results=$EMPTY_RESULTS
1480              #  reference output file              #  reference output file
1481              refExOut=`echo $ref_outp | sed "s/\./.${ex}./g"`              refExOut=`echo $ref_outp | sed "s/\./.${ex}./g"`
1482              #  Create an output dir for each OPTFILE/tdir.ex combination              #  Create an output dir & summary.txt file for each extra run (tdir.ex)
1483              locDIR=$DRESULTS"/"$dir"."$ex              locDIR=$DRESULTS"/"$dir"."$ex
1484              mkdir $locDIR              mkdir $locDIR
1485                #- report to this experiment local summary file ---
1486                echo "DATE='$DATE' ; tdir='$dir.$ex'" > $locDIR"/summary.txt"
1487                #echo "MACH='$MACH'" >> $locDIR"/summary.txt"
1488                #echo "UNAMEA='$UNAMEA'" >> $locDIR"/summary.txt"
1489              CDIR=`pwd`"/$locDIR"              CDIR=`pwd`"/$locDIR"
1490              test ! -e "$dir/$pfxdir.$ex" && mkdir "$dir/$pfxdir.$ex"              test ! -e "$dir/$pfxdir.$ex" && mkdir "$dir/$pfxdir.$ex"
1491              run_clean $dir/$pfxdir.$ex              run_clean $dir/$pfxdir.$ex
# Line 1463  for dir in $TESTDIRS ; do Line 1496  for dir in $TESTDIRS ; do
1496              fres="$fres.$ex"              fres="$fres.$ex"
1497              echo 1>&2              echo 1>&2
1498              echo "$fres" | sed 's/ 99/ --/g' | sed 's/  > />/' | sed 's/  < /</' >> $SUMMARY              echo "$fres" | sed 's/ 99/ --/g' | sed 's/  > />/' | sed 's/  < /</' >> $SUMMARY
             touch $locDIR"/summary.txt"  
1499              echo "fresults='$fres'" | sed 's/ 99/ --/g' >> $locDIR"/summary.txt"              echo "fresults='$fres'" | sed 's/ 99/ --/g' >> $locDIR"/summary.txt"
             echo "tdir='$dir.$ex'" >> $locDIR"/summary.txt"  
             if test "x$ADM" = xt ; then  
                 grep -A3 'Seconds in section "ALL' $dir/$pfxdir.$ex/$OUTPUTFILE \  
                                    >> $locDIR"/summary.txt"  
             fi  
1500              if test "x$POSTCLEAN" = x2 ; then              if test "x$POSTCLEAN" = x2 ; then
1501                  run_clean $dir/$pfxdir.$ex                  run_clean $dir/$pfxdir.$ex
1502              fi              fi
Legend:
Removed from v.1.157  
changed lines
  Added in v.1.161
  ViewVC Help
Powered by ViewVC 1.1.22