/[MITgcm]/MITgcm/verification/testreport
ViewVC logotype

Diff of /MITgcm/verification/testreport

Parent Directory Parent Directory | Revision Log Revision Log | View Revision Graph Revision Graph | View Patch Patch

revision 1.30 by edhill, Fri Dec 5 17:46:32 2003 UTC revision 1.97 by jmc, Tue Sep 11 16:44:52 2007 UTC
# Line 11  usage() Line 11  usage()
11      echo      echo
12      echo "where possible OPTIONS are:"      echo "where possible OPTIONS are:"
13      echo "  (-help|-h)               print usage"      echo "  (-help|-h)               print usage"
14      echo "  (-mpi)                   use MPI input files"      echo "  (-mth)                   run multi threaded (using eedata.mth)"
15        echo "  (-mpi)                   compile and run using MPI"
16      echo "  (-ieee|-noieee)          if possible, use IEEE compiler flags"      echo "  (-ieee|-noieee)          if possible, use IEEE compiler flags"
17      echo "                             (DEF=\"noieee\")"      echo "                             (DEF=\"-ieee\")"
18      echo "  (-optfile=|-of=)STRING   list of optfiles to use"      echo "  (-of=|-optfile=)STRING   list of optfiles to use"
19      echo "  (-a|-addr) STRING        list of email recipients"      echo "  (-a|-addr) STRING        list of email recipients"
20      echo "                             (DEF=\"edhill@mitgcm.org\")"      echo "                             (DEF=\"edhill@mitgcm.org\")"
21      echo "  (-t|-tdir) STRING        list of test dirs to use"      echo "  (-t|-tdir) STRING        list of group and/or exp. dirs to test"
22      echo "                             (DEF=\"\" which builds all)"      echo "                             (recognized groups: basic, tutorials)"
23        echo "                             (DEF=\"\" which test all)"
24        echo "  (-skd|-skipdir) STRING   list of exp. dirs to skip"
25        echo "                             (DEF=\"\" which test all)"
26      echo "  (-b|-bash) STRING        preferred location of a \"bash\" or"      echo "  (-b|-bash) STRING        preferred location of a \"bash\" or"
27      echo "                             Bourne-compatible \"sh\" shell"      echo "                             Bourne-compatible \"sh\" shell"
28      echo "                             (DEF=\"\" for \"bash\")"      echo "                             (DEF=\"\" for \"bash\")"
# Line 27  usage() Line 31  usage()
31      echo "                             (DEF=\"make output.txt\")"      echo "                             (DEF=\"make output.txt\")"
32      echo "  (-m|-make) STRING        command to use for \"make\""      echo "  (-m|-make) STRING        command to use for \"make\""
33      echo "                             (DEF=\"make\")"      echo "                             (DEF=\"make\")"
34        echo "  (-odir) STRING           used to build output directory name"
35        echo "                             (DEF=\"hostname\")"
36        echo "  (-ptr|-ptracers) STRING  specify which ptracers to test"
37        echo "                             (DEF=\"1 2 3 4 5\")"
38        echo "  (-match) NUMBER          Matching Criteria (number of digits)"
39        echo "                             (DEF=\"12\")"
40        echo "  (-j) JOBS                use \"make -j JOBS\" for parallel builds"
41      echo "  (-clean)                 *ONLY* run \"make CLEAN\""      echo "  (-clean)                 *ONLY* run \"make CLEAN\""
42      echo "  (-quick|-q)              same as \"-nogenmake -noclean -nodepend\""      echo "  (-quick|-q)              same as \"-nogenmake -noclean -nodepend\""
43      echo "  (-nogenmake|-ng)         skip the genmake stage"      echo "  (-nogenmake|-ng)         skip the genmake stage"
44      echo "  (-noclean|-nc)           skip the \"make clean\" stage"      echo "  (-noclean|-nc)           skip the \"make clean\" stage"
45      echo "  (-nodepend|-nd)          skip the \"make depend\" stage"      echo "  (-nodepend|-nd)          skip the \"make depend\" stage"
46        echo "  (-deldir|-dd)            on success, delete the output directory"
47        echo "  (-ts)                    provide timing information per timestep"
48        echo "  (-papis)                 provide MFlop/s per timestep using PAPI"
49        echo "  (-pcls)                  provide MFlop/s per timestep using PCL"
50      echo      echo
51      echo "and where STRING follows a whitespace-delimited format"      echo "and where STRING can be a whitespace-delimited list"
52      echo "such as:"      echo "such as:"
53        echo
54      echo "  -t 'exp0 exp2 exp3' "      echo "  -t 'exp0 exp2 exp3' "
55      echo "  -addr='abc@123.com testing@home.org'"      echo "  -addr='abc@123.com testing@home.org'"
56      echo      echo
57        echo "provided that the expression is properly quoted within the current"
58        echo "shell (note the use of single quotes to protect white space)."
59        echo
60      exit 1      exit 1
61  }  }
62    
63  #  build the mpack utility  #  build the mpack utility
64  build_mpack()  build_mpack()
65  {  {
66      echo -n "building the mpack utility...  "      printf "building the mpack utility...  "
67      if test ! -x "$MPACKDIR/mpack" ; then      if test ! -x "$MPACKDIR/mpack" ; then
68          if test ! -d $MPACKDIR ; then          if test ! -d $MPACKDIR ; then
69              echo              echo
# Line 54  build_mpack() Line 73  build_mpack()
73              echo              echo
74              HAVE_MPACK=f              HAVE_MPACK=f
75          fi          fi
76          echo -n "building mpack...  "          printf "building mpack...  "
77          if test "x$CC" = x ; then          if test "x$CC" = x ; then
78              export CC=cc              export CC=cc
79          fi          fi
# Line 75  build_mpack() Line 94  build_mpack()
94      echo "OK"      echo "OK"
95  }  }
96    
97  testoutput_for_prop()  testoutput_var()
98  {  {
99      # testoutput_for_prop dir s1 label subdir      # testoutput_var dir s1 label subdir extension
100      #      #
101      #  compares files in $dir/$subdir/output.txt and $dir/results/output.txt      #  compares 1 variable output selected from file $dir/$subdir/$OUTPUTFILE
102      #  using search strings s1 and text label      #     with same output from reference file $dir/results/output.$extension
103        #  using search strings s1 and text label
104    
105      if [ $debug -gt 0 ]; then      if [ $debug -gt 0 ]; then
106          echo testoutput_for_prop: grep "$2" $1/$4/output.txt 1>&2          echo testoutput_var: grep "$2" $1/$4/$OUTPUTFILE 1>&2
107      fi      fi
108      if [ -r $1/$4/output.txt ]; then      if [ -r $1/$4/$OUTPUTFILE ]; then
109          grep "$2" $1/$4/output.txt | sed 's/.*=//' | cat -n > tmp1.txt          grep "$2" $1/$4/$OUTPUTFILE | sed 's/.*=//' | cat -n > tmp1.txt
110          lncnt=`wc -l tmp1.txt | awk '{print $1}' `          lncntA=`wc -l tmp1.txt | awk '{print $1}' `
111          if [ $lncnt -lt 3 ]; then          if [ $lncntA -lt 3 ]; then
112              if [ $verbose -gt 0 ]; then              if [ $verbose -gt 0 ]; then
113                  echo Not enough lines of output when searching for "$2" 1>&2                  echo Not enough lines of output when searching for "$2" 1>&2
114              fi              fi
115              return 99              return 99
116          fi          fi
117      else      else
118          echo testoutput_for_prop: output.txt from model run was not readable 1>&2          echo testoutput_var: $OUTPUTFILE from model run was not readable 1>&2
119          return 99          return 99
120      fi      fi
121      if [ $debug -gt 0 ]; then      if [ $debug -gt 0 ]; then
122          echo testoutput_for_prop: grep "$2" $1/results/output.txt 1>&2          echo testoutput_var: grep "$2" $1/results/output.$5 1>&2
123      fi      fi
124      grep "$2" $1/results/output.txt | sed 's/.*=//' | cat -n > tmp2.txt      grep "$2" $1/results/output.$5 | sed 's/.*=//' | cat -n > tmp2.txt
125      lncnt=`wc -l tmp2.txt | awk '{print $1}' `      lncntB=`wc -l tmp2.txt | awk '{print $1}' `
126      if [ $lncnt -lt 3 ]; then      if [ $lncntB -lt 3 ]; then
127          if [ $verbose -gt 0 ]; then          if [ $verbose -gt 0 ]; then
128              echo Not enough lines of output when searching for "$2" 1>&2              echo Not enough lines of output when searching for "$2" 1>&2
129          fi          fi
130          return 99          return 99
131      fi      fi
132        if [ $lncntA -ne $lncntB ]; then
133            if [ $verbose -gt 0 ]; then
134                echo Not same Nb of lines when searching for "$2" ":" $lncntA $lncntB 1>&2
135            fi
136            return 99
137        fi
138        has_nan=`cat tmp1.txt | grep -i nan | wc -l`
139        if [ $has_nan -gt 0  ] ; then
140            echo testoutput_var: $OUTPUTFILE contains $has_nan NaN values  1>&2
141            return 99
142        fi
143        has_inf=`cat tmp1.txt | grep -i inf | wc -l`
144        if [ $has_inf -gt 0  ] ; then
145            echo testoutput_var: $OUTPUTFILE contains $has_inf Inf values  1>&2
146            return 99
147        fi
148      if [ $debug -gt 0 ]; then      if [ $debug -gt 0 ]; then
149          echo testoutput_for_prop: join tmp1.txt tmp2.txt 1>&2          echo testoutput_var: join tmp1.txt tmp2.txt 1>&2
150      fi      fi
151      join tmp1.txt tmp2.txt | awk '{print $1 " " $2 " " $3}' > tmp3.txt      join tmp1.txt tmp2.txt | awk '{print $1 " " $2 " " $3}' > tmp3.txt
152      if [ $debug -gt 0 ]; then      if [ $debug -gt 0 ]; then
153          echo testoutput_for_prop: compare_lines 1>&2          echo testoutput_var: compare_lines 1>&2
154      fi      fi
155      if [ $verbose -gt 1 ]; then      if [ $verbose -gt 1 ]; then
156          cat tmp3.txt 1>&2          cat tmp3.txt 1>&2
# Line 122  testoutput_for_prop() Line 158  testoutput_for_prop()
158      echo "-1" >> tmp3.txt      echo "-1" >> tmp3.txt
159      # On the SGI O3K (*not* the O2K), "cat -n" inserts a ":" after the line number      # On the SGI O3K (*not* the O2K), "cat -n" inserts a ":" after the line number
160      cat tmp3.txt | sed -e 's|:||g' > tmp4.txt      cat tmp3.txt | sed -e 's|:||g' > tmp4.txt
161      digits_of_similarity=`./tmp_cmpnum < tmp4.txt`      digits_of_similarity=`./tr_cmpnum < tmp4.txt`
162      if [ $digits_of_similarity -eq 99 ]; then      if [ $digits_of_similarity -eq 99 ]; then
163          if [ $verbose -gt 0 ]; then          if [ $verbose -gt 0 ]; then
164              echo testoutput_for_prop: No comparison was available for \"$2\" 1>&2              echo testoutput_var: No comparison was available for \"$2\" 1>&2
165          fi          fi
166          digits_of_similarity=99          digits_of_similarity=99
167      else      else
# Line 155  dashnum() Line 191  dashnum()
191    
192  testoutput_ad()  testoutput_ad()
193  {  {
194      grep $3 $1/results_ad/output.txt_adm | awk '{print NR " " $5}' > t05.txt      grep $3 $1/results_ad/output_adm.txt | awk '{print NR " " $5}' > t05.txt
195      grep $3 $1/$2/output.txt_adm | awk '{print NR " " $5}' > t15.txt      grep $3 $1/$2/$OUTPUTFILE | awk '{print NR " " $5}' > t15.txt
196      grep $3 $1/results_ad/output.txt_adm | awk '{print NR " " $6}' > t06.txt      grep $3 $1/results_ad/output_adm.txt | awk '{print NR " " $6}' > t06.txt
197      grep $3 $1/$2/output.txt_adm | awk '{print NR " " $6}' > t16.txt      grep $3 $1/$2/$OUTPUTFILE | awk '{print NR " " $6}' > t16.txt
198      join t05.txt t15.txt > t5.txt      join t05.txt t15.txt > t5.txt
199      join t06.txt t16.txt > t6.txt      join t06.txt t16.txt > t6.txt
200      echo "-1" >> t5.txt      echo "-1" >> t5.txt
201      echo "-1" >> t6.txt      echo "-1" >> t6.txt
202      digits_5=`./tmp_cmpnum < t5.txt`      digits_5=`./tr_cmpnum < t5.txt`
203      digits_6=`./tmp_cmpnum < t6.txt`      digits_6=`./tr_cmpnum < t6.txt`
204      dashnum $digits_5 $digits_6      dashnum $digits_5 $digits_6
205      rm -f t[01][56].txt t[56].txt      rm -f t[01][56].txt t[56].txt
206  }  }
207    
208  testoutput()  check_for_add_mon_output()
209    {
210        # Check for additional types of monitor output
211        if test "x$1" = x ; then
212            return
213        fi
214    
215        for ii in $PTRACERS_NUM ; do
216            eval "HAVE_PTR0"$ii"=f"
217        done
218    
219        ptr_add="trcstat_ptracerXX_min trcstat_ptracerXX_max"
220        ptr_add="$ptr_add trcstat_ptracerXX_mean trcstat_ptracerXX_sd"
221        for ii in $PTRACERS_NUM ; do
222            for jj in $ptr_add ; do
223                name=`eval "echo $jj | sed -e 's|XX|0"$ii"|g'"`
224                tst=`grep $name $1 | wc -l | awk '{print $1}'`
225                if test ! "x$tst" = x0 ; then
226                    eval "HAVE_PTR0"$ii"=t"
227                fi
228            done
229            #  eval 'echo "HAVE_PTR0'$ii' = $HAVE_PTR0'$ii'"'
230        done
231    }
232    
233    testoutput_run()
234  {  {
235      # testoutput directory subdir      # testoutput_run directory subdir extension
236      #      #
237      #  test output in "directory"      #  test output from 1 run in "directory"
238      if test "x$ADM" = x ; then      if test "x$ADM" = x ; then
239          if [ $debug -gt 0 ]; then          # default list of output variables to be checked:
240              echo testoutput: testoutput_for_prop $1 cg2d_init_res 1>&2          #  1rst : main variable used to decide if it pass or FAIL
241          fi          #  others : number of matching digits to be printed in summary.txt
242          testoutput_for_prop $1 "cg2d_init_res" "cg2d init. residual" $2; cg2dres=$?          listChk=$DEF_CHECK_LIST
243          if [ $debug -gt 0 ]; then          #  load experiment-specific list from file "tr_checklist" (if it exist)
244              echo testoutput: cg2dres=$cg2dres 1>&2          if test -r $1/$2/tr_checklist ; then listChk=`cat $1/$2/tr_checklist` ; fi
245          fi          sVar=`echo $listChk | awk '{print $1}'`
246          testoutput_for_prop $1 "dynstat_theta_min" "theta minimum" $2; tmin=$?          # remove 1rst var and expand the list: + => min max mean s.d
247          testoutput_for_prop $1 "dynstat_theta_max" "theta maximum" $2; tmax=$?          listVar=`echo $listChk | sed 's/ [a-zA-Z0-9]*+/&mn &mx &av &sd/g' \
248          testoutput_for_prop $1 "dynstat_theta_mean" "theta mean" $2; tmean=$?                                 | sed 's/+//g' | sed "s/^$sVar//"`
249          testoutput_for_prop $1 "dynstat_theta_sd" "theta s.d." $2; tsd=$?          if [ $debug -gt 0 ]; then echo "testoutput_run: listVar(I)='$listVar'" 1>&2 ; fi
250          testoutput_for_prop $1 "dynstat_salt_min" "salt minimum" $2; smin=$?          for ii in 1 2 3 4 5 6 7 8 9 ; do
251          testoutput_for_prop $1 "dynstat_salt_max" "salt maximum" $2; smax=$?            tst=`eval 'echo "$HAVE_PTR0'$ii'"'`
252          testoutput_for_prop $1 "dynstat_salt_mean" "salt mean" $2; smean=$?           #echo "-- ptr test=" $tst "number of var=" `echo $listVar | awk '{print NF}'` 1>&2
253          testoutput_for_prop $1 "dynstat_salt_sd" "salt s.d." $2; ssd=$?            if test "x$tst" != xt ; then listVar=`echo "$listVar" | sed "s/ pt$ii..//g"` ; fi
254          testoutput_for_prop $1 "dynstat_uvel_min" "U minimum" $2; umin=$?          done
255          testoutput_for_prop $1 "dynstat_uvel_max" "U maximum" $2; umax=$?          tst=`echo $sVar $listVar | awk '{ for(i=2;i<=NF;i++){t+=($i==$1)}; print t }'`
256          testoutput_for_prop $1 "dynstat_uvel_mean" "U mean" $2; umean=$?          if test $tst != 1 ; then
257          testoutput_for_prop $1 "dynstat_uvel_sd" "U s.d." $2; usd=$?            if test $tst = 0 ; then echo "==> WARNING: selected var >$sVar< not found" 1>&2
258          testoutput_for_prop $1 "dynstat_vvel_min" "V minimum" $2; vmin=$?                   else echo "==> WARNING: found selected var >$sVar< $tst times" 1>&2 ; fi
259          testoutput_for_prop $1 "dynstat_vvel_max" "V maximum" $2; vmax=$?            echo "==> WARNING: in checked list:" $listVar 1>&2
260          testoutput_for_prop $1 "dynstat_vvel_mean" "V mean" $2; vmean=$?          #- put it back once:
261          testoutput_for_prop $1 "dynstat_vvel_sd" "V s.d." $2; vsd=$?            listVar=" $sVar "`echo "$listVar " | sed "s/ $sVar / /g"`
262          dashnum $cg2dres $tmin $tmax $tmean $tsd $smin $smax $smean $ssd \          fi
263              $umin $umax $umean $usd $vmin $vmax $vmean $vsd          if [ $debug -gt 0 ]; then echo "testoutput_run: listVar(M)='$listVar'" 1>&2 ; fi
264            echo "listVar='$listVar'" > $CDIR"/summary.txt"
265            allargs=""
266            for xx in $listVar
267            do
268              case $xx in
269               'PS')  if [ $debug -gt 0 ]
270                      then echo testoutput_run: testoutput_var $1 cg2d_init_res 1>&2 ; fi
271                      testoutput_var $1 "cg2d_init_res" "cg2d init. residual" $2 $3; yy=$?
272                      if [ $debug -gt 0 ] ; then echo testoutput_run: cg2dres=$yy 1>&2 ; fi ;;
273               'Tmn') testoutput_var $1 "dynstat_theta_min"  "theta minimum"  $2 $3; yy=$? ;;
274               'Tmx') testoutput_var $1 "dynstat_theta_max"  "theta maximum"  $2 $3; yy=$? ;;
275               'Tav') testoutput_var $1 "dynstat_theta_mean" "theta mean"     $2 $3; yy=$? ;;
276               'Tsd') testoutput_var $1 "dynstat_theta_sd"   "theta s.d."     $2 $3; yy=$? ;;
277               'Smn') testoutput_var $1 "dynstat_salt_min"  "salt minimum"    $2 $3; yy=$? ;;
278               'Smx') testoutput_var $1 "dynstat_salt_max"  "salt maximum"    $2 $3; yy=$? ;;
279               'Sav') testoutput_var $1 "dynstat_salt_mean" "salt mean"       $2 $3; yy=$? ;;
280               'Ssd') testoutput_var $1 "dynstat_salt_sd"   "salt s.d."       $2 $3; yy=$? ;;
281               'Umn') testoutput_var $1 "dynstat_uvel_min"  "U minimum"       $2 $3; yy=$? ;;
282               'Umx') testoutput_var $1 "dynstat_uvel_max"  "U maximum"       $2 $3; yy=$? ;;
283               'Uav') testoutput_var $1 "dynstat_uvel_mean" "U mean"          $2 $3; yy=$? ;;
284               'Usd') testoutput_var $1 "dynstat_uvel_sd"   "U s.d."          $2 $3; yy=$? ;;
285               'Vmn') testoutput_var $1 "dynstat_vvel_min"  "V minimum"       $2 $3; yy=$? ;;
286               'Vmx') testoutput_var $1 "dynstat_vvel_max"  "V maximum"       $2 $3; yy=$? ;;
287               'Vav') testoutput_var $1 "dynstat_vvel_mean" "V mean"          $2 $3; yy=$? ;;
288               'Vsd') testoutput_var $1 "dynstat_vvel_sd"   "V s.d."          $2 $3; yy=$? ;;
289            'pt1mn'|'pt2mn'|'pt3mn'|'pt4mn'|'pt5mn') ii=`echo $xx | sed 's/pt//' | sed 's/..$//'`
290               testoutput_var $1 "trcstat_ptracer0"$ii"_min"  "p0"$ii"_min"   $2 $3; yy=$? ;;
291            'pt1mx'|'pt2mx'|'pt3mx'|'pt4mx'|'pt5mx') ii=`echo $xx | sed 's/pt//' | sed 's/..$//'`
292               testoutput_var $1 "trcstat_ptracer0"$ii"_max"  "p0"$ii"_max"   $2 $3; yy=$? ;;
293            'pt1av'|'pt2av'|'pt3av'|'pt4av'|'pt5av') ii=`echo $xx | sed 's/pt//' | sed 's/..$//'`
294               testoutput_var $1 "trcstat_ptracer0"$ii"_mean" "p0"$ii"_mean" $2 $3; yy=$? ;;
295            'pt1sd'|'pt2sd'|'pt3sd'|'pt4sd'|'pt5sd') ii=`echo $xx | sed 's/pt//' | sed 's/..$//'`
296               testoutput_var $1 "trcstat_ptracer0"$ii"_sd"   "p0"$ii"_sd"    $2 $3; yy=$? ;;
297                  *) yy=99; echo "WARNING: asking for var=$xx : not recognized !" 1>&2 ;;
298              esac
299              if test $xx = $sVar
300              then allargs="$allargs > $yy <"
301              else allargs="$allargs $yy"
302              fi
303            done
304    
305            nbVar=`echo $listVar | awk '{print NF}'`
306            if [ $nbVar -lt $LEN_CHECK_LIST ] ; then
307            #-- fill line (up to standard length) with dot:
308              adNul=`expr $LEN_CHECK_LIST - $nbVar | awk '{for(i=1;i<=$1;i++){print "."}}'`
309              echo $allargs $adNul
310            else
311              echo $allargs
312            fi
313    
314      else      else
315          testoutput_ad $1 $2 "precision_grdchk_result"          testoutput_ad $1 $2 "precision_grdchk_result"
316      fi      fi
# Line 211  genmakemodel() Line 322  genmakemodel()
322      if test "x$NOGENMAKE" = xt ; then      if test "x$NOGENMAKE" = xt ; then
323          echo "genmake skipped!"          echo "genmake skipped!"
324      else      else
325          GENMAKE2="$BASH ../../../tools/genmake2"          if test "x$BASH" = x ; then
326                GENMAKE2="../../../tools/genmake2"
327            else
328                GENMAKE2="$BASH ../../../tools/genmake2 -bash $BASH"
329            fi
330          (          (
331              cd $1;              cd $1;
332              command="$GENMAKE2  -ds -m $MAKE"              command="$GENMAKE2  -ds -m $MAKE"
# Line 219  genmakemodel() Line 334  genmakemodel()
334                  command="$command --mods=../code"                  command="$command --mods=../code"
335              else              else
336                  command="$command --mods=../code_ad"                  command="$command --mods=../code_ad"
                 command="$command -adof=../../../tools/adjoint_options/adjoint_staf"  
337              fi              fi
338              if test "x$OPTFILE" != xNONE ; then              if test "x$OPTFILE" != xNONE ; then
339                  command="$command --optfile=$OPTFILE"                  command="$command --optfile=$OPTFILE"
# Line 227  genmakemodel() Line 341  genmakemodel()
341              if test "x$IEEE" != x ; then              if test "x$IEEE" != x ; then
342                  command="$command -ieee"                  command="$command -ieee"
343              fi              fi
344                if test "x$MPI" = xt ; then
345                    command="$command -mpi"
346                fi
347                if test "x$TS" = xt ; then
348                    command="$command -ts"
349                fi
350                if test "x$PAPIS" = xt ; then
351                    command="$command -papis"
352                else
353                if test "x$PCLS" = xt ; then
354                    command="$command -pcls"
355                fi
356                fi
357              printf 'genmake ... ' 1>&2              printf 'genmake ... ' 1>&2
358              $command > make.log 2>&1              $command > make.log 2>&1
359              RETVAL=$?              RETVAL=$?
360              cp Makefile $CDIR              #  Reduce the size of the testing emails!
361                head -100 Makefile > $CDIR/Makefile_head
362              if test "x$RETVAL" != x0 ; then              if test "x$RETVAL" != x0 ; then
363                  tail make.log                  tail make.log
364                  echo "genmakemodel: genmake failed" 1>&2                  echo "genmakemodel: genmake failed" 1>&2
# Line 247  makeclean() Line 375  makeclean()
375  {  {
376      # makeclean directory      # makeclean directory
377      if test "x$NOCLEAN" = xt ; then      if test "x$NOCLEAN" = xt ; then
378          echo "make CLEAN skipped!"          echo "make Clean skipped!"
379      else      else
380          (          (
381              cd $1;              cd $1;
382              if test -e output.txt ; then              #if test -e $OUTPUTFILE ; then rm -f $OUTPUTFILE ; fi
                 rm -f output.txt  
             fi  
             printf 'make CLEAN ... ' 2>&1  
383              if test -r Makefile ; then              if test -r Makefile ; then
384                  $MAKE CLEAN >> make.log 2>&1                  printf 'clean build-dir: make Clean ... ' 2>&1
385                    $MAKE Clean >> make.log 2>&1
386                  RETVAL=$?                  RETVAL=$?
387                  if test "x$RETVAL" != x0 ; then                  if test "x$RETVAL" != x0 ; then
388                      tail make.log                      tail make.log
389                      echo "makeclean: \"make CLEAN\" failed" 1>&2                      echo "makeclean: \"make Clean\" failed" 1>&2
390                      cp make.log $CDIR"/make.log"                      cp make.log $CDIR"/make.log"
391                      return 1                      return 1
392                  fi                  fi
# Line 271  makeclean() Line 397  makeclean()
397      fi      fi
398  }  }
399    
400    run_clean()
401    {
402        # run_clean directory
403        if test "x$NOCLEAN" = xt ; then
404            echo "run_clean skipped!"
405        else
406            (
407                cd $1;
408                printf 'clean run-dir ... ' 2>&1
409                # part of what is done after "make clean" when doing "make CLEAN"
410                find . -name "*.meta" -exec rm {} \;
411                find . -name "*.data" -exec rm {} \;
412                find . -name "fort.*" -exec rm {} \;
413                find . -type l -exec rm {} \;
414                rm -f $EXECUTABLE *.txt STD* *diagnostics.log datetime
415                rm -rf mnc_test_*
416                echo successful 1>&2
417                exit 0
418            )
419        fi
420    }
421    
422  makedependmodel()  makedependmodel()
423  {  {
424      # makedependmodel directory      # makedependmodel directory
# Line 302  makemodel() Line 450  makemodel()
450          if test -r Makefile ; then          if test -r Makefile ; then
451              printf 'make ... ' 1>&2              printf 'make ... ' 1>&2
452              if test "x$ADM" = x ; then              if test "x$ADM" = x ; then
453                  $MAKE >> make.log 2>&1                  if test "x$JOBS" = x ; then
454                        $MAKE >> make.log 2>&1
455                    else
456                        $MAKE -j $JOBS >> make.log 2>&1
457                    fi
458              else              else
459                  $MAKE adall >> make.log 2>&1                  $MAKE adall >> make.log 2>&1
460              fi              fi
# Line 329  symlink_mpifiles() Line 481  symlink_mpifiles()
481      code_dir=$2      code_dir=$2
482      BUILD_DIR=$dir/$3      BUILD_DIR=$dir/$3
483      CODE_DIR=$dir/$code_dir      CODE_DIR=$dir/$code_dir
484        
485      # These are files that should replace their counter-part when using -mpi      # These are files that should replace their counter-part when using -mpi
486      MPI_FILES=`(cd $CODE_DIR; find . -name "*_mpi")`      MPI_FILES=`(cd $CODE_DIR; find . -name "*_mpi")`
487    
# Line 344  symlink_mpifiles() Line 496  symlink_mpifiles()
496              RETVAL=$?              RETVAL=$?
497              if test "x$RETVAL" != x0 ; then              if test "x$RETVAL" != x0 ; then
498                  if ! test -f $BUILD_DIR/$i ; then                  if ! test -f $BUILD_DIR/$i ; then
499                  #echo Linking $name to $i                      #echo Linking $name to $i
500                      (cd $BUILD_DIR; ln -sf ../$code_dir/$i $name)                      (cd $BUILD_DIR; ln -sf ../$code_dir/$i $name)
501                  fi                  fi
502              fi              fi
503          done          done
504      else      else
505      # NO: We undo any _mpi symbolically linked files          # NO: We undo any _mpi symbolically linked files
506          for ii in $MPI_FILES ; do          for ii in $MPI_FILES ; do
507              i=`echo $ii | sed 's:^\./::'`              i=`echo $ii | sed 's:^\./::'`
508              name=`echo $i | sed 's:_mpi::' `              name=`echo $i | sed 's:_mpi::' `
509              if test -L $BUILD_DIR/$name ; then              if test -L $BUILD_DIR/$name ; then
510                  linktarg=`(cd $BUILD_DIR; readlink $name)`                  cmp $BUILD_DIR/$name "../$code_dir/$name"_mpi > /dev/null 2>&1
511                  if test $linktarg = "../$code_dir/$name"_mpi ; then                  RETVAL=$?
512                  #echo Un-linking $name from $linktarg                  if test "x$RETVAL" = x0 ; then
513                        #echo Un-linking $name from $linktarg
514                      rm -f $BUILD_DIR/$name                      rm -f $BUILD_DIR/$name
515                  fi                  fi
516              fi              fi
# Line 368  symlink_mpifiles() Line 521  symlink_mpifiles()
521    
522  linkdata()  linkdata()
523  {  {
524      # linkdata flag      # linkdata run_dir input_dir_1 input_dir_2 ...
525      #      #
526      # symbolically link data files to run directory      # symbolically link data files to run directory
527      if test "x$1" = x1 ; then      if test -d $1 ; then
528          (          (
529              cd $2              cd $1 ; shift
530              if test "x$ADM" = x ; then              if test -r "../"$1"/eedata.mth" ; then
531                  files=`( cd ../input ; ls -1 | grep -v CVS )`              # found eedata.mth in 1rst input dir and it is readable
532                  for i in $files ; do                  if test "x$MULTI_THREAD" = "xt" ; then
533                      if test ! -d "../input/"$i ; then                  # multi-threaded test: remove symbolic link & link eedata.mth
534                          ln -sf "../input/"$i $i                      if test -h eedata ; then rm -f eedata ; fi
535                      fi                      if test ! -r eedata ; then
536                  done                          ln -sf "../"$1"/eedata.mth" eedata ;
537              else                          printf 'eedata.mth ' 1>&2
                 files=`( cd ../input ; ls -1 *.bin | grep -v CVS )`  
                 for i in $files ; do  
                     if test ! -d "../input/"$i ; then  
                         ln -sf "../input/"$i $i  
                     fi  
                 done  
                 files=`( cd ../input_ad ; ls -1 | grep -v CVS )`  
                 for i in $files ; do  
                     if test ! -d "../input_ad/"$i ; then  
                         ln -sf "../input_ad/"$i $i  
538                      fi                      fi
539                  done                  else
540                    # not multi-threaded test: remove eedata symbolic link
541                        if test -h eedata ; then rm -f eedata ; fi
542                    fi
543              fi              fi
544                for ldir in $* ; do
545                    if test -d "../"$ldir ; then
546                        printf 'ldir='${ldir} 1>&2
547                        files=`( cd "../"$ldir ; ls -1 | grep -v CVS )`
548                        for i in $files ; do
549                            if test ! -d "../"$ldir/$i ; then
550                                if test ! -r $i  ; then
551                                    printf ' '$i 1>&2
552                                    ln -sf "../"$ldir"/"$i $i
553                                fi
554                            fi
555                        done
556                        if test -x "../"$ldir"/"prepare_run ; then
557                            "../"$ldir"/"prepare_run
558                        fi
559                        printf ' ; ' 1>&2
560                    fi
561                done
562          )          )
563      fi      fi
564  }  }
# Line 407  runmodel() Line 571  runmodel()
571      #  (where "$COMMAND" is relative to "directory")      #  (where "$COMMAND" is relative to "directory")
572      (      (
573          cd $1          cd $1
574          printf 'runmodel ... ' 1>&2          printf 'runmodel in %s ...' $1 1>&2
575          # make output.txt          # make output.txt
576          $COMMAND >> run.log 2>&1          echo
577          RETVAL=$?          if test ! -x $EXECUTABLE -a -x "../"$builddir"/"$EXECUTABLE ; then
578          if test "x$RETVAL" = x0 ; then              echo " link" $EXECUTABLE "from dir ../"$builddir > run.log_00
579              echo successful 1>&2              ln -sf "../"$builddir"/"$EXECUTABLE .
580              if test "x$ADM" = x ; then          fi
581                  cp output.txt $CDIR"/output.txt"          if test ! -x $EXECUTABLE ; then
582                    rm -f run.log ; touch run.log
583                    if test -f run.log_00 ; then cat run.log_00 >> run.log ; fi
584                    echo " no executable:" $EXECUTABLE >> run.log
585                    RETVAL=8
586                    ENDVAL=-1
587            else
588                if test $OUTPUTFILE -ot $EXECUTABLE ; then
589                    rm -f run.log ; touch run.log
590                    if test -f run.log_00 ; then cat run.log_00 >> run.log ; fi
591                    ( eval $COMMAND ) >> run.log 2>&1
592                    RETVAL=$?
593              else              else
594                  cp output.txt_adm $CDIR"/output.txt_adm"                  RETVAL=0
595                    if test -f run.log ; then
596                        if test -f run.log_00 ; then cat run.log_00 >> run.log ; fi
597                        echo "---------->> $OUTPUTFILE is up to date " >> run.log 2>&1
598                    else
599                        touch run.log
600                        if test -f run.log_00 ; then cat run.log_00 >> run.log ; fi
601                        echo "---------->> $OUTPUTFILE is up to date " >> run.log 2>&1
602                        echo " no previous run.log: assume NORMAL END" >> run.log 2>&1
603                    fi
604              fi              fi
605                ENDVAL=`cat run.log | grep -v 'ABNORMAL END' | grep -c 'NORMAL END'`
606            fi
607            rm -f run.log_00
608            #if test "x$RETVAL" = x0 ; then
609            if [ $RETVAL -eq 0 -a $ENDVAL -gt 0 ] ; then
610                tail run.log
611                echo successful 1>&2
612                # === Reduce the size of the testing emails!
613                #cp $OUTPUTFILE $CDIR"/"$OUTPUTFILE
614                if test -s STDERR.0000 ; then cp STDERR.0000 $CDIR"/STDERR.0000" ; fi
615              return 0              return 0
616          else          else
617              tail run.log              tail run.log
618              echo failed 1>&2              echo failed '(run:' $RETVAL ' end:' $ENDVAL ')' 1>&2
619              cp run.log $CDIR"/run.log"              cp run.log $CDIR"/run.log"
620                if test -s STDERR.0000 ; then cp STDERR.0000 $CDIR"/STDERR.0000" ; fi
621              return 1              return 1
622          fi          fi
623      )      )
# Line 432  createcodelet() Line 627  createcodelet()
627  {  {
628      # create codelet for comparing model output      # create codelet for comparing model output
629    
630      echo -n "creating the comparison code...  "      printf "creating the comparison code...  "
631      cat > tmp_cmpnum.c <<EOF      cat > tr_cmpnum.c <<EOF
632  #include <stdio.h>  #include <stdio.h>
633  #include <math.h>  #include <math.h>
634  int main( int argc, char** argv )  {  int main( int argc, char** argv )  {
635    int linnum,best;    int linnum,cmplin,best,lncnt;
636    double a,b,diff;    double a,b,abave,relerr;
637    best = -16;    best = -22;
638    while( 1 )  {    lncnt = 0;
639      while( 1 & ( (lncnt+=1) < 999 ) )  {
640      scanf("%d", &linnum);      scanf("%d", &linnum);
641      if (linnum == -1)  break;      if (linnum == -1)  break;
642      scanf("%lf", &a);  scanf("%lf", &b);      scanf("%lf", &a);  scanf("%lf", &b);
643      diff = 0.5*(fabs(a)+fabs(b));      abave = 0.5*(fabs(a)+fabs(b));
644      if (diff > 1.e-12) {      if ( abave == abave ) {
645        diff=fabs(a-b)/diff;        if (abave > 0.0) {
646        if (diff > 0.0) {          relerr=fabs(a-b)/abave;
647          linnum = (int)log10(diff);          if (relerr > 0.0) { cmplin = (int)rint(log10(relerr)); }
648          best = (best > linnum) ? best : linnum;          else { cmplin = -16 ; }
649            best = (best > cmplin) ? best : cmplin; }
650          else { cmplin = -22 ; }
651       /* printf("%d ; %lf ; %lf\n",cmplin,a,b); */
652        }        }
653        else {     else {
654          if (best == -16 && diff != 0)  best = -22;     /* printf("%lf ; %lf ; %lf\n",abave,a,b); */
655        }        break; }
     }  
656    }    }
657      if (lncnt == 999) best=-29;
658      if (linnum != -1) best=-99;
659    printf("%d\n", -best);    printf("%d\n", -best);
660    return 0;    return 0;
661  }  }
662  EOF  EOF
663      cc -o tmp_cmpnum tmp_cmpnum.c -lm      $CC -o tr_cmpnum tr_cmpnum.c -lm
664    
665      if [ -x ./tmp_cmpnum ]; then      if [ -x ./tr_cmpnum ]; then
666          echo "OK"          echo "OK"
667          return 0          return 0
668      else      else
669          echo          echo
670          echo "ERROR: failed to compile comparison code"          echo "ERROR: failed to compile comparison code -- please specify"
671            echo "  a C compiler using the CC environment variable."
672          exit 1          exit 1
673      fi      fi
674  }  }
# Line 479  formatresults() Line 680  formatresults()
680      nm=$1      nm=$1
681      printf '%s %s %s %s' $2 $3 $4 $5      printf '%s %s %s %s' $2 $3 $4 $5
682      shift; shift; shift; shift; shift;      shift; shift; shift; shift; shift;
683      printf '%3s' $@      listPrt=$@
684        listRes=`echo $listPrt | sed 's/>//' | sed 's/<//'`
685        xx=`echo $listPrt | sed 's/.*>//' | sed 's/<.*//' | awk '{print $1}'`
686        printf '%3s' $listPrt
687    #   printf '%3s' $listPrt | sed 's/ 99/ --/g' | sed 's/  > />/' | sed 's/  < /</'
688    #   printf '%3s' $listPrt | sed 's/ 99/ --/g' | sed 's/  > / /' | sed 's/  < / /'
689            
690      if [ $1 = '--' ]; then      if [ $xx = '..' ]; then
691            printf ' N/O '
692        elif [ $xx = '--' ]; then
693            printf ' N/O '
694        elif [ $xx = 99 ]; then
695          printf ' N/O '          printf ' N/O '
696      else      else
697          if [ $1 -gt 12 ]; then          if [ $xx -ge $MATCH_CRIT ]; then
698              printf ' pass'              printf ' pass'
699          else          else
700              printf ' FAIL'              printf ' FAIL'
# Line 495  formatresults() Line 705  formatresults()
705            
706  }  }
707    
 show_help()  
 {  
     cat - << EOF  
 $0 [-help] [-quick] [-verbose] dir1 [dir2] [...]  
   
  -help|-h      Show this help message  
  -quiet     Reduce the amount of output  
  -verbose   Produce copious amounts of output  
  -debug     Produce even more output which will mean nothing to most  
  -force     Do "make CLEAN" before compiling. This forces a complete rebuild.  
  -clean     Do "make CLEAN" after compiling and testing.  
  -cleanup   Aggresively removes all model output, executables and object files  
             and then exits. Use with care.  
   
 Normal usage:  
  $0 *       Configure, compile, run and analyze in all experiment directories  
 EOF  
 }  
   
708  scandirs()  scandirs()
709  {  {
710      if [ $# -eq 0 ]; then      if [ $# -eq 1 ]; then
711          for arg in * ; do          for arg in * ; do
712              test -d $arg/input && echo $arg              test -d $arg/$1 && echo $arg
713          done          done
714      else      else
715          echo $*          echo $*
716      fi      fi
717  }  }
718    
# Line 536  clean=0 Line 727  clean=0
727  expts=''  expts=''
728  # ieee=1  # ieee=1
729    
730  IEEE=  IEEE=true
731  if test "x$MITGCM_IEEE" != x ; then  if test "x$MITGCM_IEEE" != x ; then
732      IEEE=$MITGCM_IEEE      IEEE=$MITGCM_IEEE
733  fi  fi
# Line 547  QUICK=f Line 738  QUICK=f
738  NOGENMAKE=f  NOGENMAKE=f
739  NOCLEAN=f  NOCLEAN=f
740  NODEPEND=f  NODEPEND=f
741    POSTCLEAN=f
742    
743  BASH=  BASH=
744  OPTFILE=NONE  OPTFILE=NONE
745  ADDRESSES=  ADDRESSES=
746  TESTDIRS=  TESTDIRS=
747    SKIPDIRS=
748  MPACKDIR="../tools/mpack-1.6"  MPACKDIR="../tools/mpack-1.6"
749  HAVE_MPACK=  HAVE_MPACK=
750  MPACK="$MPACKDIR/mpack"  MPACK="$MPACKDIR/mpack"
751  COMMAND=  COMMAND=
752  MAKE=make  if test "x$MAKE" = x ; then
753        MAKE=make
754    fi
755    if test "x$CC" = x ; then
756        CC=cc
757    fi
758    JOBS=
759  MPI=f  MPI=f
760    MULTI_THREAD=f
761    OUTDIR=
762    DELDIR=
763    
764  ADM=  ADM=
765    
766  echo -n "parsing options...  "  # Additional monitor types
767    PTRACERS_NUM="1 2 3 4 5"
768    
769    MATCH_CRIT=13
770    
771    printf "parsing options...  "
772    
773  ac_prev=  ac_prev=
774  for ac_option ; do  for ac_option ; do
# Line 595  for ac_option ; do Line 802  for ac_option ; do
802          -tdir=* | --tdir=*)          -tdir=* | --tdir=*)
803              TESTDIRS=$ac_optarg ;;              TESTDIRS=$ac_optarg ;;
804    
805            -skipdir | --skipdir | -skd | --skd)
806                ac_prev=SKIPDIRS ;;
807            -skipdir=* | --skipdir=*)
808                SKIPDIRS=$ac_optarg ;;
809    
810          -bash | --bash | -b | --b)          -bash | --bash | -b | --b)
811              ac_prev=BASH ;;              ac_prev=BASH ;;
812          -bash=* | --bash=*)          -bash=* | --bash=*)
# Line 610  for ac_option ; do Line 822  for ac_option ; do
822          -make=* | --make=*)          -make=* | --make=*)
823              MAKE=$ac_optarg ;;              MAKE=$ac_optarg ;;
824    
825            -odir | --odir)
826                ac_prev=OUTDIR ;;
827            -odir=* | --odir=*)
828                OUTDIR=$ac_optarg ;;
829    
830            -ptracers | --ptracers | -ptr | --ptr)
831                ac_prev=PTRACERS_NUM ;;
832            -ptracers=* | --ptracers=* | -ptr=* | --ptr=*)
833                PTRACERS_NUM=$ac_optarg ;;
834    
835            -match | --match ) ac_prev=MATCH_CRIT ;;
836            -match=* | --match=* ) MATCH_CRIT=$ac_optarg ;;
837    
838            -j) ac_prev=JOBS ;;
839            -j=*) JOBS=$ac_optarg ;;
840    
841          -clean | --clean)          -clean | --clean)
842              CLEANUP=t ;;              CLEANUP=t ; DELDIR=t ;;
843    
844          -quick | --quick | -q | --q)          -quick | --quick | -q | --q)
845              QUICK=t ;;              QUICK=t ;;
# Line 622  for ac_option ; do Line 850  for ac_option ; do
850          -nodepend | --nodepend | -nd | --nd)          -nodepend | --nodepend | -nd | --nd)
851              NODEPEND=t ;;              NODEPEND=t ;;
852    
853            -postclean | --postclean | -pc | --pc)
854                POSTCLEAN=t ;;
855    
856          -mpi) MPI=t ;;          -mpi) MPI=t ;;
857    
858            -mth) MULTI_THREAD=t ;;
859    
860          -adm | -ad) ADM=t ;;          -adm | -ad) ADM=t ;;
861    
862          -ieee) IEEE=true ;;          -ieee) IEEE=true ;;
# Line 633  for ac_option ; do Line 866  for ac_option ; do
866          -debug) debug=1 ;;          -debug) debug=1 ;;
867          -quiet) verbose=0 ;;          -quiet) verbose=0 ;;
868    
869            -deldir | -dd) DELDIR=t ;;
870    
871            -ts) TS=t;;
872    
873            -papis) PAPIS=t;;
874    
875            -pcls) PCL=t;;
876    
877          -*)          -*)
878              echo "Error: unrecognized option: "$ac_option              echo "Error: unrecognized option: "$ac_option
879              usage              usage
# Line 654  if test "x$QUICK" = xt ; then Line 895  if test "x$QUICK" = xt ; then
895  fi  fi
896    
897  if test "x$TESTDIRS" = x ; then  if test "x$TESTDIRS" = x ; then
898      TESTDIRS=`scandirs`      if test "x$ADM" = xt ; then
899            LIST=`scandirs results_ad`
900        else
901            LIST=`scandirs results`
902        fi
903    else
904        #- expand group of experiments:
905        LIST=" "
906        for xx in $TESTDIRS
907        do
908          case $xx in
909            'basic') LIST=${LIST}" aim.5l_cs hs94.128x64x5 ideal_2D_oce"
910                     LIST=${LIST}" lab_sea tutorial_baroclinic_gyre"
911                     LIST=${LIST}" tutorial_global_oce_latlon tutorial_plume_on_slope"
912                    ;;
913            'tutorials')
914                     LIST=${LIST}" "`ls | grep 'tutorial_'` ;;
915            *)       LIST=${LIST}" "$xx ;;
916          esac
917        done
918  fi  fi
919    #echo 'LIST='${LIST}'<'
920    #- skip dirs, remove duplicate and non-directory:
921    TESTDIRS=" "
922    count=0
923    for xx in $LIST
924    do
925        yy=`echo $SKIPDIRS | grep -c $xx`
926        if test $yy = 0 ; then
927            if test -d $xx ; then
928                yy=`echo $TESTDIRS | grep -c $xx`
929                if test $yy = 0 ; then TESTDIRS=${TESTDIRS}" "$xx ; fi
930            else count=1 ;
931                echo ""; echo -n " -- skip \"$xx\" (not a directory !)"
932            fi
933        else
934            if test $count = 1 ; then echo -n ", \"$xx\""
935            else count=1 ; echo "" ;  echo -n " skip: \"$xx\""
936            fi
937        fi
938    done
939    if test $count = 1 ; then echo "" ; echo -n " ... " ; fi
940    #echo 'TESTDIRS='${TESTDIRS}'<'
941    
942  if test "x$OPTFILE" = xNONE -a "x$MITGCM_OF" != x ; then  if test "x$OPTFILE" = xNONE -a "x$MITGCM_OF" != x ; then
943      OPTFILE=$MITGCM_OF      OPTFILE=$MITGCM_OF
944  fi  fi
945    
946  if test "x$ADM" = xt -a "x$COMMAND" = x ; then  if test "x$ADM" = xt ; then
947      COMMAND="./mitgcmuv_ad > output.txt_adm 2>&1"      EXECUTABLE="mitgcmuv_ad"
948        OUTPUTFILE="output_adm.txt"
949    else
950        EXECUTABLE="mitgcmuv"
951        OUTPUTFILE="output.txt"
952  fi  fi
953    
954  if test "x$COMMAND" = x ; then  if test "x$COMMAND" = x ; then
955      COMMAND="make output.txt"      COMMAND="./$EXECUTABLE > $OUTPUTFILE"
956  fi  fi
957    if test "x$MPI" = xt ; then
958        OUTPUTFILE="STDOUT.0000"
959    fi
960    
961    #echo "OK"
962    echo "OK (COMMAND= $COMMAND )"
963    
964  echo "OK"  # set the Default List of output variables to be checked:
965    #  (use default or load experiment-specific list from file "tr_checklist")
966    # content : 1rst = main variable used to decide if it pass or FAIL
967    #         others = number of matching digits to be printed in summary.txt
968    if test "x$ADM" != xt ; then
969        DEF_CHECK_LIST='PS PS T+ S+ U+ V+ pt1+ pt2+ pt3+ pt4+ pt5+'
970        EMPTY_RESULTS='.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..'
971        LEN_CHECK_LIST=`echo $DEF_CHECK_LIST | sed 's/ [a-zA-Z0-9]*+/&mn &mx &av &sd/g' | awk '{print NF-1}'`
972        ii=`echo $EMPTY_RESULTS | awk '{print NF}'`
973        EMPTY_RESULTS=$EMPTY_RESULTS`expr $LEN_CHECK_LIST - $ii | awk 'BEGIN{FS=":"}{for(i=1;i<=$1;i++){printf "  ."}}'`
974    fi
975    
976  #  create the FORTRAN comparison code  #  create the FORTRAN comparison code
977  createcodelet  createcodelet
978    
979  #  build the mpack utility  #  build the mpack utility
980  build_mpack  if test "x$ADDRESSES" = xNONE -o "x$ADDRESSES" = x ; then
981        echo "skipping mpack build"
982    else
983        build_mpack
984    fi
985    
986  #  Create a uniquely named directory to store results  #  Create a uniquely named directory to store results
987  MACH=`hostname`  MACH=`hostname`
988  UNAMEA=`uname -a`  UNAMEA=`uname -a`
989  DATE=`date +%Y%m%d`  DATE=`date +%Y%m%d`
990  BASE="tr_"$MACH"_"$DATE"_"  BASE="tr_"$MACH"_"$DATE"_"
991    if test "x$OUTDIR" != x ; then
992        BASE="tr_"$OUTDIR"_"$DATE"_"
993    fi
994  DNUM=0  DNUM=0
995  DRESULTS="$BASE$DNUM"  DRESULTS="$BASE$DNUM"
996  while test -e $DRESULTS ; do  while test -e $DRESULTS ; do
# Line 695  if test "x$RETVAL" != x0 ; then Line 1004  if test "x$RETVAL" != x0 ; then
1004      exit 1      exit 1
1005  fi  fi
1006  SUMMARY="$DRESULTS/summary.txt"  SUMMARY="$DRESULTS/summary.txt"
1007  echo -n "Start time:  " >> $SUMMARY  printf "Start time:  " >> $SUMMARY
1008  start_date=`date`  start_date=`date`
1009  echo $start_date > $SUMMARY  echo $start_date > $SUMMARY
1010    
# Line 727  fi Line 1036  fi
1036  echo  echo
1037  echo >> $SUMMARY  echo >> $SUMMARY
1038  if test "x$ADM" = x ; then  if test "x$ADM" = x ; then
1039      cat << EOF | tee -a $SUMMARY      if [ $MATCH_CRIT -lt 10 ] ;
1040                  T           S           U           V      then line_0="default  "$MATCH_CRIT ;
1041  G D M    c        m  s        m  s        m  s        m  s      else line_0="default "$MATCH_CRIT ; fi
1042  E p a R  g  m  m  e  .  m  m  e  .  m  m  e  .  m  m  e  .         line_0="$line_0  ----T-----  ----S-----  ----U-----  ----V-----"
1043  N n k u  2  i  a  a  d  i  a  a  d  i  a  a  d  i  a  a  d  #   line_0="            ----T-----  ----S-----  ----U-----  ----V-----"
1044  2 d e n  d  n  x  n  .  n  x  n  .  n  x  n  .  n  x  n  .      line_1="G D M    c        m  s        m  s        m  s        m  s"
1045        line_2="E p a R  g  m  m  e  .  m  m  e  .  m  m  e  .  m  m  e  ."
1046  EOF      line_3="N n k u  2  i  a  a  d  i  a  a  d  i  a  a  d  i  a  a  d"
1047        line_4="2 d e n  d  n  x  n  .  n  x  n  .  n  x  n  .  n  x  n  ."
1048        for ii in $PTRACERS_NUM ; do
1049            #  tst=`eval 'echo $HAVE_PTR0'$ii`
1050            #  if test "x$tst" = xt ; then
1051            line_0="$line_0  --PTR 0"$ii"--"
1052            line_1="$line_1        m  s"
1053            line_2="$line_2  m  m  e  ."
1054            line_3="$line_3  i  a  a  d"
1055            line_4="$line_4  n  x  n  ."
1056            #  fi
1057        done
1058        echo "$line_0" | tee -a $SUMMARY
1059        echo "$line_1" | tee -a $SUMMARY
1060        echo "$line_2" | tee -a $SUMMARY
1061        echo "$line_3" | tee -a $SUMMARY
1062        echo "$line_4" | tee -a $SUMMARY
1063        echo " "       | tee -a $SUMMARY
1064  else  else
1065      echo "ADJOINT=true" >> $SUMMARY      echo "ADJOINT=true" >> $SUMMARY
1066      echo >> $SUMMARY      echo >> $SUMMARY
# Line 753  for dir in $TESTDIRS ; do Line 1079  for dir in $TESTDIRS ; do
1079      #  Cleanup only!      #  Cleanup only!
1080      if test "x$CLEANUP" = xt ; then      if test "x$CLEANUP" = xt ; then
1081          if test -r $dir/build/Makefile ; then          if test -r $dir/build/Makefile ; then
1082                echo '  ------  clean dir:' $dir/build
1083              ( cd $dir/build ; make CLEAN )              ( cd $dir/build ; make CLEAN )
1084          fi          fi
1085          if test -r $dir/input/Makefile ; then          if test -d $dir/run/CVS ; then
1086              ( cd $dir/input ; make CLEAN )              echo '  ------  clean dir:' $dir/run
1087                run_clean $dir/run
1088          fi          fi
1089            (
1090                cd $dir
1091                rm -rf tr_run.*
1092            )
1093          continue          continue
1094      fi      fi
1095    
# Line 767  for dir in $TESTDIRS ; do Line 1099  for dir in $TESTDIRS ; do
1099      if test "x$ADM" = x ; then      if test "x$ADM" = x ; then
1100          fout=$dir"/results/output.txt"          fout=$dir"/results/output.txt"
1101      else      else
1102          fout=$dir"/results_ad/output.txt_adm"          fout=$dir"/results_ad/output_adm.txt"
1103      fi      fi
1104      if test ! -r $fout ; then      if test ! -r $fout ; then
1105          echo "can't read \"$fout\" -- skipping $dir"          echo "can't read \"$fout\" -- skipping $dir"
1106          continue          continue
1107      fi      fi
1108        if test "x$ADM" = x ; then
1109            check_for_add_mon_output  $fout
1110        fi
1111    
1112        # Check for additional types of monitor output
1113    
1114      builddir="input"      builddir="build"
1115      rundir="input"      if test ! -d $dir/$builddir ; then mkdir $dir/$builddir ; fi
1116      use_seperate_build=0      rundir="run"
1117      if test -d $dir/build -a -r $dir/build ; then     #rundir=$builddir
1118          builddir="build"      if test ! -d $dir/$rundir ; then
1119          rundir="build"          rundir=$builddir
         use_seperate_build=1  
         linkdata $use_seperate_build $dir/$rundir  
1120      fi      fi
1121            
1122      if test "x$ADM" = x ; then      if test "x$ADM" = x ; then
1123          code_dir=code          code_dir=code
1124          CODE_DIR=$dir/code          CODE_DIR=$dir/code
1125            input_dirs='input'
1126      else      else
1127          code_dir=code_ad          code_dir=code_ad
1128          CODE_DIR=$dir/code_ad          CODE_DIR=$dir/code_ad
1129            input_dirs='input_ad input'
1130      fi      fi
1131      BUILD_DIR=$dir/$builddir      BUILD_DIR=$dir/$builddir
1132    
# Line 797  for dir in $TESTDIRS ; do Line 1134  for dir in $TESTDIRS ; do
1134          echo "can't find \"$CODE_DIR/SIZE.h_mpi\" -- skipping $dir"          echo "can't find \"$CODE_DIR/SIZE.h_mpi\" -- skipping $dir"
1135          continue          continue
1136      fi      fi
1137        if test ! -r $dir"/input/eedata.mth" -a "x$MULTI_THREAD" = "xt" ; then
1138            echo "can't find \"$dir/input/eedata.mth\" -- skipping $dir"
1139            continue
1140        fi
1141    
1142        #  Check whether there are "extra runs" for this testdir
1143        extra_runs=
1144        if test "x$ADM" = x ; then
1145            ex_run_dirs=`( cd $dir ; echo input.* )`
1146            #echo "ex_run_dirs='$ex_run_dirs'"
1147            for exd in $ex_run_dirs ; do
1148                name=`echo $exd | sed -e 's/input.//g'`
1149                outf="$dir/results/output.$name.txt"
1150                if test -f $outf -a -r $outf ; then
1151                    if test "x$MULTI_THREAD" = "xt" ; then
1152                        if test -r $dir"/"$exd"/eedata.mth" ; then
1153                            extra_runs="$extra_runs $name"
1154                        #else echo $dir"/"$exd"/eedata.mth: not found"
1155                        fi
1156                    else
1157                        extra_runs="$extra_runs $name"
1158                    fi
1159                fi
1160            done
1161        fi
1162    
1163      echo "-------------------------------------------------------------------------------"      echo "-------------------------------------------------------------------------------"
1164      echo      echo
1165      echo "Experiment:  $dir"      if test "x$extra_runs" = "x" ; then
1166           echo "Experiment:  $dir"
1167        else
1168           echo "Experiment:  $dir ; extra_runs=$extra_runs"
1169        fi
1170      echo      echo
1171      unset genmake makedepend make run      unset genmake makedepend make run
1172      results='-- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --'      results=$EMPTY_RESULTS
1173    
1174      #  Create an output dir for each OPTFILE/tdir combination      #  Create an output dir for each OPTFILE/tdir combination
1175      rel_CDIR=$DRESULTS"/"$dir      rel_CDIR=$DRESULTS"/"$dir
# Line 811  for dir in $TESTDIRS ; do Line 1177  for dir in $TESTDIRS ; do
1177      CDIR=`pwd`"/$rel_CDIR"      CDIR=`pwd`"/$rel_CDIR"
1178            
1179      if test "x$CLEANUP" = xt ; then      if test "x$CLEANUP" = xt ; then
1180          makeclean $dir/$builddir          echo '====>>> this is to check that we never go through this part <<< ==='
1181            makeclean $dir/$builddir \
1182                && run_clean $dir/$rundir
1183      else      else
1184          genmakemodel $dir/$builddir && genmake=Y \          genmakemodel $dir/$builddir && genmake=Y \
1185              && makeclean $dir/$builddir \              && makeclean $dir/$builddir \
1186                && run_clean $dir/$rundir \
1187              && symlink_mpifiles $dir $code_dir $builddir \              && symlink_mpifiles $dir $code_dir $builddir \
1188              && makedependmodel $dir/$builddir && makedepend=Y \              && makedependmodel $dir/$builddir && makedepend=Y \
1189              && makemodel $dir/$builddir && make=Y \              && makemodel $dir/$builddir && make=Y \
1190              && linkdata $use_seperate_build $dir/$rundir \              && linkdata $dir/$rundir $input_dirs \
1191              && runmodel $dir/$rundir && run=Y \              && runmodel $dir/$rundir && run=Y \
1192              && results=`testoutput $dir $rundir`              && results=`testoutput_run $dir $rundir "txt"`
1193      fi      fi
1194            
1195      echo      echo
1196      if test "x$ADM" = x ; then      if test "x$ADM" = x ; then
1197          fres=`formatresults $dir ${genmake:-N} ${makedepend:-N} ${make:-N} ${run:-N} $results`          fres=`formatresults $dir ${genmake:-N} ${makedepend:-N} ${make:-N} ${run:-N} $results`
1198            echo
1199    #       echo "$fres" | sed 's/ 99/ --/g' | sed 's/  > />/' | sed 's/  < /</' >> $SUMMARY
1200            echo "$fres" | sed 's/ 99/ --/g' | sed 's/  > / /' | sed 's/  < / /' >> $SUMMARY
1201            touch $CDIR"/summary.txt"
1202            echo "fresults='$fres'" | sed 's/ 99/ --/g' >> $CDIR"/summary.txt"
1203            echo "MACH='$MACH'" >> $CDIR"/summary.txt"
1204            echo "UNAMEA='$UNAMEA'" >> $CDIR"/summary.txt"
1205            echo "DATE='$DATE'" >> $CDIR"/summary.txt"
1206            echo "tdir='$dir'" >> $CDIR"/summary.txt"
1207    
1208            for ex in $extra_runs ; do
1209                unset run
1210                results=$EMPTY_RESULTS
1211                #  Create an output dir for each OPTFILE/tdir.ex combination
1212                rel_CDIR=$DRESULTS"/"$dir"."$ex
1213                mkdir $rel_CDIR
1214                CDIR=`pwd`"/$rel_CDIR"
1215                test ! -e "$dir/tr_run.$ex" && mkdir "$dir/tr_run.$ex"
1216                run_clean $dir/tr_run.$ex
1217                linkdata $dir/tr_run.$ex input.$ex input
1218                runmodel $dir/tr_run.$ex && run=Y \
1219                    && results=`testoutput_run $dir tr_run.$ex ${ex}".txt"`
1220                fres=`printf '%s %s %s %s' ${genmake:-N} ${makedepend:-N} ${make:-N} ${run:-N}`
1221                fres=`formatresults $dir ${genmake:-N} ${makedepend:-N} ${make:-N} ${run:-N} $results`
1222                fres="$fres.$ex"
1223                echo
1224    #           echo "$fres" | sed 's/ 99/ --/g' | sed 's/  > />/' | sed 's/  < /</' >> $SUMMARY
1225                echo "$fres" | sed 's/ 99/ --/g' | sed 's/  > / /' | sed 's/  < / /' >> $SUMMARY
1226                touch $CDIR"/summary.txt"
1227                echo "fresults='$fres'" | sed 's/ 99/ --/g' >> $CDIR"/summary.txt"
1228                echo "MACH='$MACH'" >> $CDIR"/summary.txt"
1229                echo "UNAMEA='$UNAMEA'" >> $CDIR"/summary.txt"
1230                echo "DATE='$DATE'" >> $CDIR"/summary.txt"
1231                echo "tdir='$dir.$ex'" >> $CDIR"/summary.txt"
1232                if test "x$POSTCLEAN" = xt ; then
1233                    run_clean $dir/tr_run.$ex
1234                fi
1235            done
1236      else      else
1237          fres=`printf '%s %s %s %s' ${genmake:-N} ${makedepend:-N} ${make:-N} ${run:-N}`          fres=`printf '%s %s %s %s' ${genmake:-N} ${makedepend:-N} ${make:-N} ${run:-N}`
1238          fres=$fres"$results   $dir"          fres=$fres"$results   $dir"
1239            echo
1240            echo "$fres" >> $SUMMARY
1241            touch $CDIR"/summary.txt"
1242            echo "fresults='$fres'" >> $CDIR"/summary.txt"
1243            echo "MACH='$MACH'" >> $CDIR"/summary.txt"
1244            echo "UNAMEA='$UNAMEA'" >> $CDIR"/summary.txt"
1245            echo "DATE='$DATE'" >> $CDIR"/summary.txt"
1246            echo "tdir='$dir'" >> $CDIR"/summary.txt"
1247            grep -A3 'Seconds in section "ALL' $dir/$rundir/$OUTPUTFILE \
1248                               >> $CDIR"/summary.txt"
1249        fi
1250    
1251        #postclean $dir/$builddir
1252        if test "x$POSTCLEAN" = xt ; then
1253            makeclean $dir/$builddir \
1254                && run_clean $dir/$rundir
1255      fi      fi
     echo  
     echo "$fres" >> $SUMMARY  
     echo "fresults='$fres'" > $CDIR"/summary.txt"  
     echo "MACH='$MACH'" >> $CDIR"/summary.txt"  
     echo "UNAMEA='$UNAMEA'" >> $CDIR"/summary.txt"  
     echo "DATE='$DATE'" >> $CDIR"/summary.txt"  
     echo "tdir='$dir'" >> $CDIR"/summary.txt"  
1256            
1257      echo "-------------------------------------------------------------------------------"      echo "-------------------------------------------------------------------------------"
1258            
1259  done  done
1260    
1261  echo -n "Start time:  " >> $SUMMARY  printf "Start time:  " >> $SUMMARY
1262  echo $start_date >> $SUMMARY  echo $start_date >> $SUMMARY
1263  echo -n "End time:    " >> $SUMMARY  printf "End time:    " >> $SUMMARY
1264  date >> $SUMMARY  date >> $SUMMARY
1265    
1266  #  If addresses were supplied and mpack built successfully, then try  #  If addresses were supplied and mpack built successfully, then try
# Line 855  else Line 1271  else
1271      if test "x$HAVE_MPACK" = xt ; then      if test "x$HAVE_MPACK" = xt ; then
1272          tar -cf $DRESULTS".tar" $DRESULTS > /dev/null 2>&1 \          tar -cf $DRESULTS".tar" $DRESULTS > /dev/null 2>&1 \
1273              && gzip $DRESULTS".tar" \              && gzip $DRESULTS".tar" \
1274              && $MPACK -s MITgcm-test -m 1500000 $DRESULTS".tar.gz" $ADDRESSES              && $MPACK -s MITgcm-test -m 3555000 $DRESULTS".tar.gz" $ADDRESSES
1275          RETVAL=$?          RETVAL=$?
1276          if test "x$RETVAL" != x0 ; then          if test "x$RETVAL" != x0 ; then
1277              echo              echo
# Line 874  else Line 1290  else
1290      fi      fi
1291  fi  fi
1292    
1293  # rm -f tmp_cmpnum.f a.out  rm -f tr_cmpnum.c tr_cmpnum
 rm -f tmp_cmpnum.c tmp_cmpnum  
1294    
1295  if test "x$CLEANUP" != xt ; then  if test "x$CLEANUP" != xt ; then
1296      cat $SUMMARY      cat $SUMMARY | sed 's/  \.  \.  \.  \.  \.  \.  \.  \.  \.  \.  \.  \.//'
1297      if test -e tr_out.txt ; then      if test -e tr_out.txt ; then
1298          mv tr_out.txt tr_out.txt.old          mv tr_out.txt tr_out.txt.old
1299      fi      fi
1300      cat $SUMMARY > tr_out.txt      cat $SUMMARY | sed '11,$ s/  \.//g' > tr_out.txt
1301    fi
1302    
1303    if test "x$DELDIR" = xt ; then
1304        rm -rf $DRESULTS
1305  fi  fi
1306    
Legend:
Removed from v.1.30  
changed lines
  Added in v.1.97
  ViewVC Help
Powered by ViewVC 1.1.22