/[MITgcm]/MITgcm/verification/testreport
ViewVC logotype

Diff of /MITgcm/verification/testreport

Parent Directory Parent Directory | Revision Log Revision Log | View Revision Graph Revision Graph | View Patch Patch

revision 1.2 by edhill, Mon Sep 1 16:50:27 2003 UTC revision 1.97 by jmc, Tue Sep 11 16:44:52 2007 UTC
# Line 1  Line 1 
1  #!/bin/bash  #! /usr/bin/env bash
2  #  #
3  #  $Header$  #  $Header$
4    #  $Name$
5  #  #
6    
7  usage()  usage()
# Line 10  usage() Line 11  usage()
11      echo      echo
12      echo "where possible OPTIONS are:"      echo "where possible OPTIONS are:"
13      echo "  (-help|-h)               print usage"      echo "  (-help|-h)               print usage"
14      echo "  (-optfile=|-of=)STRING   list of genmake2 \"optfiles\""      echo "  (-mth)                   run multi threaded (using eedata.mth)"
15      echo "  (-a|-addr)STRING         list of email recipients"      echo "  (-mpi)                   compile and run using MPI"
16      echo "  (-t|-tdir)STRING         list of \"test\" dirs"      echo "  (-ieee|-noieee)          if possible, use IEEE compiler flags"
17        echo "                             (DEF=\"-ieee\")"
18        echo "  (-of=|-optfile=)STRING   list of optfiles to use"
19        echo "  (-a|-addr) STRING        list of email recipients"
20        echo "                             (DEF=\"edhill@mitgcm.org\")"
21        echo "  (-t|-tdir) STRING        list of group and/or exp. dirs to test"
22        echo "                             (recognized groups: basic, tutorials)"
23        echo "                             (DEF=\"\" which test all)"
24        echo "  (-skd|-skipdir) STRING   list of exp. dirs to skip"
25        echo "                             (DEF=\"\" which test all)"
26        echo "  (-b|-bash) STRING        preferred location of a \"bash\" or"
27        echo "                             Bourne-compatible \"sh\" shell"
28        echo "                             (DEF=\"\" for \"bash\")"
29        echo "  (-adm|-ad)               perform an adjoint run"
30        echo "  (-command) STRING        command to run"
31        echo "                             (DEF=\"make output.txt\")"
32        echo "  (-m|-make) STRING        command to use for \"make\""
33        echo "                             (DEF=\"make\")"
34        echo "  (-odir) STRING           used to build output directory name"
35        echo "                             (DEF=\"hostname\")"
36        echo "  (-ptr|-ptracers) STRING  specify which ptracers to test"
37        echo "                             (DEF=\"1 2 3 4 5\")"
38        echo "  (-match) NUMBER          Matching Criteria (number of digits)"
39        echo "                             (DEF=\"12\")"
40        echo "  (-j) JOBS                use \"make -j JOBS\" for parallel builds"
41        echo "  (-clean)                 *ONLY* run \"make CLEAN\""
42        echo "  (-quick|-q)              same as \"-nogenmake -noclean -nodepend\""
43        echo "  (-nogenmake|-ng)         skip the genmake stage"
44        echo "  (-noclean|-nc)           skip the \"make clean\" stage"
45        echo "  (-nodepend|-nd)          skip the \"make depend\" stage"
46        echo "  (-deldir|-dd)            on success, delete the output directory"
47        echo "  (-ts)                    provide timing information per timestep"
48        echo "  (-papis)                 provide MFlop/s per timestep using PAPI"
49        echo "  (-pcls)                  provide MFlop/s per timestep using PCL"
50        echo
51        echo "and where STRING can be a whitespace-delimited list"
52        echo "such as:"
53        echo
54        echo "  -t 'exp0 exp2 exp3' "
55        echo "  -addr='abc@123.com testing@home.org'"
56        echo
57        echo "provided that the expression is properly quoted within the current"
58        echo "shell (note the use of single quotes to protect white space)."
59      echo      echo
60      exit 1      exit 1
61  }  }
# Line 20  usage() Line 63  usage()
63  #  build the mpack utility  #  build the mpack utility
64  build_mpack()  build_mpack()
65  {  {
66      echo -n "building the mpack utility...  "      printf "building the mpack utility...  "
67      if test ! -x "$MPACKDIR/mpack" ; then      if test ! -x "$MPACKDIR/mpack" ; then
68          if test ! -d $MPACKDIR ; then          if test ! -d $MPACKDIR ; then
69                echo
70              echo "Error: can't find \"$MPACKDIR\""              echo "Error: can't find \"$MPACKDIR\""
71              echo "  are you sure this program is being run in the correct "              echo "  are you sure this program is being run in the correct "
72              echo "  (that is, \"MITGCM_ROOT\verification\") directory?"              echo "  (that is, \"MITGCM_ROOT\verification\") directory?"
73              exit 1              echo
74                HAVE_MPACK=f
75          fi          fi
76          echo -n "building mpack...  "          printf "building mpack...  "
77          ( cd $MPACKDIR && ./configure && make ) > build_mpack.out 2>&1          if test "x$CC" = x ; then
78                export CC=cc
79            fi
80            ( cd $MPACKDIR && ./configure && $MAKE ) > tr_build_mpack.out 2>&1
81          RETVAL=$?          RETVAL=$?
82          if test "x$RETVAL" != x0 ; then          if test "x$RETVAL" != x0 ; then
83              echo              echo
84              echo "Error building the mpack tools at: $MPACK_DIR"              echo "Error building the mpack tools at: $MPACK_DIR"
85              exit 1              echo
86                HAVE_MPACK=f
87            else
88                rm -f tr_build_mpack.out
89                HAVE_MPACK=t
90          fi          fi
91        else
92            HAVE_MPACK=t
93      fi      fi
94      echo "OK"      echo "OK"
95  }  }
96    
97  compare_lines()  testoutput_var()
98  {  {
99      # use codelet to compare lines      # testoutput_var dir s1 label subdir extension
     if [ $verbose -gt 1 ]; then  
         cat tmp3.txt 1>&2  
     fi  
     return `./a.out < tmp3.txt`  
 }  
   
 testoutput_for_prop()  
 {  
     # testoutput_for_prop dir s1 label subdir  
100      #      #
101      #  compares files in $dir/$subdir/output.txt and $dir/results/output.txt      #  compares 1 variable output selected from file $dir/$subdir/$OUTPUTFILE
102      #  using search strings s1 and text label      #     with same output from reference file $dir/results/output.$extension
103        #  using search strings s1 and text label
104    
105      if [ $debug -gt 0 ]; then      if [ $debug -gt 0 ]; then
106          echo testoutput_for_prop: grep "$2" $1/$4/output.txt 1>&2          echo testoutput_var: grep "$2" $1/$4/$OUTPUTFILE 1>&2
107      fi      fi
108      if [ -r $1/$4/output.txt ]; then      if [ -r $1/$4/$OUTPUTFILE ]; then
109          grep "$2" $1/$4/output.txt | sed 's/.*=//' | nl > tmp1.txt          grep "$2" $1/$4/$OUTPUTFILE | sed 's/.*=//' | cat -n > tmp1.txt
110          lncnt=`wc -l tmp1.txt | awk '{print $1}' `          lncntA=`wc -l tmp1.txt | awk '{print $1}' `
111          if [ $lncnt -lt 3 ]; then          if [ $lncntA -lt 3 ]; then
112              if [ $verbose -gt 0 ]; then              if [ $verbose -gt 0 ]; then
113                  echo Not enough lines of output when searching for "$2" 1>&2                  echo Not enough lines of output when searching for "$2" 1>&2
114              fi              fi
115              return 99              return 99
116          fi          fi
117      else      else
118          echo testoutput_for_prop: output.txt from model run was not readable 1>&2          echo testoutput_var: $OUTPUTFILE from model run was not readable 1>&2
119          return 99          return 99
120      fi      fi
121      if [ $debug -gt 0 ]; then      if [ $debug -gt 0 ]; then
122          echo testoutput_for_prop: grep "$2" $1/results/output.txt 1>&2          echo testoutput_var: grep "$2" $1/results/output.$5 1>&2
123      fi      fi
124      grep "$2" $1/results/output.txt | sed 's/.*=//' | nl > tmp2.txt      grep "$2" $1/results/output.$5 | sed 's/.*=//' | cat -n > tmp2.txt
125      lncnt=`wc -l tmp2.txt | awk '{print $1}' `      lncntB=`wc -l tmp2.txt | awk '{print $1}' `
126      if [ $lncnt -lt 3 ]; then      if [ $lncntB -lt 3 ]; then
127          if [ $verbose -gt 0 ]; then          if [ $verbose -gt 0 ]; then
128              echo Not enough lines of output when searching for "$2" 1>&2              echo Not enough lines of output when searching for "$2" 1>&2
129          fi          fi
130          return 99          return 99
131      fi      fi
132        if [ $lncntA -ne $lncntB ]; then
133            if [ $verbose -gt 0 ]; then
134                echo Not same Nb of lines when searching for "$2" ":" $lncntA $lncntB 1>&2
135            fi
136            return 99
137        fi
138        has_nan=`cat tmp1.txt | grep -i nan | wc -l`
139        if [ $has_nan -gt 0  ] ; then
140            echo testoutput_var: $OUTPUTFILE contains $has_nan NaN values  1>&2
141            return 99
142        fi
143        has_inf=`cat tmp1.txt | grep -i inf | wc -l`
144        if [ $has_inf -gt 0  ] ; then
145            echo testoutput_var: $OUTPUTFILE contains $has_inf Inf values  1>&2
146            return 99
147        fi
148      if [ $debug -gt 0 ]; then      if [ $debug -gt 0 ]; then
149          echo testoutput_for_prop: join tmp1.txt tmp2.txt 1>&2          echo testoutput_var: join tmp1.txt tmp2.txt 1>&2
150      fi      fi
151      join tmp1.txt tmp2.txt | awk '{print $1 " " $2 " " $3}' > tmp3.txt      join tmp1.txt tmp2.txt | awk '{print $1 " " $2 " " $3}' > tmp3.txt
152      if [ $debug -gt 0 ]; then      if [ $debug -gt 0 ]; then
153          echo testoutput_for_prop: compare_lines 1>&2          echo testoutput_var: compare_lines 1>&2
154        fi
155        if [ $verbose -gt 1 ]; then
156            cat tmp3.txt 1>&2
157      fi      fi
158      compare_lines      echo "-1" >> tmp3.txt
159      digits_of_similarity=$?      # On the SGI O3K (*not* the O2K), "cat -n" inserts a ":" after the line number
160        cat tmp3.txt | sed -e 's|:||g' > tmp4.txt
161        digits_of_similarity=`./tr_cmpnum < tmp4.txt`
162      if [ $digits_of_similarity -eq 99 ]; then      if [ $digits_of_similarity -eq 99 ]; then
163          if [ $verbose -gt 0 ]; then          if [ $verbose -gt 0 ]; then
164              echo testoutput_for_prop: No comparison was available for \"$2\" 1>&2              echo testoutput_var: No comparison was available for \"$2\" 1>&2
165          fi          fi
166          digits_of_similarity=99          digits_of_similarity=99
167      else      else
# Line 102  testoutput_for_prop() Line 169  testoutput_for_prop()
169              echo There were $digits_of_similarity decimal places of similarity for \"$2\" 1>&2              echo There were $digits_of_similarity decimal places of similarity for \"$2\" 1>&2
170          fi          fi
171      fi      fi
172      rm tmp1.txt tmp2.txt tmp3.txt      rm -f tmp1.txt tmp2.txt tmp3.txt tmp4.txt
173            
174      return $digits_of_similarity      return $digits_of_similarity
175  }  }
# Line 122  dashnum() Line 189  dashnum()
189      done      done
190  }  }
191    
192  testoutput()  testoutput_ad()
193  {  {
194      # testoutput diretory subdir      grep $3 $1/results_ad/output_adm.txt | awk '{print NR " " $5}' > t05.txt
195      #      grep $3 $1/$2/$OUTPUTFILE | awk '{print NR " " $5}' > t15.txt
196      #  test output in "directory"      grep $3 $1/results_ad/output_adm.txt | awk '{print NR " " $6}' > t06.txt
197        grep $3 $1/$2/$OUTPUTFILE | awk '{print NR " " $6}' > t16.txt
198        join t05.txt t15.txt > t5.txt
199        join t06.txt t16.txt > t6.txt
200        echo "-1" >> t5.txt
201        echo "-1" >> t6.txt
202        digits_5=`./tr_cmpnum < t5.txt`
203        digits_6=`./tr_cmpnum < t6.txt`
204        dashnum $digits_5 $digits_6
205        rm -f t[01][56].txt t[56].txt
206    }
207    
208      if [ $debug -gt 0 ]; then  check_for_add_mon_output()
209          echo testoutput: testoutput_for_prop $1 cg2d_init_res 1>&2  {
210        # Check for additional types of monitor output
211        if test "x$1" = x ; then
212            return
213      fi      fi
214      testoutput_for_prop $1 "cg2d_init_res" "cg2d init. residual" $2; cg2dres=$?  
215      if [ $debug -gt 0 ]; then      for ii in $PTRACERS_NUM ; do
216          echo testoutput: cg2dres=$cg2dres 1>&2          eval "HAVE_PTR0"$ii"=f"
217        done
218    
219        ptr_add="trcstat_ptracerXX_min trcstat_ptracerXX_max"
220        ptr_add="$ptr_add trcstat_ptracerXX_mean trcstat_ptracerXX_sd"
221        for ii in $PTRACERS_NUM ; do
222            for jj in $ptr_add ; do
223                name=`eval "echo $jj | sed -e 's|XX|0"$ii"|g'"`
224                tst=`grep $name $1 | wc -l | awk '{print $1}'`
225                if test ! "x$tst" = x0 ; then
226                    eval "HAVE_PTR0"$ii"=t"
227                fi
228            done
229            #  eval 'echo "HAVE_PTR0'$ii' = $HAVE_PTR0'$ii'"'
230        done
231    }
232    
233    testoutput_run()
234    {
235        # testoutput_run directory subdir extension
236        #
237        #  test output from 1 run in "directory"
238        if test "x$ADM" = x ; then
239            # default list of output variables to be checked:
240            #  1rst : main variable used to decide if it pass or FAIL
241            #  others : number of matching digits to be printed in summary.txt
242            listChk=$DEF_CHECK_LIST
243            #  load experiment-specific list from file "tr_checklist" (if it exist)
244            if test -r $1/$2/tr_checklist ; then listChk=`cat $1/$2/tr_checklist` ; fi
245            sVar=`echo $listChk | awk '{print $1}'`
246            # remove 1rst var and expand the list: + => min max mean s.d
247            listVar=`echo $listChk | sed 's/ [a-zA-Z0-9]*+/&mn &mx &av &sd/g' \
248                                   | sed 's/+//g' | sed "s/^$sVar//"`
249            if [ $debug -gt 0 ]; then echo "testoutput_run: listVar(I)='$listVar'" 1>&2 ; fi
250            for ii in 1 2 3 4 5 6 7 8 9 ; do
251              tst=`eval 'echo "$HAVE_PTR0'$ii'"'`
252             #echo "-- ptr test=" $tst "number of var=" `echo $listVar | awk '{print NF}'` 1>&2
253              if test "x$tst" != xt ; then listVar=`echo "$listVar" | sed "s/ pt$ii..//g"` ; fi
254            done
255            tst=`echo $sVar $listVar | awk '{ for(i=2;i<=NF;i++){t+=($i==$1)}; print t }'`
256            if test $tst != 1 ; then
257              if test $tst = 0 ; then echo "==> WARNING: selected var >$sVar< not found" 1>&2
258                     else echo "==> WARNING: found selected var >$sVar< $tst times" 1>&2 ; fi
259              echo "==> WARNING: in checked list:" $listVar 1>&2
260            #- put it back once:
261              listVar=" $sVar "`echo "$listVar " | sed "s/ $sVar / /g"`
262            fi
263            if [ $debug -gt 0 ]; then echo "testoutput_run: listVar(M)='$listVar'" 1>&2 ; fi
264            echo "listVar='$listVar'" > $CDIR"/summary.txt"
265            allargs=""
266            for xx in $listVar
267            do
268              case $xx in
269               'PS')  if [ $debug -gt 0 ]
270                      then echo testoutput_run: testoutput_var $1 cg2d_init_res 1>&2 ; fi
271                      testoutput_var $1 "cg2d_init_res" "cg2d init. residual" $2 $3; yy=$?
272                      if [ $debug -gt 0 ] ; then echo testoutput_run: cg2dres=$yy 1>&2 ; fi ;;
273               'Tmn') testoutput_var $1 "dynstat_theta_min"  "theta minimum"  $2 $3; yy=$? ;;
274               'Tmx') testoutput_var $1 "dynstat_theta_max"  "theta maximum"  $2 $3; yy=$? ;;
275               'Tav') testoutput_var $1 "dynstat_theta_mean" "theta mean"     $2 $3; yy=$? ;;
276               'Tsd') testoutput_var $1 "dynstat_theta_sd"   "theta s.d."     $2 $3; yy=$? ;;
277               'Smn') testoutput_var $1 "dynstat_salt_min"  "salt minimum"    $2 $3; yy=$? ;;
278               'Smx') testoutput_var $1 "dynstat_salt_max"  "salt maximum"    $2 $3; yy=$? ;;
279               'Sav') testoutput_var $1 "dynstat_salt_mean" "salt mean"       $2 $3; yy=$? ;;
280               'Ssd') testoutput_var $1 "dynstat_salt_sd"   "salt s.d."       $2 $3; yy=$? ;;
281               'Umn') testoutput_var $1 "dynstat_uvel_min"  "U minimum"       $2 $3; yy=$? ;;
282               'Umx') testoutput_var $1 "dynstat_uvel_max"  "U maximum"       $2 $3; yy=$? ;;
283               'Uav') testoutput_var $1 "dynstat_uvel_mean" "U mean"          $2 $3; yy=$? ;;
284               'Usd') testoutput_var $1 "dynstat_uvel_sd"   "U s.d."          $2 $3; yy=$? ;;
285               'Vmn') testoutput_var $1 "dynstat_vvel_min"  "V minimum"       $2 $3; yy=$? ;;
286               'Vmx') testoutput_var $1 "dynstat_vvel_max"  "V maximum"       $2 $3; yy=$? ;;
287               'Vav') testoutput_var $1 "dynstat_vvel_mean" "V mean"          $2 $3; yy=$? ;;
288               'Vsd') testoutput_var $1 "dynstat_vvel_sd"   "V s.d."          $2 $3; yy=$? ;;
289            'pt1mn'|'pt2mn'|'pt3mn'|'pt4mn'|'pt5mn') ii=`echo $xx | sed 's/pt//' | sed 's/..$//'`
290               testoutput_var $1 "trcstat_ptracer0"$ii"_min"  "p0"$ii"_min"   $2 $3; yy=$? ;;
291            'pt1mx'|'pt2mx'|'pt3mx'|'pt4mx'|'pt5mx') ii=`echo $xx | sed 's/pt//' | sed 's/..$//'`
292               testoutput_var $1 "trcstat_ptracer0"$ii"_max"  "p0"$ii"_max"   $2 $3; yy=$? ;;
293            'pt1av'|'pt2av'|'pt3av'|'pt4av'|'pt5av') ii=`echo $xx | sed 's/pt//' | sed 's/..$//'`
294               testoutput_var $1 "trcstat_ptracer0"$ii"_mean" "p0"$ii"_mean" $2 $3; yy=$? ;;
295            'pt1sd'|'pt2sd'|'pt3sd'|'pt4sd'|'pt5sd') ii=`echo $xx | sed 's/pt//' | sed 's/..$//'`
296               testoutput_var $1 "trcstat_ptracer0"$ii"_sd"   "p0"$ii"_sd"    $2 $3; yy=$? ;;
297                  *) yy=99; echo "WARNING: asking for var=$xx : not recognized !" 1>&2 ;;
298              esac
299              if test $xx = $sVar
300              then allargs="$allargs > $yy <"
301              else allargs="$allargs $yy"
302              fi
303            done
304    
305            nbVar=`echo $listVar | awk '{print NF}'`
306            if [ $nbVar -lt $LEN_CHECK_LIST ] ; then
307            #-- fill line (up to standard length) with dot:
308              adNul=`expr $LEN_CHECK_LIST - $nbVar | awk '{for(i=1;i<=$1;i++){print "."}}'`
309              echo $allargs $adNul
310            else
311              echo $allargs
312            fi
313    
314        else
315            testoutput_ad $1 $2 "precision_grdchk_result"
316      fi      fi
       
     testoutput_for_prop $1 "dynstat_theta_min" "theta minimum" $2; tmin=$?  
     testoutput_for_prop $1 "dynstat_theta_max" "theta maximum" $2; tmax=$?  
     testoutput_for_prop $1 "dynstat_theta_mean" "theta mean" $2; tmean=$?  
     testoutput_for_prop $1 "dynstat_theta_sd" "theta s.d." $2; tsd=$?  
     testoutput_for_prop $1 "dynstat_salt_min" "salt minimum" $2; smin=$?  
     testoutput_for_prop $1 "dynstat_salt_max" "salt maximum" $2; smax=$?  
     testoutput_for_prop $1 "dynstat_salt_mean" "salt mean" $2; smean=$?  
     testoutput_for_prop $1 "dynstat_salt_sd" "salt s.d." $2; ssd=$?  
     testoutput_for_prop $1 "dynstat_uvel_min" "U minimum" $2; umin=$?  
     testoutput_for_prop $1 "dynstat_uvel_max" "U maximum" $2; umax=$?  
     testoutput_for_prop $1 "dynstat_uvel_mean" "U mean" $2; umean=$?  
     testoutput_for_prop $1 "dynstat_uvel_sd" "U s.d." $2; usd=$?  
     testoutput_for_prop $1 "dynstat_vvel_min" "V minimum" $2; vmin=$?  
     testoutput_for_prop $1 "dynstat_vvel_max" "V maximum" $2; vmax=$?  
     testoutput_for_prop $1 "dynstat_vvel_mean" "V mean" $2; vmean=$?  
     testoutput_for_prop $1 "dynstat_vvel_sd" "V s.d." $2; vsd=$?  
       
     dashnum $cg2dres $tmin $tmax $tmean $tsd $smin $smax $smean $ssd \  
         $umin $umax $umean $usd $vmin $vmax $vmean $vsd  
317  }  }
318    
319  genmakemodel()  genmakemodel()
320  {  {
321      # genmakemodel directory      # genmakemodel directory
322      GENMAKE2="../../../tools/genmake2"      if test "x$NOGENMAKE" = xt ; then
323      (          echo "genmake skipped!"
324          cd $1;      else
325          printf 'genmake ... ' 1>&2          if test "x$BASH" = x ; then
326          # ../../../tools/genmake -ieee -mods=../code > make.log 2>&1              GENMAKE2="../../../tools/genmake2"
         $GENMAKE2  -ds --mods=../code "--optfile="$OPTFILE > make.log 2>&1  
         RETVAL=$?  
         for i in gm_state gm_optfile gm_local Makefile ; do  
             if test -r $i ; then  
                 cp $i $CDIR  
             fi  
         done  
         if test "x$RETVAL" != x0 ; then  
             tail make.log  
             echo "genmakemodel: genmake failed" 1>&2  
             cp make.log $CDIR  
             return 1  
327          else          else
328              echo "succesful" 1>&2              GENMAKE2="$BASH ../../../tools/genmake2 -bash $BASH"
329          fi          fi
330      )          (
331                cd $1;
332                command="$GENMAKE2  -ds -m $MAKE"
333                if test "x$ADM" = x ; then
334                    command="$command --mods=../code"
335                else
336                    command="$command --mods=../code_ad"
337                fi
338                if test "x$OPTFILE" != xNONE ; then
339                    command="$command --optfile=$OPTFILE"
340                fi
341                if test "x$IEEE" != x ; then
342                    command="$command -ieee"
343                fi
344                if test "x$MPI" = xt ; then
345                    command="$command -mpi"
346                fi
347                if test "x$TS" = xt ; then
348                    command="$command -ts"
349                fi
350                if test "x$PAPIS" = xt ; then
351                    command="$command -papis"
352                else
353                if test "x$PCLS" = xt ; then
354                    command="$command -pcls"
355                fi
356                fi
357                printf 'genmake ... ' 1>&2
358                $command > make.log 2>&1
359                RETVAL=$?
360                #  Reduce the size of the testing emails!
361                head -100 Makefile > $CDIR/Makefile_head
362                if test "x$RETVAL" != x0 ; then
363                    tail make.log
364                    echo "genmakemodel: genmake failed" 1>&2
365                    cp genmake_* make.log $CDIR
366                    return 1
367                else
368                    echo "successful" 1>&2
369                fi
370            )
371        fi
372  }  }
373    
374  makeclean()  makeclean()
375  {  {
376      # makeclean directory      # makeclean directory
377      (      if test "x$NOCLEAN" = xt ; then
378          cd $1;          echo "make Clean skipped!"
379          rm -f output.txt      else
380          printf 'make CLEAN ... ' 2>&1          (
381          if test -r Makefile ; then              cd $1;
382              make CLEAN >> make.log 2>&1              #if test -e $OUTPUTFILE ; then rm -f $OUTPUTFILE ; fi
383              RETVAL=$?              if test -r Makefile ; then
384              if test "x$RETVAL" != x0 ; then                  printf 'clean build-dir: make Clean ... ' 2>&1
385                  tail make.log                  $MAKE Clean >> make.log 2>&1
386                  echo "makeclean: \"make CLEAN\" failed" 1>&2                  RETVAL=$?
387                  cp make.log $CDIR"/make.log"                  if test "x$RETVAL" != x0 ; then
388                  return 1                      tail make.log
389                        echo "makeclean: \"make Clean\" failed" 1>&2
390                        cp make.log $CDIR"/make.log"
391                        return 1
392                    fi
393              fi              fi
394          fi              echo successful 1>&2
395          echo succesful 1>&2              exit 0
396          exit 0          )
397      )      fi
398    }
399    
400    run_clean()
401    {
402        # run_clean directory
403        if test "x$NOCLEAN" = xt ; then
404            echo "run_clean skipped!"
405        else
406            (
407                cd $1;
408                printf 'clean run-dir ... ' 2>&1
409                # part of what is done after "make clean" when doing "make CLEAN"
410                find . -name "*.meta" -exec rm {} \;
411                find . -name "*.data" -exec rm {} \;
412                find . -name "fort.*" -exec rm {} \;
413                find . -type l -exec rm {} \;
414                rm -f $EXECUTABLE *.txt STD* *diagnostics.log datetime
415                rm -rf mnc_test_*
416                echo successful 1>&2
417                exit 0
418            )
419        fi
420  }  }
421    
422  makedependmodel()  makedependmodel()
423  {  {
424      # makedependmodel directory      # makedependmodel directory
425      (      if test "x$NODEPEND" = xt ; then
426          cd $1;          echo "make depend skipped!"
427          printf 'make depend ... ' 1>&2      else
428          make depend >> make.log 2>&1          (
429          RETVAL=$?              cd $1;
430          if test "x$RETVAL" != x0 ; then              printf 'make depend ... ' 1>&2
431              tail make.log              $MAKE depend >> make.log 2>&1
432              echo "makedependmodel: make depend failed" 1>&2              RETVAL=$?
433              cp make.log $CDIR"/make.log"              if test "x$RETVAL" != x0 ; then
434              return 1                  tail make.log
435          else                  echo "makedependmodel: make depend failed" 1>&2
436              echo succesful 1>&2                  cp make.log $CDIR"/make.log"
437          fi                  return 1
438      )              else
439                    echo successful 1>&2
440                fi
441            )
442        fi
443  }  }
444    
445  makemodel()  makemodel()
# Line 231  makemodel() Line 449  makemodel()
449          cd $1;          cd $1;
450          if test -r Makefile ; then          if test -r Makefile ; then
451              printf 'make ... ' 1>&2              printf 'make ... ' 1>&2
452              make >> make.log 2>&1              if test "x$ADM" = x ; then
453                    if test "x$JOBS" = x ; then
454                        $MAKE >> make.log 2>&1
455                    else
456                        $MAKE -j $JOBS >> make.log 2>&1
457                    fi
458                else
459                    $MAKE adall >> make.log 2>&1
460                fi
461              RETVAL=$?              RETVAL=$?
462              if test "x$RETVAL" != x0 ; then              if test "x$RETVAL" != x0 ; then
463                  tail make.log                  tail make.log
# Line 239  makemodel() Line 465  makemodel()
465                  cp make.log $CDIR"/make.log"                  cp make.log $CDIR"/make.log"
466                  return 1                  return 1
467              else              else
468                  echo succesful 1>&2                  echo successful 1>&2
469              fi              fi
470          fi          fi
471      )      )
472  }  }
473    
474    symlink_mpifiles()
475    {
476        # Put special links so that MPI specific files are used
477        # This MUST be invoked between makeclean and makelinks because
478        # the Makefile will link to non-mpi files by default
479    
480        dir=$1
481        code_dir=$2
482        BUILD_DIR=$dir/$3
483        CODE_DIR=$dir/$code_dir
484        
485        # These are files that should replace their counter-part when using -mpi
486        MPI_FILES=`(cd $CODE_DIR; find . -name "*_mpi")`
487    
488        #  Is this an MPI run?
489        if test "x$MPI" = xt ; then
490            # YES: We symbolically link these files to the build
491            # dir so long as there is no real file in place
492            for ii in $MPI_FILES ; do
493                i=`echo $ii | sed 's:^\./::'`
494                name=`echo $i | sed 's:_mpi::' `
495                cmp $CODE_DIR/$i $BUILD_DIR/$name > /dev/null 2>&1
496                RETVAL=$?
497                if test "x$RETVAL" != x0 ; then
498                    if ! test -f $BUILD_DIR/$i ; then
499                        #echo Linking $name to $i
500                        (cd $BUILD_DIR; ln -sf ../$code_dir/$i $name)
501                    fi
502                fi
503            done
504        else
505            # NO: We undo any _mpi symbolically linked files
506            for ii in $MPI_FILES ; do
507                i=`echo $ii | sed 's:^\./::'`
508                name=`echo $i | sed 's:_mpi::' `
509                if test -L $BUILD_DIR/$name ; then
510                    cmp $BUILD_DIR/$name "../$code_dir/$name"_mpi > /dev/null 2>&1
511                    RETVAL=$?
512                    if test "x$RETVAL" = x0 ; then
513                        #echo Un-linking $name from $linktarg
514                        rm -f $BUILD_DIR/$name
515                    fi
516                fi
517            done
518        fi
519        
520    }
521    
522  linkdata()  linkdata()
523  {  {
524      # linkdata flag      # linkdata run_dir input_dir_1 input_dir_2 ...
525      #      #
526      # symbolically link data files to run directory      # symbolically link data files to run directory
527      if [ $1 -ne 0 ]; then      if test -d $1 ; then
528          ( cd $2 ;  ln -sf ../input/* . )          (
529                cd $1 ; shift
530                if test -r "../"$1"/eedata.mth" ; then
531                # found eedata.mth in 1rst input dir and it is readable
532                    if test "x$MULTI_THREAD" = "xt" ; then
533                    # multi-threaded test: remove symbolic link & link eedata.mth
534                        if test -h eedata ; then rm -f eedata ; fi
535                        if test ! -r eedata ; then
536                            ln -sf "../"$1"/eedata.mth" eedata ;
537                            printf 'eedata.mth ' 1>&2
538                        fi
539                    else
540                    # not multi-threaded test: remove eedata symbolic link
541                        if test -h eedata ; then rm -f eedata ; fi
542                    fi
543                fi
544                for ldir in $* ; do
545                    if test -d "../"$ldir ; then
546                        printf 'ldir='${ldir} 1>&2
547                        files=`( cd "../"$ldir ; ls -1 | grep -v CVS )`
548                        for i in $files ; do
549                            if test ! -d "../"$ldir/$i ; then
550                                if test ! -r $i  ; then
551                                    printf ' '$i 1>&2
552                                    ln -sf "../"$ldir"/"$i $i
553                                fi
554                            fi
555                        done
556                        if test -x "../"$ldir"/"prepare_run ; then
557                            "../"$ldir"/"prepare_run
558                        fi
559                        printf ' ; ' 1>&2
560                    fi
561                done
562            )
563      fi      fi
564  }  }
565    
566  runmodel()  runmodel()
567  {  {
568      # runmodel directory exe      # runmodel directory
569      #      #
570      #  runs the model "exe" in "directory" (exe is relative to directory)      #  runs "$COMMAND in "directory"
571        #  (where "$COMMAND" is relative to "directory")
572      (      (
573          cd $1          cd $1
574          if [ -x $2 ]; then          printf 'runmodel in %s ...' $1 1>&2
575              if [ $quick -eq 0 ]; then          # make output.txt
576                  rm -f output.txt          echo
577              fi          if test ! -x $EXECUTABLE -a -x "../"$builddir"/"$EXECUTABLE ; then
578              printf 'runmodel: ' 1>&2              echo " link" $EXECUTABLE "from dir ../"$builddir > run.log_00
579              make output.txt              ln -sf "../"$builddir"/"$EXECUTABLE .
580              RETVAL=$?          fi
581              if test "x$RETVAL" = x0 ; then          if test ! -x $EXECUTABLE ; then
582                  cp output.txt $CDIR"/output.txt"                  rm -f run.log ; touch run.log
583                  return 0                  if test -f run.log_00 ; then cat run.log_00 >> run.log ; fi
584                    echo " no executable:" $EXECUTABLE >> run.log
585                    RETVAL=8
586                    ENDVAL=-1
587            else
588                if test $OUTPUTFILE -ot $EXECUTABLE ; then
589                    rm -f run.log ; touch run.log
590                    if test -f run.log_00 ; then cat run.log_00 >> run.log ; fi
591                    ( eval $COMMAND ) >> run.log 2>&1
592                    RETVAL=$?
593              else              else
594                  return 1                  RETVAL=0
595                    if test -f run.log ; then
596                        if test -f run.log_00 ; then cat run.log_00 >> run.log ; fi
597                        echo "---------->> $OUTPUTFILE is up to date " >> run.log 2>&1
598                    else
599                        touch run.log
600                        if test -f run.log_00 ; then cat run.log_00 >> run.log ; fi
601                        echo "---------->> $OUTPUTFILE is up to date " >> run.log 2>&1
602                        echo " no previous run.log: assume NORMAL END" >> run.log 2>&1
603                    fi
604              fi              fi
605                ENDVAL=`cat run.log | grep -v 'ABNORMAL END' | grep -c 'NORMAL END'`
606            fi
607            rm -f run.log_00
608            #if test "x$RETVAL" = x0 ; then
609            if [ $RETVAL -eq 0 -a $ENDVAL -gt 0 ] ; then
610                tail run.log
611                echo successful 1>&2
612                # === Reduce the size of the testing emails!
613                #cp $OUTPUTFILE $CDIR"/"$OUTPUTFILE
614                if test -s STDERR.0000 ; then cp STDERR.0000 $CDIR"/STDERR.0000" ; fi
615                return 0
616            else
617                tail run.log
618                echo failed '(run:' $RETVAL ' end:' $ENDVAL ')' 1>&2
619                cp run.log $CDIR"/run.log"
620                if test -s STDERR.0000 ; then cp STDERR.0000 $CDIR"/STDERR.0000" ; fi
621                return 1
622          fi          fi
623      )      )
624  }  }
# Line 283  createcodelet() Line 627  createcodelet()
627  {  {
628      # create codelet for comparing model output      # create codelet for comparing model output
629    
630      echo -n "creating the comparison code...  "      printf "creating the comparison code...  "
631      cat > tmp_cmpnum.f <<EOFA      cat > tr_cmpnum.c <<EOF
632        program cmpnum  #include <stdio.h>
633        implicit none  #include <math.h>
634        real*8 a,b,diff  int main( int argc, char** argv )  {
635        integer linnum,best    int linnum,cmplin,best,lncnt;
636        best=-16    double a,b,abave,relerr;
637    99  read(*,*,end=70,err=60) linnum,a,b    best = -22;
638        diff=0.5*(abs(a)+abs(b))    lncnt = 0;
639  c     print *,a,b,diff,abs(a-b)/diff    while( 1 & ( (lncnt+=1) < 999 ) )  {
640        if (diff.gt.1.e-12) then      scanf("%d", &linnum);
641          diff=abs(a-b)/diff      if (linnum == -1)  break;
642          if (diff.gt.0.) then      scanf("%lf", &a);  scanf("%lf", &b);
643  c         print *,int(log10(diff)),diff      abave = 0.5*(fabs(a)+fabs(b));
644            linnum=int(log10(diff))      if ( abave == abave ) {
645            best=max(best,linnum)        if (abave > 0.0) {
646          endif          relerr=fabs(a-b)/abave;
647        else          if (relerr > 0.0) { cmplin = (int)rint(log10(relerr)); }
648          if (best.eq.-16.and.diff.ne.0.) best=-22          else { cmplin = -16 ; }
649        endif          best = (best > cmplin) ? best : cmplin; }
650        goto 99        else { cmplin = -22 ; }
651    60  stop 'cmpnum: An error occured reading a,b'     /* printf("%d ; %lf ; %lf\n",cmplin,a,b); */
652    70  print *,-best        }
653        end     else {
654  EOFA     /* printf("%lf ; %lf ; %lf\n",abave,a,b); */
655          break; }
656      }
657      if (lncnt == 999) best=-29;
658      if (linnum != -1) best=-99;
659      printf("%d\n", -best);
660      return 0;
661    }
662    EOF
663        $CC -o tr_cmpnum tr_cmpnum.c -lm
664    
665      f77 tmp_cmpnum.f      if [ -x ./tr_cmpnum ]; then
     if [ -x ./a.out ]; then  
666          echo "OK"          echo "OK"
667          return 0          return 0
668      else      else
669          echo          echo
670          echo "createcodelet: failed to compile codelet" | tee          echo "ERROR: failed to compile comparison code -- please specify"
671            echo "  a C compiler using the CC environment variable."
672          exit 1          exit 1
673      fi      fi
674  }  }
# Line 327  formatresults() Line 680  formatresults()
680      nm=$1      nm=$1
681      printf '%s %s %s %s' $2 $3 $4 $5      printf '%s %s %s %s' $2 $3 $4 $5
682      shift; shift; shift; shift; shift;      shift; shift; shift; shift; shift;
683      printf '%3s' $@      listPrt=$@
684        listRes=`echo $listPrt | sed 's/>//' | sed 's/<//'`
685        xx=`echo $listPrt | sed 's/.*>//' | sed 's/<.*//' | awk '{print $1}'`
686        printf '%3s' $listPrt
687    #   printf '%3s' $listPrt | sed 's/ 99/ --/g' | sed 's/  > />/' | sed 's/  < /</'
688    #   printf '%3s' $listPrt | sed 's/ 99/ --/g' | sed 's/  > / /' | sed 's/  < / /'
689            
690      if [ $1 = '--' ]; then      if [ $xx = '..' ]; then
691            printf ' N/O '
692        elif [ $xx = '--' ]; then
693            printf ' N/O '
694        elif [ $xx = 99 ]; then
695          printf ' N/O '          printf ' N/O '
696      else      else
697          if [ $1 -gt 12 ]; then          if [ $xx -ge $MATCH_CRIT ]; then
698              printf ' pass'              printf ' pass'
699          else          else
700              printf ' FAIL'              printf ' FAIL'
# Line 343  formatresults() Line 705  formatresults()
705            
706  }  }
707    
 show_help()  
 {  
     cat - << EOF  
 $0 [-help] [-quick] [-verbose] dir1 [dir2] [...]  
  -help      Show this help message  
  -quick     Skip "genmake" and "make depend" if the Makefile exists  
  -quiet     Reduce the amount of output  
  -verbose   Produce copious amounts of output  
  -debug     Produce even more output which will mean nothing to most  
  -force     Do "make CLEAN" before compiling. This forces a complete rebuild.  
  -clean     Do "make CLEAN" after compiling and testing.  
  -noieee    By default, $0 uses the -ieee option for genmake. This turns it off.  
  -cleanup   Aggresively removes all model output, executables and object files  
             and then exits. Use with care.  
   
 Normal usage:  
  $0 *       Configure, compile, run and analyze in all experiment directories  
 EOF  
 }  
   
708  scandirs()  scandirs()
709  {  {
710      if [ $# -eq 0 ]; then      if [ $# -eq 1 ]; then
711          for arg in * ; do          for arg in * ; do
712              test -d $arg/input && echo $arg              test -d $arg/$1 && echo $arg
713          done          done
714      else      else
715          echo $*          echo $*
716      fi      fi
717  }  }
718    
719    
720  ###############################################################################  ###############################################################################
 ###############################################################################  
 ###############################################################################  
721    
722    
723  #  Default properties  #  Default properties
724  debug=0  debug=0
725  verbose=1  verbose=1
 quick=0  
726  clean=0  clean=0
 ieee=1  
727  expts=''  expts=''
728    # ieee=1
729    
730    IEEE=true
731    if test "x$MITGCM_IEEE" != x ; then
732        IEEE=$MITGCM_IEEE
733    fi
734    
735    
736  OPTFILES=  CLEANUP=f
737  ADDRESSES=edhill@mitgcm.org  QUICK=f
738    NOGENMAKE=f
739    NOCLEAN=f
740    NODEPEND=f
741    POSTCLEAN=f
742    
743    BASH=
744    OPTFILE=NONE
745    ADDRESSES=
746  TESTDIRS=  TESTDIRS=
747    SKIPDIRS=
748  MPACKDIR="../tools/mpack-1.6"  MPACKDIR="../tools/mpack-1.6"
749    HAVE_MPACK=
750  MPACK="$MPACKDIR/mpack"  MPACK="$MPACKDIR/mpack"
751    COMMAND=
752    if test "x$MAKE" = x ; then
753        MAKE=make
754    fi
755    if test "x$CC" = x ; then
756        CC=cc
757    fi
758    JOBS=
759    MPI=f
760    MULTI_THREAD=f
761    OUTDIR=
762    DELDIR=
763    
764    ADM=
765    
766    # Additional monitor types
767    PTRACERS_NUM="1 2 3 4 5"
768    
769  echo -n "parsing options...  "  MATCH_CRIT=13
770    
771    printf "parsing options...  "
772    
773  ac_prev=  ac_prev=
774  for ac_option ; do  for ac_option ; do
# Line 414  for ac_option ; do Line 788  for ac_option ; do
788              usage ;;              usage ;;
789                    
790          -optfile | --optfile | -of | --of)          -optfile | --optfile | -of | --of)
791              ac_prev=OPTFILES ;;              ac_prev=OPTFILE ;;
792          -optfile=* | --optfile=* | -of=* | --of=*)          -optfile=* | --optfile=* | -of=* | --of=*)
793              OPTFILES=$ac_optarg ;;              OPTFILE=$ac_optarg ;;
794                    
795          -addr | --addr | -a | --a)          -addr | --addr | -a | --a)
796              ac_prev=ADDRESSES ;;              ac_prev=ADDRESSES ;;
# Line 428  for ac_option ; do Line 802  for ac_option ; do
802          -tdir=* | --tdir=*)          -tdir=* | --tdir=*)
803              TESTDIRS=$ac_optarg ;;              TESTDIRS=$ac_optarg ;;
804    
805          -quick) quick=1 ;;          -skipdir | --skipdir | -skd | --skd)
806                ac_prev=SKIPDIRS ;;
807            -skipdir=* | --skipdir=*)
808                SKIPDIRS=$ac_optarg ;;
809    
810            -bash | --bash | -b | --b)
811                ac_prev=BASH ;;
812            -bash=* | --bash=*)
813                BASH=$ac_optarg ;;
814    
815            -command | --command | -c | --c)
816                ac_prev=COMMAND ;;
817            -command=* | --command=*)
818                COMMAND=$ac_optarg ;;
819    
820            -make | --make | -m | --m)
821                ac_prev=MAKE ;;
822            -make=* | --make=*)
823                MAKE=$ac_optarg ;;
824    
825            -odir | --odir)
826                ac_prev=OUTDIR ;;
827            -odir=* | --odir=*)
828                OUTDIR=$ac_optarg ;;
829    
830            -ptracers | --ptracers | -ptr | --ptr)
831                ac_prev=PTRACERS_NUM ;;
832            -ptracers=* | --ptracers=* | -ptr=* | --ptr=*)
833                PTRACERS_NUM=$ac_optarg ;;
834    
835            -match | --match ) ac_prev=MATCH_CRIT ;;
836            -match=* | --match=* ) MATCH_CRIT=$ac_optarg ;;
837    
838            -j) ac_prev=JOBS ;;
839            -j=*) JOBS=$ac_optarg ;;
840    
841            -clean | --clean)
842                CLEANUP=t ; DELDIR=t ;;
843    
844            -quick | --quick | -q | --q)
845                QUICK=t ;;
846            -nogenmake | --nogenmake | -ng | --ng)
847                NOGENMAKE=t ;;
848            -noclean | --noclean | -nc | --nc)
849                NOCLEAN=t ;;
850            -nodepend | --nodepend | -nd | --nd)
851                NODEPEND=t ;;
852    
853            -postclean | --postclean | -pc | --pc)
854                POSTCLEAN=t ;;
855    
856            -mpi) MPI=t ;;
857    
858            -mth) MULTI_THREAD=t ;;
859    
860            -adm | -ad) ADM=t ;;
861    
862            -ieee) IEEE=true ;;
863            -noieee) IEEE= ;;
864    
865          -verbose) verbose=2 ;;          -verbose) verbose=2 ;;
866          -debug) debug=1 ;;          -debug) debug=1 ;;
         -clean) clean=1 ;;  
         -noieee) ieee=0 ;;  
867          -quiet) verbose=0 ;;          -quiet) verbose=0 ;;
868    
869            -deldir | -dd) DELDIR=t ;;
870    
871            -ts) TS=t;;
872    
873            -papis) PAPIS=t;;
874    
875            -pcls) PCL=t;;
876    
877          -*)          -*)
878              echo "Error: unrecognized option: "$ac_option              echo "Error: unrecognized option: "$ac_option
879              usage              usage
# Line 449  for ac_option ; do Line 888  for ac_option ; do
888            
889  done  done
890    
891    if test "x$QUICK" = xt ; then
892        NOGENMAKE=t
893        NOCLEAN=t
894        NODEPEND=t
895    fi
896    
897  if test "x$TESTDIRS" = x ; then  if test "x$TESTDIRS" = x ; then
898      TESTDIRS=`scandirs`      if test "x$ADM" = xt ; then
899            LIST=`scandirs results_ad`
900        else
901            LIST=`scandirs results`
902        fi
903    else
904        #- expand group of experiments:
905        LIST=" "
906        for xx in $TESTDIRS
907        do
908          case $xx in
909            'basic') LIST=${LIST}" aim.5l_cs hs94.128x64x5 ideal_2D_oce"
910                     LIST=${LIST}" lab_sea tutorial_baroclinic_gyre"
911                     LIST=${LIST}" tutorial_global_oce_latlon tutorial_plume_on_slope"
912                    ;;
913            'tutorials')
914                     LIST=${LIST}" "`ls | grep 'tutorial_'` ;;
915            *)       LIST=${LIST}" "$xx ;;
916          esac
917        done
918    fi
919    #echo 'LIST='${LIST}'<'
920    #- skip dirs, remove duplicate and non-directory:
921    TESTDIRS=" "
922    count=0
923    for xx in $LIST
924    do
925        yy=`echo $SKIPDIRS | grep -c $xx`
926        if test $yy = 0 ; then
927            if test -d $xx ; then
928                yy=`echo $TESTDIRS | grep -c $xx`
929                if test $yy = 0 ; then TESTDIRS=${TESTDIRS}" "$xx ; fi
930            else count=1 ;
931                echo ""; echo -n " -- skip \"$xx\" (not a directory !)"
932            fi
933        else
934            if test $count = 1 ; then echo -n ", \"$xx\""
935            else count=1 ; echo "" ;  echo -n " skip: \"$xx\""
936            fi
937        fi
938    done
939    if test $count = 1 ; then echo "" ; echo -n " ... " ; fi
940    #echo 'TESTDIRS='${TESTDIRS}'<'
941    
942    if test "x$OPTFILE" = xNONE -a "x$MITGCM_OF" != x ; then
943        OPTFILE=$MITGCM_OF
944    fi
945    
946    if test "x$ADM" = xt ; then
947        EXECUTABLE="mitgcmuv_ad"
948        OUTPUTFILE="output_adm.txt"
949    else
950        EXECUTABLE="mitgcmuv"
951        OUTPUTFILE="output.txt"
952    fi
953    
954    if test "x$COMMAND" = x ; then
955        COMMAND="./$EXECUTABLE > $OUTPUTFILE"
956  fi  fi
957    if test "x$MPI" = xt ; then
958        OUTPUTFILE="STDOUT.0000"
959    fi
960    
961    #echo "OK"
962    echo "OK (COMMAND= $COMMAND )"
963    
964  echo "OK"  # set the Default List of output variables to be checked:
965    #  (use default or load experiment-specific list from file "tr_checklist")
966    # content : 1rst = main variable used to decide if it pass or FAIL
967    #         others = number of matching digits to be printed in summary.txt
968    if test "x$ADM" != xt ; then
969        DEF_CHECK_LIST='PS PS T+ S+ U+ V+ pt1+ pt2+ pt3+ pt4+ pt5+'
970        EMPTY_RESULTS='.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..'
971        LEN_CHECK_LIST=`echo $DEF_CHECK_LIST | sed 's/ [a-zA-Z0-9]*+/&mn &mx &av &sd/g' | awk '{print NF-1}'`
972        ii=`echo $EMPTY_RESULTS | awk '{print NF}'`
973        EMPTY_RESULTS=$EMPTY_RESULTS`expr $LEN_CHECK_LIST - $ii | awk 'BEGIN{FS=":"}{for(i=1;i<=$1;i++){printf "  ."}}'`
974    fi
975    
976  #  create the FORTRAN comparison code  #  create the FORTRAN comparison code
977  createcodelet  createcodelet
978    
979  #  build the mpack utility  #  build the mpack utility
980  build_mpack  if test "x$ADDRESSES" = xNONE -o "x$ADDRESSES" = x ; then
981        echo "skipping mpack build"
982    else
983        build_mpack
984    fi
985    
986  #  Create a uniquely named directory to store results  #  Create a uniquely named directory to store results
987  MACH=`hostname`  MACH=`hostname`
988  UNAMEA=`uname -a`  UNAMEA=`uname -a`
989  DATE=`date +%Y%m%d`  DATE=`date +%Y%m%d`
990  BASE=$MACH"_"$DATE"_"  BASE="tr_"$MACH"_"$DATE"_"
991    if test "x$OUTDIR" != x ; then
992        BASE="tr_"$OUTDIR"_"$DATE"_"
993    fi
994  DNUM=0  DNUM=0
995  DRESULTS="$BASE$DNUM"  DRESULTS="$BASE$DNUM"
996  while test -e $DRESULTS ; do  while test -e $DRESULTS ; do
# Line 475  done Line 1000  done
1000  mkdir $DRESULTS  mkdir $DRESULTS
1001  RETVAL=$?  RETVAL=$?
1002  if test "x$RETVAL" != x0 ; then  if test "x$RETVAL" != x0 ; then
1003      echo "Error: can't create results directory \"./$DRESULTS\""      echo "ERROR: Can't create results directory \"./$DRESULTS\""
1004      exit 1      exit 1
1005  fi  fi
1006  SUMMARY="$DRESULTS/summary.txt"  SUMMARY="$DRESULTS/summary.txt"
1007  date > $SUMMARY  printf "Start time:  " >> $SUMMARY
1008  cat << EOF >> $SUMMARY  start_date=`date`
1009                  T           S           U           V  echo $start_date > $SUMMARY
1010  G D M    c        m  s        m  s        m  s        m  s  
1011  E p a R  g  m  m  e  .  m  m  e  .  m  m  e  .  m  m  e  .  of_path=
1012  N n k u  2  i  a  a  d  i  a  a  d  i  a  a  d  i  a  a  d  if test "x$OPTFILE" != xNONE ; then
1013  2 d e n  d  n  x  n  .  n  x  n  .  n  x  n  .  n  x  n  .      if test -r $OPTFILE ; then
1014            # get the path
1015            path=${OPTFILE%/*}
1016            if test "x$path" = x ; then
1017                of_path=`pwd`
1018            else
1019                of_path=`( cd $path > /dev/null 2>&1 ; pwd )`
1020            fi
1021            file=${OPTFILE##*/}
1022            OPTFILE=$of_path/$file
1023            cp $OPTFILE $DRESULTS
1024            echo >> $SUMMARY
1025            echo "  OPTFILE=$OPTFILE" >> $SUMMARY
1026        else
1027            echo | tee $SUMMARY
1028            echo "ERROR: can't read OPTFILE=\"$OPTFILE\"" | tee $SUMMARY
1029            exit 1
1030        fi
1031    else
1032        echo >> $SUMMARY
1033        echo "No \"OPTFILE\" was explicitly specified by testreport," >> $SUMMARY
1034        echo "   so the genmake default will be used." >> $SUMMARY
1035    fi
1036    echo
1037    echo >> $SUMMARY
1038    if test "x$ADM" = x ; then
1039        if [ $MATCH_CRIT -lt 10 ] ;
1040        then line_0="default  "$MATCH_CRIT ;
1041        else line_0="default "$MATCH_CRIT ; fi
1042           line_0="$line_0  ----T-----  ----S-----  ----U-----  ----V-----"
1043    #   line_0="            ----T-----  ----S-----  ----U-----  ----V-----"
1044        line_1="G D M    c        m  s        m  s        m  s        m  s"
1045        line_2="E p a R  g  m  m  e  .  m  m  e  .  m  m  e  .  m  m  e  ."
1046        line_3="N n k u  2  i  a  a  d  i  a  a  d  i  a  a  d  i  a  a  d"
1047        line_4="2 d e n  d  n  x  n  .  n  x  n  .  n  x  n  .  n  x  n  ."
1048        for ii in $PTRACERS_NUM ; do
1049            #  tst=`eval 'echo $HAVE_PTR0'$ii`
1050            #  if test "x$tst" = xt ; then
1051            line_0="$line_0  --PTR 0"$ii"--"
1052            line_1="$line_1        m  s"
1053            line_2="$line_2  m  m  e  ."
1054            line_3="$line_3  i  a  a  d"
1055            line_4="$line_4  n  x  n  ."
1056            #  fi
1057        done
1058        echo "$line_0" | tee -a $SUMMARY
1059        echo "$line_1" | tee -a $SUMMARY
1060        echo "$line_2" | tee -a $SUMMARY
1061        echo "$line_3" | tee -a $SUMMARY
1062        echo "$line_4" | tee -a $SUMMARY
1063        echo " "       | tee -a $SUMMARY
1064    else
1065        echo "ADJOINT=true" >> $SUMMARY
1066        echo >> $SUMMARY
1067        cat << EOF | tee -a $SUMMARY
1068    G D M    C  G
1069    E p a R  o  r
1070    N n k u  s  a
1071    2 d e n  t  d
1072    
1073  EOF  EOF
1074    fi
1075    
1076  NDIR=0  #  ...and each test directory...
1077    for dir in $TESTDIRS ; do
1078        
1079        #  Cleanup only!
1080        if test "x$CLEANUP" = xt ; then
1081            if test -r $dir/build/Makefile ; then
1082                echo '  ------  clean dir:' $dir/build
1083                ( cd $dir/build ; make CLEAN )
1084            fi
1085            if test -d $dir/run/CVS ; then
1086                echo '  ------  clean dir:' $dir/run
1087                run_clean $dir/run
1088            fi
1089            (
1090                cd $dir
1091                rm -rf tr_run.*
1092            )
1093            continue
1094        fi
1095    
1096        #  Verify that the testdir exists and contains previous
1097        #  results in the correct location--or skip this directory!
1098        fout=
1099        if test "x$ADM" = x ; then
1100            fout=$dir"/results/output.txt"
1101        else
1102            fout=$dir"/results_ad/output_adm.txt"
1103        fi
1104        if test ! -r $fout ; then
1105            echo "can't read \"$fout\" -- skipping $dir"
1106            continue
1107        fi
1108        if test "x$ADM" = x ; then
1109            check_for_add_mon_output  $fout
1110        fi
1111    
1112  #  For each optfile...      # Check for additional types of monitor output
 for OPTFILE in $OPTFILES ; do  
1113    
1114      OPTFILE=`pwd`"/$OPTFILE"      builddir="build"
1115      if test ! -r $OPTFILE ; then      if test ! -d $dir/$builddir ; then mkdir $dir/$builddir ; fi
1116          echo "Error: can't read optfile \"$OPTFILE\""      rundir="run"
1117          exit 1     #rundir=$builddir
1118        if test ! -d $dir/$rundir ; then
1119            rundir=$builddir
1120      fi      fi
     echo  
     echo "OPTFILE=$OPTFILE" >> $SUMMARY  
     echo >> $SUMMARY  
1121            
1122      #  ...and each test directory...      if test "x$ADM" = x ; then
1123      for dir in $TESTDIRS ; do          code_dir=code
1124                    CODE_DIR=$dir/code
1125          #  Create an output dir for each OPTFILE/tdir combination          input_dirs='input'
1126          CDIR=$DRESULTS"/"$DRESULTS"_"$NDIR      else
1127          mkdir $CDIR          code_dir=code_ad
1128          CDIR=`pwd`"/$CDIR"          CODE_DIR=$dir/code_ad
1129            input_dirs='input_ad input'
1130        fi
1131        BUILD_DIR=$dir/$builddir
1132    
1133          #  ...configue, make, run, and compare the output.      if test ! -r $CODE_DIR"/SIZE.h_mpi" -a "x$MPI" = "xt" ; then
1134          echo "-------------------------------------------------------------------------------"          echo "can't find \"$CODE_DIR/SIZE.h_mpi\" -- skipping $dir"
1135          echo          continue
1136          echo "Experiment:  $dir"      fi
1137          echo      if test ! -r $dir"/input/eedata.mth" -a "x$MULTI_THREAD" = "xt" ; then
1138          unset genmake makedepend make run          echo "can't find \"$dir/input/eedata.mth\" -- skipping $dir"
1139          results='-- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --'          continue
1140          ( cd $dir/input; rm -f *.{o,f,c,F} *.[f,F]90 work* output.txt Make* make.log; )      fi
         if [ -r $dir/build ]; then  
             seperatebuilddir=1  
             builddir=build  
             rundir=build  
             ( cd $dir/build; ln -sf ../input/* . )  
         else  
             seperatebuilddir=0  
             builddir=input  
             rundir=input  
         fi  
1141    
1142          #  Verify that the testdir exists and contains previous      #  Check whether there are "extra runs" for this testdir
1143          #  results in the correct location--or skip this directory!      extra_runs=
1144          if test ! -r $dir"/results/output.txt" ; then      if test "x$ADM" = x ; then
1145              echo | tee $SUMMARY          ex_run_dirs=`( cd $dir ; echo input.* )`
1146              echo "can't read \"$dir/results/output.txt\" -- skipping $dir" \          #echo "ex_run_dirs='$ex_run_dirs'"
1147                  | tee $SUMMARY          for exd in $ex_run_dirs ; do
1148              continue              name=`echo $exd | sed -e 's/input.//g'`
1149          fi              outf="$dir/results/output.$name.txt"
1150                if test -f $outf -a -r $outf ; then
1151                    if test "x$MULTI_THREAD" = "xt" ; then
1152                        if test -r $dir"/"$exd"/eedata.mth" ; then
1153                            extra_runs="$extra_runs $name"
1154                        #else echo $dir"/"$exd"/eedata.mth: not found"
1155                        fi
1156                    else
1157                        extra_runs="$extra_runs $name"
1158                    fi
1159                fi
1160            done
1161        fi
1162    
1163        echo "-------------------------------------------------------------------------------"
1164        echo
1165        if test "x$extra_runs" = "x" ; then
1166           echo "Experiment:  $dir"
1167        else
1168           echo "Experiment:  $dir ; extra_runs=$extra_runs"
1169        fi
1170        echo
1171        unset genmake makedepend make run
1172        results=$EMPTY_RESULTS
1173    
1174        #  Create an output dir for each OPTFILE/tdir combination
1175        rel_CDIR=$DRESULTS"/"$dir
1176        mkdir $rel_CDIR
1177        CDIR=`pwd`"/$rel_CDIR"
1178        
1179        if test "x$CLEANUP" = xt ; then
1180            echo '====>>> this is to check that we never go through this part <<< ==='
1181            makeclean $dir/$builddir \
1182                && run_clean $dir/$rundir
1183        else
1184          genmakemodel $dir/$builddir && genmake=Y \          genmakemodel $dir/$builddir && genmake=Y \
1185              && makeclean $dir/$builddir \              && makeclean $dir/$builddir \
1186                && run_clean $dir/$rundir \
1187                && symlink_mpifiles $dir $code_dir $builddir \
1188              && makedependmodel $dir/$builddir && makedepend=Y \              && makedependmodel $dir/$builddir && makedepend=Y \
1189              && makemodel $dir/$builddir && make=Y \              && makemodel $dir/$builddir && make=Y \
1190              && linkdata $seperatebuilddir $dir/$rundir \              && linkdata $dir/$rundir $input_dirs \
1191              && runmodel $dir/$builddir mitgcmuv && run=Y \              && runmodel $dir/$rundir && run=Y \
1192              && results=`testoutput $dir $rundir`              && results=`testoutput_run $dir $rundir "txt"`
1193        fi
1194        
1195        echo
1196        if test "x$ADM" = x ; then
1197            fres=`formatresults $dir ${genmake:-N} ${makedepend:-N} ${make:-N} ${run:-N} $results`
1198          echo          echo
1199          formatresults $dir ${genmake:-N} ${makedepend:-N} ${make:-N} \  #       echo "$fres" | sed 's/ 99/ --/g' | sed 's/  > />/' | sed 's/  < /</' >> $SUMMARY
1200              ${run:-N} $results          echo "$fres" | sed 's/ 99/ --/g' | sed 's/  > / /' | sed 's/  < / /' >> $SUMMARY
1201            touch $CDIR"/summary.txt"
1202            echo "fresults='$fres'" | sed 's/ 99/ --/g' >> $CDIR"/summary.txt"
1203            echo "MACH='$MACH'" >> $CDIR"/summary.txt"
1204            echo "UNAMEA='$UNAMEA'" >> $CDIR"/summary.txt"
1205            echo "DATE='$DATE'" >> $CDIR"/summary.txt"
1206            echo "tdir='$dir'" >> $CDIR"/summary.txt"
1207    
1208            for ex in $extra_runs ; do
1209                unset run
1210                results=$EMPTY_RESULTS
1211                #  Create an output dir for each OPTFILE/tdir.ex combination
1212                rel_CDIR=$DRESULTS"/"$dir"."$ex
1213                mkdir $rel_CDIR
1214                CDIR=`pwd`"/$rel_CDIR"
1215                test ! -e "$dir/tr_run.$ex" && mkdir "$dir/tr_run.$ex"
1216                run_clean $dir/tr_run.$ex
1217                linkdata $dir/tr_run.$ex input.$ex input
1218                runmodel $dir/tr_run.$ex && run=Y \
1219                    && results=`testoutput_run $dir tr_run.$ex ${ex}".txt"`
1220                fres=`printf '%s %s %s %s' ${genmake:-N} ${makedepend:-N} ${make:-N} ${run:-N}`
1221                fres=`formatresults $dir ${genmake:-N} ${makedepend:-N} ${make:-N} ${run:-N} $results`
1222                fres="$fres.$ex"
1223                echo
1224    #           echo "$fres" | sed 's/ 99/ --/g' | sed 's/  > />/' | sed 's/  < /</' >> $SUMMARY
1225                echo "$fres" | sed 's/ 99/ --/g' | sed 's/  > / /' | sed 's/  < / /' >> $SUMMARY
1226                touch $CDIR"/summary.txt"
1227                echo "fresults='$fres'" | sed 's/ 99/ --/g' >> $CDIR"/summary.txt"
1228                echo "MACH='$MACH'" >> $CDIR"/summary.txt"
1229                echo "UNAMEA='$UNAMEA'" >> $CDIR"/summary.txt"
1230                echo "DATE='$DATE'" >> $CDIR"/summary.txt"
1231                echo "tdir='$dir.$ex'" >> $CDIR"/summary.txt"
1232                if test "x$POSTCLEAN" = xt ; then
1233                    run_clean $dir/tr_run.$ex
1234                fi
1235            done
1236        else
1237            fres=`printf '%s %s %s %s' ${genmake:-N} ${makedepend:-N} ${make:-N} ${run:-N}`
1238            fres=$fres"$results   $dir"
1239          echo          echo
1240          formatresults $dir ${genmake:-N} ${makedepend:-N} ${make:-N} \          echo "$fres" >> $SUMMARY
1241              ${run:-N} $results >> $SUMMARY          touch $CDIR"/summary.txt"
1242          echo "fresults='" > $CDIR"/summary.txt"          echo "fresults='$fres'" >> $CDIR"/summary.txt"
         formatresults $dir ${genmake:-N} ${makedepend:-N} ${make:-N} \  
             ${run:-N} $results >> $CDIR"/summary.txt"  
         echo "'" >> $CDIR"/summary.txt"  
1243          echo "MACH='$MACH'" >> $CDIR"/summary.txt"          echo "MACH='$MACH'" >> $CDIR"/summary.txt"
1244          echo "UNAMEA='$UNAMEA'" >> $CDIR"/summary.txt"          echo "UNAMEA='$UNAMEA'" >> $CDIR"/summary.txt"
1245          echo "DATE='$DATE'" >> $CDIR"/summary.txt"          echo "DATE='$DATE'" >> $CDIR"/summary.txt"
1246          echo "tdir='$dir'" >> $CDIR"/summary.txt"          echo "tdir='$dir'" >> $CDIR"/summary.txt"
1247            grep -A3 'Seconds in section "ALL' $dir/$rundir/$OUTPUTFILE \
1248                               >> $CDIR"/summary.txt"
1249        fi
1250    
1251          (      #postclean $dir/$builddir
1252              cd $DRESULTS      if test "x$POSTCLEAN" = xt ; then
1253              tar -cf $NDIR".tar" $DRESULTS"_"$NDIR > /dev/null 2>&1          makeclean $dir/$builddir \
1254              gzip $NDIR".tar"              && run_clean $dir/$rundir
1255          )      fi
1256        
1257        echo "-------------------------------------------------------------------------------"
1258        
1259    done
1260    
1261          $MPACK -s MITgcm-test -m 1000000 $DRESULTS"/"$NDIR".tar.gz" $ADDRESSES  printf "Start time:  " >> $SUMMARY
1262    echo $start_date >> $SUMMARY
1263    printf "End time:    " >> $SUMMARY
1264    date >> $SUMMARY
1265    
1266    #  If addresses were supplied and mpack built successfully, then try
1267    #  to send email using mpack.
1268    if test "x$ADDRESSES" = xNONE -o "x$ADDRESSES" = x ; then
1269        echo "No results email was sent."
1270    else
1271        if test "x$HAVE_MPACK" = xt ; then
1272            tar -cf $DRESULTS".tar" $DRESULTS > /dev/null 2>&1 \
1273                && gzip $DRESULTS".tar" \
1274                && $MPACK -s MITgcm-test -m 3555000 $DRESULTS".tar.gz" $ADDRESSES
1275          RETVAL=$?          RETVAL=$?
1276          if test "x$RETVAL" != x0 ; then          if test "x$RETVAL" != x0 ; then
1277              echo "Warning: \"$MPACK\" failed -- please contact <edhill@mitgcm.org>"              echo
1278                echo "Warning: The tar, gzip, & mpack step failed.  Please send email"
1279                echo "  to <MITgcm-support@mitgcm.org> for help.  You may copy the "
1280                echo "  summary of results from the directory \"$DRESULTS\"."
1281                echo
1282          else          else
1283              rm -f $DRESULTS"/"$NDIR".tar*"              echo
1284                echo "An email containing results was sent to the following addresses:"
1285                echo "  \"$ADDRESSES\""
1286                echo
1287          fi          fi
1288            test -f $DRESULTS".tar"  &&  rm -f $DRESULTS".tar"
1289            test -f $DRESULTS".tar.gz"  &&  rm -f $DRESULTS".tar.gz"
1290        fi
1291    fi
1292    
1293          NDIR=$(( $NDIR + 1 ))  rm -f tr_cmpnum.c tr_cmpnum
           
     done  
 done  
1294    
1295  rm tmp_cmpnum.f a.out  if test "x$CLEANUP" != xt ; then
1296        cat $SUMMARY | sed 's/  \.  \.  \.  \.  \.  \.  \.  \.  \.  \.  \.  \.//'
1297        if test -e tr_out.txt ; then
1298            mv tr_out.txt tr_out.txt.old
1299        fi
1300        cat $SUMMARY | sed '11,$ s/  \.//g' > tr_out.txt
1301    fi
1302    
1303  cat $SUMMARY  if test "x$DELDIR" = xt ; then
1304        rm -rf $DRESULTS
1305    fi
1306    

Legend:
Removed from v.1.2  
changed lines
  Added in v.1.97

  ViewVC Help
Powered by ViewVC 1.1.22