/[MITgcm]/MITgcm/verification/testreport
ViewVC logotype

Diff of /MITgcm/verification/testreport

Parent Directory Parent Directory | Revision Log Revision Log | View Revision Graph Revision Graph | View Patch Patch

revision 1.2 by edhill, Mon Sep 1 16:50:27 2003 UTC revision 1.99 by jmc, Sat Sep 15 20:30:05 2007 UTC
# Line 1  Line 1 
1  #!/bin/bash  #! /usr/bin/env bash
2  #  #
3  #  $Header$  #  $Header$
4    #  $Name$
5  #  #
6    
7  usage()  usage()
# Line 10  usage() Line 11  usage()
11      echo      echo
12      echo "where possible OPTIONS are:"      echo "where possible OPTIONS are:"
13      echo "  (-help|-h)               print usage"      echo "  (-help|-h)               print usage"
14      echo "  (-optfile=|-of=)STRING   list of genmake2 \"optfiles\""      echo "  (-mth)                   run multi threaded (using eedata.mth)"
15      echo "  (-a|-addr)STRING         list of email recipients"      echo "  (-mpi)                   compile and run using MPI"
16      echo "  (-t|-tdir)STRING         list of \"test\" dirs"      echo "  (-ieee|-noieee)          if possible, use IEEE compiler flags"
17        echo "                             (DEF=\"-ieee\")"
18        echo "  (-of=|-optfile=)STRING   list of optfiles to use"
19        echo "  (-a|-addr) STRING        list of email recipients"
20        echo "                             (DEF=\"edhill@mitgcm.org\")"
21        echo "  (-t|-tdir) STRING        list of group and/or exp. dirs to test"
22        echo "                             (recognized groups: basic, tutorials)"
23        echo "                             (DEF=\"\" which test all)"
24        echo "  (-skd|-skipdir) STRING   list of exp. dirs to skip"
25        echo "                             (DEF=\"\" which test all)"
26        echo "  (-b|-bash) STRING        preferred location of a \"bash\" or"
27        echo "                             Bourne-compatible \"sh\" shell"
28        echo "                             (DEF=\"\" for \"bash\")"
29        echo "  (-adm|-ad)               perform an adjoint run"
30        echo "  (-command) STRING        command to run"
31        echo "                             (DEF=\"make output.txt\")"
32        echo "  (-m|-make) STRING        command to use for \"make\""
33        echo "                             (DEF=\"make\")"
34        echo "  (-odir) STRING           used to build output directory name"
35        echo "                             (DEF=\"hostname\")"
36        echo "  (-ptr|-ptracers) STRING  specify which ptracers to test"
37        echo "                             (DEF=\"1 2 3 4 5\")"
38        echo "  (-match) NUMBER          Matching Criteria (number of digits)"
39        echo "                             (DEF=\"12\")"
40        echo "  (-j) JOBS                use \"make -j JOBS\" for parallel builds"
41        echo "  (-clean)                 *ONLY* run \"make CLEAN\""
42        echo "  (-quick|-q)              same as \"-nogenmake -noclean -nodepend\""
43        echo "  (-nogenmake|-ng)         skip the genmake stage"
44        echo "  (-noclean|-nc)           skip the \"make clean\" stage"
45        echo "  (-nodepend|-nd)          skip the \"make depend\" stage"
46        echo "  (-deldir|-dd)            on success, delete the output directory"
47        echo "  (-ts)                    provide timing information per timestep"
48        echo "  (-papis)                 provide MFlop/s per timestep using PAPI"
49        echo "  (-pcls)                  provide MFlop/s per timestep using PCL"
50        echo
51        echo "and where STRING can be a whitespace-delimited list"
52        echo "such as:"
53        echo
54        echo "  -t 'exp0 exp2 exp3' "
55        echo "  -addr='abc@123.com testing@home.org'"
56        echo
57        echo "provided that the expression is properly quoted within the current"
58        echo "shell (note the use of single quotes to protect white space)."
59      echo      echo
60      exit 1      exit 1
61  }  }
# Line 20  usage() Line 63  usage()
63  #  build the mpack utility  #  build the mpack utility
64  build_mpack()  build_mpack()
65  {  {
66      echo -n "building the mpack utility...  "      printf "building the mpack utility...  "
67      if test ! -x "$MPACKDIR/mpack" ; then      if test ! -x "$MPACKDIR/mpack" ; then
68          if test ! -d $MPACKDIR ; then          if test ! -d $MPACKDIR ; then
69                echo
70              echo "Error: can't find \"$MPACKDIR\""              echo "Error: can't find \"$MPACKDIR\""
71              echo "  are you sure this program is being run in the correct "              echo "  are you sure this program is being run in the correct "
72              echo "  (that is, \"MITGCM_ROOT\verification\") directory?"              echo "  (that is, \"MITGCM_ROOT\verification\") directory?"
73              exit 1              echo
74                HAVE_MPACK=f
75          fi          fi
76          echo -n "building mpack...  "          printf "building mpack...  "
77          ( cd $MPACKDIR && ./configure && make ) > build_mpack.out 2>&1          if test "x$CC" = x ; then
78                export CC=cc
79            fi
80            ( cd $MPACKDIR && ./configure && $MAKE ) > tr_build_mpack.out 2>&1
81          RETVAL=$?          RETVAL=$?
82          if test "x$RETVAL" != x0 ; then          if test "x$RETVAL" != x0 ; then
83              echo              echo
84              echo "Error building the mpack tools at: $MPACK_DIR"              echo "Error building the mpack tools at: $MPACK_DIR"
85              exit 1              echo
86                HAVE_MPACK=f
87            else
88                rm -f tr_build_mpack.out
89                HAVE_MPACK=t
90          fi          fi
91        else
92            HAVE_MPACK=t
93      fi      fi
94      echo "OK"      echo "OK"
95  }  }
96    
97  compare_lines()  testoutput_var()
98  {  {
99      # use codelet to compare lines      # testoutput_var dir s1 label subdir reference_output
     if [ $verbose -gt 1 ]; then  
         cat tmp3.txt 1>&2  
     fi  
     return `./a.out < tmp3.txt`  
 }  
   
 testoutput_for_prop()  
 {  
     # testoutput_for_prop dir s1 label subdir  
100      #      #
101      #  compares files in $dir/$subdir/output.txt and $dir/results/output.txt      #  compares 1 variable output selected from file $dir/$subdir/$OUTPUTFILE
102      #  using search strings s1 and text label      #     with same output from reference file $dir/results/$reference_output
103        #  using search strings s1 and text label
104    
105      if [ $debug -gt 0 ]; then      if [ $debug -gt 0 ]; then
106          echo testoutput_for_prop: grep "$2" $1/$4/output.txt 1>&2          echo testoutput_var: grep "$2" $1/$4/$OUTPUTFILE 1>&2
107      fi      fi
108      if [ -r $1/$4/output.txt ]; then      if [ -r $1/$4/$OUTPUTFILE ]; then
109          grep "$2" $1/$4/output.txt | sed 's/.*=//' | nl > tmp1.txt          grep "$2" $1/$4/$OUTPUTFILE | sed 's/.*=//' | cat -n > tmp1.txt
110          lncnt=`wc -l tmp1.txt | awk '{print $1}' `          lncntA=`wc -l tmp1.txt | awk '{print $1}' `
111          if [ $lncnt -lt 3 ]; then          if [ $lncntA -lt 3 ]; then
112              if [ $verbose -gt 0 ]; then              if [ $verbose -gt 0 ]; then
113                  echo Not enough lines of output when searching for "$2" 1>&2                  echo Not enough lines of output when searching for "$2" 1>&2
114              fi              fi
115              return 99              return 99
116          fi          fi
117      else      else
118          echo testoutput_for_prop: output.txt from model run was not readable 1>&2          echo testoutput_var: $OUTPUTFILE from model run was not readable 1>&2
119          return 99          return 99
120      fi      fi
121      if [ $debug -gt 0 ]; then      if [ $debug -gt 0 ]; then
122          echo testoutput_for_prop: grep "$2" $1/results/output.txt 1>&2          echo testoutput_var: grep "$2" $1/results/$5 1>&2
123      fi      fi
124      grep "$2" $1/results/output.txt | sed 's/.*=//' | nl > tmp2.txt      grep "$2" $1/results/$5 | sed 's/.*=//' | cat -n > tmp2.txt
125      lncnt=`wc -l tmp2.txt | awk '{print $1}' `      lncntB=`wc -l tmp2.txt | awk '{print $1}' `
126      if [ $lncnt -lt 3 ]; then      if [ $lncntB -lt 3 ]; then
127          if [ $verbose -gt 0 ]; then          if [ $verbose -gt 0 ]; then
128              echo Not enough lines of output when searching for "$2" 1>&2              echo Not enough lines of output when searching for "$2" 1>&2
129          fi          fi
130          return 99          return 99
131      fi      fi
132        if [ $lncntA -ne $lncntB ]; then
133            if [ $verbose -gt 0 ]; then
134                echo Not same Nb of lines when searching for "$2" ":" $lncntA $lncntB 1>&2
135            fi
136            return 99
137        fi
138        has_nan=`cat tmp1.txt | grep -i nan | wc -l`
139        if [ $has_nan -gt 0  ] ; then
140            echo testoutput_var: $OUTPUTFILE contains $has_nan NaN values  1>&2
141            return 99
142        fi
143        has_inf=`cat tmp1.txt | grep -i inf | wc -l`
144        if [ $has_inf -gt 0  ] ; then
145            echo testoutput_var: $OUTPUTFILE contains $has_inf Inf values  1>&2
146            return 99
147        fi
148      if [ $debug -gt 0 ]; then      if [ $debug -gt 0 ]; then
149          echo testoutput_for_prop: join tmp1.txt tmp2.txt 1>&2          echo testoutput_var: join tmp1.txt tmp2.txt 1>&2
150      fi      fi
151      join tmp1.txt tmp2.txt | awk '{print $1 " " $2 " " $3}' > tmp3.txt      join tmp1.txt tmp2.txt | awk '{print $1 " " $2 " " $3}' > tmp3.txt
152      if [ $debug -gt 0 ]; then      if [ $debug -gt 0 ]; then
153          echo testoutput_for_prop: compare_lines 1>&2          echo testoutput_var: compare_lines 1>&2
154        fi
155        if [ $verbose -gt 1 ]; then
156            cat tmp3.txt 1>&2
157      fi      fi
158      compare_lines      echo "-1" >> tmp3.txt
159      digits_of_similarity=$?      # On the SGI O3K (*not* the O2K), "cat -n" inserts a ":" after the line number
160        cat tmp3.txt | sed -e 's|:||g' > tmp4.txt
161        digits_of_similarity=`./tr_cmpnum < tmp4.txt`
162      if [ $digits_of_similarity -eq 99 ]; then      if [ $digits_of_similarity -eq 99 ]; then
163          if [ $verbose -gt 0 ]; then          if [ $verbose -gt 0 ]; then
164              echo testoutput_for_prop: No comparison was available for \"$2\" 1>&2              echo testoutput_var: No comparison was available for \"$3\" 1>&2
165          fi          fi
166          digits_of_similarity=99          digits_of_similarity=99
167      else      else
168          if [ $verbose -gt 0 ]; then          if [ $verbose -gt 0 ]; then
169              echo There were $digits_of_similarity decimal places of similarity for \"$2\" 1>&2              echo There were $digits_of_similarity decimal places of similarity for \"$3\" 1>&2
170          fi          fi
171      fi      fi
172      rm tmp1.txt tmp2.txt tmp3.txt      rm -f tmp1.txt tmp2.txt tmp3.txt tmp4.txt
173            
174      return $digits_of_similarity      return $digits_of_similarity
175  }  }
# Line 122  dashnum() Line 189  dashnum()
189      done      done
190  }  }
191    
192  testoutput()  testoutput_ad()
193  {  {
194      # testoutput diretory subdir      grep $3 $1/results_ad/output_adm.txt | awk '{print NR " " $5}' > t05.txt
195      #      grep $3 $1/$2/$OUTPUTFILE | awk '{print NR " " $5}' > t15.txt
196      #  test output in "directory"      grep $3 $1/results_ad/output_adm.txt | awk '{print NR " " $6}' > t06.txt
197        grep $3 $1/$2/$OUTPUTFILE | awk '{print NR " " $6}' > t16.txt
198        join t05.txt t15.txt > t5.txt
199        join t06.txt t16.txt > t6.txt
200        echo "-1" >> t5.txt
201        echo "-1" >> t6.txt
202        digits_5=`./tr_cmpnum < t5.txt`
203        digits_6=`./tr_cmpnum < t6.txt`
204        dashnum $digits_5 $digits_6
205        rm -f t[01][56].txt t[56].txt
206    }
207    
208      if [ $debug -gt 0 ]; then  check_for_add_mon_output()
209          echo testoutput: testoutput_for_prop $1 cg2d_init_res 1>&2  {
210        # Check for additional types of monitor output
211        if test "x$1" = x ; then
212            return
213      fi      fi
214      testoutput_for_prop $1 "cg2d_init_res" "cg2d init. residual" $2; cg2dres=$?  
215      if [ $debug -gt 0 ]; then      for ii in $PTRACERS_NUM ; do
216          echo testoutput: cg2dres=$cg2dres 1>&2          eval "HAVE_PTR0"$ii"=f"
217        done
218    
219        ptr_add="trcstat_ptracerXX_min trcstat_ptracerXX_max"
220        ptr_add="$ptr_add trcstat_ptracerXX_mean trcstat_ptracerXX_sd"
221        for ii in $PTRACERS_NUM ; do
222            for jj in $ptr_add ; do
223                name=`eval "echo $jj | sed -e 's|XX|0"$ii"|g'"`
224                tst=`grep $name $1 | wc -l | awk '{print $1}'`
225                if test ! "x$tst" = x0 ; then
226                    eval "HAVE_PTR0"$ii"=t"
227                fi
228            done
229            #  eval 'echo "HAVE_PTR0'$ii' = $HAVE_PTR0'$ii'"'
230        done
231    }
232    
233    testoutput_run()
234    {
235        # testoutput_run directory subdir reference_output
236        #
237        #  test output from 1 run in "directory"
238        if test "x$ADM" = x ; then
239            # default list of output variables to be checked:
240            #  1rst : main variable used to decide if it pass or FAIL
241            #  others : number of matching digits to be printed in summary.txt
242            listChk=$DEF_CHECK_LIST
243            #  load experiment-specific list from file "tr_checklist" (if it exist)
244            if test -r $1/$2/tr_checklist ; then listChk=`cat $1/$2/tr_checklist` ; fi
245            sVar=`echo $listChk | awk '{print $1}'`
246            # remove 1rst var and expand the list: + => min max mean s.d
247            listVar=`echo $listChk | sed 's/ [a-zA-Z0-9]*+/&mn &mx &av &sd/g' \
248                                   | sed 's/+//g' | sed "s/^$sVar//"`
249            if [ $debug -gt 0 ]; then echo "testoutput_run: listVar(I)='$listVar'" 1>&2 ; fi
250            for ii in 1 2 3 4 5 6 7 8 9 ; do
251              tst=`eval 'echo "$HAVE_PTR0'$ii'"'`
252             #echo "-- ptr test=" $tst "number of var=" `echo $listVar | awk '{print NF}'` 1>&2
253              if test "x$tst" != xt ; then listVar=`echo "$listVar" | sed "s/ pt$ii..//g"` ; fi
254            done
255            tst=`echo $sVar $listVar | awk '{ for(i=2;i<=NF;i++){t+=($i==$1)}; print t }'`
256            if test $tst != 1 ; then
257              if test $tst = 0 ; then echo "==> WARNING: selected var >$sVar< not found" 1>&2
258                     else echo "==> WARNING: found selected var >$sVar< $tst times" 1>&2 ; fi
259              echo "==> WARNING: in checked list:" $listVar 1>&2
260            #- put it back once:
261              listVar=" $sVar "`echo "$listVar " | sed "s/ $sVar / /g"`
262            fi
263            if [ $debug -gt 0 ]; then echo "testoutput_run: listVar(M)='$listVar'" 1>&2 ; fi
264            echo "listVar='$listVar'" > $CDIR"/summary.txt"
265            allargs=""
266            for xx in $listVar
267            do
268              case $xx in
269               'PS')  if [ $debug -gt 0 ]
270                      then echo testoutput_run: testoutput_var $1 cg2d_init_res 1>&2 ; fi
271                      testoutput_var $1 "cg2d_init_res" "Press. Solver (cg2d)" $2 $3; yy=$?
272                      if [ $debug -gt 0 ] ; then echo testoutput_run: cg2dres=$yy 1>&2 ; fi ;;
273               'Cost') testoutput_var $1 "ADM  precision_derivative_cost" "ADM Cost" $2 $3; yy=$? ;;
274               'Grad') testoutput_var $1 "ADM  precision_derivative_grad" "ADM Grad" $2 $3; yy=$? ;;
275               'Tmn') testoutput_var $1 "dynstat_theta_min"  "Theta minimum"  $2 $3; yy=$? ;;
276               'Tmx') testoutput_var $1 "dynstat_theta_max"  "Theta maximum"  $2 $3; yy=$? ;;
277               'Tav') testoutput_var $1 "dynstat_theta_mean" "Theta mean"     $2 $3; yy=$? ;;
278               'Tsd') testoutput_var $1 "dynstat_theta_sd"   "Theta Std.Dev"  $2 $3; yy=$? ;;
279               'Smn') testoutput_var $1 "dynstat_salt_min"  "Salt minimum"    $2 $3; yy=$? ;;
280               'Smx') testoutput_var $1 "dynstat_salt_max"  "Salt maximum"    $2 $3; yy=$? ;;
281               'Sav') testoutput_var $1 "dynstat_salt_mean" "Salt mean"       $2 $3; yy=$? ;;
282               'Ssd') testoutput_var $1 "dynstat_salt_sd"   "Salt Std.Dev"    $2 $3; yy=$? ;;
283               'Umn') testoutput_var $1 "dynstat_uvel_min"  "U minimum"       $2 $3; yy=$? ;;
284               'Umx') testoutput_var $1 "dynstat_uvel_max"  "U maximum"       $2 $3; yy=$? ;;
285               'Uav') testoutput_var $1 "dynstat_uvel_mean" "U mean"          $2 $3; yy=$? ;;
286               'Usd') testoutput_var $1 "dynstat_uvel_sd"   "U Std.Dev"       $2 $3; yy=$? ;;
287               'Vmn') testoutput_var $1 "dynstat_vvel_min"  "V minimum"       $2 $3; yy=$? ;;
288               'Vmx') testoutput_var $1 "dynstat_vvel_max"  "V maximum"       $2 $3; yy=$? ;;
289               'Vav') testoutput_var $1 "dynstat_vvel_mean" "V mean"          $2 $3; yy=$? ;;
290               'Vsd') testoutput_var $1 "dynstat_vvel_sd"   "V Std.Dev"       $2 $3; yy=$? ;;
291            'pt1mn'|'pt2mn'|'pt3mn'|'pt4mn'|'pt5mn') ii=`echo $xx | sed 's/pt//' | sed 's/..$//'`
292               testoutput_var $1 "trcstat_ptracer0"$ii"_min"  "p0"$ii"_min"   $2 $3; yy=$? ;;
293            'pt1mx'|'pt2mx'|'pt3mx'|'pt4mx'|'pt5mx') ii=`echo $xx | sed 's/pt//' | sed 's/..$//'`
294               testoutput_var $1 "trcstat_ptracer0"$ii"_max"  "p0"$ii"_max"   $2 $3; yy=$? ;;
295            'pt1av'|'pt2av'|'pt3av'|'pt4av'|'pt5av') ii=`echo $xx | sed 's/pt//' | sed 's/..$//'`
296               testoutput_var $1 "trcstat_ptracer0"$ii"_mean" "p0"$ii"_mean" $2 $3; yy=$? ;;
297            'pt1sd'|'pt2sd'|'pt3sd'|'pt4sd'|'pt5sd') ii=`echo $xx | sed 's/pt//' | sed 's/..$//'`
298               testoutput_var $1 "trcstat_ptracer0"$ii"_sd"   "p0"$ii"_StDv"  $2 $3; yy=$? ;;
299                  *) yy=99; echo "WARNING: asking for var=$xx : not recognized !" 1>&2 ;;
300              esac
301              if test $xx = $sVar
302              then allargs="$allargs > $yy <"
303              else allargs="$allargs $yy"
304              fi
305            done
306    
307            nbVar=`echo $listVar | awk '{print NF}'`
308            if [ $nbVar -lt $LEN_CHECK_LIST ] ; then
309            #-- fill line (up to standard length) with dot:
310              adNul=`expr $LEN_CHECK_LIST - $nbVar | awk '{for(i=1;i<=$1;i++){print "."}}'`
311              echo $allargs $adNul
312            else
313              echo $allargs
314            fi
315    
316        else
317            testoutput_ad $1 $2 "precision_grdchk_result"
318      fi      fi
       
     testoutput_for_prop $1 "dynstat_theta_min" "theta minimum" $2; tmin=$?  
     testoutput_for_prop $1 "dynstat_theta_max" "theta maximum" $2; tmax=$?  
     testoutput_for_prop $1 "dynstat_theta_mean" "theta mean" $2; tmean=$?  
     testoutput_for_prop $1 "dynstat_theta_sd" "theta s.d." $2; tsd=$?  
     testoutput_for_prop $1 "dynstat_salt_min" "salt minimum" $2; smin=$?  
     testoutput_for_prop $1 "dynstat_salt_max" "salt maximum" $2; smax=$?  
     testoutput_for_prop $1 "dynstat_salt_mean" "salt mean" $2; smean=$?  
     testoutput_for_prop $1 "dynstat_salt_sd" "salt s.d." $2; ssd=$?  
     testoutput_for_prop $1 "dynstat_uvel_min" "U minimum" $2; umin=$?  
     testoutput_for_prop $1 "dynstat_uvel_max" "U maximum" $2; umax=$?  
     testoutput_for_prop $1 "dynstat_uvel_mean" "U mean" $2; umean=$?  
     testoutput_for_prop $1 "dynstat_uvel_sd" "U s.d." $2; usd=$?  
     testoutput_for_prop $1 "dynstat_vvel_min" "V minimum" $2; vmin=$?  
     testoutput_for_prop $1 "dynstat_vvel_max" "V maximum" $2; vmax=$?  
     testoutput_for_prop $1 "dynstat_vvel_mean" "V mean" $2; vmean=$?  
     testoutput_for_prop $1 "dynstat_vvel_sd" "V s.d." $2; vsd=$?  
       
     dashnum $cg2dres $tmin $tmax $tmean $tsd $smin $smax $smean $ssd \  
         $umin $umax $umean $usd $vmin $vmax $vmean $vsd  
319  }  }
320    
321  genmakemodel()  genmakemodel()
322  {  {
323      # genmakemodel directory      # genmakemodel directory
324      GENMAKE2="../../../tools/genmake2"      if test "x$NOGENMAKE" = xt ; then
325      (          echo "genmake skipped!"
326          cd $1;      else
327          printf 'genmake ... ' 1>&2          if test "x$BASH" = x ; then
328          # ../../../tools/genmake -ieee -mods=../code > make.log 2>&1              GENMAKE2="../../../tools/genmake2"
         $GENMAKE2  -ds --mods=../code "--optfile="$OPTFILE > make.log 2>&1  
         RETVAL=$?  
         for i in gm_state gm_optfile gm_local Makefile ; do  
             if test -r $i ; then  
                 cp $i $CDIR  
             fi  
         done  
         if test "x$RETVAL" != x0 ; then  
             tail make.log  
             echo "genmakemodel: genmake failed" 1>&2  
             cp make.log $CDIR  
             return 1  
329          else          else
330              echo "succesful" 1>&2              GENMAKE2="$BASH ../../../tools/genmake2 -bash $BASH"
331          fi          fi
332      )          (
333                cd $1;
334                command="$GENMAKE2  -ds -m $MAKE"
335                if test "x$ADM" = x ; then
336                    command="$command --mods=../code"
337                else
338                    command="$command --mods=../code_ad"
339                fi
340                if test "x$OPTFILE" != xNONE ; then
341                    command="$command --optfile=$OPTFILE"
342                fi
343                if test "x$IEEE" != x ; then
344                    command="$command -ieee"
345                fi
346                if test "x$MPI" = xt ; then
347                    command="$command -mpi"
348                fi
349                if test "x$TS" = xt ; then
350                    command="$command -ts"
351                fi
352                if test "x$PAPIS" = xt ; then
353                    command="$command -papis"
354                else
355                if test "x$PCLS" = xt ; then
356                    command="$command -pcls"
357                fi
358                fi
359                printf 'genmake ... ' 1>&2
360                $command > make.log 2>&1
361                RETVAL=$?
362                #  Reduce the size of the testing emails!
363                head -100 Makefile > $CDIR/Makefile_head
364                if test "x$RETVAL" != x0 ; then
365                    tail make.log
366                    echo "genmakemodel: genmake failed" 1>&2
367                    cp genmake_* make.log $CDIR
368                    return 1
369                else
370                    echo "successful" 1>&2
371                fi
372            )
373        fi
374  }  }
375    
376  makeclean()  makeclean()
377  {  {
378      # makeclean directory      # makeclean directory
379      (      if test "x$NOCLEAN" = xt ; then
380          cd $1;          echo "make Clean skipped!"
381          rm -f output.txt      else
382          printf 'make CLEAN ... ' 2>&1          (
383          if test -r Makefile ; then              cd $1;
384              make CLEAN >> make.log 2>&1              #if test -e $OUTPUTFILE ; then rm -f $OUTPUTFILE ; fi
385              RETVAL=$?              if test -r Makefile ; then
386              if test "x$RETVAL" != x0 ; then                  printf 'clean build-dir: make Clean ... ' 2>&1
387                  tail make.log                  $MAKE Clean >> make.log 2>&1
388                  echo "makeclean: \"make CLEAN\" failed" 1>&2                  RETVAL=$?
389                  cp make.log $CDIR"/make.log"                  if test "x$RETVAL" != x0 ; then
390                  return 1                      tail make.log
391                        echo "makeclean: \"make Clean\" failed" 1>&2
392                        cp make.log $CDIR"/make.log"
393                        return 1
394                    fi
395              fi              fi
396          fi              echo successful 1>&2
397          echo succesful 1>&2              exit 0
398          exit 0          )
399      )      fi
400    }
401    
402    run_clean()
403    {
404        # run_clean directory
405        if test "x$NOCLEAN" = xt ; then
406            echo "run_clean skipped!"
407        else
408            (
409                cd $1;
410                printf 'clean run-dir ... ' 2>&1
411                # part of what is done after "make clean" when doing "make CLEAN"
412                find . -name "*.meta" -exec rm {} \;
413                find . -name "*.data" -exec rm {} \;
414                find . -name "fort.*" -exec rm {} \;
415                find . -type l -exec rm {} \;
416                rm -f $EXECUTABLE *.txt STD* *diagnostics.log datetime
417                rm -rf mnc_test_*
418                echo successful 1>&2
419                exit 0
420            )
421        fi
422  }  }
423    
424  makedependmodel()  makedependmodel()
425  {  {
426      # makedependmodel directory      # makedependmodel directory
427      (      if test "x$NODEPEND" = xt ; then
428          cd $1;          echo "make depend skipped!"
429          printf 'make depend ... ' 1>&2      else
430          make depend >> make.log 2>&1          (
431          RETVAL=$?              cd $1;
432          if test "x$RETVAL" != x0 ; then              printf 'make depend ... ' 1>&2
433              tail make.log              $MAKE depend >> make.log 2>&1
434              echo "makedependmodel: make depend failed" 1>&2              RETVAL=$?
435              cp make.log $CDIR"/make.log"              if test "x$RETVAL" != x0 ; then
436              return 1                  tail make.log
437          else                  echo "makedependmodel: make depend failed" 1>&2
438              echo succesful 1>&2                  cp make.log $CDIR"/make.log"
439          fi                  return 1
440      )              else
441                    echo successful 1>&2
442                fi
443            )
444        fi
445  }  }
446    
447  makemodel()  makemodel()
# Line 231  makemodel() Line 451  makemodel()
451          cd $1;          cd $1;
452          if test -r Makefile ; then          if test -r Makefile ; then
453              printf 'make ... ' 1>&2              printf 'make ... ' 1>&2
454              make >> make.log 2>&1              if test "x$ADM" = x ; then
455                    if test "x$JOBS" = x ; then
456                        $MAKE >> make.log 2>&1
457                    else
458                        $MAKE -j $JOBS >> make.log 2>&1
459                    fi
460                else
461                    $MAKE adall >> make.log 2>&1
462                fi
463              RETVAL=$?              RETVAL=$?
464              if test "x$RETVAL" != x0 ; then              if test "x$RETVAL" != x0 ; then
465                  tail make.log                  tail make.log
# Line 239  makemodel() Line 467  makemodel()
467                  cp make.log $CDIR"/make.log"                  cp make.log $CDIR"/make.log"
468                  return 1                  return 1
469              else              else
470                  echo succesful 1>&2                  echo successful 1>&2
471              fi              fi
472          fi          fi
473      )      )
474  }  }
475    
476    symlink_mpifiles()
477    {
478        # Put special links so that MPI specific files are used
479        # This MUST be invoked between makeclean and makelinks because
480        # the Makefile will link to non-mpi files by default
481    
482        dir=$1
483        code_dir=$2
484        BUILD_DIR=$dir/$3
485        CODE_DIR=$dir/$code_dir
486        
487        # These are files that should replace their counter-part when using -mpi
488        MPI_FILES=`(cd $CODE_DIR; find . -name "*_mpi")`
489    
490        #  Is this an MPI run?
491        if test "x$MPI" = xt ; then
492            # YES: We symbolically link these files to the build
493            # dir so long as there is no real file in place
494            for ii in $MPI_FILES ; do
495                i=`echo $ii | sed 's:^\./::'`
496                name=`echo $i | sed 's:_mpi::' `
497                cmp $CODE_DIR/$i $BUILD_DIR/$name > /dev/null 2>&1
498                RETVAL=$?
499                if test "x$RETVAL" != x0 ; then
500                    if ! test -f $BUILD_DIR/$i ; then
501                        #echo Linking $name to $i
502                        (cd $BUILD_DIR; ln -sf ../$code_dir/$i $name)
503                    fi
504                fi
505            done
506        else
507            # NO: We undo any _mpi symbolically linked files
508            for ii in $MPI_FILES ; do
509                i=`echo $ii | sed 's:^\./::'`
510                name=`echo $i | sed 's:_mpi::' `
511                if test -L $BUILD_DIR/$name ; then
512                    cmp $BUILD_DIR/$name "../$code_dir/$name"_mpi > /dev/null 2>&1
513                    RETVAL=$?
514                    if test "x$RETVAL" = x0 ; then
515                        #echo Un-linking $name from $linktarg
516                        rm -f $BUILD_DIR/$name
517                    fi
518                fi
519            done
520        fi
521        
522    }
523    
524  linkdata()  linkdata()
525  {  {
526      # linkdata flag      # linkdata run_dir input_dir_1 input_dir_2 ...
527      #      #
528      # symbolically link data files to run directory      # symbolically link data files to run directory
529      if [ $1 -ne 0 ]; then      if test -d $1 ; then
530          ( cd $2 ;  ln -sf ../input/* . )          (
531                cd $1 ; shift
532                if test -r "../"$1"/eedata.mth" ; then
533                # found eedata.mth in 1rst input dir and it is readable
534                    if test "x$MULTI_THREAD" = "xt" ; then
535                    # multi-threaded test: remove symbolic link & link eedata.mth
536                        if test -h eedata ; then rm -f eedata ; fi
537                        if test ! -r eedata ; then
538                            ln -sf "../"$1"/eedata.mth" eedata ;
539                            printf 'eedata.mth ' 1>&2
540                        fi
541                    else
542                    # not multi-threaded test: remove eedata symbolic link
543                        if test -h eedata ; then rm -f eedata ; fi
544                    fi
545                fi
546                for ldir in $* ; do
547                    if test -d "../"$ldir ; then
548                        printf 'ldir='${ldir} 1>&2
549                        files=`( cd "../"$ldir ; ls -1 | grep -v CVS )`
550                        for i in $files ; do
551                            if test ! -d "../"$ldir/$i ; then
552                                if test ! -r $i  ; then
553                                    printf ' '$i 1>&2
554                                    ln -sf "../"$ldir"/"$i $i
555                                fi
556                            fi
557                        done
558                        if test -x "../"$ldir"/"prepare_run ; then
559                            "../"$ldir"/"prepare_run
560                        fi
561                        printf ' ; ' 1>&2
562                    fi
563                done
564            )
565      fi      fi
566  }  }
567    
568  runmodel()  runmodel()
569  {  {
570      # runmodel directory exe      # runmodel directory
571      #      #
572      #  runs the model "exe" in "directory" (exe is relative to directory)      #  runs "$COMMAND in "directory"
573        #  (where "$COMMAND" is relative to "directory")
574      (      (
575          cd $1          cd $1
576          if [ -x $2 ]; then          printf 'runmodel in %s ...' $1 1>&2
577              if [ $quick -eq 0 ]; then          # make output.txt
578                  rm -f output.txt          echo
579              fi          if test ! -x $EXECUTABLE -a -x "../"$builddir"/"$EXECUTABLE ; then
580              printf 'runmodel: ' 1>&2              echo " link" $EXECUTABLE "from dir ../"$builddir > run.log_00
581              make output.txt              ln -sf "../"$builddir"/"$EXECUTABLE .
582              RETVAL=$?          fi
583              if test "x$RETVAL" = x0 ; then          if test ! -x $EXECUTABLE ; then
584                  cp output.txt $CDIR"/output.txt"                  rm -f run.log ; touch run.log
585                  return 0                  if test -f run.log_00 ; then cat run.log_00 >> run.log ; fi
586                    echo " no executable:" $EXECUTABLE >> run.log
587                    RETVAL=8
588                    ENDVAL=-1
589            else
590                if test ! -f $OUTPUTFILE -o $OUTPUTFILE -ot $EXECUTABLE ; then
591                  # output do not exist or is older than executable:
592                    rm -f run.log ; touch run.log
593                    if test -f run.log_00 ; then cat run.log_00 >> run.log ; fi
594                    ( eval $COMMAND ) >> run.log 2>&1
595                    RETVAL=$?
596              else              else
597                  return 1                  RETVAL=0
598                    if test -f run.log ; then
599                        if test -f run.log_00 ; then cat run.log_00 >> run.log ; fi
600                        echo "---------->> $OUTPUTFILE is up to date " >> run.log 2>&1
601                    else
602                        touch run.log
603                        if test -f run.log_00 ; then cat run.log_00 >> run.log ; fi
604                        echo "---------->> $OUTPUTFILE is up to date " >> run.log 2>&1
605                        echo " no previous run.log: assume NORMAL END" >> run.log 2>&1
606                    fi
607              fi              fi
608                ENDVAL=`cat run.log | grep -v 'ABNORMAL END' | grep -c 'NORMAL END'`
609            fi
610            rm -f run.log_00
611            #if test "x$RETVAL" = x0 ; then
612            if [ $RETVAL -eq 0 -a $ENDVAL -gt 0 ] ; then
613                tail run.log
614                echo successful 1>&2
615                # === Reduce the size of the testing emails!
616                #cp $OUTPUTFILE $CDIR"/"$OUTPUTFILE
617                if test -s STDERR.0000 ; then cp STDERR.0000 $CDIR"/STDERR.0000" ; fi
618                return 0
619            else
620                tail run.log
621                echo failed '(run:' $RETVAL ' end:' $ENDVAL ')' 1>&2
622                cp run.log $CDIR"/run.log"
623                if test -s STDERR.0000 ; then cp STDERR.0000 $CDIR"/STDERR.0000" ; fi
624                return 1
625          fi          fi
626      )      )
627  }  }
# Line 283  createcodelet() Line 630  createcodelet()
630  {  {
631      # create codelet for comparing model output      # create codelet for comparing model output
632    
633      echo -n "creating the comparison code...  "      printf "creating the comparison code...  "
634      cat > tmp_cmpnum.f <<EOFA      cat > tr_cmpnum.c <<EOF
635        program cmpnum  #include <stdio.h>
636        implicit none  #include <math.h>
637        real*8 a,b,diff  int main( int argc, char** argv )  {
638        integer linnum,best    int linnum,cmplin,best,lncnt;
639        best=-16    double a,b,abave,relerr;
640    99  read(*,*,end=70,err=60) linnum,a,b    best = -22;
641        diff=0.5*(abs(a)+abs(b))    lncnt = 0;
642  c     print *,a,b,diff,abs(a-b)/diff    while( 1 & ( (lncnt+=1) < 999 ) )  {
643        if (diff.gt.1.e-12) then      scanf("%d", &linnum);
644          diff=abs(a-b)/diff      if (linnum == -1)  break;
645          if (diff.gt.0.) then      scanf("%lf", &a);  scanf("%lf", &b);
646  c         print *,int(log10(diff)),diff      abave = 0.5*(fabs(a)+fabs(b));
647            linnum=int(log10(diff))      if ( abave == abave ) {
648            best=max(best,linnum)        if (abave > 0.0) {
649          endif          relerr=fabs(a-b)/abave;
650        else          if (relerr > 0.0) { cmplin = (int)rint(log10(relerr)); }
651          if (best.eq.-16.and.diff.ne.0.) best=-22          else { cmplin = -16 ; }
652        endif          best = (best > cmplin) ? best : cmplin; }
653        goto 99        else { cmplin = -22 ; }
654    60  stop 'cmpnum: An error occured reading a,b'     /* printf("%d ; %lf ; %lf\n",cmplin,a,b); */
655    70  print *,-best        }
656        end     else {
657  EOFA     /* printf("%lf ; %lf ; %lf\n",abave,a,b); */
658          break; }
659      }
660      if (lncnt == 999) best=-29;
661      if (linnum != -1) best=-99;
662      printf("%d\n", -best);
663      return 0;
664    }
665    EOF
666        $CC -o tr_cmpnum tr_cmpnum.c -lm
667    
668      f77 tmp_cmpnum.f      if [ -x ./tr_cmpnum ]; then
     if [ -x ./a.out ]; then  
669          echo "OK"          echo "OK"
670          return 0          return 0
671      else      else
672          echo          echo
673          echo "createcodelet: failed to compile codelet" | tee          echo "ERROR: failed to compile comparison code -- please specify"
674            echo "  a C compiler using the CC environment variable."
675          exit 1          exit 1
676      fi      fi
677  }  }
# Line 327  formatresults() Line 683  formatresults()
683      nm=$1      nm=$1
684      printf '%s %s %s %s' $2 $3 $4 $5      printf '%s %s %s %s' $2 $3 $4 $5
685      shift; shift; shift; shift; shift;      shift; shift; shift; shift; shift;
686      printf '%3s' $@      listPrt=$@
687        listRes=`echo $listPrt | sed 's/>//' | sed 's/<//'`
688        xx=`echo $listPrt | sed 's/.*>//' | sed 's/<.*//' | awk '{print $1}'`
689        printf '%3s' $listPrt
690    #   line below does not work on hp-ux_ia64 : do those substitutions later on
691    #   printf '%3s' $listPrt | sed 's/ 99/ --/g' | sed 's/  > />/' | sed 's/  < /</'
692            
693      if [ $1 = '--' ]; then      if [ $xx = '..' ]; then
694            printf ' N/O '
695        elif [ $xx = '--' ]; then
696            printf ' N/O '
697        elif [ $xx = 99 ]; then
698          printf ' N/O '          printf ' N/O '
699      else      else
700          if [ $1 -gt 12 ]; then          if [ $xx -ge $MATCH_CRIT ]; then
701              printf ' pass'              printf ' pass'
702          else          else
703              printf ' FAIL'              printf ' FAIL'
# Line 343  formatresults() Line 708  formatresults()
708            
709  }  }
710    
 show_help()  
 {  
     cat - << EOF  
 $0 [-help] [-quick] [-verbose] dir1 [dir2] [...]  
  -help      Show this help message  
  -quick     Skip "genmake" and "make depend" if the Makefile exists  
  -quiet     Reduce the amount of output  
  -verbose   Produce copious amounts of output  
  -debug     Produce even more output which will mean nothing to most  
  -force     Do "make CLEAN" before compiling. This forces a complete rebuild.  
  -clean     Do "make CLEAN" after compiling and testing.  
  -noieee    By default, $0 uses the -ieee option for genmake. This turns it off.  
  -cleanup   Aggresively removes all model output, executables and object files  
             and then exits. Use with care.  
   
 Normal usage:  
  $0 *       Configure, compile, run and analyze in all experiment directories  
 EOF  
 }  
   
711  scandirs()  scandirs()
712  {  {
713      if [ $# -eq 0 ]; then      if [ $# -eq 1 ]; then
714          for arg in * ; do          for arg in * ; do
715              test -d $arg/input && echo $arg              test -f $arg/$1 && echo $arg
716          done          done
717      else      else
718          echo $*          echo $*
719      fi      fi
720  }  }
721    
722    
723  ###############################################################################  ###############################################################################
 ###############################################################################  
 ###############################################################################  
724    
725    
726  #  Default properties  #  Default properties
727  debug=0  debug=0
728  verbose=1  verbose=1
 quick=0  
729  clean=0  clean=0
 ieee=1  
730  expts=''  expts=''
731    # ieee=1
732    
733    IEEE=true
734    if test "x$MITGCM_IEEE" != x ; then
735        IEEE=$MITGCM_IEEE
736    fi
737    
738    
739  OPTFILES=  CLEANUP=f
740  ADDRESSES=edhill@mitgcm.org  QUICK=f
741    NOGENMAKE=f
742    NOCLEAN=f
743    NODEPEND=f
744    POSTCLEAN=f
745    
746    BASH=
747    OPTFILE=NONE
748    ADDRESSES=
749  TESTDIRS=  TESTDIRS=
750    SKIPDIRS=
751  MPACKDIR="../tools/mpack-1.6"  MPACKDIR="../tools/mpack-1.6"
752    HAVE_MPACK=
753  MPACK="$MPACKDIR/mpack"  MPACK="$MPACKDIR/mpack"
754    COMMAND=
755    if test "x$MAKE" = x ; then
756        MAKE=make
757    fi
758    if test "x$CC" = x ; then
759        CC=cc
760    fi
761    JOBS=
762    MPI=f
763    MULTI_THREAD=f
764    OUTDIR=
765    DELDIR=
766    
767    ADM=
768    
769    # Additional monitor types
770    PTRACERS_NUM="1 2 3 4 5"
771    
772  echo -n "parsing options...  "  MATCH_CRIT=13
773    
774    printf "parsing options...  "
775    
776  ac_prev=  ac_prev=
777  for ac_option ; do  for ac_option ; do
# Line 414  for ac_option ; do Line 791  for ac_option ; do
791              usage ;;              usage ;;
792                    
793          -optfile | --optfile | -of | --of)          -optfile | --optfile | -of | --of)
794              ac_prev=OPTFILES ;;              ac_prev=OPTFILE ;;
795          -optfile=* | --optfile=* | -of=* | --of=*)          -optfile=* | --optfile=* | -of=* | --of=*)
796              OPTFILES=$ac_optarg ;;              OPTFILE=$ac_optarg ;;
797                    
798          -addr | --addr | -a | --a)          -addr | --addr | -a | --a)
799              ac_prev=ADDRESSES ;;              ac_prev=ADDRESSES ;;
# Line 428  for ac_option ; do Line 805  for ac_option ; do
805          -tdir=* | --tdir=*)          -tdir=* | --tdir=*)
806              TESTDIRS=$ac_optarg ;;              TESTDIRS=$ac_optarg ;;
807    
808          -quick) quick=1 ;;          -skipdir | --skipdir | -skd | --skd)
809                ac_prev=SKIPDIRS ;;
810            -skipdir=* | --skipdir=*)
811                SKIPDIRS=$ac_optarg ;;
812    
813            -bash | --bash | -b | --b)
814                ac_prev=BASH ;;
815            -bash=* | --bash=*)
816                BASH=$ac_optarg ;;
817    
818            -command | --command | -c | --c)
819                ac_prev=COMMAND ;;
820            -command=* | --command=*)
821                COMMAND=$ac_optarg ;;
822    
823            -make | --make | -m | --m)
824                ac_prev=MAKE ;;
825            -make=* | --make=*)
826                MAKE=$ac_optarg ;;
827    
828            -odir | --odir)
829                ac_prev=OUTDIR ;;
830            -odir=* | --odir=*)
831                OUTDIR=$ac_optarg ;;
832    
833            -ptracers | --ptracers | -ptr | --ptr)
834                ac_prev=PTRACERS_NUM ;;
835            -ptracers=* | --ptracers=* | -ptr=* | --ptr=*)
836                PTRACERS_NUM=$ac_optarg ;;
837    
838            -match | --match ) ac_prev=MATCH_CRIT ;;
839            -match=* | --match=* ) MATCH_CRIT=$ac_optarg ;;
840    
841            -j) ac_prev=JOBS ;;
842            -j=*) JOBS=$ac_optarg ;;
843    
844            -clean | --clean)
845                CLEANUP=t ; DELDIR=t ;;
846    
847            -quick | --quick | -q | --q)
848                QUICK=t ;;
849            -nogenmake | --nogenmake | -ng | --ng)
850                NOGENMAKE=t ;;
851            -noclean | --noclean | -nc | --nc)
852                NOCLEAN=t ;;
853            -nodepend | --nodepend | -nd | --nd)
854                NODEPEND=t ;;
855    
856            -postclean | --postclean | -pc | --pc)
857                POSTCLEAN=t ;;
858    
859            -mpi) MPI=t ;;
860    
861            -mth) MULTI_THREAD=t ;;
862    
863            -adm | -ad) ADM=t ;;
864    
865            -ieee) IEEE=true ;;
866            -noieee) IEEE= ;;
867    
868          -verbose) verbose=2 ;;          -verbose) verbose=2 ;;
869          -debug) debug=1 ;;          -debug) debug=1 ;;
         -clean) clean=1 ;;  
         -noieee) ieee=0 ;;  
870          -quiet) verbose=0 ;;          -quiet) verbose=0 ;;
871    
872            -deldir | -dd) DELDIR=t ;;
873    
874            -ts) TS=t;;
875    
876            -papis) PAPIS=t;;
877    
878            -pcls) PCL=t;;
879    
880          -*)          -*)
881              echo "Error: unrecognized option: "$ac_option              echo "Error: unrecognized option: "$ac_option
882              usage              usage
# Line 449  for ac_option ; do Line 891  for ac_option ; do
891            
892  done  done
893    
894    if test "x$QUICK" = xt ; then
895        NOGENMAKE=t
896        NOCLEAN=t
897        NODEPEND=t
898    fi
899    
900    #- setting for forward or ADM testing
901    if test "x$ADM" = xt ; then
902        code_dir=code_ad
903        input_dirs='input_ad input'
904        ref_outp="output_adm.txt"
905        EXECUTABLE="mitgcmuv_ad"
906    else
907        code_dir=code
908        input_dirs='input'
909        ref_outp="output.txt"
910        EXECUTABLE="mitgcmuv"
911    fi
912    
913  if test "x$TESTDIRS" = x ; then  if test "x$TESTDIRS" = x ; then
914      TESTDIRS=`scandirs`      if test "x$ADM" = xt ; then
915            LIST=`scandirs results_ad/$ref_outp`
916        else
917            LIST=`scandirs results/$ref_outp`
918        fi
919    else
920        #- expand group of experiments:
921        LIST=" "
922        for xx in $TESTDIRS
923        do
924          case $xx in
925            'basic') LIST=${LIST}" aim.5l_cs hs94.128x64x5 ideal_2D_oce"
926                     LIST=${LIST}" lab_sea tutorial_baroclinic_gyre"
927                     LIST=${LIST}" tutorial_global_oce_latlon tutorial_plume_on_slope"
928                    ;;
929            'tutorials')
930                     LIST=${LIST}" "`ls | grep 'tutorial_'` ;;
931            *)       LIST=${LIST}" "$xx ;;
932          esac
933        done
934    fi
935    #echo 'LIST='${LIST}'<'
936    #- skip dirs, remove duplicate and non-directory:
937    TESTDIRS=" "
938    count=0
939    for xx in $LIST
940    do
941        yy=`echo $SKIPDIRS | grep -c $xx`
942        if test $yy = 0 ; then
943            if test -d $xx ; then
944                yy=`echo $TESTDIRS | grep -c $xx`
945                if test $yy = 0 ; then TESTDIRS=${TESTDIRS}" "$xx ; fi
946            else count=1 ;
947                echo ""; echo -n " -- skip \"$xx\" (not a directory !)"
948            fi
949        else
950            if test $count = 1 ; then echo -n ", \"$xx\""
951            else count=1 ; echo "" ;  echo -n " skip: \"$xx\""
952            fi
953        fi
954    done
955    if test $count = 1 ; then echo "" ; echo -n " ... " ; fi
956    #echo 'TESTDIRS='${TESTDIRS}'<'
957    
958    if test "x$OPTFILE" = xNONE -a "x$MITGCM_OF" != x ; then
959        OPTFILE=$MITGCM_OF
960    fi
961    
962    OUTPUTFILE=$ref_outp
963    if test "x$COMMAND" = x ; then
964        COMMAND="./$EXECUTABLE > $OUTPUTFILE"
965  fi  fi
966    if test "x$MPI" = xt ; then
967        OUTPUTFILE="STDOUT.0000"
968    fi
969    
970    #echo "OK"
971    echo "OK (COMMAND= $COMMAND )"
972    
973  echo "OK"  # set the Default List of output variables to be checked:
974    #  (use default or load experiment-specific list from file "tr_checklist")
975    # content : 1rst = main variable used to decide if it pass or FAIL
976    #         others = number of matching digits to be printed in summary.txt
977    if test "x$ADM" = x ; then
978        DEF_CHECK_LIST='PS PS T+ S+ U+ V+ pt1+ pt2+ pt3+ pt4+ pt5+'
979        EMPTY_RESULTS='.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..'
980        LEN_CHECK_LIST=`echo $DEF_CHECK_LIST | sed 's/ [a-zA-Z0-9]*+/&mn &mx &av &sd/g' | awk '{print NF-1}'`
981        ii=`echo $EMPTY_RESULTS | awk '{print NF}'`
982        EMPTY_RESULTS=$EMPTY_RESULTS`expr $LEN_CHECK_LIST - $ii | awk 'BEGIN{FS=":"}{for(i=1;i<=$1;i++){printf "  ."}}'`
983    else
984        DEF_CHECK_LIST='Cost Cost Grad'
985        EMPTY_RESULTS='.. ..'
986        LEN_CHECK_LIST=`echo $DEF_CHECK_LIST | sed 's/ [a-zA-Z0-9]*+/&mn &mx &av &sd/g' | awk '{print NF-1}'`
987    fi
988    
989  #  create the FORTRAN comparison code  #  create the FORTRAN comparison code
990  createcodelet  createcodelet
991    
992  #  build the mpack utility  #  build the mpack utility
993  build_mpack  if test "x$ADDRESSES" = xNONE -o "x$ADDRESSES" = x ; then
994        echo "skipping mpack build"
995    else
996        build_mpack
997    fi
998    
999  #  Create a uniquely named directory to store results  #  Create a uniquely named directory to store results
1000  MACH=`hostname`  MACH=`hostname`
1001  UNAMEA=`uname -a`  UNAMEA=`uname -a`
1002  DATE=`date +%Y%m%d`  DATE=`date +%Y%m%d`
1003  BASE=$MACH"_"$DATE"_"  BASE="tr_"$MACH"_"$DATE"_"
1004    if test "x$OUTDIR" != x ; then
1005        BASE="tr_"$OUTDIR"_"$DATE"_"
1006    fi
1007  DNUM=0  DNUM=0
1008  DRESULTS="$BASE$DNUM"  DRESULTS="$BASE$DNUM"
1009  while test -e $DRESULTS ; do  while test -e $DRESULTS ; do
# Line 475  done Line 1013  done
1013  mkdir $DRESULTS  mkdir $DRESULTS
1014  RETVAL=$?  RETVAL=$?
1015  if test "x$RETVAL" != x0 ; then  if test "x$RETVAL" != x0 ; then
1016      echo "Error: can't create results directory \"./$DRESULTS\""      echo "ERROR: Can't create results directory \"./$DRESULTS\""
1017      exit 1      exit 1
1018  fi  fi
1019  SUMMARY="$DRESULTS/summary.txt"  SUMMARY="$DRESULTS/summary.txt"
1020  date > $SUMMARY  printf "Start time:  " >> $SUMMARY
1021  cat << EOF >> $SUMMARY  start_date=`date`
1022                  T           S           U           V  echo $start_date > $SUMMARY
1023  G D M    c        m  s        m  s        m  s        m  s  
1024  E p a R  g  m  m  e  .  m  m  e  .  m  m  e  .  m  m  e  .  of_path=
1025  N n k u  2  i  a  a  d  i  a  a  d  i  a  a  d  i  a  a  d  if test "x$OPTFILE" != xNONE ; then
1026  2 d e n  d  n  x  n  .  n  x  n  .  n  x  n  .  n  x  n  .      if test -r $OPTFILE ; then
1027            # get the path
1028            path=${OPTFILE%/*}
1029            if test "x$path" = x ; then
1030                of_path=`pwd`
1031            else
1032                of_path=`( cd $path > /dev/null 2>&1 ; pwd )`
1033            fi
1034            file=${OPTFILE##*/}
1035            OPTFILE=$of_path/$file
1036            cp $OPTFILE $DRESULTS
1037            echo >> $SUMMARY
1038            echo "  OPTFILE=$OPTFILE" >> $SUMMARY
1039        else
1040            echo | tee $SUMMARY
1041            echo "ERROR: can't read OPTFILE=\"$OPTFILE\"" | tee $SUMMARY
1042            exit 1
1043        fi
1044    else
1045        echo >> $SUMMARY
1046        echo "No \"OPTFILE\" was explicitly specified by testreport," >> $SUMMARY
1047        echo "   so the genmake default will be used." >> $SUMMARY
1048    fi
1049    echo
1050    echo >> $SUMMARY
1051    if test "x$ADM" = x ; then
1052        if [ $MATCH_CRIT -lt 10 ] ;
1053        then line_0="default  "$MATCH_CRIT ;
1054        else line_0="default "$MATCH_CRIT ; fi
1055           line_0="$line_0  ----T-----  ----S-----  ----U-----  ----V-----"
1056    #   line_0="            ----T-----  ----S-----  ----U-----  ----V-----"
1057        line_1="G D M    c        m  s        m  s        m  s        m  s"
1058        line_2="E p a R  g  m  m  e  .  m  m  e  .  m  m  e  .  m  m  e  ."
1059        line_3="N n k u  2  i  a  a  d  i  a  a  d  i  a  a  d  i  a  a  d"
1060        line_4="2 d e n  d  n  x  n  .  n  x  n  .  n  x  n  .  n  x  n  ."
1061        for ii in $PTRACERS_NUM ; do
1062            #  tst=`eval 'echo $HAVE_PTR0'$ii`
1063            #  if test "x$tst" = xt ; then
1064            line_0="$line_0  --PTR 0"$ii"--"
1065            line_1="$line_1        m  s"
1066            line_2="$line_2  m  m  e  ."
1067            line_3="$line_3  i  a  a  d"
1068            line_4="$line_4  n  x  n  ."
1069            #  fi
1070        done
1071        echo "$line_0" | tee -a $SUMMARY
1072        echo "$line_1" | tee -a $SUMMARY
1073        echo "$line_2" | tee -a $SUMMARY
1074        echo "$line_3" | tee -a $SUMMARY
1075        echo "$line_4" | tee -a $SUMMARY
1076        echo " "       | tee -a $SUMMARY
1077    else
1078        echo "ADJOINT=true" >> $SUMMARY
1079        echo >> $SUMMARY
1080        cat << EOF | tee -a $SUMMARY
1081    G D M    C  G
1082    E p a R  o  r
1083    N n k u  s  a
1084    2 d e n  t  d
1085    
1086  EOF  EOF
1087    fi
1088    
1089  NDIR=0  #  ...and each test directory...
1090    for dir in $TESTDIRS ; do
1091        
1092        #  Cleanup only!
1093        if test "x$CLEANUP" = xt ; then
1094            if test -r $dir/build/Makefile ; then
1095                echo '  ------  clean dir:' $dir/build
1096                ( cd $dir/build ; make CLEAN )
1097            fi
1098            if test -d $dir/run/CVS ; then
1099                echo '  ------  clean dir:' $dir/run
1100                run_clean $dir/run
1101            fi
1102            (
1103                cd $dir
1104                rm -rf tr_run.*
1105            )
1106            continue
1107        fi
1108    
1109        #  Verify that the testdir exists and contains previous
1110        #  results in the correct location--or skip this directory!
1111        fout=
1112        if test "x$ADM" = x ; then
1113            fout=$dir"/results/"$ref_outp
1114        else
1115            fout=$dir"/results_ad/"$ref_outp
1116        fi
1117        if test ! -r $fout ; then
1118            echo "can't read \"$fout\" -- skipping $dir"
1119            continue
1120        fi
1121        if test "x$ADM" = x ; then
1122            check_for_add_mon_output  $fout
1123        fi
1124    
1125  #  For each optfile...      # Check for additional types of monitor output
 for OPTFILE in $OPTFILES ; do  
1126    
1127      OPTFILE=`pwd`"/$OPTFILE"      builddir="build"
1128      if test ! -r $OPTFILE ; then      if test ! -d $dir/$builddir ; then mkdir $dir/$builddir ; fi
1129          echo "Error: can't read optfile \"$OPTFILE\""      rundir="run"
1130          exit 1      if test ! -d $dir/$rundir ; then
1131            rundir=$builddir
1132      fi      fi
1133      echo      CODE_DIR=$dir/$code_dir
1134      echo "OPTFILE=$OPTFILE" >> $SUMMARY      BUILD_DIR=$dir/$builddir
     echo >> $SUMMARY  
       
     #  ...and each test directory...  
     for dir in $TESTDIRS ; do  
           
         #  Create an output dir for each OPTFILE/tdir combination  
         CDIR=$DRESULTS"/"$DRESULTS"_"$NDIR  
         mkdir $CDIR  
         CDIR=`pwd`"/$CDIR"  
1135    
1136          #  ...configue, make, run, and compare the output.      if test ! -r $CODE_DIR"/SIZE.h_mpi" -a "x$MPI" = "xt" ; then
1137          echo "-------------------------------------------------------------------------------"          echo "can't find \"$CODE_DIR/SIZE.h_mpi\" -- skipping $dir"
1138          echo          continue
1139          echo "Experiment:  $dir"      fi
1140          echo      if test ! -r $dir"/input/eedata.mth" -a "x$MULTI_THREAD" = "xt" ; then
1141          unset genmake makedepend make run          echo "can't find \"$dir/input/eedata.mth\" -- skipping $dir"
1142          results='-- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --'          continue
1143          ( cd $dir/input; rm -f *.{o,f,c,F} *.[f,F]90 work* output.txt Make* make.log; )      fi
         if [ -r $dir/build ]; then  
             seperatebuilddir=1  
             builddir=build  
             rundir=build  
             ( cd $dir/build; ln -sf ../input/* . )  
         else  
             seperatebuilddir=0  
             builddir=input  
             rundir=input  
         fi  
1144    
1145          #  Verify that the testdir exists and contains previous      #  Check whether there are "extra runs" for this testdir
1146          #  results in the correct location--or skip this directory!      extra_runs=
1147          if test ! -r $dir"/results/output.txt" ; then      if test "x$ADM" = x ; then
1148              echo | tee $SUMMARY          ex_run_dirs=`( cd $dir ; echo input.* )`
1149              echo "can't read \"$dir/results/output.txt\" -- skipping $dir" \          #echo "ex_run_dirs='$ex_run_dirs'"
1150                  | tee $SUMMARY          for exd in $ex_run_dirs ; do
1151              continue              name=`echo $exd | sed -e 's/input.//g'`
1152          fi              outf="$dir/results/output.$name.txt"
1153                if test -f $outf -a -r $outf ; then
1154                    if test "x$MULTI_THREAD" = "xt" ; then
1155                        if test -r $dir"/"$exd"/eedata.mth" ; then
1156                            extra_runs="$extra_runs $name"
1157                        #else echo $dir"/"$exd"/eedata.mth: not found"
1158                        fi
1159                    else
1160                        extra_runs="$extra_runs $name"
1161                    fi
1162                fi
1163            done
1164        fi
1165    
1166        echo "-------------------------------------------------------------------------------"
1167        echo
1168        if test "x$extra_runs" = "x" ; then
1169           echo "Experiment:  $dir"
1170        else
1171           echo "Experiment:  $dir ; extra_runs=$extra_runs"
1172        fi
1173        echo
1174        unset genmake makedepend make run
1175        results=$EMPTY_RESULTS
1176    
1177        #  Create an output dir for each OPTFILE/tdir combination
1178        rel_CDIR=$DRESULTS"/"$dir
1179        mkdir $rel_CDIR
1180        CDIR=`pwd`"/$rel_CDIR"
1181        
1182        if test "x$CLEANUP" = xt ; then
1183            echo '====>>> this is to check that we never go through this part <<< ==='
1184            makeclean $dir/$builddir \
1185                && run_clean $dir/$rundir
1186        else
1187          genmakemodel $dir/$builddir && genmake=Y \          genmakemodel $dir/$builddir && genmake=Y \
1188              && makeclean $dir/$builddir \              && makeclean $dir/$builddir \
1189                && run_clean $dir/$rundir \
1190                && symlink_mpifiles $dir $code_dir $builddir \
1191              && makedependmodel $dir/$builddir && makedepend=Y \              && makedependmodel $dir/$builddir && makedepend=Y \
1192              && makemodel $dir/$builddir && make=Y \              && makemodel $dir/$builddir && make=Y \
1193              && linkdata $seperatebuilddir $dir/$rundir \              && linkdata $dir/$rundir $input_dirs \
1194              && runmodel $dir/$builddir mitgcmuv && run=Y \              && runmodel $dir/$rundir && run=Y \
1195              && results=`testoutput $dir $rundir`              && results=`testoutput_run $dir $rundir $ref_outp`
1196        fi
1197        
1198        echo
1199        if test "x$ADM" = x ; then
1200            fres=`formatresults $dir ${genmake:-N} ${makedepend:-N} ${make:-N} ${run:-N} $results`
1201          echo          echo
1202          formatresults $dir ${genmake:-N} ${makedepend:-N} ${make:-N} \          echo "$fres" | sed 's/ 99/ --/g' | sed 's/  > />/' | sed 's/  < /</' >> $SUMMARY
1203              ${run:-N} $results          touch $CDIR"/summary.txt"
1204            echo "fresults='$fres'" | sed 's/ 99/ --/g' >> $CDIR"/summary.txt"
1205            echo "MACH='$MACH'" >> $CDIR"/summary.txt"
1206            echo "UNAMEA='$UNAMEA'" >> $CDIR"/summary.txt"
1207            echo "DATE='$DATE'" >> $CDIR"/summary.txt"
1208            echo "tdir='$dir'" >> $CDIR"/summary.txt"
1209    
1210            for ex in $extra_runs ; do
1211                unset run
1212                results=$EMPTY_RESULTS
1213                #  Create an output dir for each OPTFILE/tdir.ex combination
1214                rel_CDIR=$DRESULTS"/"$dir"."$ex
1215                mkdir $rel_CDIR
1216                CDIR=`pwd`"/$rel_CDIR"
1217                test ! -e "$dir/tr_run.$ex" && mkdir "$dir/tr_run.$ex"
1218                run_clean $dir/tr_run.$ex
1219                linkdata $dir/tr_run.$ex input.$ex input
1220                runmodel $dir/tr_run.$ex && run=Y \
1221                    && results=`testoutput_run $dir tr_run.$ex "output.${ex}.txt"`
1222                fres=`formatresults $dir ${genmake:-N} ${makedepend:-N} ${make:-N} ${run:-N} $results`
1223                fres="$fres.$ex"
1224                echo
1225                echo "$fres" | sed 's/ 99/ --/g' | sed 's/  > />/' | sed 's/  < /</' >> $SUMMARY
1226                touch $CDIR"/summary.txt"
1227                echo "fresults='$fres'" | sed 's/ 99/ --/g' >> $CDIR"/summary.txt"
1228                echo "MACH='$MACH'" >> $CDIR"/summary.txt"
1229                echo "UNAMEA='$UNAMEA'" >> $CDIR"/summary.txt"
1230                echo "DATE='$DATE'" >> $CDIR"/summary.txt"
1231                echo "tdir='$dir.$ex'" >> $CDIR"/summary.txt"
1232                if test "x$POSTCLEAN" = xt ; then
1233                    run_clean $dir/tr_run.$ex
1234                fi
1235            done
1236        else
1237            fres=`printf '%s %s %s %s' ${genmake:-N} ${makedepend:-N} ${make:-N} ${run:-N}`
1238            fres=$fres"$results   $dir"
1239          echo          echo
1240          formatresults $dir ${genmake:-N} ${makedepend:-N} ${make:-N} \          echo "$fres" >> $SUMMARY
1241              ${run:-N} $results >> $SUMMARY          touch $CDIR"/summary.txt"
1242          echo "fresults='" > $CDIR"/summary.txt"          echo "fresults='$fres'" >> $CDIR"/summary.txt"
         formatresults $dir ${genmake:-N} ${makedepend:-N} ${make:-N} \  
             ${run:-N} $results >> $CDIR"/summary.txt"  
         echo "'" >> $CDIR"/summary.txt"  
1243          echo "MACH='$MACH'" >> $CDIR"/summary.txt"          echo "MACH='$MACH'" >> $CDIR"/summary.txt"
1244          echo "UNAMEA='$UNAMEA'" >> $CDIR"/summary.txt"          echo "UNAMEA='$UNAMEA'" >> $CDIR"/summary.txt"
1245          echo "DATE='$DATE'" >> $CDIR"/summary.txt"          echo "DATE='$DATE'" >> $CDIR"/summary.txt"
1246          echo "tdir='$dir'" >> $CDIR"/summary.txt"          echo "tdir='$dir'" >> $CDIR"/summary.txt"
1247        fi
1248        if test "x$ADM" = xt ; then
1249            grep -A3 'Seconds in section "ALL' $dir/$rundir/$OUTPUTFILE \
1250                               >> $CDIR"/summary.txt"
1251        fi
1252    
1253          (      #postclean $dir/$builddir
1254              cd $DRESULTS      if test "x$POSTCLEAN" = xt ; then
1255              tar -cf $NDIR".tar" $DRESULTS"_"$NDIR > /dev/null 2>&1          makeclean $dir/$builddir \
1256              gzip $NDIR".tar"              && run_clean $dir/$rundir
1257          )      fi
1258        
1259        echo "-------------------------------------------------------------------------------"
1260        
1261    done
1262    
1263          $MPACK -s MITgcm-test -m 1000000 $DRESULTS"/"$NDIR".tar.gz" $ADDRESSES  printf "Start time:  " >> $SUMMARY
1264    echo $start_date >> $SUMMARY
1265    printf "End time:    " >> $SUMMARY
1266    date >> $SUMMARY
1267    
1268    #  If addresses were supplied and mpack built successfully, then try
1269    #  to send email using mpack.
1270    if test "x$ADDRESSES" = xNONE -o "x$ADDRESSES" = x ; then
1271        echo "No results email was sent."
1272    else
1273        if test "x$HAVE_MPACK" = xt ; then
1274            tar -cf $DRESULTS".tar" $DRESULTS > /dev/null 2>&1 \
1275                && gzip $DRESULTS".tar" \
1276                && $MPACK -s MITgcm-test -m 3555000 $DRESULTS".tar.gz" $ADDRESSES
1277          RETVAL=$?          RETVAL=$?
1278          if test "x$RETVAL" != x0 ; then          if test "x$RETVAL" != x0 ; then
1279              echo "Warning: \"$MPACK\" failed -- please contact <edhill@mitgcm.org>"              echo
1280                echo "Warning: The tar, gzip, & mpack step failed.  Please send email"
1281                echo "  to <MITgcm-support@mitgcm.org> for help.  You may copy the "
1282                echo "  summary of results from the directory \"$DRESULTS\"."
1283                echo
1284          else          else
1285              rm -f $DRESULTS"/"$NDIR".tar*"              echo
1286                echo "An email containing results was sent to the following addresses:"
1287                echo "  \"$ADDRESSES\""
1288                echo
1289          fi          fi
1290            test -f $DRESULTS".tar"  &&  rm -f $DRESULTS".tar"
1291            test -f $DRESULTS".tar.gz"  &&  rm -f $DRESULTS".tar.gz"
1292        fi
1293    fi
1294    
1295          NDIR=$(( $NDIR + 1 ))  rm -f tr_cmpnum.c tr_cmpnum
           
     done  
 done  
1296    
1297  rm tmp_cmpnum.f a.out  if test "x$CLEANUP" != xt ; then
1298        cat $SUMMARY | sed 's/  \.  \.  \.  \.  \.  \.  \.  \.  \.  \.  \.  \.//'
1299        if test -e tr_out.txt ; then
1300            mv tr_out.txt tr_out.txt.old
1301        fi
1302        cat $SUMMARY | sed '/^[YN] [YN] [YN] [YN]/ s/  \.//g' > tr_out.txt
1303    fi
1304    
1305  cat $SUMMARY  if test "x$DELDIR" = xt ; then
1306        rm -rf $DRESULTS
1307    fi
1308    

Legend:
Removed from v.1.2  
changed lines
  Added in v.1.99

  ViewVC Help
Powered by ViewVC 1.1.22