/[MITgcm]/MITgcm/verification/testreport
ViewVC logotype

Diff of /MITgcm/verification/testreport

Parent Directory Parent Directory | Revision Log Revision Log | View Revision Graph Revision Graph | View Patch Patch

revision 1.11 by edhill, Fri Oct 10 03:29:44 2003 UTC revision 1.95 by jmc, Fri Sep 7 00:44:37 2007 UTC
# Line 1  Line 1 
1  #!/bin/bash  #! /usr/bin/env bash
2  #  #
3  #  $Header$  #  $Header$
4  #  $Name$  #  $Name$
# Line 11  usage() Line 11  usage()
11      echo      echo
12      echo "where possible OPTIONS are:"      echo "where possible OPTIONS are:"
13      echo "  (-help|-h)               print usage"      echo "  (-help|-h)               print usage"
14      echo "  (-mpi)                   use MPI input files"      echo "  (-mth)                   run multi threaded (using eedata.mth)"
15        echo "  (-mpi)                   compile and run using MPI"
16      echo "  (-ieee|-noieee)          if possible, use IEEE compiler flags"      echo "  (-ieee|-noieee)          if possible, use IEEE compiler flags"
17      echo "  (-optfile=|-of=)STRING   list of optfiles to use"      echo "                             (DEF=\"-ieee\")"
18      echo "  (-a|-addr)STRING         list of email recipients"      echo "  (-of=|-optfile=)STRING   list of optfiles to use"
19        echo "  (-a|-addr) STRING        list of email recipients"
20      echo "                             (DEF=\"edhill@mitgcm.org\")"      echo "                             (DEF=\"edhill@mitgcm.org\")"
21      echo "  (-t|-tdir)STRING         list of test dirs to use"      echo "  (-t|-tdir) STRING        list of group and/or exp. dirs to test"
22      echo "                             (DEF=\"\" which builds all)"      echo "                             (recognized groups: basic, tutorials)"
23      echo "  (-b|-bash)STRING         location of \"bash\" executable"      echo "                             (DEF=\"\" which test all)"
24      echo "                             (DEF=\"\" for \"/bin/bash\")"      echo "  (-skd|-skipdir) STRING   list of exp. dirs to skip"
25      echo "  (-command)STRING         command to run"      echo "                             (DEF=\"\" which test all)"
26        echo "  (-b|-bash) STRING        preferred location of a \"bash\" or"
27        echo "                             Bourne-compatible \"sh\" shell"
28        echo "                             (DEF=\"\" for \"bash\")"
29        echo "  (-adm|-ad)               perform an adjoint run"
30        echo "  (-command) STRING        command to run"
31      echo "                             (DEF=\"make output.txt\")"      echo "                             (DEF=\"make output.txt\")"
32      echo "  (-m|-make)STRING         command to use for \"make\""      echo "  (-m|-make) STRING        command to use for \"make\""
33      echo "                             (DEF=\"make\")"      echo "                             (DEF=\"make\")"
34        echo "  (-odir) STRING           used to build output directory name"
35        echo "                             (DEF=\"hostname\")"
36        echo "  (-ptr|-ptracers) STRING  specify which ptracers to test"
37        echo "                             (DEF=\"1 2 3 4 5\")"
38        echo "  (-match) NUMBER          Matching Criteria (number of digits)"
39        echo "                             (DEF=\"12\")"
40        echo "  (-j) JOBS                use \"make -j JOBS\" for parallel builds"
41      echo "  (-clean)                 *ONLY* run \"make CLEAN\""      echo "  (-clean)                 *ONLY* run \"make CLEAN\""
42      echo "  (-quick|-q)              same as \"-nogenmake -noclean -nodepend\""      echo "  (-quick|-q)              same as \"-nogenmake -noclean -nodepend\""
43      echo "  (-nogenmake|-ng)         skip the genmake stage"      echo "  (-nogenmake|-ng)         skip the genmake stage"
44      echo "  (-noclean|-nc)           skip the \"make clean\" stage"      echo "  (-noclean|-nc)           skip the \"make clean\" stage"
45      echo "  (-nodepend|-nd)          skip the \"make depend\" stage"      echo "  (-nodepend|-nd)          skip the \"make depend\" stage"
46        echo "  (-deldir|-dd)            on success, delete the output directory"
47        echo "  (-ts)                    provide timing information per timestep"
48        echo "  (-papis)                 provide MFlop/s per timestep using PAPI"
49        echo "  (-pcls)                  provide MFlop/s per timestep using PCL"
50      echo      echo
51      echo "and where STRING follows a whitespace-delimited format"      echo "and where STRING can be a whitespace-delimited list"
52      echo "such as:"      echo "such as:"
53        echo
54      echo "  -t 'exp0 exp2 exp3' "      echo "  -t 'exp0 exp2 exp3' "
55      echo "  -addr='abc@123.com testing@home.org'"      echo "  -addr='abc@123.com testing@home.org'"
56      echo      echo
57        echo "provided that the expression is properly quoted within the current"
58        echo "shell (note the use of single quotes to protect white space)."
59        echo
60      exit 1      exit 1
61  }  }
62    
63  #  build the mpack utility  #  build the mpack utility
64  build_mpack()  build_mpack()
65  {  {
66      echo -n "building the mpack utility...  "      printf "building the mpack utility...  "
67      if test ! -x "$MPACKDIR/mpack" ; then      if test ! -x "$MPACKDIR/mpack" ; then
68          if test ! -d $MPACKDIR ; then          if test ! -d $MPACKDIR ; then
69                echo
70              echo "Error: can't find \"$MPACKDIR\""              echo "Error: can't find \"$MPACKDIR\""
71              echo "  are you sure this program is being run in the correct "              echo "  are you sure this program is being run in the correct "
72              echo "  (that is, \"MITGCM_ROOT\verification\") directory?"              echo "  (that is, \"MITGCM_ROOT\verification\") directory?"
73              exit 1              echo
74                HAVE_MPACK=f
75          fi          fi
76          echo -n "building mpack...  "          printf "building mpack...  "
77          ( cd $MPACKDIR && ./configure && $MAKE ) > build_mpack.out 2>&1          if test "x$CC" = x ; then
78                export CC=cc
79            fi
80            ( cd $MPACKDIR && ./configure && $MAKE ) > tr_build_mpack.out 2>&1
81          RETVAL=$?          RETVAL=$?
82          if test "x$RETVAL" != x0 ; then          if test "x$RETVAL" != x0 ; then
83              echo              echo
84              echo "Error building the mpack tools at: $MPACK_DIR"              echo "Error building the mpack tools at: $MPACK_DIR"
85              exit 1              echo
86                HAVE_MPACK=f
87            else
88                rm -f tr_build_mpack.out
89                HAVE_MPACK=t
90          fi          fi
91        else
92            HAVE_MPACK=t
93      fi      fi
94      echo "OK"      echo "OK"
95  }  }
96    
97  compare_lines()  testoutput_var()
 {  
     # use codelet to compare lines  
     if [ $verbose -gt 1 ]; then  
         cat tmp3.txt 1>&2  
     fi  
     return `./a.out < tmp3.txt`  
 }  
   
 testoutput_for_prop()  
98  {  {
99      # testoutput_for_prop dir s1 label subdir      # testoutput_var dir s1 label subdir extension
100      #      #
101      #  compares files in $dir/$subdir/output.txt and $dir/results/output.txt      #  compares 1 variable output selected from file $dir/$subdir/$OUTPUTFILE
102      #  using search strings s1 and text label      #     with same output from reference file $dir/results/output.$extension
103        #  using search strings s1 and text label
104    
105      if [ $debug -gt 0 ]; then      if [ $debug -gt 0 ]; then
106          echo testoutput_for_prop: grep "$2" $1/$4/output.txt 1>&2          echo testoutput_var: grep "$2" $1/$4/$OUTPUTFILE 1>&2
107      fi      fi
108      if [ -r $1/$4/output.txt ]; then      if [ -r $1/$4/$OUTPUTFILE ]; then
109          grep "$2" $1/$4/output.txt | sed 's/.*=//' | nl > tmp1.txt          grep "$2" $1/$4/$OUTPUTFILE | sed 's/.*=//' | cat -n > tmp1.txt
110          lncnt=`wc -l tmp1.txt | awk '{print $1}' `          lncntA=`wc -l tmp1.txt | awk '{print $1}' `
111          if [ $lncnt -lt 3 ]; then          if [ $lncntA -lt 3 ]; then
112              if [ $verbose -gt 0 ]; then              if [ $verbose -gt 0 ]; then
113                  echo Not enough lines of output when searching for "$2" 1>&2                  echo Not enough lines of output when searching for "$2" 1>&2
114              fi              fi
115              return 99              return 99
116          fi          fi
117      else      else
118          echo testoutput_for_prop: output.txt from model run was not readable 1>&2          echo testoutput_var: $OUTPUTFILE from model run was not readable 1>&2
119          return 99          return 99
120      fi      fi
121      if [ $debug -gt 0 ]; then      if [ $debug -gt 0 ]; then
122          echo testoutput_for_prop: grep "$2" $1/results/output.txt 1>&2          echo testoutput_var: grep "$2" $1/results/output.$5 1>&2
123      fi      fi
124      grep "$2" $1/results/output.txt | sed 's/.*=//' | nl > tmp2.txt      grep "$2" $1/results/output.$5 | sed 's/.*=//' | cat -n > tmp2.txt
125      lncnt=`wc -l tmp2.txt | awk '{print $1}' `      lncntB=`wc -l tmp2.txt | awk '{print $1}' `
126      if [ $lncnt -lt 3 ]; then      if [ $lncntB -lt 3 ]; then
127          if [ $verbose -gt 0 ]; then          if [ $verbose -gt 0 ]; then
128              echo Not enough lines of output when searching for "$2" 1>&2              echo Not enough lines of output when searching for "$2" 1>&2
129          fi          fi
130          return 99          return 99
131      fi      fi
132        if [ $lncntA -ne $lncntB ]; then
133            if [ $verbose -gt 0 ]; then
134                echo Not same Nb of lines when searching for "$2" ":" $lncntA $lncntB 1>&2
135            fi
136            return 99
137        fi
138        has_nan=`cat tmp1.txt | grep -i nan | wc -l`
139        if [ $has_nan -gt 0  ] ; then
140            echo testoutput_var: $OUTPUTFILE contains $has_nan NaN values  1>&2
141            return 99
142        fi
143        has_inf=`cat tmp1.txt | grep -i inf | wc -l`
144        if [ $has_inf -gt 0  ] ; then
145            echo testoutput_var: $OUTPUTFILE contains $has_inf Inf values  1>&2
146            return 99
147        fi
148      if [ $debug -gt 0 ]; then      if [ $debug -gt 0 ]; then
149          echo testoutput_for_prop: join tmp1.txt tmp2.txt 1>&2          echo testoutput_var: join tmp1.txt tmp2.txt 1>&2
150      fi      fi
151      join tmp1.txt tmp2.txt | awk '{print $1 " " $2 " " $3}' > tmp3.txt      join tmp1.txt tmp2.txt | awk '{print $1 " " $2 " " $3}' > tmp3.txt
152      if [ $debug -gt 0 ]; then      if [ $debug -gt 0 ]; then
153          echo testoutput_for_prop: compare_lines 1>&2          echo testoutput_var: compare_lines 1>&2
154        fi
155        if [ $verbose -gt 1 ]; then
156            cat tmp3.txt 1>&2
157      fi      fi
158      compare_lines      echo "-1" >> tmp3.txt
159      digits_of_similarity=$?      # On the SGI O3K (*not* the O2K), "cat -n" inserts a ":" after the line number
160        cat tmp3.txt | sed -e 's|:||g' > tmp4.txt
161        digits_of_similarity=`./tr_cmpnum < tmp4.txt`
162      if [ $digits_of_similarity -eq 99 ]; then      if [ $digits_of_similarity -eq 99 ]; then
163          if [ $verbose -gt 0 ]; then          if [ $verbose -gt 0 ]; then
164              echo testoutput_for_prop: No comparison was available for \"$2\" 1>&2              echo testoutput_var: No comparison was available for \"$2\" 1>&2
165          fi          fi
166          digits_of_similarity=99          digits_of_similarity=99
167      else      else
# Line 123  testoutput_for_prop() Line 169  testoutput_for_prop()
169              echo There were $digits_of_similarity decimal places of similarity for \"$2\" 1>&2              echo There were $digits_of_similarity decimal places of similarity for \"$2\" 1>&2
170          fi          fi
171      fi      fi
172      rm tmp1.txt tmp2.txt tmp3.txt      rm -f tmp1.txt tmp2.txt tmp3.txt tmp4.txt
173            
174      return $digits_of_similarity      return $digits_of_similarity
175  }  }
# Line 143  dashnum() Line 189  dashnum()
189      done      done
190  }  }
191    
192  testoutput()  testoutput_ad()
193  {  {
194      # testoutput diretory subdir      grep $3 $1/results_ad/output_adm.txt | awk '{print NR " " $5}' > t05.txt
195      #      grep $3 $1/$2/$OUTPUTFILE | awk '{print NR " " $5}' > t15.txt
196      #  test output in "directory"      grep $3 $1/results_ad/output_adm.txt | awk '{print NR " " $6}' > t06.txt
197        grep $3 $1/$2/$OUTPUTFILE | awk '{print NR " " $6}' > t16.txt
198        join t05.txt t15.txt > t5.txt
199        join t06.txt t16.txt > t6.txt
200        echo "-1" >> t5.txt
201        echo "-1" >> t6.txt
202        digits_5=`./tr_cmpnum < t5.txt`
203        digits_6=`./tr_cmpnum < t6.txt`
204        dashnum $digits_5 $digits_6
205        rm -f t[01][56].txt t[56].txt
206    }
207    
208      if [ $debug -gt 0 ]; then  check_for_add_mon_output()
209          echo testoutput: testoutput_for_prop $1 cg2d_init_res 1>&2  {
210        # Check for additional types of monitor output
211        if test "x$1" = x ; then
212            return
213      fi      fi
214      testoutput_for_prop $1 "cg2d_init_res" "cg2d init. residual" $2; cg2dres=$?  
215      if [ $debug -gt 0 ]; then      for ii in $PTRACERS_NUM ; do
216          echo testoutput: cg2dres=$cg2dres 1>&2          eval "HAVE_PTR0"$ii"=f"
217        done
218    
219        ptr_add="trcstat_ptracerXX_min trcstat_ptracerXX_max"
220        ptr_add="$ptr_add trcstat_ptracerXX_mean trcstat_ptracerXX_sd"
221        for ii in $PTRACERS_NUM ; do
222            for jj in $ptr_add ; do
223                name=`eval "echo $jj | sed -e 's|XX|0"$ii"|g'"`
224                tst=`grep $name $1 | wc -l | awk '{print $1}'`
225                if test ! "x$tst" = x0 ; then
226                    eval "HAVE_PTR0"$ii"=t"
227                fi
228            done
229            #  eval 'echo "HAVE_PTR0'$ii' = $HAVE_PTR0'$ii'"'
230        done
231    }
232    
233    testoutput_run()
234    {
235        # testoutput_run directory subdir extension
236        #
237        #  test output from 1 run in "directory"
238        if test "x$ADM" = x ; then
239            # default list of output variables to be checked:
240            #  1rst : main variable used to decide if it pass or FAIL
241            #  others : number of matching digits to be printed in summary.txt
242            listChk=$DEF_CHECK_LIST
243            nbDef=`echo $listChk | awk '{print NF-1+3*gsub("+","E")}'`
244            #  load experiment-specific list from file "tr_checklist" (if it exist)
245            if test -r $1/$2/tr_checklist ; then listChk=`cat $1/$2/tr_checklist` ; fi
246            sVar=`echo $listChk | awk '{print $1}'`
247            # remove 1rst var and expand the list: + => min max mean s.d
248            listVar=`echo $listChk | awk '{ for(i=2;i<=NF;i++){if (sub("+","",$i)) \
249                {printf " %s %s %s %s",$i"mn",$i"mx",$i"av",$i"sd"} else {printf " %s",$i} }}'`
250            if [ $debug -gt 0 ]; then echo "testoutput_run: listVar(I)='$listVar'" 1>&2 ; fi
251            for ii in 1 2 3 4 5 6 7 8 9 ; do
252              tst=`eval 'echo "$HAVE_PTR0'$ii'"'`
253             #echo "-- ptr test=" $tst "number of var=" `echo $listVar | awk '{print NF}'` 1>&2
254              if test "x$tst" != xt ; then listVar=`echo "$listVar" | sed "s/ pt$ii..//g"` ; fi
255            done
256            tst=`echo $sVar $listVar | awk '{ for(i=2;i<=NF;i++){t+=($i==$1)}; print t }'`
257            if test $tst != 1 ; then
258              if test $tst = 0 ; then echo "==> WARNING: selected var >$sVar< not found" 1>&2
259                     else echo "==> WARNING: found selected var >$sVar< $tst times" 1>&2 ; fi
260              echo "==> WARNING: in checked list:" $listVar 1>&2
261            #- put it back once:
262              listVar=" $sVar "`echo "$listVar " | sed "s/ $sVar / /g"`
263            fi
264            if [ $debug -gt 0 ]; then echo "testoutput_run: listVar(M)='$listVar'" 1>&2 ; fi
265            echo "listVar='$listVar'" > $CDIR"/summary.txt"
266            allargs=""
267            for xx in $listVar
268            do
269              case $xx in
270               'PS')  if [ $debug -gt 0 ]
271                      then echo testoutput_run: testoutput_var $1 cg2d_init_res 1>&2 ; fi
272                      testoutput_var $1 "cg2d_init_res" "cg2d init. residual" $2 $3; yy=$?
273                      if [ $debug -gt 0 ] ; then echo testoutput_run: cg2dres=$yy 1>&2 ; fi ;;
274               'Tmn') testoutput_var $1 "dynstat_theta_min"  "theta minimum"  $2 $3; yy=$? ;;
275               'Tmx') testoutput_var $1 "dynstat_theta_max"  "theta maximum"  $2 $3; yy=$? ;;
276               'Tav') testoutput_var $1 "dynstat_theta_mean" "theta mean"     $2 $3; yy=$? ;;
277               'Tsd') testoutput_var $1 "dynstat_theta_sd"   "theta s.d."     $2 $3; yy=$? ;;
278               'Smn') testoutput_var $1 "dynstat_salt_min"  "salt minimum"    $2 $3; yy=$? ;;
279               'Smx') testoutput_var $1 "dynstat_salt_max"  "salt maximum"    $2 $3; yy=$? ;;
280               'Sav') testoutput_var $1 "dynstat_salt_mean" "salt mean"       $2 $3; yy=$? ;;
281               'Ssd') testoutput_var $1 "dynstat_salt_sd"   "salt s.d."       $2 $3; yy=$? ;;
282               'Umn') testoutput_var $1 "dynstat_uvel_min"  "U minimum"       $2 $3; yy=$? ;;
283               'Umx') testoutput_var $1 "dynstat_uvel_max"  "U maximum"       $2 $3; yy=$? ;;
284               'Uav') testoutput_var $1 "dynstat_uvel_mean" "U mean"          $2 $3; yy=$? ;;
285               'Usd') testoutput_var $1 "dynstat_uvel_sd"   "U s.d."          $2 $3; yy=$? ;;
286               'Vmn') testoutput_var $1 "dynstat_vvel_min"  "V minimum"       $2 $3; yy=$? ;;
287               'Vmx') testoutput_var $1 "dynstat_vvel_max"  "V maximum"       $2 $3; yy=$? ;;
288               'Vav') testoutput_var $1 "dynstat_vvel_mean" "V mean"          $2 $3; yy=$? ;;
289               'Vsd') testoutput_var $1 "dynstat_vvel_sd"   "V s.d."          $2 $3; yy=$? ;;
290            'pt1mn'|'pt2mn'|'pt3mn'|'pt4mn'|'pt5mn') ii=`echo $xx | sed 's/pt//' | sed 's/..$//'`
291               testoutput_var $1 "trcstat_ptracer0"$ii"_min"  "p0"$ii"_min"   $2 $3; yy=$? ;;
292            'pt1mx'|'pt2mx'|'pt3mx'|'pt4mx'|'pt5mx') ii=`echo $xx | sed 's/pt//' | sed 's/..$//'`
293               testoutput_var $1 "trcstat_ptracer0"$ii"_max"  "p0"$ii"_max"   $2 $3; yy=$? ;;
294            'pt1av'|'pt2av'|'pt3av'|'pt4av'|'pt5av') ii=`echo $xx | sed 's/pt//' | sed 's/..$//'`
295               testoutput_var $1 "trcstat_ptracer0"$ii"_mean" "p0"$ii"_mean" $2 $3; yy=$? ;;
296            'pt1sd'|'pt2sd'|'pt3sd'|'pt4sd'|'pt5sd') ii=`echo $xx | sed 's/pt//' | sed 's/..$//'`
297               testoutput_var $1 "trcstat_ptracer0"$ii"_sd"   "p0"$ii"_sd"    $2 $3; yy=$? ;;
298                  *) yy=99; echo "WARNING: asking for var=$xx : not recognized !" 1>&2 ;;
299              esac
300              if test $xx = $sVar
301              then allargs="$allargs > $yy <"
302              else allargs="$allargs $yy"
303              fi
304            done
305    
306            nbVar=`echo $listVar | awk '{print NF}'`
307            if [ $nbVar -lt $nbDef ] ; then
308            #-- fill line (up to standard length) with dot:
309              adNul=`expr $nbDef - $nbVar | awk '{for(i=1;i<=$1;i++){print "."}}'`
310              echo $allargs $adNul
311            else
312              echo $allargs
313            fi
314    
315        else
316            testoutput_ad $1 $2 "precision_grdchk_result"
317      fi      fi
       
     testoutput_for_prop $1 "dynstat_theta_min" "theta minimum" $2; tmin=$?  
     testoutput_for_prop $1 "dynstat_theta_max" "theta maximum" $2; tmax=$?  
     testoutput_for_prop $1 "dynstat_theta_mean" "theta mean" $2; tmean=$?  
     testoutput_for_prop $1 "dynstat_theta_sd" "theta s.d." $2; tsd=$?  
     testoutput_for_prop $1 "dynstat_salt_min" "salt minimum" $2; smin=$?  
     testoutput_for_prop $1 "dynstat_salt_max" "salt maximum" $2; smax=$?  
     testoutput_for_prop $1 "dynstat_salt_mean" "salt mean" $2; smean=$?  
     testoutput_for_prop $1 "dynstat_salt_sd" "salt s.d." $2; ssd=$?  
     testoutput_for_prop $1 "dynstat_uvel_min" "U minimum" $2; umin=$?  
     testoutput_for_prop $1 "dynstat_uvel_max" "U maximum" $2; umax=$?  
     testoutput_for_prop $1 "dynstat_uvel_mean" "U mean" $2; umean=$?  
     testoutput_for_prop $1 "dynstat_uvel_sd" "U s.d." $2; usd=$?  
     testoutput_for_prop $1 "dynstat_vvel_min" "V minimum" $2; vmin=$?  
     testoutput_for_prop $1 "dynstat_vvel_max" "V maximum" $2; vmax=$?  
     testoutput_for_prop $1 "dynstat_vvel_mean" "V mean" $2; vmean=$?  
     testoutput_for_prop $1 "dynstat_vvel_sd" "V s.d." $2; vsd=$?  
       
     dashnum $cg2dres $tmin $tmax $tmean $tsd $smin $smax $smean $ssd \  
         $umin $umax $umean $usd $vmin $vmax $vmean $vsd  
318  }  }
319    
320  genmakemodel()  genmakemodel()
# Line 184  genmakemodel() Line 323  genmakemodel()
323      if test "x$NOGENMAKE" = xt ; then      if test "x$NOGENMAKE" = xt ; then
324          echo "genmake skipped!"          echo "genmake skipped!"
325      else      else
326          GENMAKE2="$BASH ../../../tools/genmake2"          if test "x$BASH" = x ; then
327                GENMAKE2="../../../tools/genmake2"
328            else
329                GENMAKE2="$BASH ../../../tools/genmake2 -bash $BASH"
330            fi
331          (          (
332              cd $1;              cd $1;
333              command="$GENMAKE2  -ds -m $MAKE --mods=../code"              command="$GENMAKE2  -ds -m $MAKE"
334                if test "x$ADM" = x ; then
335                    command="$command --mods=../code"
336                else
337                    command="$command --mods=../code_ad"
338                fi
339              if test "x$OPTFILE" != xNONE ; then              if test "x$OPTFILE" != xNONE ; then
340                  command="$command --optfile=$OPTFILE"                  command="$command --optfile=$OPTFILE"
                 # echo "  command=\"$command\""  
341              fi              fi
342              if test "x$IEEE" != x ; then              if test "x$IEEE" != x ; then
343                  command="$command -ieee"                  command="$command -ieee"
344              fi              fi
345              # echo "command: \"$command\""              if test "x$MPI" = xt ; then
346                    command="$command -mpi"
347                fi
348                if test "x$TS" = xt ; then
349                    command="$command -ts"
350                fi
351                if test "x$PAPIS" = xt ; then
352                    command="$command -papis"
353                else
354                if test "x$PCLS" = xt ; then
355                    command="$command -pcls"
356                fi
357                fi
358              printf 'genmake ... ' 1>&2              printf 'genmake ... ' 1>&2
359              $command > make.log 2>&1              $command > make.log 2>&1
360              RETVAL=$?              RETVAL=$?
361              for i in genmake_state genmake_optfile genmake_local Makefile ; do              #  Reduce the size of the testing emails!
362                  if test -r $i ; then              head -100 Makefile > $CDIR/Makefile_head
                     cp $i $CDIR  
                 fi  
             done  
363              if test "x$RETVAL" != x0 ; then              if test "x$RETVAL" != x0 ; then
364                  tail make.log                  tail make.log
365                  echo "genmakemodel: genmake failed" 1>&2                  echo "genmakemodel: genmake failed" 1>&2
366                  cp make.log $CDIR                  cp genmake_* make.log $CDIR
367                  return 1                  return 1
368              else              else
369                  echo "succesful" 1>&2                  echo "successful" 1>&2
370              fi              fi
371          )          )
372      fi      fi
# Line 220  makeclean() Line 376  makeclean()
376  {  {
377      # makeclean directory      # makeclean directory
378      if test "x$NOCLEAN" = xt ; then      if test "x$NOCLEAN" = xt ; then
379          echo "make CLEAN skipped!"          echo "make Clean skipped!"
380      else      else
381          (          (
382              cd $1;              cd $1;
383              if test -e output.txt ; then              #if test -e $OUTPUTFILE ; then rm -f $OUTPUTFILE ; fi
                 rm -f output.txt  
             fi  
             printf 'make CLEAN ... ' 2>&1  
384              if test -r Makefile ; then              if test -r Makefile ; then
385                  $MAKE CLEAN >> make.log 2>&1                  printf 'clean build-dir: make Clean ... ' 2>&1
386                    $MAKE Clean >> make.log 2>&1
387                  RETVAL=$?                  RETVAL=$?
388                  if test "x$RETVAL" != x0 ; then                  if test "x$RETVAL" != x0 ; then
389                      tail make.log                      tail make.log
390                      echo "makeclean: \"make CLEAN\" failed" 1>&2                      echo "makeclean: \"make Clean\" failed" 1>&2
391                      cp make.log $CDIR"/make.log"                      cp make.log $CDIR"/make.log"
392                      return 1                      return 1
393                  fi                  fi
394              fi              fi
395              echo succesful 1>&2              echo successful 1>&2
396                exit 0
397            )
398        fi
399    }
400    
401    run_clean()
402    {
403        # run_clean directory
404        if test "x$NOCLEAN" = xt ; then
405            echo "run_clean skipped!"
406        else
407            (
408                cd $1;
409                printf 'clean run-dir ... ' 2>&1
410                # part of what is done after "make clean" when doing "make CLEAN"
411                find . -name "*.meta" -exec rm {} \;
412                find . -name "*.data" -exec rm {} \;
413                find . -name "fort.*" -exec rm {} \;
414                find . -type l -exec rm {} \;
415                rm -f $EXECUTABLE *.txt STD* *diagnostics.log datetime
416                rm -rf mnc_test_*
417                echo successful 1>&2
418              exit 0              exit 0
419          )          )
420      fi      fi
# Line 261  makedependmodel() Line 437  makedependmodel()
437                  cp make.log $CDIR"/make.log"                  cp make.log $CDIR"/make.log"
438                  return 1                  return 1
439              else              else
440                  echo succesful 1>&2                  echo successful 1>&2
441              fi              fi
442          )          )
443      fi      fi
# Line 274  makemodel() Line 450  makemodel()
450          cd $1;          cd $1;
451          if test -r Makefile ; then          if test -r Makefile ; then
452              printf 'make ... ' 1>&2              printf 'make ... ' 1>&2
453              $MAKE >> make.log 2>&1              if test "x$ADM" = x ; then
454                    if test "x$JOBS" = x ; then
455                        $MAKE >> make.log 2>&1
456                    else
457                        $MAKE -j $JOBS >> make.log 2>&1
458                    fi
459                else
460                    $MAKE adall >> make.log 2>&1
461                fi
462              RETVAL=$?              RETVAL=$?
463              if test "x$RETVAL" != x0 ; then              if test "x$RETVAL" != x0 ; then
464                  tail make.log                  tail make.log
# Line 282  makemodel() Line 466  makemodel()
466                  cp make.log $CDIR"/make.log"                  cp make.log $CDIR"/make.log"
467                  return 1                  return 1
468              else              else
469                  echo succesful 1>&2                  echo successful 1>&2
470              fi              fi
471          fi          fi
472      )      )
473  }  }
474    
475    symlink_mpifiles()
476    {
477        # Put special links so that MPI specific files are used
478        # This MUST be invoked between makeclean and makelinks because
479        # the Makefile will link to non-mpi files by default
480    
481        dir=$1
482        code_dir=$2
483        BUILD_DIR=$dir/$3
484        CODE_DIR=$dir/$code_dir
485        
486        # These are files that should replace their counter-part when using -mpi
487        MPI_FILES=`(cd $CODE_DIR; find . -name "*_mpi")`
488    
489        #  Is this an MPI run?
490        if test "x$MPI" = xt ; then
491            # YES: We symbolically link these files to the build
492            # dir so long as there is no real file in place
493            for ii in $MPI_FILES ; do
494                i=`echo $ii | sed 's:^\./::'`
495                name=`echo $i | sed 's:_mpi::' `
496                cmp $CODE_DIR/$i $BUILD_DIR/$name > /dev/null 2>&1
497                RETVAL=$?
498                if test "x$RETVAL" != x0 ; then
499                    if ! test -f $BUILD_DIR/$i ; then
500                        #echo Linking $name to $i
501                        (cd $BUILD_DIR; ln -sf ../$code_dir/$i $name)
502                    fi
503                fi
504            done
505        else
506            # NO: We undo any _mpi symbolically linked files
507            for ii in $MPI_FILES ; do
508                i=`echo $ii | sed 's:^\./::'`
509                name=`echo $i | sed 's:_mpi::' `
510                if test -L $BUILD_DIR/$name ; then
511                    cmp $BUILD_DIR/$name "../$code_dir/$name"_mpi > /dev/null 2>&1
512                    RETVAL=$?
513                    if test "x$RETVAL" = x0 ; then
514                        #echo Un-linking $name from $linktarg
515                        rm -f $BUILD_DIR/$name
516                    fi
517                fi
518            done
519        fi
520        
521    }
522    
523  linkdata()  linkdata()
524  {  {
525      # linkdata flag      # linkdata run_dir input_dir_1 input_dir_2 ...
526      #      #
527      # symbolically link data files to run directory      # symbolically link data files to run directory
528      if [ $1 -ne 0 ]; then      if test -d $1 ; then
529          ( cd $2 ;  ln -sf ../input/* . )          (
530                cd $1 ; shift
531                if test -r "../"$1"/eedata.mth" ; then
532                # found eedata.mth in 1rst input dir and it is readable
533                    if test "x$MULTI_THREAD" = "xt" ; then
534                    # multi-threaded test: remove symbolic link & link eedata.mth
535                        if test -h eedata ; then rm -f eedata ; fi
536                        if test ! -r eedata ; then
537                            ln -sf "../"$1"/eedata.mth" eedata ;
538                            printf 'eedata.mth ' 1>&2
539                        fi
540                    else
541                    # not multi-threaded test: remove eedata symbolic link
542                        if test -h eedata ; then rm -f eedata ; fi
543                    fi
544                fi
545                for ldir in $* ; do
546                    if test -d "../"$ldir ; then
547                        printf 'ldir='${ldir} 1>&2
548                        files=`( cd "../"$ldir ; ls -1 | grep -v CVS )`
549                        for i in $files ; do
550                            if test ! -d "../"$ldir/$i ; then
551                                if test ! -r $i  ; then
552                                    printf ' '$i 1>&2
553                                    ln -sf "../"$ldir"/"$i $i
554                                fi
555                            fi
556                        done
557                        if test -x "../"$ldir"/"prepare_run ; then
558                            "../"$ldir"/"prepare_run
559                        fi
560                        printf ' ; ' 1>&2
561                    fi
562                done
563            )
564      fi      fi
565  }  }
566    
# Line 302  runmodel() Line 568  runmodel()
568  {  {
569      # runmodel directory      # runmodel directory
570      #      #
571      #  runs "$COMMAND" in "directory"      #  runs "$COMMAND in "directory"
572      #  (where "$COMMAND" is relative to "directory")      #  (where "$COMMAND" is relative to "directory")
573      (      (
574          cd $1          cd $1
575          printf 'runmodel: ' 1>&2          printf 'runmodel in %s ...' $1 1>&2
576          # make output.txt          # make output.txt
577          $COMMAND          echo
578          RETVAL=$?          if test ! -x $EXECUTABLE -a -x "../"$builddir"/"$EXECUTABLE ; then
579          if test "x$RETVAL" = x0 ; then              echo " link" $EXECUTABLE "from dir ../"$builddir > run.log_00
580              cp output.txt $CDIR"/output.txt"              ln -sf "../"$builddir"/"$EXECUTABLE .
581            fi
582            if test ! -x $EXECUTABLE ; then
583                    rm -f run.log ; touch run.log
584                    if test -f run.log_00 ; then cat run.log_00 >> run.log ; fi
585                    echo " no executable:" $EXECUTABLE >> run.log
586                    RETVAL=8
587                    ENDVAL=-1
588            else
589                if test $OUTPUTFILE -ot $EXECUTABLE ; then
590                    rm -f run.log ; touch run.log
591                    if test -f run.log_00 ; then cat run.log_00 >> run.log ; fi
592                    ( eval $COMMAND ) >> run.log 2>&1
593                    RETVAL=$?
594                else
595                    RETVAL=0
596                    if test -f run.log ; then
597                        if test -f run.log_00 ; then cat run.log_00 >> run.log ; fi
598                        echo "---------->> $OUTPUTFILE is up to date " >> run.log 2>&1
599                    else
600                        touch run.log
601                        if test -f run.log_00 ; then cat run.log_00 >> run.log ; fi
602                        echo "---------->> $OUTPUTFILE is up to date " >> run.log 2>&1
603                        echo " no previous run.log: assume NORMAL END" >> run.log 2>&1
604                    fi
605                fi
606                ENDVAL=`cat run.log | grep -v 'ABNORMAL END' | grep -c 'NORMAL END'`
607            fi
608            rm -f run.log_00
609            #if test "x$RETVAL" = x0 ; then
610            if [ $RETVAL -eq 0 -a $ENDVAL -gt 0 ] ; then
611                tail run.log
612                echo successful 1>&2
613                # === Reduce the size of the testing emails!
614                #cp $OUTPUTFILE $CDIR"/"$OUTPUTFILE
615                if test -s STDERR.0000 ; then cp STDERR.0000 $CDIR"/STDERR.0000" ; fi
616              return 0              return 0
617          else          else
618                tail run.log
619                echo failed '(run:' $RETVAL ' end:' $ENDVAL ')' 1>&2
620                cp run.log $CDIR"/run.log"
621                if test -s STDERR.0000 ; then cp STDERR.0000 $CDIR"/STDERR.0000" ; fi
622              return 1              return 1
623          fi          fi
624      )      )
# Line 323  createcodelet() Line 628  createcodelet()
628  {  {
629      # create codelet for comparing model output      # create codelet for comparing model output
630    
631      echo -n "creating the comparison code...  "      printf "creating the comparison code...  "
632      cat > tmp_cmpnum.f <<EOFA      cat > tr_cmpnum.c <<EOF
633        program cmpnum  #include <stdio.h>
634        implicit none  #include <math.h>
635        real*8 a,b,diff  int main( int argc, char** argv )  {
636        integer linnum,best    int linnum,cmplin,best,lncnt;
637        best=-16    double a,b,abave,relerr;
638    99  read(*,*,end=70,err=60) linnum,a,b    best = -22;
639        diff=0.5*(abs(a)+abs(b))    lncnt = 0;
640  c     print *,a,b,diff,abs(a-b)/diff    while( 1 & (lncnt+=1) < 999 )  {
641        if (diff.gt.1.e-12) then      scanf("%d", &linnum);
642          diff=abs(a-b)/diff      if (linnum == -1)  break;
643          if (diff.gt.0.) then      scanf("%lf", &a);  scanf("%lf", &b);
644  c         print *,int(log10(diff)),diff      abave = 0.5*(fabs(a)+fabs(b));
645            linnum=int(log10(diff))      if ( abave == abave ) {
646            best=max(best,linnum)        if (abave > 0.0) {
647          endif          relerr=fabs(a-b)/abave;
648        else          if (relerr > 0.0) { cmplin = (int)rint(log10(relerr)); }
649          if (best.eq.-16.and.diff.ne.0.) best=-22          else { cmplin = -16 ; }
650        endif          best = (best > cmplin) ? best : cmplin; }
651        goto 99        else { cmplin = -22 ; }
652    60  stop 'cmpnum: An error occured reading a,b'     /* printf("%d ; %lf ; %lf\n",cmplin,a,b); */
653    70  print *,-best        }
654        end     else {
655  EOFA     /* printf("%lf ; %lf ; %lf\n",abave,a,b); */
656          break; }
657      }
658      if (lncnt == 999) best=-29;
659      if (linnum != -1) best=-99;
660      printf("%d\n", -best);
661      return 0;
662    }
663    EOF
664        $CC -o tr_cmpnum tr_cmpnum.c -lm
665    
666      f77 tmp_cmpnum.f      if [ -x ./tr_cmpnum ]; then
     if [ -x ./a.out ]; then  
667          echo "OK"          echo "OK"
668          return 0          return 0
669      else      else
670          echo          echo
671          echo "createcodelet: failed to compile codelet"          echo "ERROR: failed to compile comparison code -- please specify"
672            echo "  a C compiler using the CC environment variable."
673          exit 1          exit 1
674      fi      fi
675  }  }
# Line 367  formatresults() Line 681  formatresults()
681      nm=$1      nm=$1
682      printf '%s %s %s %s' $2 $3 $4 $5      printf '%s %s %s %s' $2 $3 $4 $5
683      shift; shift; shift; shift; shift;      shift; shift; shift; shift; shift;
684      printf '%3s' $@      listPrt=$@
685        listRes=`echo $listPrt | sed 's/>//' | sed 's/<//'`
686        xx=`echo $listPrt | sed 's/.*>//' | sed 's/<.*//' | awk '{print $1}'`
687    #   printf '%3s' $listPrt | sed 's/ 99/ --/g' | sed 's/  > />/' | sed 's/  < /</'
688        printf '%3s' $listPrt | sed 's/ 99/ --/g' | sed 's/  > / /' | sed 's/  < / /'
689            
690      if [ $1 = '--' ]; then      if [ $xx = '..' ]; then
691            printf ' N/O '
692        elif [ $xx = '--' ]; then
693            printf ' N/O '
694        elif [ $xx = 99 ]; then
695          printf ' N/O '          printf ' N/O '
696      else      else
697          if [ $1 -gt 12 ]; then          if [ $xx -ge $MATCH_CRIT ]; then
698              printf ' pass'              printf ' pass'
699          else          else
700              printf ' FAIL'              printf ' FAIL'
# Line 383  formatresults() Line 705  formatresults()
705            
706  }  }
707    
 show_help()  
 {  
     cat - << EOF  
 $0 [-help] [-quick] [-verbose] dir1 [dir2] [...]  
   
  -help|-h      Show this help message  
  -quiet     Reduce the amount of output  
  -verbose   Produce copious amounts of output  
  -debug     Produce even more output which will mean nothing to most  
  -force     Do "make CLEAN" before compiling. This forces a complete rebuild.  
  -clean     Do "make CLEAN" after compiling and testing.  
  -cleanup   Aggresively removes all model output, executables and object files  
             and then exits. Use with care.  
   
 Normal usage:  
  $0 *       Configure, compile, run and analyze in all experiment directories  
 EOF  
 }  
   
708  scandirs()  scandirs()
709  {  {
710      if [ $# -eq 0 ]; then      if [ $# -eq 1 ]; then
711          for arg in * ; do          for arg in * ; do
712              test -d $arg/input && echo $arg              test -d $arg/$1 && echo $arg
713          done          done
714      else      else
715          echo $*          echo $*
716      fi      fi
717  }  }
718    
719    
720  ###############################################################################  ###############################################################################
 ###############################################################################  
 ###############################################################################  
721    
722    
723  #  Default properties  #  Default properties
# Line 426  clean=0 Line 727  clean=0
727  expts=''  expts=''
728  # ieee=1  # ieee=1
729    
730  IEEE=  IEEE=true
731  if test "x$MITGCM_IEEE" != x ; then  if test "x$MITGCM_IEEE" != x ; then
732      IEEE=$MITGCM_IEEE      IEEE=$MITGCM_IEEE
733  fi  fi
# Line 437  QUICK=f Line 738  QUICK=f
738  NOGENMAKE=f  NOGENMAKE=f
739  NOCLEAN=f  NOCLEAN=f
740  NODEPEND=f  NODEPEND=f
741    POSTCLEAN=f
742    
743  BASH=  BASH=
744  OPTFILE=NONE  OPTFILE=NONE
745  ADDRESSES=  ADDRESSES=
746  TESTDIRS=  TESTDIRS=
747    SKIPDIRS=
748  MPACKDIR="../tools/mpack-1.6"  MPACKDIR="../tools/mpack-1.6"
749    HAVE_MPACK=
750  MPACK="$MPACKDIR/mpack"  MPACK="$MPACKDIR/mpack"
751  COMMAND="make output.txt"  COMMAND=
752  MAKE=make  if test "x$MAKE" = x ; then
753        MAKE=make
754    fi
755    if test "x$CC" = x ; then
756        CC=cc
757    fi
758    JOBS=
759  MPI=f  MPI=f
760    MULTI_THREAD=f
761    OUTDIR=
762    DELDIR=
763    
764  echo -n "parsing options...  "  ADM=
765    
766    # Additional monitor types
767    PTRACERS_NUM="1 2 3 4 5"
768    
769    MATCH_CRIT=13
770    
771    printf "parsing options...  "
772    
773  ac_prev=  ac_prev=
774  for ac_option ; do  for ac_option ; do
# Line 482  for ac_option ; do Line 802  for ac_option ; do
802          -tdir=* | --tdir=*)          -tdir=* | --tdir=*)
803              TESTDIRS=$ac_optarg ;;              TESTDIRS=$ac_optarg ;;
804    
805            -skipdir | --skipdir | -skd | --skd)
806                ac_prev=SKIPDIRS ;;
807            -skipdir=* | --skipdir=*)
808                SKIPDIRS=$ac_optarg ;;
809    
810          -bash | --bash | -b | --b)          -bash | --bash | -b | --b)
811              ac_prev=BASH ;;              ac_prev=BASH ;;
812          -bash=* | --bash=*)          -bash=* | --bash=*)
# Line 497  for ac_option ; do Line 822  for ac_option ; do
822          -make=* | --make=*)          -make=* | --make=*)
823              MAKE=$ac_optarg ;;              MAKE=$ac_optarg ;;
824    
825            -odir | --odir)
826                ac_prev=OUTDIR ;;
827            -odir=* | --odir=*)
828                OUTDIR=$ac_optarg ;;
829    
830            -ptracers | --ptracers | -ptr | --ptr)
831                ac_prev=PTRACERS_NUM ;;
832            -ptracers=* | --ptracers=* | -ptr=* | --ptr=*)
833                PTRACERS_NUM=$ac_optarg ;;
834    
835            -match | --match ) ac_prev=MATCH_CRIT ;;
836            -match=* | --match=* ) MATCH_CRIT=$ac_optarg ;;
837    
838            -j) ac_prev=JOBS ;;
839            -j=*) JOBS=$ac_optarg ;;
840    
841          -clean | --clean)          -clean | --clean)
842              CLEANUP=t ;;              CLEANUP=t ; DELDIR=t ;;
843    
844          -quick | --quick | -q | --q)          -quick | --quick | -q | --q)
845              QUICK=t ;;              QUICK=t ;;
# Line 509  for ac_option ; do Line 850  for ac_option ; do
850          -nodepend | --nodepend | -nd | --nd)          -nodepend | --nodepend | -nd | --nd)
851              NODEPEND=t ;;              NODEPEND=t ;;
852    
853          -mpi) MPI=true ;;          -postclean | --postclean | -pc | --pc)
854                POSTCLEAN=t ;;
855    
856            -mpi) MPI=t ;;
857    
858            -mth) MULTI_THREAD=t ;;
859    
860            -adm | -ad) ADM=t ;;
861    
862          -ieee) IEEE=true ;;          -ieee) IEEE=true ;;
863          -noieee) IEEE= ;;          -noieee) IEEE= ;;
# Line 518  for ac_option ; do Line 866  for ac_option ; do
866          -debug) debug=1 ;;          -debug) debug=1 ;;
867          -quiet) verbose=0 ;;          -quiet) verbose=0 ;;
868    
869            -deldir | -dd) DELDIR=t ;;
870    
871            -ts) TS=t;;
872    
873            -papis) PAPIS=t;;
874    
875            -pcls) PCL=t;;
876    
877          -*)          -*)
878              echo "Error: unrecognized option: "$ac_option              echo "Error: unrecognized option: "$ac_option
879              usage              usage
# Line 539  if test "x$QUICK" = xt ; then Line 895  if test "x$QUICK" = xt ; then
895  fi  fi
896    
897  if test "x$TESTDIRS" = x ; then  if test "x$TESTDIRS" = x ; then
898      TESTDIRS=`scandirs`      if test "x$ADM" = xt ; then
899            LIST=`scandirs results_ad`
900        else
901            LIST=`scandirs results`
902        fi
903    else
904        #- expand group of experiments:
905        LIST=" "
906        for xx in $TESTDIRS
907        do
908          case $xx in
909            'basic') LIST=${LIST}" aim.5l_cs hs94.128x64x5 ideal_2D_oce"
910                     LIST=${LIST}" lab_sea tutorial_baroclinic_gyre"
911                     LIST=${LIST}" tutorial_global_oce_latlon tutorial_plume_on_slope"
912                    ;;
913            'tutorials')
914                     LIST=${LIST}" "`ls | grep 'tutorial_'` ;;
915            *)       LIST=${LIST}" "$xx ;;
916          esac
917        done
918  fi  fi
919    #echo 'LIST='${LIST}'<'
920    #- skip dirs, remove duplicate and non-directory:
921    TESTDIRS=" "
922    count=0
923    for xx in $LIST
924    do
925        yy=`echo $SKIPDIRS | grep -c $xx`
926        if test $yy = 0 ; then
927            if test -d $xx ; then
928                yy=`echo $TESTDIRS | grep -c $xx`
929                if test $yy = 0 ; then TESTDIRS=${TESTDIRS}" "$xx ; fi
930            else count=1 ;
931                echo ""; echo -n " -- skip \"$xx\" (not a directory !)"
932            fi
933        else
934            if test $count = 1 ; then echo -n ", \"$xx\""
935            else count=1 ; echo "" ;  echo -n " skip: \"$xx\""
936            fi
937        fi
938    done
939    if test $count = 1 ; then echo "" ; echo -n " ... " ; fi
940    #echo 'TESTDIRS='${TESTDIRS}'<'
941    
942  if test "x$OPTFILE" = xNONE -a "x$MITGCM_OF" != x ; then  if test "x$OPTFILE" = xNONE -a "x$MITGCM_OF" != x ; then
943      OPTFILE=$MITGCM_OF      OPTFILE=$MITGCM_OF
944  fi  fi
945    
946  echo "OK"  if test "x$ADM" = xt ; then
947        EXECUTABLE="mitgcmuv_ad"
948        OUTPUTFILE="output_adm.txt"
949    else
950        EXECUTABLE="mitgcmuv"
951        OUTPUTFILE="output.txt"
952    fi
953    
954    if test "x$COMMAND" = x ; then
955        COMMAND="./$EXECUTABLE > $OUTPUTFILE"
956    fi
957    if test "x$MPI" = xt ; then
958        OUTPUTFILE="STDOUT.0000"
959    fi
960    
961    #echo "OK"
962    echo "OK (COMMAND= $COMMAND )"
963    
964    # set the Default List of output variables to be checked:
965    #  (use default or load experiment-specific list from file "tr_checklist")
966    # content : 1rst = main variable used to decide if it pass or FAIL
967    #         others = number of matching digits to be printed in summary.txt
968    if test "x$ADM" != xt ; then
969        DEF_CHECK_LIST='PS PS T+ S+ U+ V+ pt1+ pt2+ pt3+ pt4+ pt5+'
970        EMPTY_RESULTS='.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..'
971        nbDef=`echo $DEF_CHECK_LIST | awk '{print NF-1+3*gsub("+","E")}'`
972        ii=`echo $EMPTY_RESULTS | awk '{print NF}'`
973        EMPTY_RESULTS=$EMPTY_RESULTS`expr $nbDef - $ii | awk 'BEGIN{FS=":"}{for(i=1;i<=$1;i++){printf "  ."}}'`
974    fi
975    
976  #  create the FORTRAN comparison code  #  create the FORTRAN comparison code
977  createcodelet  createcodelet
978    
979  #  build the mpack utility  #  build the mpack utility
980  build_mpack  if test "x$ADDRESSES" = xNONE -o "x$ADDRESSES" = x ; then
981        echo "skipping mpack build"
982    else
983        build_mpack
984    fi
985    
986  #  Create a uniquely named directory to store results  #  Create a uniquely named directory to store results
987  MACH=`hostname`  MACH=`hostname`
988  UNAMEA=`uname -a`  UNAMEA=`uname -a`
989  DATE=`date +%Y%m%d`  DATE=`date +%Y%m%d`
990  BASE=$MACH"_"$DATE"_"  BASE="tr_"$MACH"_"$DATE"_"
991    if test "x$OUTDIR" != x ; then
992        BASE="tr_"$OUTDIR"_"$DATE"_"
993    fi
994  DNUM=0  DNUM=0
995  DRESULTS="$BASE$DNUM"  DRESULTS="$BASE$DNUM"
996  while test -e $DRESULTS ; do  while test -e $DRESULTS ; do
# Line 568  done Line 1000  done
1000  mkdir $DRESULTS  mkdir $DRESULTS
1001  RETVAL=$?  RETVAL=$?
1002  if test "x$RETVAL" != x0 ; then  if test "x$RETVAL" != x0 ; then
1003      echo "Error: can't create results directory \"./$DRESULTS\""      echo "ERROR: Can't create results directory \"./$DRESULTS\""
1004      exit 1      exit 1
1005  fi  fi
1006  SUMMARY="$DRESULTS/summary.txt"  SUMMARY="$DRESULTS/summary.txt"
1007  date > $SUMMARY  printf "Start time:  " >> $SUMMARY
1008  cat << EOF >> $SUMMARY  start_date=`date`
1009                  T           S           U           V  echo $start_date > $SUMMARY
 G D M    c        m  s        m  s        m  s        m  s  
 E p a R  g  m  m  e  .  m  m  e  .  m  m  e  .  m  m  e  .  
 N n k u  2  i  a  a  d  i  a  a  d  i  a  a  d  i  a  a  d  
 2 d e n  d  n  x  n  .  n  x  n  .  n  x  n  .  n  x  n  .  
   
 EOF  
   
 NDIR=0  
1010    
1011  of_path=  of_path=
1012  if test "x$OPTFILE" != xNONE ; then  if test "x$OPTFILE" != xNONE ; then
# Line 596  if test "x$OPTFILE" != xNONE ; then Line 1020  if test "x$OPTFILE" != xNONE ; then
1020          fi          fi
1021          file=${OPTFILE##*/}          file=${OPTFILE##*/}
1022          OPTFILE=$of_path/$file          OPTFILE=$of_path/$file
1023            cp $OPTFILE $DRESULTS
1024            echo >> $SUMMARY
1025            echo "  OPTFILE=$OPTFILE" >> $SUMMARY
1026      else      else
1027          echo          echo | tee $SUMMARY
1028          echo "WARNING: can't read OPTFILE=\"$OPTFILE\" but will try to use it..."          echo "ERROR: can't read OPTFILE=\"$OPTFILE\"" | tee $SUMMARY
1029            exit 1
1030      fi      fi
1031    else
1032        echo >> $SUMMARY
1033        echo "No \"OPTFILE\" was explicitly specified by testreport," >> $SUMMARY
1034        echo "   so the genmake default will be used." >> $SUMMARY
1035  fi  fi
1036  echo  echo
 echo "OPTFILE=$OPTFILE" >> $SUMMARY  
1037  echo >> $SUMMARY  echo >> $SUMMARY
1038    if test "x$ADM" = x ; then
1039        if [ $MATCH_CRIT -lt 10 ] ;
1040        then line_0="default  "$MATCH_CRIT ;
1041        else line_0="default "$MATCH_CRIT ; fi
1042           line_0="$line_0  ----T-----  ----S-----  ----U-----  ----V-----"
1043    #   line_0="            ----T-----  ----S-----  ----U-----  ----V-----"
1044        line_1="G D M    c        m  s        m  s        m  s        m  s"
1045        line_2="E p a R  g  m  m  e  .  m  m  e  .  m  m  e  .  m  m  e  ."
1046        line_3="N n k u  2  i  a  a  d  i  a  a  d  i  a  a  d  i  a  a  d"
1047        line_4="2 d e n  d  n  x  n  .  n  x  n  .  n  x  n  .  n  x  n  ."
1048        for ii in $PTRACERS_NUM ; do
1049            #  tst=`eval 'echo $HAVE_PTR0'$ii`
1050            #  if test "x$tst" = xt ; then
1051            line_0="$line_0  --PTR 0"$ii"--"
1052            line_1="$line_1        m  s"
1053            line_2="$line_2  m  m  e  ."
1054            line_3="$line_3  i  a  a  d"
1055            line_4="$line_4  n  x  n  ."
1056            #  fi
1057        done
1058        echo "$line_0" | tee -a $SUMMARY
1059        echo "$line_1" | tee -a $SUMMARY
1060        echo "$line_2" | tee -a $SUMMARY
1061        echo "$line_3" | tee -a $SUMMARY
1062        echo "$line_4" | tee -a $SUMMARY
1063        echo " "       | tee -a $SUMMARY
1064    else
1065        echo "ADJOINT=true" >> $SUMMARY
1066        echo >> $SUMMARY
1067        cat << EOF | tee -a $SUMMARY
1068    G D M    C  G
1069    E p a R  o  r
1070    N n k u  s  a
1071    2 d e n  t  d
1072    
1073    EOF
1074    fi
1075    
1076  #  ...and each test directory...  #  ...and each test directory...
1077  for dir in $TESTDIRS ; do  for dir in $TESTDIRS ; do
# Line 611  for dir in $TESTDIRS ; do Line 1079  for dir in $TESTDIRS ; do
1079      #  Cleanup only!      #  Cleanup only!
1080      if test "x$CLEANUP" = xt ; then      if test "x$CLEANUP" = xt ; then
1081          if test -r $dir/build/Makefile ; then          if test -r $dir/build/Makefile ; then
1082                echo '  ------  clean dir:' $dir/build
1083              ( cd $dir/build ; make CLEAN )              ( cd $dir/build ; make CLEAN )
1084          fi          fi
1085          if test -r $dir/input/Makefile ; then          if test -d $dir/run/CVS ; then
1086              ( cd $dir/input ; make CLEAN )              echo '  ------  clean dir:' $dir/run
1087                run_clean $dir/run
1088          fi          fi
1089            (
1090                cd $dir
1091                rm -rf tr_run.*
1092            )
1093          continue          continue
1094      fi      fi
1095    
1096      #  Verify that the testdir exists and contains previous      #  Verify that the testdir exists and contains previous
1097      #  results in the correct location--or skip this directory!      #  results in the correct location--or skip this directory!
1098      if test ! -r $dir"/results/output.txt" ; then      fout=
1099          echo "can't read \"$dir/results/output.txt\" -- skipping $dir"      if test "x$ADM" = x ; then
1100            fout=$dir"/results/output.txt"
1101        else
1102            fout=$dir"/results_ad/output_adm.txt"
1103        fi
1104        if test ! -r $fout ; then
1105            echo "can't read \"$fout\" -- skipping $dir"
1106          continue          continue
1107      fi      fi
1108        if test "x$ADM" = x ; then
1109            check_for_add_mon_output  $fout
1110        fi
1111    
1112      echo "-------------------------------------------------------------------------------"      # Check for additional types of monitor output
     echo  
     echo "Experiment:  $dir"  
     echo  
     unset genmake makedepend make run  
     results='-- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --'  
1113    
1114      if [ -r $dir/build ]; then      builddir="build"
1115          seperatebuilddir=1      if test ! -d $dir/$builddir ; then mkdir $dir/$builddir ; fi
1116          builddir=build      rundir="run"
1117          rundir=build     #rundir=$builddir
1118          ( cd $dir/build; ln -sf ../input/* . )      if test ! -d $dir/$rundir ; then
1119      else          rundir=$builddir
         seperatebuilddir=0  
         builddir=input  
         rundir=input  
1120      fi      fi
1121            
1122      CODE_DIR=$dir/code      if test "x$ADM" = x ; then
1123            code_dir=code
1124            CODE_DIR=$dir/code
1125            input_dirs='input'
1126        else
1127            code_dir=code_ad
1128            CODE_DIR=$dir/code_ad
1129            input_dirs='input_ad input'
1130        fi
1131      BUILD_DIR=$dir/$builddir      BUILD_DIR=$dir/$builddir
     MPI_FILES="CPP_EEOPTIONS.h_mpi SIZE.h_mpi"  
     NOMPI_FILES="CPP_EEOPTIONS.h_nompi SIZE.h_nompi"  
1132    
1133      #  Is this an MPI run?      if test ! -r $CODE_DIR"/SIZE.h_mpi" -a "x$MPI" = "xt" ; then
1134      if test "x$MPI" = xt ; then          echo "can't find \"$CODE_DIR/SIZE.h_mpi\" -- skipping $dir"
1135          FILES=$MPI_FILES          continue
         endings="_mpi"  
     else  
         FILES=$NOMPI_FILES  
         endings="_nompi"  
1136      fi      fi
1137            if test ! -r $dir"/input/eedata.mth" -a "x$MULTI_THREAD" = "xt" ; then
1138      #  Check to see that we have the files          echo "can't find \"$dir/input/eedata.mth\" -- skipping $dir"
     have_files=t  
     for i in $FILES ; do  
         if test ! -r $CODE_DIR/$i ; then  
             echo "Warning: can't read file $CODE_DIR/$i"  
             have_files=f  
         fi  
     done  
     if test "x$have_files" != xt -a "x$MPI" = xt ; then  
         echo "Skipping $dir due to lack of input files (see above warning)"  
1139          continue          continue
1140      fi      fi
1141        
1142      #  If we have the $FILES and they differ, copy the $FILES to $BUILD_DIR      #  Check whether there are "extra runs" for this testdir
1143      if test "x$have_files" = xt ; then      extra_runs=
1144          for i in $FILES ; do      if test "x$ADM" = x ; then
1145              sstr="s|$endings||"          ex_run_dirs=`( cd $dir ; echo input.* )`
1146              name=`echo $i | sed -e $sstr `          #echo "ex_run_dirs='$ex_run_dirs'"
1147              cmp $CODE_DIR/$i $BUILD_DIR/$name > /dev/null 2>&1          for exd in $ex_run_dirs ; do
1148              RETVAL=$?              name=`echo $exd | sed -e 's/input.//g'`
1149              if test "x$RETVAL" != x0 ; then              outf="$dir/results/output.$name.txt"
1150                  cp $CODE_DIR/$i $BUILD_DIR/$name              if test -f $outf -a -r $outf ; then
1151                    if test "x$MULTI_THREAD" = "xt" ; then
1152                        if test -r $dir"/"$exd"/eedata.mth" ; then
1153                            extra_runs="$extra_runs $name"
1154                        #else echo $dir"/"$exd"/eedata.mth: not found"
1155                        fi
1156                    else
1157                        extra_runs="$extra_runs $name"
1158                    fi
1159              fi              fi
1160          done          done
1161      fi      fi
1162        
1163        echo "-------------------------------------------------------------------------------"
1164        echo
1165        if test "x$extra_runs" = "x" ; then
1166           echo "Experiment:  $dir"
1167        else
1168           echo "Experiment:  $dir ; extra_runs=$extra_runs"
1169        fi
1170        echo
1171        unset genmake makedepend make run
1172        results=$EMPTY_RESULTS
1173    
1174      #  Create an output dir for each OPTFILE/tdir combination      #  Create an output dir for each OPTFILE/tdir combination
1175      CDIR=$DRESULTS"/"$DRESULTS"_"$NDIR      rel_CDIR=$DRESULTS"/"$dir
1176      mkdir $CDIR      mkdir $rel_CDIR
1177      CDIR=`pwd`"/$CDIR"      CDIR=`pwd`"/$rel_CDIR"
1178            
1179      if test "x$CLEANUP" = xt ; then      if test "x$CLEANUP" = xt ; then
1180          makeclean $dir/$builddir          echo '====>>> this is to check that we never go through this part <<< ==='
1181            makeclean $dir/$builddir \
1182                && run_clean $dir/$rundir
1183      else      else
1184          genmakemodel $dir/$builddir && genmake=Y \          genmakemodel $dir/$builddir && genmake=Y \
1185              && makeclean $dir/$builddir \              && makeclean $dir/$builddir \
1186                && run_clean $dir/$rundir \
1187                && symlink_mpifiles $dir $code_dir $builddir \
1188              && makedependmodel $dir/$builddir && makedepend=Y \              && makedependmodel $dir/$builddir && makedepend=Y \
1189              && makemodel $dir/$builddir && make=Y \              && makemodel $dir/$builddir && make=Y \
1190              && linkdata $seperatebuilddir $dir/$rundir \              && linkdata $dir/$rundir $input_dirs \
1191              && runmodel $dir/$builddir && run=Y \              && runmodel $dir/$rundir && run=Y \
1192              && results=`testoutput $dir $rundir`              && results=`testoutput_run $dir $rundir "txt"`
1193      fi      fi
1194            
1195      echo      echo
1196      formatresults $dir ${genmake:-N} ${makedepend:-N} ${make:-N} \      if test "x$ADM" = x ; then
1197          ${run:-N} $results          fres=`formatresults $dir ${genmake:-N} ${makedepend:-N} ${make:-N} ${run:-N} $results`
1198      echo          echo
1199      formatresults $dir ${genmake:-N} ${makedepend:-N} ${make:-N} \          echo "$fres" >> $SUMMARY
1200          ${run:-N} $results >> $SUMMARY          touch $CDIR"/summary.txt"
1201      echo "fresults='" > $CDIR"/summary.txt"          echo "fresults='$fres'" >> $CDIR"/summary.txt"
1202      formatresults $dir ${genmake:-N} ${makedepend:-N} ${make:-N} \          echo "MACH='$MACH'" >> $CDIR"/summary.txt"
1203          ${run:-N} $results >> $CDIR"/summary.txt"          echo "UNAMEA='$UNAMEA'" >> $CDIR"/summary.txt"
1204      echo "'" >> $CDIR"/summary.txt"          echo "DATE='$DATE'" >> $CDIR"/summary.txt"
1205      echo "MACH='$MACH'" >> $CDIR"/summary.txt"          echo "tdir='$dir'" >> $CDIR"/summary.txt"
1206      echo "UNAMEA='$UNAMEA'" >> $CDIR"/summary.txt"  
1207      echo "DATE='$DATE'" >> $CDIR"/summary.txt"          for ex in $extra_runs ; do
1208      echo "tdir='$dir'" >> $CDIR"/summary.txt"              unset run
1209                results=$EMPTY_RESULTS
1210                #  Create an output dir for each OPTFILE/tdir.ex combination
1211                rel_CDIR=$DRESULTS"/"$dir"."$ex
1212                mkdir $rel_CDIR
1213                CDIR=`pwd`"/$rel_CDIR"
1214                test ! -e "$dir/tr_run.$ex" && mkdir "$dir/tr_run.$ex"
1215                run_clean $dir/tr_run.$ex
1216                linkdata $dir/tr_run.$ex input.$ex input
1217                runmodel $dir/tr_run.$ex && run=Y \
1218                    && results=`testoutput_run $dir tr_run.$ex ${ex}".txt"`
1219                fres=`printf '%s %s %s %s' ${genmake:-N} ${makedepend:-N} ${make:-N} ${run:-N}`
1220                fres=`formatresults $dir ${genmake:-N} ${makedepend:-N} ${make:-N} ${run:-N} $results`
1221                fres="$fres.$ex"
1222                echo
1223                echo "$fres" >> $SUMMARY
1224                touch $CDIR"/summary.txt"
1225                echo "fresults='$fres'" >> $CDIR"/summary.txt"
1226                echo "MACH='$MACH'" >> $CDIR"/summary.txt"
1227                echo "UNAMEA='$UNAMEA'" >> $CDIR"/summary.txt"
1228                echo "DATE='$DATE'" >> $CDIR"/summary.txt"
1229                echo "tdir='$dir.$ex'" >> $CDIR"/summary.txt"
1230                if test "x$POSTCLEAN" = xt ; then
1231                    run_clean $dir/tr_run.$ex
1232                fi
1233            done
1234        else
1235            fres=`printf '%s %s %s %s' ${genmake:-N} ${makedepend:-N} ${make:-N} ${run:-N}`
1236            fres=$fres"$results   $dir"
1237            echo
1238            echo "$fres" >> $SUMMARY
1239            touch $CDIR"/summary.txt"
1240            echo "fresults='$fres'" >> $CDIR"/summary.txt"
1241            echo "MACH='$MACH'" >> $CDIR"/summary.txt"
1242            echo "UNAMEA='$UNAMEA'" >> $CDIR"/summary.txt"
1243            echo "DATE='$DATE'" >> $CDIR"/summary.txt"
1244            echo "tdir='$dir'" >> $CDIR"/summary.txt"
1245            grep -A3 'Seconds in section "ALL' $dir/$rundir/$OUTPUTFILE \
1246                               >> $CDIR"/summary.txt"
1247        fi
1248    
1249        #postclean $dir/$builddir
1250        if test "x$POSTCLEAN" = xt ; then
1251            makeclean $dir/$builddir \
1252                && run_clean $dir/$rundir
1253        fi
1254            
1255      (      echo "-------------------------------------------------------------------------------"
         cd $DRESULTS  
         tar -cf $NDIR".tar" $DRESULTS"_"$NDIR > /dev/null 2>&1  
         gzip $NDIR".tar"  
     )  
1256            
1257      if test "x$ADDRESSES" = xNONE -o "x$ADDRESSES" = x ; then  done
1258          echo "No mail sent"  
1259      else  printf "Start time:  " >> $SUMMARY
1260          $MPACK -s MITgcm-test -m 1000000 $DRESULTS"/"$NDIR".tar.gz" $ADDRESSES  echo $start_date >> $SUMMARY
1261    printf "End time:    " >> $SUMMARY
1262    date >> $SUMMARY
1263    
1264    #  If addresses were supplied and mpack built successfully, then try
1265    #  to send email using mpack.
1266    if test "x$ADDRESSES" = xNONE -o "x$ADDRESSES" = x ; then
1267        echo "No results email was sent."
1268    else
1269        if test "x$HAVE_MPACK" = xt ; then
1270            tar -cf $DRESULTS".tar" $DRESULTS > /dev/null 2>&1 \
1271                && gzip $DRESULTS".tar" \
1272                && $MPACK -s MITgcm-test -m 3555000 $DRESULTS".tar.gz" $ADDRESSES
1273          RETVAL=$?          RETVAL=$?
1274          if test "x$RETVAL" != x0 ; then          if test "x$RETVAL" != x0 ; then
1275              echo "Warning: \"$MPACK\" failed -- please contact <edhill@mitgcm.org>"              echo
1276                echo "Warning: The tar, gzip, & mpack step failed.  Please send email"
1277                echo "  to <MITgcm-support@mitgcm.org> for help.  You may copy the "
1278                echo "  summary of results from the directory \"$DRESULTS\"."
1279                echo
1280          else          else
1281              rm -f $DRESULTS"/"$NDIR".tar*"              echo
1282                echo "An email containing results was sent to the following addresses:"
1283                echo "  \"$ADDRESSES\""
1284                echo
1285          fi          fi
1286            test -f $DRESULTS".tar"  &&  rm -f $DRESULTS".tar"
1287            test -f $DRESULTS".tar.gz"  &&  rm -f $DRESULTS".tar.gz"
1288      fi      fi
1289    fi
1290    
1291      echo "-------------------------------------------------------------------------------"  rm -f tr_cmpnum.c tr_cmpnum
       
     NDIR=$(( $NDIR + 1 ))  
       
 done  
1292    
1293  rm tmp_cmpnum.f a.out  if test "x$CLEANUP" != xt ; then
1294        cat $SUMMARY | sed 's/  \.  \.  \.  \.  \.  \.  \.  \.  \.  \.  \.  \.//'
1295        if test -e tr_out.txt ; then
1296            mv tr_out.txt tr_out.txt.old
1297        fi
1298        cat $SUMMARY | sed '11,$ s/  \.//g' > tr_out.txt
1299    fi
1300    
1301  cat $SUMMARY  if test "x$DELDIR" = xt ; then
1302        rm -rf $DRESULTS
1303    fi
1304    

Legend:
Removed from v.1.11  
changed lines
  Added in v.1.95

  ViewVC Help
Powered by ViewVC 1.1.22