/[MITgcm]/MITgcm/verification/testreport
ViewVC logotype

Diff of /MITgcm/verification/testreport

Parent Directory Parent Directory | Revision Log Revision Log | View Revision Graph Revision Graph | View Patch Patch

revision 1.10 by edhill, Thu Oct 9 04:19:20 2003 UTC revision 1.98 by jmc, Wed Sep 12 21:50:21 2007 UTC
# Line 1  Line 1 
1  #!/bin/bash  #! /usr/bin/env bash
2  #  #
3  #  $Header$  #  $Header$
4    #  $Name$
5  #  #
6    
7  usage()  usage()
# Line 10  usage() Line 11  usage()
11      echo      echo
12      echo "where possible OPTIONS are:"      echo "where possible OPTIONS are:"
13      echo "  (-help|-h)               print usage"      echo "  (-help|-h)               print usage"
14      echo "  (-mpi)                   use MPI input files"      echo "  (-mth)                   run multi threaded (using eedata.mth)"
15        echo "  (-mpi)                   compile and run using MPI"
16      echo "  (-ieee|-noieee)          if possible, use IEEE compiler flags"      echo "  (-ieee|-noieee)          if possible, use IEEE compiler flags"
17      echo "  (-optfile=|-of=)STRING   list of optfiles to use"      echo "                             (DEF=\"-ieee\")"
18      echo "  (-a|-addr)STRING         list of email recipients"      echo "  (-of=|-optfile=)STRING   list of optfiles to use"
19        echo "  (-a|-addr) STRING        list of email recipients"
20      echo "                             (DEF=\"edhill@mitgcm.org\")"      echo "                             (DEF=\"edhill@mitgcm.org\")"
21      echo "  (-t|-tdir)STRING         list of test dirs to use"      echo "  (-t|-tdir) STRING        list of group and/or exp. dirs to test"
22      echo "                             (DEF=\"\" which builds all)"      echo "                             (recognized groups: basic, tutorials)"
23      echo "  (-b|-bash)STRING         location of \"bash\" executable"      echo "                             (DEF=\"\" which test all)"
24      echo "                             (DEF=\"\" for \"/bin/bash\")"      echo "  (-skd|-skipdir) STRING   list of exp. dirs to skip"
25      echo "  (-command)STRING         command to run"      echo "                             (DEF=\"\" which test all)"
26        echo "  (-b|-bash) STRING        preferred location of a \"bash\" or"
27        echo "                             Bourne-compatible \"sh\" shell"
28        echo "                             (DEF=\"\" for \"bash\")"
29        echo "  (-adm|-ad)               perform an adjoint run"
30        echo "  (-command) STRING        command to run"
31      echo "                             (DEF=\"make output.txt\")"      echo "                             (DEF=\"make output.txt\")"
32      echo "  (-m|-make)STRING         command to use for \"make\""      echo "  (-m|-make) STRING        command to use for \"make\""
33      echo "                             (DEF=\"make\")"      echo "                             (DEF=\"make\")"
34        echo "  (-odir) STRING           used to build output directory name"
35        echo "                             (DEF=\"hostname\")"
36        echo "  (-ptr|-ptracers) STRING  specify which ptracers to test"
37        echo "                             (DEF=\"1 2 3 4 5\")"
38        echo "  (-match) NUMBER          Matching Criteria (number of digits)"
39        echo "                             (DEF=\"12\")"
40        echo "  (-j) JOBS                use \"make -j JOBS\" for parallel builds"
41      echo "  (-clean)                 *ONLY* run \"make CLEAN\""      echo "  (-clean)                 *ONLY* run \"make CLEAN\""
42      echo "  (-quick|-q)              same as \"-nogenmake -noclean -nodepend\""      echo "  (-quick|-q)              same as \"-nogenmake -noclean -nodepend\""
43      echo "  (-nogenmake|-ng)         skip the genmake stage"      echo "  (-nogenmake|-ng)         skip the genmake stage"
44      echo "  (-noclean|-nc)           skip the \"make clean\" stage"      echo "  (-noclean|-nc)           skip the \"make clean\" stage"
45      echo "  (-nodepend|-nd)          skip the \"make depend\" stage"      echo "  (-nodepend|-nd)          skip the \"make depend\" stage"
46        echo "  (-deldir|-dd)            on success, delete the output directory"
47        echo "  (-ts)                    provide timing information per timestep"
48        echo "  (-papis)                 provide MFlop/s per timestep using PAPI"
49        echo "  (-pcls)                  provide MFlop/s per timestep using PCL"
50      echo      echo
51      echo "and where STRING follows a whitespace-delimited format"      echo "and where STRING can be a whitespace-delimited list"
52      echo "such as:"      echo "such as:"
53        echo
54      echo "  -t 'exp0 exp2 exp3' "      echo "  -t 'exp0 exp2 exp3' "
55      echo "  -addr='abc@123.com testing@home.org'"      echo "  -addr='abc@123.com testing@home.org'"
56      echo      echo
57        echo "provided that the expression is properly quoted within the current"
58        echo "shell (note the use of single quotes to protect white space)."
59        echo
60      exit 1      exit 1
61  }  }
62    
63  #  build the mpack utility  #  build the mpack utility
64  build_mpack()  build_mpack()
65  {  {
66      echo -n "building the mpack utility...  "      printf "building the mpack utility...  "
67      if test ! -x "$MPACKDIR/mpack" ; then      if test ! -x "$MPACKDIR/mpack" ; then
68          if test ! -d $MPACKDIR ; then          if test ! -d $MPACKDIR ; then
69                echo
70              echo "Error: can't find \"$MPACKDIR\""              echo "Error: can't find \"$MPACKDIR\""
71              echo "  are you sure this program is being run in the correct "              echo "  are you sure this program is being run in the correct "
72              echo "  (that is, \"MITGCM_ROOT\verification\") directory?"              echo "  (that is, \"MITGCM_ROOT\verification\") directory?"
73              exit 1              echo
74                HAVE_MPACK=f
75          fi          fi
76          echo -n "building mpack...  "          printf "building mpack...  "
77          ( cd $MPACKDIR && ./configure && $MAKE ) > build_mpack.out 2>&1          if test "x$CC" = x ; then
78                export CC=cc
79            fi
80            ( cd $MPACKDIR && ./configure && $MAKE ) > tr_build_mpack.out 2>&1
81          RETVAL=$?          RETVAL=$?
82          if test "x$RETVAL" != x0 ; then          if test "x$RETVAL" != x0 ; then
83              echo              echo
84              echo "Error building the mpack tools at: $MPACK_DIR"              echo "Error building the mpack tools at: $MPACK_DIR"
85              exit 1              echo
86                HAVE_MPACK=f
87            else
88                rm -f tr_build_mpack.out
89                HAVE_MPACK=t
90          fi          fi
91        else
92            HAVE_MPACK=t
93      fi      fi
94      echo "OK"      echo "OK"
95  }  }
96    
97  compare_lines()  testoutput_var()
 {  
     # use codelet to compare lines  
     if [ $verbose -gt 1 ]; then  
         cat tmp3.txt 1>&2  
     fi  
     return `./a.out < tmp3.txt`  
 }  
   
 testoutput_for_prop()  
98  {  {
99      # testoutput_for_prop dir s1 label subdir      # testoutput_var dir s1 label subdir extension
100      #      #
101      #  compares files in $dir/$subdir/output.txt and $dir/results/output.txt      #  compares 1 variable output selected from file $dir/$subdir/$OUTPUTFILE
102      #  using search strings s1 and text label      #     with same output from reference file $dir/results/output.$extension
103        #  using search strings s1 and text label
104    
105      if [ $debug -gt 0 ]; then      if [ $debug -gt 0 ]; then
106          echo testoutput_for_prop: grep "$2" $1/$4/output.txt 1>&2          echo testoutput_var: grep "$2" $1/$4/$OUTPUTFILE 1>&2
107      fi      fi
108      if [ -r $1/$4/output.txt ]; then      if [ -r $1/$4/$OUTPUTFILE ]; then
109          grep "$2" $1/$4/output.txt | sed 's/.*=//' | nl > tmp1.txt          grep "$2" $1/$4/$OUTPUTFILE | sed 's/.*=//' | cat -n > tmp1.txt
110          lncnt=`wc -l tmp1.txt | awk '{print $1}' `          lncntA=`wc -l tmp1.txt | awk '{print $1}' `
111          if [ $lncnt -lt 3 ]; then          if [ $lncntA -lt 3 ]; then
112              if [ $verbose -gt 0 ]; then              if [ $verbose -gt 0 ]; then
113                  echo Not enough lines of output when searching for "$2" 1>&2                  echo Not enough lines of output when searching for "$2" 1>&2
114              fi              fi
115              return 99              return 99
116          fi          fi
117      else      else
118          echo testoutput_for_prop: output.txt from model run was not readable 1>&2          echo testoutput_var: $OUTPUTFILE from model run was not readable 1>&2
119          return 99          return 99
120      fi      fi
121      if [ $debug -gt 0 ]; then      if [ $debug -gt 0 ]; then
122          echo testoutput_for_prop: grep "$2" $1/results/output.txt 1>&2          echo testoutput_var: grep "$2" $1/results/output.$5 1>&2
123      fi      fi
124      grep "$2" $1/results/output.txt | sed 's/.*=//' | nl > tmp2.txt      grep "$2" $1/results/output.$5 | sed 's/.*=//' | cat -n > tmp2.txt
125      lncnt=`wc -l tmp2.txt | awk '{print $1}' `      lncntB=`wc -l tmp2.txt | awk '{print $1}' `
126      if [ $lncnt -lt 3 ]; then      if [ $lncntB -lt 3 ]; then
127          if [ $verbose -gt 0 ]; then          if [ $verbose -gt 0 ]; then
128              echo Not enough lines of output when searching for "$2" 1>&2              echo Not enough lines of output when searching for "$2" 1>&2
129          fi          fi
130          return 99          return 99
131      fi      fi
132        if [ $lncntA -ne $lncntB ]; then
133            if [ $verbose -gt 0 ]; then
134                echo Not same Nb of lines when searching for "$2" ":" $lncntA $lncntB 1>&2
135            fi
136            return 99
137        fi
138        has_nan=`cat tmp1.txt | grep -i nan | wc -l`
139        if [ $has_nan -gt 0  ] ; then
140            echo testoutput_var: $OUTPUTFILE contains $has_nan NaN values  1>&2
141            return 99
142        fi
143        has_inf=`cat tmp1.txt | grep -i inf | wc -l`
144        if [ $has_inf -gt 0  ] ; then
145            echo testoutput_var: $OUTPUTFILE contains $has_inf Inf values  1>&2
146            return 99
147        fi
148      if [ $debug -gt 0 ]; then      if [ $debug -gt 0 ]; then
149          echo testoutput_for_prop: join tmp1.txt tmp2.txt 1>&2          echo testoutput_var: join tmp1.txt tmp2.txt 1>&2
150      fi      fi
151      join tmp1.txt tmp2.txt | awk '{print $1 " " $2 " " $3}' > tmp3.txt      join tmp1.txt tmp2.txt | awk '{print $1 " " $2 " " $3}' > tmp3.txt
152      if [ $debug -gt 0 ]; then      if [ $debug -gt 0 ]; then
153          echo testoutput_for_prop: compare_lines 1>&2          echo testoutput_var: compare_lines 1>&2
154        fi
155        if [ $verbose -gt 1 ]; then
156            cat tmp3.txt 1>&2
157      fi      fi
158      compare_lines      echo "-1" >> tmp3.txt
159      digits_of_similarity=$?      # On the SGI O3K (*not* the O2K), "cat -n" inserts a ":" after the line number
160        cat tmp3.txt | sed -e 's|:||g' > tmp4.txt
161        digits_of_similarity=`./tr_cmpnum < tmp4.txt`
162      if [ $digits_of_similarity -eq 99 ]; then      if [ $digits_of_similarity -eq 99 ]; then
163          if [ $verbose -gt 0 ]; then          if [ $verbose -gt 0 ]; then
164              echo testoutput_for_prop: No comparison was available for \"$2\" 1>&2              echo testoutput_var: No comparison was available for \"$2\" 1>&2
165          fi          fi
166          digits_of_similarity=99          digits_of_similarity=99
167      else      else
# Line 122  testoutput_for_prop() Line 169  testoutput_for_prop()
169              echo There were $digits_of_similarity decimal places of similarity for \"$2\" 1>&2              echo There were $digits_of_similarity decimal places of similarity for \"$2\" 1>&2
170          fi          fi
171      fi      fi
172      rm tmp1.txt tmp2.txt tmp3.txt      rm -f tmp1.txt tmp2.txt tmp3.txt tmp4.txt
173            
174      return $digits_of_similarity      return $digits_of_similarity
175  }  }
# Line 142  dashnum() Line 189  dashnum()
189      done      done
190  }  }
191    
192  testoutput()  testoutput_ad()
193  {  {
194      # testoutput diretory subdir      grep $3 $1/results_ad/output_adm.txt | awk '{print NR " " $5}' > t05.txt
195      #      grep $3 $1/$2/$OUTPUTFILE | awk '{print NR " " $5}' > t15.txt
196      #  test output in "directory"      grep $3 $1/results_ad/output_adm.txt | awk '{print NR " " $6}' > t06.txt
197        grep $3 $1/$2/$OUTPUTFILE | awk '{print NR " " $6}' > t16.txt
198        join t05.txt t15.txt > t5.txt
199        join t06.txt t16.txt > t6.txt
200        echo "-1" >> t5.txt
201        echo "-1" >> t6.txt
202        digits_5=`./tr_cmpnum < t5.txt`
203        digits_6=`./tr_cmpnum < t6.txt`
204        dashnum $digits_5 $digits_6
205        rm -f t[01][56].txt t[56].txt
206    }
207    
208      if [ $debug -gt 0 ]; then  check_for_add_mon_output()
209          echo testoutput: testoutput_for_prop $1 cg2d_init_res 1>&2  {
210        # Check for additional types of monitor output
211        if test "x$1" = x ; then
212            return
213      fi      fi
214      testoutput_for_prop $1 "cg2d_init_res" "cg2d init. residual" $2; cg2dres=$?  
215      if [ $debug -gt 0 ]; then      for ii in $PTRACERS_NUM ; do
216          echo testoutput: cg2dres=$cg2dres 1>&2          eval "HAVE_PTR0"$ii"=f"
217        done
218    
219        ptr_add="trcstat_ptracerXX_min trcstat_ptracerXX_max"
220        ptr_add="$ptr_add trcstat_ptracerXX_mean trcstat_ptracerXX_sd"
221        for ii in $PTRACERS_NUM ; do
222            for jj in $ptr_add ; do
223                name=`eval "echo $jj | sed -e 's|XX|0"$ii"|g'"`
224                tst=`grep $name $1 | wc -l | awk '{print $1}'`
225                if test ! "x$tst" = x0 ; then
226                    eval "HAVE_PTR0"$ii"=t"
227                fi
228            done
229            #  eval 'echo "HAVE_PTR0'$ii' = $HAVE_PTR0'$ii'"'
230        done
231    }
232    
233    testoutput_run()
234    {
235        # testoutput_run directory subdir extension
236        #
237        #  test output from 1 run in "directory"
238        if test "x$ADM" = x ; then
239            # default list of output variables to be checked:
240            #  1rst : main variable used to decide if it pass or FAIL
241            #  others : number of matching digits to be printed in summary.txt
242            listChk=$DEF_CHECK_LIST
243            #  load experiment-specific list from file "tr_checklist" (if it exist)
244            if test -r $1/$2/tr_checklist ; then listChk=`cat $1/$2/tr_checklist` ; fi
245            sVar=`echo $listChk | awk '{print $1}'`
246            # remove 1rst var and expand the list: + => min max mean s.d
247            listVar=`echo $listChk | sed 's/ [a-zA-Z0-9]*+/&mn &mx &av &sd/g' \
248                                   | sed 's/+//g' | sed "s/^$sVar//"`
249            if [ $debug -gt 0 ]; then echo "testoutput_run: listVar(I)='$listVar'" 1>&2 ; fi
250            for ii in 1 2 3 4 5 6 7 8 9 ; do
251              tst=`eval 'echo "$HAVE_PTR0'$ii'"'`
252             #echo "-- ptr test=" $tst "number of var=" `echo $listVar | awk '{print NF}'` 1>&2
253              if test "x$tst" != xt ; then listVar=`echo "$listVar" | sed "s/ pt$ii..//g"` ; fi
254            done
255            tst=`echo $sVar $listVar | awk '{ for(i=2;i<=NF;i++){t+=($i==$1)}; print t }'`
256            if test $tst != 1 ; then
257              if test $tst = 0 ; then echo "==> WARNING: selected var >$sVar< not found" 1>&2
258                     else echo "==> WARNING: found selected var >$sVar< $tst times" 1>&2 ; fi
259              echo "==> WARNING: in checked list:" $listVar 1>&2
260            #- put it back once:
261              listVar=" $sVar "`echo "$listVar " | sed "s/ $sVar / /g"`
262            fi
263            if [ $debug -gt 0 ]; then echo "testoutput_run: listVar(M)='$listVar'" 1>&2 ; fi
264            echo "listVar='$listVar'" > $CDIR"/summary.txt"
265            allargs=""
266            for xx in $listVar
267            do
268              case $xx in
269               'PS')  if [ $debug -gt 0 ]
270                      then echo testoutput_run: testoutput_var $1 cg2d_init_res 1>&2 ; fi
271                      testoutput_var $1 "cg2d_init_res" "cg2d init. residual" $2 $3; yy=$?
272                      if [ $debug -gt 0 ] ; then echo testoutput_run: cg2dres=$yy 1>&2 ; fi ;;
273               'Tmn') testoutput_var $1 "dynstat_theta_min"  "theta minimum"  $2 $3; yy=$? ;;
274               'Tmx') testoutput_var $1 "dynstat_theta_max"  "theta maximum"  $2 $3; yy=$? ;;
275               'Tav') testoutput_var $1 "dynstat_theta_mean" "theta mean"     $2 $3; yy=$? ;;
276               'Tsd') testoutput_var $1 "dynstat_theta_sd"   "theta s.d."     $2 $3; yy=$? ;;
277               'Smn') testoutput_var $1 "dynstat_salt_min"  "salt minimum"    $2 $3; yy=$? ;;
278               'Smx') testoutput_var $1 "dynstat_salt_max"  "salt maximum"    $2 $3; yy=$? ;;
279               'Sav') testoutput_var $1 "dynstat_salt_mean" "salt mean"       $2 $3; yy=$? ;;
280               'Ssd') testoutput_var $1 "dynstat_salt_sd"   "salt s.d."       $2 $3; yy=$? ;;
281               'Umn') testoutput_var $1 "dynstat_uvel_min"  "U minimum"       $2 $3; yy=$? ;;
282               'Umx') testoutput_var $1 "dynstat_uvel_max"  "U maximum"       $2 $3; yy=$? ;;
283               'Uav') testoutput_var $1 "dynstat_uvel_mean" "U mean"          $2 $3; yy=$? ;;
284               'Usd') testoutput_var $1 "dynstat_uvel_sd"   "U s.d."          $2 $3; yy=$? ;;
285               'Vmn') testoutput_var $1 "dynstat_vvel_min"  "V minimum"       $2 $3; yy=$? ;;
286               'Vmx') testoutput_var $1 "dynstat_vvel_max"  "V maximum"       $2 $3; yy=$? ;;
287               'Vav') testoutput_var $1 "dynstat_vvel_mean" "V mean"          $2 $3; yy=$? ;;
288               'Vsd') testoutput_var $1 "dynstat_vvel_sd"   "V s.d."          $2 $3; yy=$? ;;
289            'pt1mn'|'pt2mn'|'pt3mn'|'pt4mn'|'pt5mn') ii=`echo $xx | sed 's/pt//' | sed 's/..$//'`
290               testoutput_var $1 "trcstat_ptracer0"$ii"_min"  "p0"$ii"_min"   $2 $3; yy=$? ;;
291            'pt1mx'|'pt2mx'|'pt3mx'|'pt4mx'|'pt5mx') ii=`echo $xx | sed 's/pt//' | sed 's/..$//'`
292               testoutput_var $1 "trcstat_ptracer0"$ii"_max"  "p0"$ii"_max"   $2 $3; yy=$? ;;
293            'pt1av'|'pt2av'|'pt3av'|'pt4av'|'pt5av') ii=`echo $xx | sed 's/pt//' | sed 's/..$//'`
294               testoutput_var $1 "trcstat_ptracer0"$ii"_mean" "p0"$ii"_mean" $2 $3; yy=$? ;;
295            'pt1sd'|'pt2sd'|'pt3sd'|'pt4sd'|'pt5sd') ii=`echo $xx | sed 's/pt//' | sed 's/..$//'`
296               testoutput_var $1 "trcstat_ptracer0"$ii"_sd"   "p0"$ii"_sd"    $2 $3; yy=$? ;;
297                  *) yy=99; echo "WARNING: asking for var=$xx : not recognized !" 1>&2 ;;
298              esac
299              if test $xx = $sVar
300              then allargs="$allargs > $yy <"
301              else allargs="$allargs $yy"
302              fi
303            done
304    
305            nbVar=`echo $listVar | awk '{print NF}'`
306            if [ $nbVar -lt $LEN_CHECK_LIST ] ; then
307            #-- fill line (up to standard length) with dot:
308              adNul=`expr $LEN_CHECK_LIST - $nbVar | awk '{for(i=1;i<=$1;i++){print "."}}'`
309              echo $allargs $adNul
310            else
311              echo $allargs
312            fi
313    
314        else
315            testoutput_ad $1 $2 "precision_grdchk_result"
316      fi      fi
       
     testoutput_for_prop $1 "dynstat_theta_min" "theta minimum" $2; tmin=$?  
     testoutput_for_prop $1 "dynstat_theta_max" "theta maximum" $2; tmax=$?  
     testoutput_for_prop $1 "dynstat_theta_mean" "theta mean" $2; tmean=$?  
     testoutput_for_prop $1 "dynstat_theta_sd" "theta s.d." $2; tsd=$?  
     testoutput_for_prop $1 "dynstat_salt_min" "salt minimum" $2; smin=$?  
     testoutput_for_prop $1 "dynstat_salt_max" "salt maximum" $2; smax=$?  
     testoutput_for_prop $1 "dynstat_salt_mean" "salt mean" $2; smean=$?  
     testoutput_for_prop $1 "dynstat_salt_sd" "salt s.d." $2; ssd=$?  
     testoutput_for_prop $1 "dynstat_uvel_min" "U minimum" $2; umin=$?  
     testoutput_for_prop $1 "dynstat_uvel_max" "U maximum" $2; umax=$?  
     testoutput_for_prop $1 "dynstat_uvel_mean" "U mean" $2; umean=$?  
     testoutput_for_prop $1 "dynstat_uvel_sd" "U s.d." $2; usd=$?  
     testoutput_for_prop $1 "dynstat_vvel_min" "V minimum" $2; vmin=$?  
     testoutput_for_prop $1 "dynstat_vvel_max" "V maximum" $2; vmax=$?  
     testoutput_for_prop $1 "dynstat_vvel_mean" "V mean" $2; vmean=$?  
     testoutput_for_prop $1 "dynstat_vvel_sd" "V s.d." $2; vsd=$?  
       
     dashnum $cg2dres $tmin $tmax $tmean $tsd $smin $smax $smean $ssd \  
         $umin $umax $umean $usd $vmin $vmax $vmean $vsd  
317  }  }
318    
319  genmakemodel()  genmakemodel()
# Line 183  genmakemodel() Line 322  genmakemodel()
322      if test "x$NOGENMAKE" = xt ; then      if test "x$NOGENMAKE" = xt ; then
323          echo "genmake skipped!"          echo "genmake skipped!"
324      else      else
325          GENMAKE2="$BASH ../../../tools/genmake2"          if test "x$BASH" = x ; then
326                GENMAKE2="../../../tools/genmake2"
327            else
328                GENMAKE2="$BASH ../../../tools/genmake2 -bash $BASH"
329            fi
330          (          (
331              cd $1;              cd $1;
332              command="$GENMAKE2  -ds -m $MAKE --mods=../code"              command="$GENMAKE2  -ds -m $MAKE"
333                if test "x$ADM" = x ; then
334                    command="$command --mods=../code"
335                else
336                    command="$command --mods=../code_ad"
337                fi
338              if test "x$OPTFILE" != xNONE ; then              if test "x$OPTFILE" != xNONE ; then
339                  command="$command --optfile=$OPTFILE"                  command="$command --optfile=$OPTFILE"
                 # echo "  command=\"$command\""  
340              fi              fi
341              if test "x$IEEE" != x ; then              if test "x$IEEE" != x ; then
342                  command="$command -ieee"                  command="$command -ieee"
343              fi              fi
344              # echo "command: \"$command\""              if test "x$MPI" = xt ; then
345                    command="$command -mpi"
346                fi
347                if test "x$TS" = xt ; then
348                    command="$command -ts"
349                fi
350                if test "x$PAPIS" = xt ; then
351                    command="$command -papis"
352                else
353                if test "x$PCLS" = xt ; then
354                    command="$command -pcls"
355                fi
356                fi
357              printf 'genmake ... ' 1>&2              printf 'genmake ... ' 1>&2
358              $command > make.log 2>&1              $command > make.log 2>&1
359              RETVAL=$?              RETVAL=$?
360              for i in genmake_state genmake_optfile genmake_local Makefile ; do              #  Reduce the size of the testing emails!
361                  if test -r $i ; then              head -100 Makefile > $CDIR/Makefile_head
                     cp $i $CDIR  
                 fi  
             done  
362              if test "x$RETVAL" != x0 ; then              if test "x$RETVAL" != x0 ; then
363                  tail make.log                  tail make.log
364                  echo "genmakemodel: genmake failed" 1>&2                  echo "genmakemodel: genmake failed" 1>&2
365                  cp make.log $CDIR                  cp genmake_* make.log $CDIR
366                  return 1                  return 1
367              else              else
368                  echo "succesful" 1>&2                  echo "successful" 1>&2
369              fi              fi
370          )          )
371      fi      fi
# Line 219  makeclean() Line 375  makeclean()
375  {  {
376      # makeclean directory      # makeclean directory
377      if test "x$NOCLEAN" = xt ; then      if test "x$NOCLEAN" = xt ; then
378          echo "make CLEAN skipped!"          echo "make Clean skipped!"
379      else      else
380          (          (
381              cd $1;              cd $1;
382              if test -e output.txt ; then              #if test -e $OUTPUTFILE ; then rm -f $OUTPUTFILE ; fi
                 rm -f output.txt  
             fi  
             printf 'make CLEAN ... ' 2>&1  
383              if test -r Makefile ; then              if test -r Makefile ; then
384                  $MAKE CLEAN >> make.log 2>&1                  printf 'clean build-dir: make Clean ... ' 2>&1
385                    $MAKE Clean >> make.log 2>&1
386                  RETVAL=$?                  RETVAL=$?
387                  if test "x$RETVAL" != x0 ; then                  if test "x$RETVAL" != x0 ; then
388                      tail make.log                      tail make.log
389                      echo "makeclean: \"make CLEAN\" failed" 1>&2                      echo "makeclean: \"make Clean\" failed" 1>&2
390                      cp make.log $CDIR"/make.log"                      cp make.log $CDIR"/make.log"
391                      return 1                      return 1
392                  fi                  fi
393              fi              fi
394              echo succesful 1>&2              echo successful 1>&2
395                exit 0
396            )
397        fi
398    }
399    
400    run_clean()
401    {
402        # run_clean directory
403        if test "x$NOCLEAN" = xt ; then
404            echo "run_clean skipped!"
405        else
406            (
407                cd $1;
408                printf 'clean run-dir ... ' 2>&1
409                # part of what is done after "make clean" when doing "make CLEAN"
410                find . -name "*.meta" -exec rm {} \;
411                find . -name "*.data" -exec rm {} \;
412                find . -name "fort.*" -exec rm {} \;
413                find . -type l -exec rm {} \;
414                rm -f $EXECUTABLE *.txt STD* *diagnostics.log datetime
415                rm -rf mnc_test_*
416                echo successful 1>&2
417              exit 0              exit 0
418          )          )
419      fi      fi
# Line 260  makedependmodel() Line 436  makedependmodel()
436                  cp make.log $CDIR"/make.log"                  cp make.log $CDIR"/make.log"
437                  return 1                  return 1
438              else              else
439                  echo succesful 1>&2                  echo successful 1>&2
440              fi              fi
441          )          )
442      fi      fi
# Line 273  makemodel() Line 449  makemodel()
449          cd $1;          cd $1;
450          if test -r Makefile ; then          if test -r Makefile ; then
451              printf 'make ... ' 1>&2              printf 'make ... ' 1>&2
452              $MAKE >> make.log 2>&1              if test "x$ADM" = x ; then
453                    if test "x$JOBS" = x ; then
454                        $MAKE >> make.log 2>&1
455                    else
456                        $MAKE -j $JOBS >> make.log 2>&1
457                    fi
458                else
459                    $MAKE adall >> make.log 2>&1
460                fi
461              RETVAL=$?              RETVAL=$?
462              if test "x$RETVAL" != x0 ; then              if test "x$RETVAL" != x0 ; then
463                  tail make.log                  tail make.log
# Line 281  makemodel() Line 465  makemodel()
465                  cp make.log $CDIR"/make.log"                  cp make.log $CDIR"/make.log"
466                  return 1                  return 1
467              else              else
468                  echo succesful 1>&2                  echo successful 1>&2
469              fi              fi
470          fi          fi
471      )      )
472  }  }
473    
474    symlink_mpifiles()
475    {
476        # Put special links so that MPI specific files are used
477        # This MUST be invoked between makeclean and makelinks because
478        # the Makefile will link to non-mpi files by default
479    
480        dir=$1
481        code_dir=$2
482        BUILD_DIR=$dir/$3
483        CODE_DIR=$dir/$code_dir
484        
485        # These are files that should replace their counter-part when using -mpi
486        MPI_FILES=`(cd $CODE_DIR; find . -name "*_mpi")`
487    
488        #  Is this an MPI run?
489        if test "x$MPI" = xt ; then
490            # YES: We symbolically link these files to the build
491            # dir so long as there is no real file in place
492            for ii in $MPI_FILES ; do
493                i=`echo $ii | sed 's:^\./::'`
494                name=`echo $i | sed 's:_mpi::' `
495                cmp $CODE_DIR/$i $BUILD_DIR/$name > /dev/null 2>&1
496                RETVAL=$?
497                if test "x$RETVAL" != x0 ; then
498                    if ! test -f $BUILD_DIR/$i ; then
499                        #echo Linking $name to $i
500                        (cd $BUILD_DIR; ln -sf ../$code_dir/$i $name)
501                    fi
502                fi
503            done
504        else
505            # NO: We undo any _mpi symbolically linked files
506            for ii in $MPI_FILES ; do
507                i=`echo $ii | sed 's:^\./::'`
508                name=`echo $i | sed 's:_mpi::' `
509                if test -L $BUILD_DIR/$name ; then
510                    cmp $BUILD_DIR/$name "../$code_dir/$name"_mpi > /dev/null 2>&1
511                    RETVAL=$?
512                    if test "x$RETVAL" = x0 ; then
513                        #echo Un-linking $name from $linktarg
514                        rm -f $BUILD_DIR/$name
515                    fi
516                fi
517            done
518        fi
519        
520    }
521    
522  linkdata()  linkdata()
523  {  {
524      # linkdata flag      # linkdata run_dir input_dir_1 input_dir_2 ...
525      #      #
526      # symbolically link data files to run directory      # symbolically link data files to run directory
527      if [ $1 -ne 0 ]; then      if test -d $1 ; then
528          ( cd $2 ;  ln -sf ../input/* . )          (
529                cd $1 ; shift
530                if test -r "../"$1"/eedata.mth" ; then
531                # found eedata.mth in 1rst input dir and it is readable
532                    if test "x$MULTI_THREAD" = "xt" ; then
533                    # multi-threaded test: remove symbolic link & link eedata.mth
534                        if test -h eedata ; then rm -f eedata ; fi
535                        if test ! -r eedata ; then
536                            ln -sf "../"$1"/eedata.mth" eedata ;
537                            printf 'eedata.mth ' 1>&2
538                        fi
539                    else
540                    # not multi-threaded test: remove eedata symbolic link
541                        if test -h eedata ; then rm -f eedata ; fi
542                    fi
543                fi
544                for ldir in $* ; do
545                    if test -d "../"$ldir ; then
546                        printf 'ldir='${ldir} 1>&2
547                        files=`( cd "../"$ldir ; ls -1 | grep -v CVS )`
548                        for i in $files ; do
549                            if test ! -d "../"$ldir/$i ; then
550                                if test ! -r $i  ; then
551                                    printf ' '$i 1>&2
552                                    ln -sf "../"$ldir"/"$i $i
553                                fi
554                            fi
555                        done
556                        if test -x "../"$ldir"/"prepare_run ; then
557                            "../"$ldir"/"prepare_run
558                        fi
559                        printf ' ; ' 1>&2
560                    fi
561                done
562            )
563      fi      fi
564  }  }
565    
# Line 301  runmodel() Line 567  runmodel()
567  {  {
568      # runmodel directory      # runmodel directory
569      #      #
570      #  runs "$COMMAND" in "directory"      #  runs "$COMMAND in "directory"
571      #  (where "$COMMAND" is relative to "directory")      #  (where "$COMMAND" is relative to "directory")
572      (      (
573          cd $1          cd $1
574          printf 'runmodel: ' 1>&2          printf 'runmodel in %s ...' $1 1>&2
575          # make output.txt          # make output.txt
576          $COMMAND          echo
577          RETVAL=$?          if test ! -x $EXECUTABLE -a -x "../"$builddir"/"$EXECUTABLE ; then
578          if test "x$RETVAL" = x0 ; then              echo " link" $EXECUTABLE "from dir ../"$builddir > run.log_00
579              cp output.txt $CDIR"/output.txt"              ln -sf "../"$builddir"/"$EXECUTABLE .
580            fi
581            if test ! -x $EXECUTABLE ; then
582                    rm -f run.log ; touch run.log
583                    if test -f run.log_00 ; then cat run.log_00 >> run.log ; fi
584                    echo " no executable:" $EXECUTABLE >> run.log
585                    RETVAL=8
586                    ENDVAL=-1
587            else
588                if test ! -f $OUTPUTFILE -o $OUTPUTFILE -ot $EXECUTABLE ; then
589                  # output do not exist or is older than executable:
590                    rm -f run.log ; touch run.log
591                    if test -f run.log_00 ; then cat run.log_00 >> run.log ; fi
592                    ( eval $COMMAND ) >> run.log 2>&1
593                    RETVAL=$?
594                else
595                    RETVAL=0
596                    if test -f run.log ; then
597                        if test -f run.log_00 ; then cat run.log_00 >> run.log ; fi
598                        echo "---------->> $OUTPUTFILE is up to date " >> run.log 2>&1
599                    else
600                        touch run.log
601                        if test -f run.log_00 ; then cat run.log_00 >> run.log ; fi
602                        echo "---------->> $OUTPUTFILE is up to date " >> run.log 2>&1
603                        echo " no previous run.log: assume NORMAL END" >> run.log 2>&1
604                    fi
605                fi
606                ENDVAL=`cat run.log | grep -v 'ABNORMAL END' | grep -c 'NORMAL END'`
607            fi
608            rm -f run.log_00
609            #if test "x$RETVAL" = x0 ; then
610            if [ $RETVAL -eq 0 -a $ENDVAL -gt 0 ] ; then
611                tail run.log
612                echo successful 1>&2
613                # === Reduce the size of the testing emails!
614                #cp $OUTPUTFILE $CDIR"/"$OUTPUTFILE
615                if test -s STDERR.0000 ; then cp STDERR.0000 $CDIR"/STDERR.0000" ; fi
616              return 0              return 0
617          else          else
618                tail run.log
619                echo failed '(run:' $RETVAL ' end:' $ENDVAL ')' 1>&2
620                cp run.log $CDIR"/run.log"
621                if test -s STDERR.0000 ; then cp STDERR.0000 $CDIR"/STDERR.0000" ; fi
622              return 1              return 1
623          fi          fi
624      )      )
# Line 322  createcodelet() Line 628  createcodelet()
628  {  {
629      # create codelet for comparing model output      # create codelet for comparing model output
630    
631      echo -n "creating the comparison code...  "      printf "creating the comparison code...  "
632      cat > tmp_cmpnum.f <<EOFA      cat > tr_cmpnum.c <<EOF
633        program cmpnum  #include <stdio.h>
634        implicit none  #include <math.h>
635        real*8 a,b,diff  int main( int argc, char** argv )  {
636        integer linnum,best    int linnum,cmplin,best,lncnt;
637        best=-16    double a,b,abave,relerr;
638    99  read(*,*,end=70,err=60) linnum,a,b    best = -22;
639        diff=0.5*(abs(a)+abs(b))    lncnt = 0;
640  c     print *,a,b,diff,abs(a-b)/diff    while( 1 & ( (lncnt+=1) < 999 ) )  {
641        if (diff.gt.1.e-12) then      scanf("%d", &linnum);
642          diff=abs(a-b)/diff      if (linnum == -1)  break;
643          if (diff.gt.0.) then      scanf("%lf", &a);  scanf("%lf", &b);
644  c         print *,int(log10(diff)),diff      abave = 0.5*(fabs(a)+fabs(b));
645            linnum=int(log10(diff))      if ( abave == abave ) {
646            best=max(best,linnum)        if (abave > 0.0) {
647          endif          relerr=fabs(a-b)/abave;
648        else          if (relerr > 0.0) { cmplin = (int)rint(log10(relerr)); }
649          if (best.eq.-16.and.diff.ne.0.) best=-22          else { cmplin = -16 ; }
650        endif          best = (best > cmplin) ? best : cmplin; }
651        goto 99        else { cmplin = -22 ; }
652    60  stop 'cmpnum: An error occured reading a,b'     /* printf("%d ; %lf ; %lf\n",cmplin,a,b); */
653    70  print *,-best        }
654        end     else {
655  EOFA     /* printf("%lf ; %lf ; %lf\n",abave,a,b); */
656          break; }
657      }
658      if (lncnt == 999) best=-29;
659      if (linnum != -1) best=-99;
660      printf("%d\n", -best);
661      return 0;
662    }
663    EOF
664        $CC -o tr_cmpnum tr_cmpnum.c -lm
665    
666      f77 tmp_cmpnum.f      if [ -x ./tr_cmpnum ]; then
     if [ -x ./a.out ]; then  
667          echo "OK"          echo "OK"
668          return 0          return 0
669      else      else
670          echo          echo
671          echo "createcodelet: failed to compile codelet"          echo "ERROR: failed to compile comparison code -- please specify"
672            echo "  a C compiler using the CC environment variable."
673          exit 1          exit 1
674      fi      fi
675  }  }
# Line 366  formatresults() Line 681  formatresults()
681      nm=$1      nm=$1
682      printf '%s %s %s %s' $2 $3 $4 $5      printf '%s %s %s %s' $2 $3 $4 $5
683      shift; shift; shift; shift; shift;      shift; shift; shift; shift; shift;
684      printf '%3s' $@      listPrt=$@
685        listRes=`echo $listPrt | sed 's/>//' | sed 's/<//'`
686        xx=`echo $listPrt | sed 's/.*>//' | sed 's/<.*//' | awk '{print $1}'`
687        printf '%3s' $listPrt
688    #   line below does not work on hp-ux_ia64 : do those substitutions later on
689    #   printf '%3s' $listPrt | sed 's/ 99/ --/g' | sed 's/  > />/' | sed 's/  < /</'
690            
691      if [ $1 = '--' ]; then      if [ $xx = '..' ]; then
692            printf ' N/O '
693        elif [ $xx = '--' ]; then
694            printf ' N/O '
695        elif [ $xx = 99 ]; then
696          printf ' N/O '          printf ' N/O '
697      else      else
698          if [ $1 -gt 12 ]; then          if [ $xx -ge $MATCH_CRIT ]; then
699              printf ' pass'              printf ' pass'
700          else          else
701              printf ' FAIL'              printf ' FAIL'
# Line 382  formatresults() Line 706  formatresults()
706            
707  }  }
708    
 show_help()  
 {  
     cat - << EOF  
 $0 [-help] [-quick] [-verbose] dir1 [dir2] [...]  
   
  -help|-h      Show this help message  
  -quiet     Reduce the amount of output  
  -verbose   Produce copious amounts of output  
  -debug     Produce even more output which will mean nothing to most  
  -force     Do "make CLEAN" before compiling. This forces a complete rebuild.  
  -clean     Do "make CLEAN" after compiling and testing.  
  -cleanup   Aggresively removes all model output, executables and object files  
             and then exits. Use with care.  
   
 Normal usage:  
  $0 *       Configure, compile, run and analyze in all experiment directories  
 EOF  
 }  
   
709  scandirs()  scandirs()
710  {  {
711      if [ $# -eq 0 ]; then      if [ $# -eq 1 ]; then
712          for arg in * ; do          for arg in * ; do
713              test -d $arg/input && echo $arg              test -d $arg/$1 && echo $arg
714          done          done
715      else      else
716          echo $*          echo $*
717      fi      fi
718  }  }
719    
720    
721  ###############################################################################  ###############################################################################
 ###############################################################################  
 ###############################################################################  
722    
723    
724  #  Default properties  #  Default properties
# Line 425  clean=0 Line 728  clean=0
728  expts=''  expts=''
729  # ieee=1  # ieee=1
730    
731  IEEE=  IEEE=true
732  if test "x$MITGCM_IEEE" != x ; then  if test "x$MITGCM_IEEE" != x ; then
733      IEEE=$MITGCM_IEEE      IEEE=$MITGCM_IEEE
734  fi  fi
# Line 436  QUICK=f Line 739  QUICK=f
739  NOGENMAKE=f  NOGENMAKE=f
740  NOCLEAN=f  NOCLEAN=f
741  NODEPEND=f  NODEPEND=f
742    POSTCLEAN=f
743    
744  BASH=  BASH=
745  OPTFILE=NONE  OPTFILE=NONE
746  ADDRESSES=  ADDRESSES=
747  TESTDIRS=  TESTDIRS=
748    SKIPDIRS=
749  MPACKDIR="../tools/mpack-1.6"  MPACKDIR="../tools/mpack-1.6"
750    HAVE_MPACK=
751  MPACK="$MPACKDIR/mpack"  MPACK="$MPACKDIR/mpack"
752  COMMAND="make output.txt"  COMMAND=
753  MAKE=make  if test "x$MAKE" = x ; then
754        MAKE=make
755    fi
756    if test "x$CC" = x ; then
757        CC=cc
758    fi
759    JOBS=
760  MPI=f  MPI=f
761    MULTI_THREAD=f
762    OUTDIR=
763    DELDIR=
764    
765    ADM=
766    
767  echo -n "parsing options...  "  # Additional monitor types
768    PTRACERS_NUM="1 2 3 4 5"
769    
770    MATCH_CRIT=13
771    
772    printf "parsing options...  "
773    
774  ac_prev=  ac_prev=
775  for ac_option ; do  for ac_option ; do
# Line 481  for ac_option ; do Line 803  for ac_option ; do
803          -tdir=* | --tdir=*)          -tdir=* | --tdir=*)
804              TESTDIRS=$ac_optarg ;;              TESTDIRS=$ac_optarg ;;
805    
806            -skipdir | --skipdir | -skd | --skd)
807                ac_prev=SKIPDIRS ;;
808            -skipdir=* | --skipdir=*)
809                SKIPDIRS=$ac_optarg ;;
810    
811          -bash | --bash | -b | --b)          -bash | --bash | -b | --b)
812              ac_prev=BASH ;;              ac_prev=BASH ;;
813          -bash=* | --bash=*)          -bash=* | --bash=*)
# Line 496  for ac_option ; do Line 823  for ac_option ; do
823          -make=* | --make=*)          -make=* | --make=*)
824              MAKE=$ac_optarg ;;              MAKE=$ac_optarg ;;
825    
826            -odir | --odir)
827                ac_prev=OUTDIR ;;
828            -odir=* | --odir=*)
829                OUTDIR=$ac_optarg ;;
830    
831            -ptracers | --ptracers | -ptr | --ptr)
832                ac_prev=PTRACERS_NUM ;;
833            -ptracers=* | --ptracers=* | -ptr=* | --ptr=*)
834                PTRACERS_NUM=$ac_optarg ;;
835    
836            -match | --match ) ac_prev=MATCH_CRIT ;;
837            -match=* | --match=* ) MATCH_CRIT=$ac_optarg ;;
838    
839            -j) ac_prev=JOBS ;;
840            -j=*) JOBS=$ac_optarg ;;
841    
842          -clean | --clean)          -clean | --clean)
843              CLEANUP=t ;;              CLEANUP=t ; DELDIR=t ;;
844    
845          -quick | --quick | -q | --q)          -quick | --quick | -q | --q)
846              QUICK=t ;;              QUICK=t ;;
# Line 508  for ac_option ; do Line 851  for ac_option ; do
851          -nodepend | --nodepend | -nd | --nd)          -nodepend | --nodepend | -nd | --nd)
852              NODEPEND=t ;;              NODEPEND=t ;;
853    
854          -mpi) MPI=true ;;          -postclean | --postclean | -pc | --pc)
855                POSTCLEAN=t ;;
856    
857            -mpi) MPI=t ;;
858    
859            -mth) MULTI_THREAD=t ;;
860    
861            -adm | -ad) ADM=t ;;
862    
863          -ieee) IEEE=true ;;          -ieee) IEEE=true ;;
864          -noieee) IEEE= ;;          -noieee) IEEE= ;;
# Line 517  for ac_option ; do Line 867  for ac_option ; do
867          -debug) debug=1 ;;          -debug) debug=1 ;;
868          -quiet) verbose=0 ;;          -quiet) verbose=0 ;;
869    
870            -deldir | -dd) DELDIR=t ;;
871    
872            -ts) TS=t;;
873    
874            -papis) PAPIS=t;;
875    
876            -pcls) PCL=t;;
877    
878          -*)          -*)
879              echo "Error: unrecognized option: "$ac_option              echo "Error: unrecognized option: "$ac_option
880              usage              usage
# Line 538  if test "x$QUICK" = xt ; then Line 896  if test "x$QUICK" = xt ; then
896  fi  fi
897    
898  if test "x$TESTDIRS" = x ; then  if test "x$TESTDIRS" = x ; then
899      TESTDIRS=`scandirs`      if test "x$ADM" = xt ; then
900            LIST=`scandirs results_ad`
901        else
902            LIST=`scandirs results`
903        fi
904    else
905        #- expand group of experiments:
906        LIST=" "
907        for xx in $TESTDIRS
908        do
909          case $xx in
910            'basic') LIST=${LIST}" aim.5l_cs hs94.128x64x5 ideal_2D_oce"
911                     LIST=${LIST}" lab_sea tutorial_baroclinic_gyre"
912                     LIST=${LIST}" tutorial_global_oce_latlon tutorial_plume_on_slope"
913                    ;;
914            'tutorials')
915                     LIST=${LIST}" "`ls | grep 'tutorial_'` ;;
916            *)       LIST=${LIST}" "$xx ;;
917          esac
918        done
919  fi  fi
920    #echo 'LIST='${LIST}'<'
921    #- skip dirs, remove duplicate and non-directory:
922    TESTDIRS=" "
923    count=0
924    for xx in $LIST
925    do
926        yy=`echo $SKIPDIRS | grep -c $xx`
927        if test $yy = 0 ; then
928            if test -d $xx ; then
929                yy=`echo $TESTDIRS | grep -c $xx`
930                if test $yy = 0 ; then TESTDIRS=${TESTDIRS}" "$xx ; fi
931            else count=1 ;
932                echo ""; echo -n " -- skip \"$xx\" (not a directory !)"
933            fi
934        else
935            if test $count = 1 ; then echo -n ", \"$xx\""
936            else count=1 ; echo "" ;  echo -n " skip: \"$xx\""
937            fi
938        fi
939    done
940    if test $count = 1 ; then echo "" ; echo -n " ... " ; fi
941    #echo 'TESTDIRS='${TESTDIRS}'<'
942    
943  if test "x$OPTFILE" = xNONE -a "x$MITGCM_OF" != x ; then  if test "x$OPTFILE" = xNONE -a "x$MITGCM_OF" != x ; then
944      OPTFILE=$MITGCM_OF      OPTFILE=$MITGCM_OF
945  fi  fi
946    
947  echo "OK"  if test "x$ADM" = xt ; then
948        EXECUTABLE="mitgcmuv_ad"
949        OUTPUTFILE="output_adm.txt"
950    else
951        EXECUTABLE="mitgcmuv"
952        OUTPUTFILE="output.txt"
953    fi
954    
955    if test "x$COMMAND" = x ; then
956        COMMAND="./$EXECUTABLE > $OUTPUTFILE"
957    fi
958    if test "x$MPI" = xt ; then
959        OUTPUTFILE="STDOUT.0000"
960    fi
961    
962    #echo "OK"
963    echo "OK (COMMAND= $COMMAND )"
964    
965    # set the Default List of output variables to be checked:
966    #  (use default or load experiment-specific list from file "tr_checklist")
967    # content : 1rst = main variable used to decide if it pass or FAIL
968    #         others = number of matching digits to be printed in summary.txt
969    if test "x$ADM" != xt ; then
970        DEF_CHECK_LIST='PS PS T+ S+ U+ V+ pt1+ pt2+ pt3+ pt4+ pt5+'
971        EMPTY_RESULTS='.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..'
972        LEN_CHECK_LIST=`echo $DEF_CHECK_LIST | sed 's/ [a-zA-Z0-9]*+/&mn &mx &av &sd/g' | awk '{print NF-1}'`
973        ii=`echo $EMPTY_RESULTS | awk '{print NF}'`
974        EMPTY_RESULTS=$EMPTY_RESULTS`expr $LEN_CHECK_LIST - $ii | awk 'BEGIN{FS=":"}{for(i=1;i<=$1;i++){printf "  ."}}'`
975    fi
976    
977  #  create the FORTRAN comparison code  #  create the FORTRAN comparison code
978  createcodelet  createcodelet
979    
980  #  build the mpack utility  #  build the mpack utility
981  build_mpack  if test "x$ADDRESSES" = xNONE -o "x$ADDRESSES" = x ; then
982        echo "skipping mpack build"
983    else
984        build_mpack
985    fi
986    
987  #  Create a uniquely named directory to store results  #  Create a uniquely named directory to store results
988  MACH=`hostname`  MACH=`hostname`
989  UNAMEA=`uname -a`  UNAMEA=`uname -a`
990  DATE=`date +%Y%m%d`  DATE=`date +%Y%m%d`
991  BASE=$MACH"_"$DATE"_"  BASE="tr_"$MACH"_"$DATE"_"
992    if test "x$OUTDIR" != x ; then
993        BASE="tr_"$OUTDIR"_"$DATE"_"
994    fi
995  DNUM=0  DNUM=0
996  DRESULTS="$BASE$DNUM"  DRESULTS="$BASE$DNUM"
997  while test -e $DRESULTS ; do  while test -e $DRESULTS ; do
# Line 567  done Line 1001  done
1001  mkdir $DRESULTS  mkdir $DRESULTS
1002  RETVAL=$?  RETVAL=$?
1003  if test "x$RETVAL" != x0 ; then  if test "x$RETVAL" != x0 ; then
1004      echo "Error: can't create results directory \"./$DRESULTS\""      echo "ERROR: Can't create results directory \"./$DRESULTS\""
1005      exit 1      exit 1
1006  fi  fi
1007  SUMMARY="$DRESULTS/summary.txt"  SUMMARY="$DRESULTS/summary.txt"
1008  date > $SUMMARY  printf "Start time:  " >> $SUMMARY
1009  cat << EOF >> $SUMMARY  start_date=`date`
1010                  T           S           U           V  echo $start_date > $SUMMARY
 G D M    c        m  s        m  s        m  s        m  s  
 E p a R  g  m  m  e  .  m  m  e  .  m  m  e  .  m  m  e  .  
 N n k u  2  i  a  a  d  i  a  a  d  i  a  a  d  i  a  a  d  
 2 d e n  d  n  x  n  .  n  x  n  .  n  x  n  .  n  x  n  .  
   
 EOF  
   
 NDIR=0  
1011    
1012    of_path=
1013  if test "x$OPTFILE" != xNONE ; then  if test "x$OPTFILE" != xNONE ; then
1014      if test -r $OPTFILE ; then      if test -r $OPTFILE ; then
1015          OPTFILE=`pwd`"/$OPTFILE"          # get the path
1016            path=${OPTFILE%/*}
1017            if test "x$path" = x ; then
1018                of_path=`pwd`
1019            else
1020                of_path=`( cd $path > /dev/null 2>&1 ; pwd )`
1021            fi
1022            file=${OPTFILE##*/}
1023            OPTFILE=$of_path/$file
1024            cp $OPTFILE $DRESULTS
1025            echo >> $SUMMARY
1026            echo "  OPTFILE=$OPTFILE" >> $SUMMARY
1027        else
1028            echo | tee $SUMMARY
1029            echo "ERROR: can't read OPTFILE=\"$OPTFILE\"" | tee $SUMMARY
1030            exit 1
1031      fi      fi
1032    else
1033        echo >> $SUMMARY
1034        echo "No \"OPTFILE\" was explicitly specified by testreport," >> $SUMMARY
1035        echo "   so the genmake default will be used." >> $SUMMARY
1036  fi  fi
1037  echo  echo
 echo "OPTFILE=$OPTFILE" >> $SUMMARY  
1038  echo >> $SUMMARY  echo >> $SUMMARY
1039    if test "x$ADM" = x ; then
1040        if [ $MATCH_CRIT -lt 10 ] ;
1041        then line_0="default  "$MATCH_CRIT ;
1042        else line_0="default "$MATCH_CRIT ; fi
1043           line_0="$line_0  ----T-----  ----S-----  ----U-----  ----V-----"
1044    #   line_0="            ----T-----  ----S-----  ----U-----  ----V-----"
1045        line_1="G D M    c        m  s        m  s        m  s        m  s"
1046        line_2="E p a R  g  m  m  e  .  m  m  e  .  m  m  e  .  m  m  e  ."
1047        line_3="N n k u  2  i  a  a  d  i  a  a  d  i  a  a  d  i  a  a  d"
1048        line_4="2 d e n  d  n  x  n  .  n  x  n  .  n  x  n  .  n  x  n  ."
1049        for ii in $PTRACERS_NUM ; do
1050            #  tst=`eval 'echo $HAVE_PTR0'$ii`
1051            #  if test "x$tst" = xt ; then
1052            line_0="$line_0  --PTR 0"$ii"--"
1053            line_1="$line_1        m  s"
1054            line_2="$line_2  m  m  e  ."
1055            line_3="$line_3  i  a  a  d"
1056            line_4="$line_4  n  x  n  ."
1057            #  fi
1058        done
1059        echo "$line_0" | tee -a $SUMMARY
1060        echo "$line_1" | tee -a $SUMMARY
1061        echo "$line_2" | tee -a $SUMMARY
1062        echo "$line_3" | tee -a $SUMMARY
1063        echo "$line_4" | tee -a $SUMMARY
1064        echo " "       | tee -a $SUMMARY
1065    else
1066        echo "ADJOINT=true" >> $SUMMARY
1067        echo >> $SUMMARY
1068        cat << EOF | tee -a $SUMMARY
1069    G D M    C  G
1070    E p a R  o  r
1071    N n k u  s  a
1072    2 d e n  t  d
1073    
1074    EOF
1075    fi
1076    
1077  #  ...and each test directory...  #  ...and each test directory...
1078  for dir in $TESTDIRS ; do  for dir in $TESTDIRS ; do
# Line 598  for dir in $TESTDIRS ; do Line 1080  for dir in $TESTDIRS ; do
1080      #  Cleanup only!      #  Cleanup only!
1081      if test "x$CLEANUP" = xt ; then      if test "x$CLEANUP" = xt ; then
1082          if test -r $dir/build/Makefile ; then          if test -r $dir/build/Makefile ; then
1083                echo '  ------  clean dir:' $dir/build
1084              ( cd $dir/build ; make CLEAN )              ( cd $dir/build ; make CLEAN )
1085          fi          fi
1086          if test -r $dir/input/Makefile ; then          if test -d $dir/run/CVS ; then
1087              ( cd $dir/input ; make CLEAN )              echo '  ------  clean dir:' $dir/run
1088                run_clean $dir/run
1089          fi          fi
1090            (
1091                cd $dir
1092                rm -rf tr_run.*
1093            )
1094          continue          continue
1095      fi      fi
1096    
1097      #  Verify that the testdir exists and contains previous      #  Verify that the testdir exists and contains previous
1098      #  results in the correct location--or skip this directory!      #  results in the correct location--or skip this directory!
1099      if test ! -r $dir"/results/output.txt" ; then      fout=
1100          echo "can't read \"$dir/results/output.txt\" -- skipping $dir"      if test "x$ADM" = x ; then
1101            fout=$dir"/results/output.txt"
1102        else
1103            fout=$dir"/results_ad/output_adm.txt"
1104        fi
1105        if test ! -r $fout ; then
1106            echo "can't read \"$fout\" -- skipping $dir"
1107          continue          continue
1108      fi      fi
1109        if test "x$ADM" = x ; then
1110            check_for_add_mon_output  $fout
1111        fi
1112    
1113      echo "-------------------------------------------------------------------------------"      # Check for additional types of monitor output
     echo  
     echo "Experiment:  $dir"  
     echo  
     unset genmake makedepend make run  
     results='-- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --'  
1114    
1115      if [ -r $dir/build ]; then      builddir="build"
1116          seperatebuilddir=1      if test ! -d $dir/$builddir ; then mkdir $dir/$builddir ; fi
1117          builddir=build      rundir="run"
1118          rundir=build     #rundir=$builddir
1119          ( cd $dir/build; ln -sf ../input/* . )      if test ! -d $dir/$rundir ; then
1120      else          rundir=$builddir
         seperatebuilddir=0  
         builddir=input  
         rundir=input  
1121      fi      fi
1122            
1123      CODE_DIR=$dir/code      if test "x$ADM" = x ; then
1124            code_dir=code
1125            CODE_DIR=$dir/code
1126            input_dirs='input'
1127        else
1128            code_dir=code_ad
1129            CODE_DIR=$dir/code_ad
1130            input_dirs='input_ad input'
1131        fi
1132      BUILD_DIR=$dir/$builddir      BUILD_DIR=$dir/$builddir
     MPI_FILES="CPP_EEOPTIONS.h_mpi SIZE.h_mpi"  
     NOMPI_FILES="CPP_EEOPTIONS.h_nompi SIZE.h_nompi"  
1133    
1134      #  Is this an MPI run?      if test ! -r $CODE_DIR"/SIZE.h_mpi" -a "x$MPI" = "xt" ; then
1135      if test "x$MPI" = xt ; then          echo "can't find \"$CODE_DIR/SIZE.h_mpi\" -- skipping $dir"
1136          FILES=$MPI_FILES          continue
         endings="_mpi"  
     else  
         FILES=$NOMPI_FILES  
         endings="_nompi"  
1137      fi      fi
1138            if test ! -r $dir"/input/eedata.mth" -a "x$MULTI_THREAD" = "xt" ; then
1139      #  Check to see that we have the files          echo "can't find \"$dir/input/eedata.mth\" -- skipping $dir"
     have_files=t  
     for i in $FILES ; do  
         if test ! -r $CODE_DIR/$i ; then  
             echo "Warning: can't read file $CODE_DIR/$i"  
             have_files=f  
         fi  
     done  
     if test "x$have_files" != xt -a "x$MPI" = xt ; then  
         echo "Skipping $dir due to lack of input files (see above warning)"  
1140          continue          continue
1141      fi      fi
1142        
1143      #  If we have the $FILES and they differ, copy the $FILES to $BUILD_DIR      #  Check whether there are "extra runs" for this testdir
1144      if test "x$have_files" = xt ; then      extra_runs=
1145          for i in $FILES ; do      if test "x$ADM" = x ; then
1146              sstr="s|$endings||"          ex_run_dirs=`( cd $dir ; echo input.* )`
1147              name=`echo $i | sed -e $sstr `          #echo "ex_run_dirs='$ex_run_dirs'"
1148              cmp $CODE_DIR/$i $BUILD_DIR/$name > /dev/null 2>&1          for exd in $ex_run_dirs ; do
1149              RETVAL=$?              name=`echo $exd | sed -e 's/input.//g'`
1150              if test "x$RETVAL" != x0 ; then              outf="$dir/results/output.$name.txt"
1151                  cp $CODE_DIR/$i $BUILD_DIR/$name              if test -f $outf -a -r $outf ; then
1152                    if test "x$MULTI_THREAD" = "xt" ; then
1153                        if test -r $dir"/"$exd"/eedata.mth" ; then
1154                            extra_runs="$extra_runs $name"
1155                        #else echo $dir"/"$exd"/eedata.mth: not found"
1156                        fi
1157                    else
1158                        extra_runs="$extra_runs $name"
1159                    fi
1160              fi              fi
1161          done          done
1162      fi      fi
1163        
1164        echo "-------------------------------------------------------------------------------"
1165        echo
1166        if test "x$extra_runs" = "x" ; then
1167           echo "Experiment:  $dir"
1168        else
1169           echo "Experiment:  $dir ; extra_runs=$extra_runs"
1170        fi
1171        echo
1172        unset genmake makedepend make run
1173        results=$EMPTY_RESULTS
1174    
1175      #  Create an output dir for each OPTFILE/tdir combination      #  Create an output dir for each OPTFILE/tdir combination
1176      CDIR=$DRESULTS"/"$DRESULTS"_"$NDIR      rel_CDIR=$DRESULTS"/"$dir
1177      mkdir $CDIR      mkdir $rel_CDIR
1178      CDIR=`pwd`"/$CDIR"      CDIR=`pwd`"/$rel_CDIR"
1179            
1180      if test "x$CLEANUP" = xt ; then      if test "x$CLEANUP" = xt ; then
1181          makeclean $dir/$builddir          echo '====>>> this is to check that we never go through this part <<< ==='
1182            makeclean $dir/$builddir \
1183                && run_clean $dir/$rundir
1184      else      else
1185          genmakemodel $dir/$builddir && genmake=Y \          genmakemodel $dir/$builddir && genmake=Y \
1186              && makeclean $dir/$builddir \              && makeclean $dir/$builddir \
1187                && run_clean $dir/$rundir \
1188                && symlink_mpifiles $dir $code_dir $builddir \
1189              && makedependmodel $dir/$builddir && makedepend=Y \              && makedependmodel $dir/$builddir && makedepend=Y \
1190              && makemodel $dir/$builddir && make=Y \              && makemodel $dir/$builddir && make=Y \
1191              && linkdata $seperatebuilddir $dir/$rundir \              && linkdata $dir/$rundir $input_dirs \
1192              && runmodel $dir/$builddir && run=Y \              && runmodel $dir/$rundir && run=Y \
1193              && results=`testoutput $dir $rundir`              && results=`testoutput_run $dir $rundir "txt"`
1194      fi      fi
1195            
1196      echo      echo
1197      formatresults $dir ${genmake:-N} ${makedepend:-N} ${make:-N} \      if test "x$ADM" = x ; then
1198          ${run:-N} $results          fres=`formatresults $dir ${genmake:-N} ${makedepend:-N} ${make:-N} ${run:-N} $results`
1199      echo          echo
1200      formatresults $dir ${genmake:-N} ${makedepend:-N} ${make:-N} \          echo "$fres" | sed 's/ 99/ --/g' | sed 's/  > />/' | sed 's/  < /</' >> $SUMMARY
1201          ${run:-N} $results >> $SUMMARY          touch $CDIR"/summary.txt"
1202      echo "fresults='" > $CDIR"/summary.txt"          echo "fresults='$fres'" | sed 's/ 99/ --/g' >> $CDIR"/summary.txt"
1203      formatresults $dir ${genmake:-N} ${makedepend:-N} ${make:-N} \          echo "MACH='$MACH'" >> $CDIR"/summary.txt"
1204          ${run:-N} $results >> $CDIR"/summary.txt"          echo "UNAMEA='$UNAMEA'" >> $CDIR"/summary.txt"
1205      echo "'" >> $CDIR"/summary.txt"          echo "DATE='$DATE'" >> $CDIR"/summary.txt"
1206      echo "MACH='$MACH'" >> $CDIR"/summary.txt"          echo "tdir='$dir'" >> $CDIR"/summary.txt"
1207      echo "UNAMEA='$UNAMEA'" >> $CDIR"/summary.txt"  
1208      echo "DATE='$DATE'" >> $CDIR"/summary.txt"          for ex in $extra_runs ; do
1209      echo "tdir='$dir'" >> $CDIR"/summary.txt"              unset run
1210                results=$EMPTY_RESULTS
1211                #  Create an output dir for each OPTFILE/tdir.ex combination
1212                rel_CDIR=$DRESULTS"/"$dir"."$ex
1213                mkdir $rel_CDIR
1214                CDIR=`pwd`"/$rel_CDIR"
1215                test ! -e "$dir/tr_run.$ex" && mkdir "$dir/tr_run.$ex"
1216                run_clean $dir/tr_run.$ex
1217                linkdata $dir/tr_run.$ex input.$ex input
1218                runmodel $dir/tr_run.$ex && run=Y \
1219                    && results=`testoutput_run $dir tr_run.$ex ${ex}".txt"`
1220                fres=`formatresults $dir ${genmake:-N} ${makedepend:-N} ${make:-N} ${run:-N} $results`
1221                fres="$fres.$ex"
1222                echo
1223                echo "$fres" | sed 's/ 99/ --/g' | sed 's/  > />/' | sed 's/  < /</' >> $SUMMARY
1224                touch $CDIR"/summary.txt"
1225                echo "fresults='$fres'" | sed 's/ 99/ --/g' >> $CDIR"/summary.txt"
1226                echo "MACH='$MACH'" >> $CDIR"/summary.txt"
1227                echo "UNAMEA='$UNAMEA'" >> $CDIR"/summary.txt"
1228                echo "DATE='$DATE'" >> $CDIR"/summary.txt"
1229                echo "tdir='$dir.$ex'" >> $CDIR"/summary.txt"
1230                if test "x$POSTCLEAN" = xt ; then
1231                    run_clean $dir/tr_run.$ex
1232                fi
1233            done
1234        else
1235            fres=`printf '%s %s %s %s' ${genmake:-N} ${makedepend:-N} ${make:-N} ${run:-N}`
1236            fres=$fres"$results   $dir"
1237            echo
1238            echo "$fres" >> $SUMMARY
1239            touch $CDIR"/summary.txt"
1240            echo "fresults='$fres'" >> $CDIR"/summary.txt"
1241            echo "MACH='$MACH'" >> $CDIR"/summary.txt"
1242            echo "UNAMEA='$UNAMEA'" >> $CDIR"/summary.txt"
1243            echo "DATE='$DATE'" >> $CDIR"/summary.txt"
1244            echo "tdir='$dir'" >> $CDIR"/summary.txt"
1245            grep -A3 'Seconds in section "ALL' $dir/$rundir/$OUTPUTFILE \
1246                               >> $CDIR"/summary.txt"
1247        fi
1248    
1249        #postclean $dir/$builddir
1250        if test "x$POSTCLEAN" = xt ; then
1251            makeclean $dir/$builddir \
1252                && run_clean $dir/$rundir
1253        fi
1254            
1255      (      echo "-------------------------------------------------------------------------------"
         cd $DRESULTS  
         tar -cf $NDIR".tar" $DRESULTS"_"$NDIR > /dev/null 2>&1  
         gzip $NDIR".tar"  
     )  
1256            
1257      if test "x$ADDRESSES" = xNONE -o "x$ADDRESSES" = x ; then  done
1258          echo "No mail sent"  
1259      else  printf "Start time:  " >> $SUMMARY
1260          $MPACK -s MITgcm-test -m 1000000 $DRESULTS"/"$NDIR".tar.gz" $ADDRESSES  echo $start_date >> $SUMMARY
1261    printf "End time:    " >> $SUMMARY
1262    date >> $SUMMARY
1263    
1264    #  If addresses were supplied and mpack built successfully, then try
1265    #  to send email using mpack.
1266    if test "x$ADDRESSES" = xNONE -o "x$ADDRESSES" = x ; then
1267        echo "No results email was sent."
1268    else
1269        if test "x$HAVE_MPACK" = xt ; then
1270            tar -cf $DRESULTS".tar" $DRESULTS > /dev/null 2>&1 \
1271                && gzip $DRESULTS".tar" \
1272                && $MPACK -s MITgcm-test -m 3555000 $DRESULTS".tar.gz" $ADDRESSES
1273          RETVAL=$?          RETVAL=$?
1274          if test "x$RETVAL" != x0 ; then          if test "x$RETVAL" != x0 ; then
1275              echo "Warning: \"$MPACK\" failed -- please contact <edhill@mitgcm.org>"              echo
1276                echo "Warning: The tar, gzip, & mpack step failed.  Please send email"
1277                echo "  to <MITgcm-support@mitgcm.org> for help.  You may copy the "
1278                echo "  summary of results from the directory \"$DRESULTS\"."
1279                echo
1280          else          else
1281              rm -f $DRESULTS"/"$NDIR".tar*"              echo
1282                echo "An email containing results was sent to the following addresses:"
1283                echo "  \"$ADDRESSES\""
1284                echo
1285          fi          fi
1286            test -f $DRESULTS".tar"  &&  rm -f $DRESULTS".tar"
1287            test -f $DRESULTS".tar.gz"  &&  rm -f $DRESULTS".tar.gz"
1288      fi      fi
1289    fi
1290    
1291      echo "-------------------------------------------------------------------------------"  rm -f tr_cmpnum.c tr_cmpnum
       
     NDIR=$(( $NDIR + 1 ))  
       
 done  
1292    
1293  rm tmp_cmpnum.f a.out  if test "x$CLEANUP" != xt ; then
1294        cat $SUMMARY | sed 's/  \.  \.  \.  \.  \.  \.  \.  \.  \.  \.  \.  \.//'
1295        if test -e tr_out.txt ; then
1296            mv tr_out.txt tr_out.txt.old
1297        fi
1298        cat $SUMMARY | sed '/^[YN] [YN] [YN] [YN]/ s/  \.//g' > tr_out.txt
1299    fi
1300    
1301  cat $SUMMARY  if test "x$DELDIR" = xt ; then
1302        rm -rf $DRESULTS
1303    fi
1304    

Legend:
Removed from v.1.10  
changed lines
  Added in v.1.98

  ViewVC Help
Powered by ViewVC 1.1.22