/[MITgcm]/MITgcm/verification/testreport
ViewVC logotype

Diff of /MITgcm/verification/testreport

Parent Directory Parent Directory | Revision Log Revision Log | View Revision Graph Revision Graph | View Patch Patch

revision 1.10 by edhill, Thu Oct 9 04:19:20 2003 UTC revision 1.105 by jmc, Fri Oct 12 21:39:37 2007 UTC
# Line 1  Line 1 
1  #!/bin/bash  #! /usr/bin/env bash
2  #  #
3  #  $Header$  #  $Header$
4    #  $Name$
5  #  #
6    
7  usage()  usage()
# Line 10  usage() Line 11  usage()
11      echo      echo
12      echo "where possible OPTIONS are:"      echo "where possible OPTIONS are:"
13      echo "  (-help|-h)               print usage"      echo "  (-help|-h)               print usage"
14      echo "  (-mpi)                   use MPI input files"      echo "  (-mth)                   run multi threaded (using eedata.mth)"
15        echo "  (-mpi)                   compile and run using MPI"
16      echo "  (-ieee|-noieee)          if possible, use IEEE compiler flags"      echo "  (-ieee|-noieee)          if possible, use IEEE compiler flags"
17      echo "  (-optfile=|-of=)STRING   list of optfiles to use"      echo "                             (DEF=\"-ieee\")"
18      echo "  (-a|-addr)STRING         list of email recipients"      echo "  (-of=|-optfile=)STRING   list of optfiles to use"
19        echo "  (-a|-addr) STRING        list of email recipients"
20      echo "                             (DEF=\"edhill@mitgcm.org\")"      echo "                             (DEF=\"edhill@mitgcm.org\")"
21      echo "  (-t|-tdir)STRING         list of test dirs to use"      echo "  (-t|-tdir) STRING        list of group and/or exp. dirs to test"
22      echo "                             (DEF=\"\" which builds all)"      echo "                             (recognized groups: basic, tutorials)"
23      echo "  (-b|-bash)STRING         location of \"bash\" executable"      echo "                             (DEF=\"\" which test all)"
24      echo "                             (DEF=\"\" for \"/bin/bash\")"      echo "  (-skd|-skipdir) STRING   list of exp. dirs to skip"
25      echo "  (-command)STRING         command to run"      echo "                             (DEF=\"\" which test all)"
26        echo "  (-b|-bash) STRING        preferred location of a \"bash\" or"
27        echo "                             Bourne-compatible \"sh\" shell"
28        echo "                             (DEF=\"\" for \"bash\")"
29        echo "  (-adm|-ad)               perform an adjoint run"
30        echo "  (-command) STRING        command to run"
31      echo "                             (DEF=\"make output.txt\")"      echo "                             (DEF=\"make output.txt\")"
32      echo "  (-m|-make)STRING         command to use for \"make\""      echo "  (-m|-make) STRING        command to use for \"make\""
33      echo "                             (DEF=\"make\")"      echo "                             (DEF=\"make\")"
34        echo "  (-odir) STRING           used to build output directory name"
35        echo "                             (DEF=\"hostname\")"
36        echo "  (-ptr|-ptracers) STRING  specify which ptracers to test"
37        echo "                             (DEF=\"1 2 3 4 5\")"
38        echo "  (-match) NUMBER          Matching Criteria (number of digits)"
39        echo "                             (DEF=\"12\")"
40        echo "  (-j) JOBS                use \"make -j JOBS\" for parallel builds"
41      echo "  (-clean)                 *ONLY* run \"make CLEAN\""      echo "  (-clean)                 *ONLY* run \"make CLEAN\""
42      echo "  (-quick|-q)              same as \"-nogenmake -noclean -nodepend\""      echo "  (-quick|-q)              same as \"-nogenmake -noclean -nodepend\""
43      echo "  (-nogenmake|-ng)         skip the genmake stage"      echo "  (-nogenmake|-ng)         skip the genmake stage"
44      echo "  (-noclean|-nc)           skip the \"make clean\" stage"      echo "  (-noclean|-nc)           skip the \"make clean\" stage"
45      echo "  (-nodepend|-nd)          skip the \"make depend\" stage"      echo "  (-nodepend|-nd)          skip the \"make depend\" stage"
46        echo "  (-deldir|-dd)            on success, delete the output directory"
47        echo "  (-ts)                    provide timing information per timestep"
48        echo "  (-papis)                 provide MFlop/s per timestep using PAPI"
49        echo "  (-pcls)                  provide MFlop/s per timestep using PCL"
50      echo      echo
51      echo "and where STRING follows a whitespace-delimited format"      echo "and where STRING can be a whitespace-delimited list"
52      echo "such as:"      echo "such as:"
53        echo
54      echo "  -t 'exp0 exp2 exp3' "      echo "  -t 'exp0 exp2 exp3' "
55      echo "  -addr='abc@123.com testing@home.org'"      echo "  -addr='abc@123.com testing@home.org'"
56      echo      echo
57        echo "provided that the expression is properly quoted within the current"
58        echo "shell (note the use of single quotes to protect white space)."
59        echo
60      exit 1      exit 1
61  }  }
62    
63  #  build the mpack utility  #  build the mpack utility
64  build_mpack()  build_mpack()
65  {  {
66      echo -n "building the mpack utility...  "      printf "building the mpack utility...  "
67      if test ! -x "$MPACKDIR/mpack" ; then      if test ! -x "$MPACKDIR/mpack" ; then
68          if test ! -d $MPACKDIR ; then          if test ! -d $MPACKDIR ; then
69                echo
70              echo "Error: can't find \"$MPACKDIR\""              echo "Error: can't find \"$MPACKDIR\""
71              echo "  are you sure this program is being run in the correct "              echo "  are you sure this program is being run in the correct "
72              echo "  (that is, \"MITGCM_ROOT\verification\") directory?"              echo "  (that is, \"MITGCM_ROOT\verification\") directory?"
73              exit 1              echo
74                HAVE_MPACK=f
75          fi          fi
76          echo -n "building mpack...  "          printf "building mpack...  "
77          ( cd $MPACKDIR && ./configure && $MAKE ) > build_mpack.out 2>&1          if test "x$CC" = x ; then
78                export CC=cc
79            fi
80            ( cd $MPACKDIR && ./configure && $MAKE ) > tr_build_mpack.out 2>&1
81          RETVAL=$?          RETVAL=$?
82          if test "x$RETVAL" != x0 ; then          if test "x$RETVAL" != x0 ; then
83              echo              echo
84              echo "Error building the mpack tools at: $MPACK_DIR"              echo "Error building the mpack tools at: $MPACK_DIR"
85              exit 1              echo
86                HAVE_MPACK=f
87            else
88                rm -f tr_build_mpack.out
89                HAVE_MPACK=t
90          fi          fi
91        else
92            HAVE_MPACK=t
93      fi      fi
94      echo "OK"      echo "OK"
95  }  }
96    
97  compare_lines()  testoutput_var()
 {  
     # use codelet to compare lines  
     if [ $verbose -gt 1 ]; then  
         cat tmp3.txt 1>&2  
     fi  
     return `./a.out < tmp3.txt`  
 }  
   
 testoutput_for_prop()  
98  {  {
99      # testoutput_for_prop dir s1 label subdir      # testoutput_var dir s1 label subdir reference_output
100      #      #
101      #  compares files in $dir/$subdir/output.txt and $dir/results/output.txt      #  compares 1 variable output selected from file $dir/$subdir/$OUTPUTFILE
102      #  using search strings s1 and text label      #     with same output from reference file $dir/results/$reference_output
103        #  using search strings s1 and text label
104    
105      if [ $debug -gt 0 ]; then      if [ $debug -gt 0 ]; then
106          echo testoutput_for_prop: grep "$2" $1/$4/output.txt 1>&2          echo testoutput_var: grep "$2" $1/$4/$OUTPUTFILE 1>&2
107      fi      fi
108      if [ -r $1/$4/output.txt ]; then      if [ -r $1/$4/$OUTPUTFILE ]; then
109          grep "$2" $1/$4/output.txt | sed 's/.*=//' | nl > tmp1.txt          grep "$2" $1/$4/$OUTPUTFILE | sed 's/.*=//' | cat -n > tmp1.txt
110          lncnt=`wc -l tmp1.txt | awk '{print $1}' `          lncntA=`wc -l tmp1.txt | awk '{print $1}' `
111          if [ $lncnt -lt 3 ]; then          if [ $lncntA -lt 2 ]; then
112              if [ $verbose -gt 0 ]; then              if [ $verbose -gt 0 ]; then
113                  echo Not enough lines of output when searching for "$2" 1>&2                  echo Not enough lines of output when searching for "$2" 1>&2
114              fi              fi
115              return 99              return 99
116          fi          fi
117      else      else
118          echo testoutput_for_prop: output.txt from model run was not readable 1>&2          echo testoutput_var: $OUTPUTFILE from model run was not readable 1>&2
119          return 99          return 99
120      fi      fi
121      if [ $debug -gt 0 ]; then      if [ $debug -gt 0 ]; then
122          echo testoutput_for_prop: grep "$2" $1/results/output.txt 1>&2          echo testoutput_var: grep "$2" $1/results/$5 1>&2
123      fi      fi
124      grep "$2" $1/results/output.txt | sed 's/.*=//' | nl > tmp2.txt      grep "$2" $1/results/$5 | sed 's/.*=//' | cat -n > tmp2.txt
125      lncnt=`wc -l tmp2.txt | awk '{print $1}' `      lncntB=`wc -l tmp2.txt | awk '{print $1}' `
126      if [ $lncnt -lt 3 ]; then      if [ $lncntB -lt 2 ]; then
127          if [ $verbose -gt 0 ]; then          if [ $verbose -gt 0 ]; then
128              echo Not enough lines of output when searching for "$2" 1>&2              echo Not enough lines of output when searching for "$2" 1>&2
129          fi          fi
130          return 99          return 99
131      fi      fi
132        if [ $lncntA -ne $lncntB ]; then
133            if [ $verbose -gt 0 ]; then
134                echo Not same Nb of lines when searching for "$2" ":" $lncntA $lncntB 1>&2
135            fi
136            return 99
137        fi
138        has_nan=`cat tmp1.txt | grep -i nan | wc -l`
139        if [ $has_nan -gt 0  ] ; then
140            echo testoutput_var: $OUTPUTFILE contains $has_nan NaN values  1>&2
141            return 99
142        fi
143        has_inf=`cat tmp1.txt | grep -i inf | wc -l`
144        if [ $has_inf -gt 0  ] ; then
145            echo testoutput_var: $OUTPUTFILE contains $has_inf Inf values  1>&2
146            return 99
147        fi
148      if [ $debug -gt 0 ]; then      if [ $debug -gt 0 ]; then
149          echo testoutput_for_prop: join tmp1.txt tmp2.txt 1>&2          echo testoutput_var: join tmp1.txt tmp2.txt 1>&2
150      fi      fi
151      join tmp1.txt tmp2.txt | awk '{print $1 " " $2 " " $3}' > tmp3.txt      join tmp1.txt tmp2.txt | awk '{print $1 " " $2 " " $3}' > tmp3.txt
152      if [ $debug -gt 0 ]; then      if [ $debug -gt 0 ]; then
153          echo testoutput_for_prop: compare_lines 1>&2          echo testoutput_var: compare_lines 1>&2
154      fi      fi
155      compare_lines      if [ $verbose -gt 1 ]; then
156      digits_of_similarity=$?          cat tmp3.txt 1>&2
157        fi
158        echo "-1" >> tmp3.txt
159        # On the SGI O3K (*not* the O2K), "cat -n" inserts a ":" after the line number
160        cat tmp3.txt | sed -e 's|:||g' > tmp4.txt
161        digits_of_similarity=`./tr_cmpnum < tmp4.txt`
162      if [ $digits_of_similarity -eq 99 ]; then      if [ $digits_of_similarity -eq 99 ]; then
163          if [ $verbose -gt 0 ]; then          if [ $verbose -gt 0 ]; then
164              echo testoutput_for_prop: No comparison was available for \"$2\" 1>&2              echo testoutput_var: No comparison was available for \"$3\" 1>&2
165          fi          fi
166          digits_of_similarity=99          digits_of_similarity=99
167      else      else
168          if [ $verbose -gt 0 ]; then          if [ $verbose -gt 0 ]; then
169              echo There were $digits_of_similarity decimal places of similarity for \"$2\" 1>&2              echo There were $digits_of_similarity decimal places of similarity for \"$3\" 1>&2
170          fi          fi
171      fi      fi
172      rm tmp1.txt tmp2.txt tmp3.txt      rm -f tmp1.txt tmp2.txt tmp3.txt tmp4.txt
173            
174      return $digits_of_similarity      return $digits_of_similarity
175  }  }
# Line 142  dashnum() Line 189  dashnum()
189      done      done
190  }  }
191    
192  testoutput()  check_for_add_mon_output()
193  {  {
194      # testoutput diretory subdir      # Check for additional types of monitor output
195      #      if test "x$1" = x ; then
196      #  test output in "directory"          return
   
     if [ $debug -gt 0 ]; then  
         echo testoutput: testoutput_for_prop $1 cg2d_init_res 1>&2  
     fi  
     testoutput_for_prop $1 "cg2d_init_res" "cg2d init. residual" $2; cg2dres=$?  
     if [ $debug -gt 0 ]; then  
         echo testoutput: cg2dres=$cg2dres 1>&2  
197      fi      fi
198        
199      testoutput_for_prop $1 "dynstat_theta_min" "theta minimum" $2; tmin=$?      for ii in $PTRACERS_NUM ; do
200      testoutput_for_prop $1 "dynstat_theta_max" "theta maximum" $2; tmax=$?          eval "HAVE_PTR0"$ii"=f"
201      testoutput_for_prop $1 "dynstat_theta_mean" "theta mean" $2; tmean=$?      done
202      testoutput_for_prop $1 "dynstat_theta_sd" "theta s.d." $2; tsd=$?  
203      testoutput_for_prop $1 "dynstat_salt_min" "salt minimum" $2; smin=$?      ptr_add="trcstat_ptracerXX_min trcstat_ptracerXX_max"
204      testoutput_for_prop $1 "dynstat_salt_max" "salt maximum" $2; smax=$?      ptr_add="$ptr_add trcstat_ptracerXX_mean trcstat_ptracerXX_sd"
205      testoutput_for_prop $1 "dynstat_salt_mean" "salt mean" $2; smean=$?      for ii in $PTRACERS_NUM ; do
206      testoutput_for_prop $1 "dynstat_salt_sd" "salt s.d." $2; ssd=$?          for jj in $ptr_add ; do
207      testoutput_for_prop $1 "dynstat_uvel_min" "U minimum" $2; umin=$?              name=`eval "echo $jj | sed -e 's|XX|0"$ii"|g'"`
208      testoutput_for_prop $1 "dynstat_uvel_max" "U maximum" $2; umax=$?              tst=`grep $name $1 | wc -l | awk '{print $1}'`
209      testoutput_for_prop $1 "dynstat_uvel_mean" "U mean" $2; umean=$?              if test ! "x$tst" = x0 ; then
210      testoutput_for_prop $1 "dynstat_uvel_sd" "U s.d." $2; usd=$?                  eval "HAVE_PTR0"$ii"=t"
211      testoutput_for_prop $1 "dynstat_vvel_min" "V minimum" $2; vmin=$?              fi
212      testoutput_for_prop $1 "dynstat_vvel_max" "V maximum" $2; vmax=$?          done
213      testoutput_for_prop $1 "dynstat_vvel_mean" "V mean" $2; vmean=$?          #  eval 'echo "HAVE_PTR0'$ii' = $HAVE_PTR0'$ii'"'
214      testoutput_for_prop $1 "dynstat_vvel_sd" "V s.d." $2; vsd=$?      done
215        }
216      dashnum $cg2dres $tmin $tmax $tmean $tsd $smin $smax $smean $ssd \  
217          $umin $umax $umean $usd $vmin $vmax $vmean $vsd  testoutput_run()
218    {
219        # testoutput_run directory subdir reference_output
220        #
221        #  test output from 1 run in "directory"
222    # --> same processing for adjoint & forward test
223            # default list of output variables to be checked:
224            #  1rst : main variable used to decide if it pass or FAIL
225            #  others : number of matching digits to be printed in summary.txt
226            listChk=$DEF_CHECK_LIST
227            #  load experiment-specific list from file "tr_checklist" (if it exist)
228            if test -r $1/$2/tr_checklist ; then listChk=`cat $1/$2/tr_checklist` ; fi
229            sVar=`echo $listChk | awk '{print $1}'`
230            # remove 1rst var and expand the list: + => min max mean s.d
231            listVar=`echo $listChk | sed 's/ [a-zA-Z0-9]*+/&mn &mx &av &sd/g' \
232                                   | sed 's/+//g' | sed "s/^$sVar//"`
233            if [ $debug -gt 0 ]; then echo "testoutput_run: listVar(I)='$listVar'" 1>&2 ; fi
234            for ii in 1 2 3 4 5 6 7 8 9 ; do
235              tst=`eval 'echo "$HAVE_PTR0'$ii'"'`
236             #echo "-- ptr test=" $tst "number of var=" `echo $listVar | awk '{print NF}'` 1>&2
237              if test "x$tst" != xt ; then listVar=`echo "$listVar" | sed "s/ pt$ii..//g"` ; fi
238            done
239            tst=`echo $sVar $listVar | awk '{ for(i=2;i<=NF;i++){t+=($i==$1)}; print t }'`
240            if test $tst != 1 ; then
241              if test $tst = 0 ; then echo "==> WARNING: selected var >$sVar< not found" 1>&2
242                     else echo "==> WARNING: found selected var >$sVar< $tst times" 1>&2 ; fi
243              echo "==> WARNING: in checked list:" $listVar 1>&2
244            #- put it back once:
245              listVar=" $sVar "`echo "$listVar " | sed "s/ $sVar / /g"`
246            fi
247            if [ $debug -gt 0 ]; then echo "testoutput_run: listVar(M)='$listVar'" 1>&2 ; fi
248            echo "listVar='$listVar'" > $CDIR"/summary.txt"
249            allargs=""
250            for xx in $listVar
251            do
252              case $xx in
253               'PS')  if [ $debug -gt 0 ]
254                      then echo testoutput_run: testoutput_var $1 cg2d_init_res 1>&2 ; fi
255                      testoutput_var $1 "cg2d_init_res" "Press. Solver (cg2d)" $2 $3; yy=$?
256                      if [ $debug -gt 0 ] ; then echo testoutput_run: cg2dres=$yy 1>&2 ; fi ;;
257              'Cost') testoutput_var $1 "ADM  precision_derivative_cost" "ADM Cost" $2 $3; yy=$? ;;
258              'Grad') testoutput_var $1 "ADM  precision_derivative_grad" "ADM Grad" $2 $3; yy=$? ;;
259               'Tmn') testoutput_var $1 "dynstat_theta_min"  "Theta minimum"  $2 $3; yy=$? ;;
260               'Tmx') testoutput_var $1 "dynstat_theta_max"  "Theta maximum"  $2 $3; yy=$? ;;
261               'Tav') testoutput_var $1 "dynstat_theta_mean" "Theta mean"     $2 $3; yy=$? ;;
262               'Tsd') testoutput_var $1 "dynstat_theta_sd"   "Theta Std.Dev"  $2 $3; yy=$? ;;
263               'Smn') testoutput_var $1 "dynstat_salt_min"  "Salt minimum"    $2 $3; yy=$? ;;
264               'Smx') testoutput_var $1 "dynstat_salt_max"  "Salt maximum"    $2 $3; yy=$? ;;
265               'Sav') testoutput_var $1 "dynstat_salt_mean" "Salt mean"       $2 $3; yy=$? ;;
266               'Ssd') testoutput_var $1 "dynstat_salt_sd"   "Salt Std.Dev"    $2 $3; yy=$? ;;
267               'Umn') testoutput_var $1 "dynstat_uvel_min"  "U minimum"       $2 $3; yy=$? ;;
268               'Umx') testoutput_var $1 "dynstat_uvel_max"  "U maximum"       $2 $3; yy=$? ;;
269               'Uav') testoutput_var $1 "dynstat_uvel_mean" "U mean"          $2 $3; yy=$? ;;
270               'Usd') testoutput_var $1 "dynstat_uvel_sd"   "U Std.Dev"       $2 $3; yy=$? ;;
271               'Vmn') testoutput_var $1 "dynstat_vvel_min"  "V minimum"       $2 $3; yy=$? ;;
272               'Vmx') testoutput_var $1 "dynstat_vvel_max"  "V maximum"       $2 $3; yy=$? ;;
273               'Vav') testoutput_var $1 "dynstat_vvel_mean" "V mean"          $2 $3; yy=$? ;;
274               'Vsd') testoutput_var $1 "dynstat_vvel_sd"   "V Std.Dev"       $2 $3; yy=$? ;;
275            'pt1mn'|'pt2mn'|'pt3mn'|'pt4mn'|'pt5mn') ii=`echo $xx | sed 's/pt//' | sed 's/..$//'`
276               testoutput_var $1 "trcstat_ptracer0"$ii"_min"  "p0"$ii"_min"   $2 $3; yy=$? ;;
277            'pt1mx'|'pt2mx'|'pt3mx'|'pt4mx'|'pt5mx') ii=`echo $xx | sed 's/pt//' | sed 's/..$//'`
278               testoutput_var $1 "trcstat_ptracer0"$ii"_max"  "p0"$ii"_max"   $2 $3; yy=$? ;;
279            'pt1av'|'pt2av'|'pt3av'|'pt4av'|'pt5av') ii=`echo $xx | sed 's/pt//' | sed 's/..$//'`
280               testoutput_var $1 "trcstat_ptracer0"$ii"_mean" "p0"$ii"_mean" $2 $3; yy=$? ;;
281            'pt1sd'|'pt2sd'|'pt3sd'|'pt4sd'|'pt5sd') ii=`echo $xx | sed 's/pt//' | sed 's/..$//'`
282               testoutput_var $1 "trcstat_ptracer0"$ii"_sd"   "p0"$ii"_StDv"  $2 $3; yy=$? ;;
283             'Qntmn') testoutput_var $1 "extforcing_qnet_min" "Qnet minimum"  $2 $3; yy=$? ;;
284             'Qntmx') testoutput_var $1 "extforcing_qnet_max" "Qnet maximum"  $2 $3; yy=$? ;;
285             'Qntav') testoutput_var $1 "extforcing_qnet_mean" "Qnet mean"    $2 $3; yy=$? ;;
286             'Qntsd') testoutput_var $1 "extforcing_qnet_sd"  "Qnet Std.Dev"  $2 $3; yy=$? ;;
287             'aSImn') testoutput_var $1 "seaice_area_min"   "SIce Area min"   $2 $3; yy=$? ;;
288             'aSImx') testoutput_var $1 "seaice_area_max"   "SIce Area max"   $2 $3; yy=$? ;;
289             'aSIav') testoutput_var $1 "seaice_area_mean"  "SIce Area mean"  $2 $3; yy=$? ;;
290             'aSIsd') testoutput_var $1 "seaice_area_sd"    "SIce Area StDv"  $2 $3; yy=$? ;;
291             'hSImn') testoutput_var $1 "seaice_heff_min"   "SIce Heff min"   $2 $3; yy=$? ;;
292             'hSImx') testoutput_var $1 "seaice_heff_max"   "SIce Hell max"   $2 $3; yy=$? ;;
293             'hSIav') testoutput_var $1 "seaice_heff_mean"  "SIce Hell mean"  $2 $3; yy=$? ;;
294             'hSIsd') testoutput_var $1 "seaice_heff_sd"    "SIce Hell StDv"  $2 $3; yy=$? ;;
295            'AthSiG') testoutput_var $1 "thSI_Ice_Area_G" "thSIc Area Global" $2 $3; yy=$? ;;
296            'AthSiS') testoutput_var $1 "thSI_Ice_Area_S" "thSIc Area South"  $2 $3; yy=$? ;;
297            'AthSiN') testoutput_var $1 "thSI_Ice_Area_N" "thSIc Area North"  $2 $3; yy=$? ;;
298            'HthSiG') testoutput_var $1 "thSI_IceH_ave_G" "thSIc H Global"    $2 $3; yy=$? ;;
299            'HthSiS') testoutput_var $1 "thSI_IceH_ave_S" "thSIc H South"     $2 $3; yy=$? ;;
300            'HthSiN') testoutput_var $1 "thSI_IceH_ave_N" "thSIc H North"     $2 $3; yy=$? ;;
301                  *) yy=99; echo "WARNING: asking for var=$xx : not recognized !" 1>&2 ;;
302              esac
303              if test $xx = $sVar
304              then allargs="$allargs > $yy <"
305              else allargs="$allargs $yy"
306              fi
307            done
308    
309            nbVar=`echo $listVar | awk '{print NF}'`
310            if [ $nbVar -lt $LEN_CHECK_LIST ] ; then
311            #-- fill line (up to standard length) with dot:
312              adNul=`expr $LEN_CHECK_LIST - $nbVar | awk '{for(i=1;i<=$1;i++){print "."}}'`
313              echo $allargs $adNul
314            else
315              echo $allargs
316            fi
317    # <-- same processing for adjoint & forward test
318  }  }
319    
320  genmakemodel()  genmakemodel()
# Line 183  genmakemodel() Line 323  genmakemodel()
323      if test "x$NOGENMAKE" = xt ; then      if test "x$NOGENMAKE" = xt ; then
324          echo "genmake skipped!"          echo "genmake skipped!"
325      else      else
326          GENMAKE2="$BASH ../../../tools/genmake2"          if test "x$BASH" = x ; then
327                GENMAKE2="../../../tools/genmake2"
328            else
329                GENMAKE2="$BASH ../../../tools/genmake2 -bash $BASH"
330            fi
331          (          (
332              cd $1;              cd $1;
333              command="$GENMAKE2  -ds -m $MAKE --mods=../code"              command="$GENMAKE2  -ds -m $MAKE"
334                if test "x$ADM" = x ; then
335                    command="$command --mods=../code"
336                else
337                    command="$command --mods=../code_ad"
338                fi
339              if test "x$OPTFILE" != xNONE ; then              if test "x$OPTFILE" != xNONE ; then
340                  command="$command --optfile=$OPTFILE"                  command="$command --optfile=$OPTFILE"
                 # echo "  command=\"$command\""  
341              fi              fi
342              if test "x$IEEE" != x ; then              if test "x$IEEE" != x ; then
343                  command="$command -ieee"                  command="$command -ieee"
344              fi              fi
345              # echo "command: \"$command\""              if test "x$MPI" = xt ; then
346                    command="$command -mpi"
347                fi
348                if test "x$TS" = xt ; then
349                    command="$command -ts"
350                fi
351                if test "x$PAPIS" = xt ; then
352                    command="$command -papis"
353                else
354                if test "x$PCLS" = xt ; then
355                    command="$command -pcls"
356                fi
357                fi
358              printf 'genmake ... ' 1>&2              printf 'genmake ... ' 1>&2
359              $command > make.log 2>&1              $command > make.log 2>&1
360              RETVAL=$?              RETVAL=$?
361              for i in genmake_state genmake_optfile genmake_local Makefile ; do              #  Reduce the size of the testing emails!
362                  if test -r $i ; then              head -100 Makefile > $CDIR/Makefile_head
                     cp $i $CDIR  
                 fi  
             done  
363              if test "x$RETVAL" != x0 ; then              if test "x$RETVAL" != x0 ; then
364                  tail make.log                  tail make.log
365                  echo "genmakemodel: genmake failed" 1>&2                  echo "genmakemodel: genmake failed" 1>&2
366                  cp make.log $CDIR                  cp genmake_* make.log $CDIR
367                  return 1                  return 1
368              else              else
369                  echo "succesful" 1>&2                  echo "successful" 1>&2
370              fi              fi
371          )          )
372      fi      fi
# Line 219  makeclean() Line 376  makeclean()
376  {  {
377      # makeclean directory      # makeclean directory
378      if test "x$NOCLEAN" = xt ; then      if test "x$NOCLEAN" = xt ; then
379          echo "make CLEAN skipped!"          echo "make Clean skipped!"
380      else      else
381          (          (
382              cd $1;              cd $1;
383              if test -e output.txt ; then              #if test -e $OUTPUTFILE ; then rm -f $OUTPUTFILE ; fi
                 rm -f output.txt  
             fi  
             printf 'make CLEAN ... ' 2>&1  
384              if test -r Makefile ; then              if test -r Makefile ; then
385                  $MAKE CLEAN >> make.log 2>&1                  printf 'clean build-dir: make Clean ... ' 2>&1
386                    $MAKE Clean >> make.log 2>&1
387                  RETVAL=$?                  RETVAL=$?
388                  if test "x$RETVAL" != x0 ; then                  if test "x$RETVAL" != x0 ; then
389                      tail make.log                      tail make.log
390                      echo "makeclean: \"make CLEAN\" failed" 1>&2                      echo "makeclean: \"make Clean\" failed" 1>&2
391                      cp make.log $CDIR"/make.log"                      cp make.log $CDIR"/make.log"
392                      return 1                      return 1
393                  fi                  fi
394              fi              fi
395              echo succesful 1>&2              echo successful 1>&2
396                exit 0
397            )
398        fi
399    }
400    
401    run_clean()
402    {
403        # run_clean directory
404        if test "x$NOCLEAN" = xt ; then
405            echo "run_clean skipped!"
406        else
407            (
408                cd $1;
409                printf 'clean run-dir ... ' 2>&1
410                # part of what is done after "make clean" when doing "make CLEAN"
411                find . -name "*.meta" -exec rm {} \;
412                find . -name "*.data" -exec rm {} \;
413                find . -name "fort.*" -exec rm {} \;
414                find . -type l -exec rm {} \;
415                rm -f $EXECUTABLE *.txt STD* *diagnostics.log datetime
416                rm -rf mnc_test_*
417                echo successful 1>&2
418              exit 0              exit 0
419          )          )
420      fi      fi
# Line 260  makedependmodel() Line 437  makedependmodel()
437                  cp make.log $CDIR"/make.log"                  cp make.log $CDIR"/make.log"
438                  return 1                  return 1
439              else              else
440                  echo succesful 1>&2                  echo successful 1>&2
441              fi              fi
442          )          )
443      fi      fi
# Line 273  makemodel() Line 450  makemodel()
450          cd $1;          cd $1;
451          if test -r Makefile ; then          if test -r Makefile ; then
452              printf 'make ... ' 1>&2              printf 'make ... ' 1>&2
453              $MAKE >> make.log 2>&1              if test "x$ADM" = x ; then
454                    if test "x$JOBS" = x ; then
455                        $MAKE >> make.log 2>&1
456                    else
457                        $MAKE -j $JOBS >> make.log 2>&1
458                    fi
459                else
460                    $MAKE adall >> make.log 2>&1
461                fi
462              RETVAL=$?              RETVAL=$?
463              if test "x$RETVAL" != x0 ; then              if test "x$RETVAL" != x0 ; then
464                  tail make.log                  tail make.log
# Line 281  makemodel() Line 466  makemodel()
466                  cp make.log $CDIR"/make.log"                  cp make.log $CDIR"/make.log"
467                  return 1                  return 1
468              else              else
469                  echo succesful 1>&2                  echo successful 1>&2
470              fi              fi
471          fi          fi
472      )      )
473  }  }
474    
475    symlink_mpifiles()
476    {
477        # Put special links so that MPI specific files are used
478        # This MUST be invoked between makeclean and makelinks because
479        # the Makefile will link to non-mpi files by default
480    
481        dir=$1
482        code_dir=$2
483        BUILD_DIR=$dir/$3
484        CODE_DIR=$dir/$code_dir
485        
486        # These are files that should replace their counter-part when using -mpi
487        MPI_FILES=`(cd $CODE_DIR; find . -name "*_mpi")`
488    
489        #  Is this an MPI run?
490        if test "x$MPI" = xt ; then
491            # YES: We symbolically link these files to the build
492            # dir so long as there is no real file in place
493            for ii in $MPI_FILES ; do
494                i=`echo $ii | sed 's:^\./::'`
495                name=`echo $i | sed 's:_mpi::' `
496                cmp $CODE_DIR/$i $BUILD_DIR/$name > /dev/null 2>&1
497                RETVAL=$?
498                if test "x$RETVAL" != x0 ; then
499                    if ! test -f $BUILD_DIR/$i ; then
500                        #echo Linking $name to $i
501                        (cd $BUILD_DIR; ln -sf ../$code_dir/$i $name)
502                    fi
503                fi
504            done
505        else
506            # NO: We undo any _mpi symbolically linked files
507            for ii in $MPI_FILES ; do
508                i=`echo $ii | sed 's:^\./::'`
509                name=`echo $i | sed 's:_mpi::' `
510                if test -L $BUILD_DIR/$name ; then
511                    cmp $BUILD_DIR/$name "../$code_dir/$name"_mpi > /dev/null 2>&1
512                    RETVAL=$?
513                    if test "x$RETVAL" = x0 ; then
514                        #echo Un-linking $name from $linktarg
515                        rm -f $BUILD_DIR/$name
516                    fi
517                fi
518            done
519        fi
520        
521    }
522    
523  linkdata()  linkdata()
524  {  {
525      # linkdata flag      # linkdata run_dir input_dir_1 input_dir_2 ...
526      #      #
527      # symbolically link data files to run directory      # symbolically link data files to run directory
528      if [ $1 -ne 0 ]; then      if test -d $1 ; then
529          ( cd $2 ;  ln -sf ../input/* . )          (
530                cd $1 ; shift
531                if test -r "../"$1"/eedata.mth" ; then
532                # found eedata.mth in 1rst input dir and it is readable
533                    if test "x$MULTI_THREAD" = "xt" ; then
534                    # multi-threaded test: remove symbolic link & link eedata.mth
535                        if test -h eedata ; then rm -f eedata ; fi
536                        if test ! -r eedata ; then
537                            ln -sf "../"$1"/eedata.mth" eedata ;
538                            printf 'eedata.mth ' 1>&2
539                        fi
540                    else
541                    # not multi-threaded test: remove eedata symbolic link
542                        if test -h eedata ; then rm -f eedata ; fi
543                    fi
544                fi
545                for ldir in $* ; do
546                    if test -d "../"$ldir ; then
547                        printf 'ldir='${ldir} 1>&2
548                        files=`( cd "../"$ldir ; ls -1 | grep -v CVS )`
549                        for i in $files ; do
550                            if test ! -d "../"$ldir/$i ; then
551                                if test ! -r $i  ; then
552                                    printf ' '$i 1>&2
553                                    ln -sf "../"$ldir"/"$i $i
554                                fi
555                            fi
556                        done
557                        if test -x "../"$ldir"/"prepare_run ; then
558                            "../"$ldir"/"prepare_run
559                        fi
560                        printf ' ; ' 1>&2
561                    fi
562                done
563            )
564      fi      fi
565  }  }
566    
# Line 301  runmodel() Line 568  runmodel()
568  {  {
569      # runmodel directory      # runmodel directory
570      #      #
571      #  runs "$COMMAND" in "directory"      #  runs "$COMMAND in "directory"
572      #  (where "$COMMAND" is relative to "directory")      #  (where "$COMMAND" is relative to "directory")
573      (      (
574          cd $1          cd $1
575          printf 'runmodel: ' 1>&2          printf 'runmodel in %s ...' $1 1>&2
576          # make output.txt          # make output.txt
577          $COMMAND          echo
578          RETVAL=$?          if test ! -x $EXECUTABLE -a -x "../"$builddir"/"$EXECUTABLE ; then
579          if test "x$RETVAL" = x0 ; then              echo " link" $EXECUTABLE "from dir ../"$builddir > run.log_00
580              cp output.txt $CDIR"/output.txt"              ln -sf "../"$builddir"/"$EXECUTABLE .
581            fi
582            if test ! -x $EXECUTABLE ; then
583                    rm -f run.log ; touch run.log
584                    if test -f run.log_00 ; then cat run.log_00 >> run.log ; fi
585                    echo " no executable:" $EXECUTABLE >> run.log
586                    RETVAL=8
587                    ENDVAL=-1
588            else
589                if test ! -f $OUTPUTFILE -o $OUTPUTFILE -ot $EXECUTABLE ; then
590                  # output do not exist or is older than executable:
591                    rm -f run.log ; touch run.log
592                    if test -f run.log_00 ; then cat run.log_00 >> run.log ; fi
593                    ( eval $COMMAND ) >> run.log 2>&1
594                    RETVAL=$?
595                else
596                    RETVAL=0
597                    if test -f run.log ; then
598                        if test -f run.log_00 ; then cat run.log_00 >> run.log ; fi
599                        echo "---------->> $OUTPUTFILE is up to date " >> run.log 2>&1
600                    else
601                        touch run.log
602                        if test -f run.log_00 ; then cat run.log_00 >> run.log ; fi
603                        echo "---------->> $OUTPUTFILE is up to date " >> run.log 2>&1
604                        echo " no previous run.log: assume NORMAL END" >> run.log 2>&1
605                    fi
606                fi
607                ENDVAL=`cat run.log | grep -v 'ABNORMAL END' | grep -c 'NORMAL END'`
608            fi
609            rm -f run.log_00
610            #if test "x$RETVAL" = x0 ; then
611            if [ $RETVAL -eq 0 -a $ENDVAL -gt 0 ] ; then
612                tail run.log
613                echo successful 1>&2
614                # === Reduce the size of the testing emails!
615                #cp $OUTPUTFILE $CDIR"/"$OUTPUTFILE
616                if test -s STDERR.0000 ; then cp STDERR.0000 $CDIR"/STDERR.0000" ; fi
617              return 0              return 0
618          else          else
619                tail run.log
620                echo failed '(run:' $RETVAL ' end:' $ENDVAL ')' 1>&2
621                cp run.log $CDIR"/run.log"
622                if test -s STDERR.0000 ; then cp STDERR.0000 $CDIR"/STDERR.0000" ; fi
623              return 1              return 1
624          fi          fi
625      )      )
# Line 322  createcodelet() Line 629  createcodelet()
629  {  {
630      # create codelet for comparing model output      # create codelet for comparing model output
631    
632      echo -n "creating the comparison code...  "      printf "creating the comparison code...  "
633      cat > tmp_cmpnum.f <<EOFA      cat > tr_cmpnum.c <<EOF
634        program cmpnum  #include <stdio.h>
635        implicit none  #include <math.h>
636        real*8 a,b,diff  int main( int argc, char** argv )  {
637        integer linnum,best    int linnum,cmplin,best,lncnt;
638        best=-16    double a,b,abave,relerr;
639    99  read(*,*,end=70,err=60) linnum,a,b    best = -22;
640        diff=0.5*(abs(a)+abs(b))    lncnt = 0;
641  c     print *,a,b,diff,abs(a-b)/diff    while( 1 & ( (lncnt+=1) < 999 ) )  {
642        if (diff.gt.1.e-12) then      scanf("%d", &linnum);
643          diff=abs(a-b)/diff      if (linnum == -1)  break;
644          if (diff.gt.0.) then      scanf("%lf", &a);  scanf("%lf", &b);
645  c         print *,int(log10(diff)),diff      abave = 0.5*(fabs(a)+fabs(b));
646            linnum=int(log10(diff))      if ( abave == abave ) {
647            best=max(best,linnum)        if (abave > 0.0) {
648          endif          relerr=fabs(a-b)/abave;
649        else          if (relerr > 0.0) { cmplin = (int)rint(log10(relerr)); }
650          if (best.eq.-16.and.diff.ne.0.) best=-22          else { cmplin = -16 ; }
651        endif          best = (best > cmplin) ? best : cmplin; }
652        goto 99        else { cmplin = -22 ; }
653    60  stop 'cmpnum: An error occured reading a,b'     /* printf("%d ; %lf ; %lf\n",cmplin,a,b); */
654    70  print *,-best        }
655        end     else {
656  EOFA     /* printf("%lf ; %lf ; %lf\n",abave,a,b); */
657          break; }
658      }
659      if (lncnt == 999) best=-29;
660      if (linnum != -1) best=-99;
661      printf("%d\n", -best);
662      return 0;
663    }
664    EOF
665        $CC -o tr_cmpnum tr_cmpnum.c -lm
666    
667      f77 tmp_cmpnum.f      if [ -x ./tr_cmpnum ]; then
     if [ -x ./a.out ]; then  
668          echo "OK"          echo "OK"
669          return 0          return 0
670      else      else
671          echo          echo
672          echo "createcodelet: failed to compile codelet"          echo "ERROR: failed to compile comparison code -- please specify"
673            echo "  a C compiler using the CC environment variable."
674          exit 1          exit 1
675      fi      fi
676  }  }
# Line 366  formatresults() Line 682  formatresults()
682      nm=$1      nm=$1
683      printf '%s %s %s %s' $2 $3 $4 $5      printf '%s %s %s %s' $2 $3 $4 $5
684      shift; shift; shift; shift; shift;      shift; shift; shift; shift; shift;
685      printf '%3s' $@      listPrt=$@
686        listRes=`echo $listPrt | sed 's/>//' | sed 's/<//'`
687        xx=`echo $listPrt | sed 's/.*>//' | sed 's/<.*//' | awk '{print $1}'`
688        printf '%3s' $listPrt
689    #   line below does not work on hp-ux_ia64 : do those substitutions later on
690    #   printf '%3s' $listPrt | sed 's/ 99/ --/g' | sed 's/  > />/' | sed 's/  < /</'
691            
692      if [ $1 = '--' ]; then      if [ $xx = '..' ]; then
693            printf ' N/O '
694        elif [ $xx = '--' ]; then
695            printf ' N/O '
696        elif [ $xx = 99 ]; then
697          printf ' N/O '          printf ' N/O '
698      else      else
699          if [ $1 -gt 12 ]; then          if [ $xx -ge $MATCH_CRIT ]; then
700              printf ' pass'              printf ' pass'
701          else          else
702              printf ' FAIL'              printf ' FAIL'
# Line 382  formatresults() Line 707  formatresults()
707            
708  }  }
709    
 show_help()  
 {  
     cat - << EOF  
 $0 [-help] [-quick] [-verbose] dir1 [dir2] [...]  
   
  -help|-h      Show this help message  
  -quiet     Reduce the amount of output  
  -verbose   Produce copious amounts of output  
  -debug     Produce even more output which will mean nothing to most  
  -force     Do "make CLEAN" before compiling. This forces a complete rebuild.  
  -clean     Do "make CLEAN" after compiling and testing.  
  -cleanup   Aggresively removes all model output, executables and object files  
             and then exits. Use with care.  
   
 Normal usage:  
  $0 *       Configure, compile, run and analyze in all experiment directories  
 EOF  
 }  
   
710  scandirs()  scandirs()
711  {  {
712      if [ $# -eq 0 ]; then      if [ $# -eq 1 ]; then
713          for arg in * ; do          for arg in * ; do
714              test -d $arg/input && echo $arg              test -f $arg/$1 && echo $arg
715          done          done
716      else      else
717          echo $*          echo $*
718      fi      fi
719  }  }
720    
721    
722  ###############################################################################  ###############################################################################
 ###############################################################################  
 ###############################################################################  
723    
724    
725  #  Default properties  #  Default properties
# Line 425  clean=0 Line 729  clean=0
729  expts=''  expts=''
730  # ieee=1  # ieee=1
731    
732  IEEE=  IEEE=true
733  if test "x$MITGCM_IEEE" != x ; then  if test "x$MITGCM_IEEE" != x ; then
734      IEEE=$MITGCM_IEEE      IEEE=$MITGCM_IEEE
735  fi  fi
# Line 436  QUICK=f Line 740  QUICK=f
740  NOGENMAKE=f  NOGENMAKE=f
741  NOCLEAN=f  NOCLEAN=f
742  NODEPEND=f  NODEPEND=f
743    POSTCLEAN=f
744    
745  BASH=  BASH=
746  OPTFILE=NONE  OPTFILE=NONE
747  ADDRESSES=  ADDRESSES=
748  TESTDIRS=  TESTDIRS=
749    SKIPDIRS=
750  MPACKDIR="../tools/mpack-1.6"  MPACKDIR="../tools/mpack-1.6"
751    HAVE_MPACK=
752  MPACK="$MPACKDIR/mpack"  MPACK="$MPACKDIR/mpack"
753  COMMAND="make output.txt"  COMMAND=
754  MAKE=make  if test "x$MAKE" = x ; then
755        MAKE=make
756    fi
757    if test "x$CC" = x ; then
758        CC=cc
759    fi
760    JOBS=
761  MPI=f  MPI=f
762    MULTI_THREAD=f
763    OUTDIR=
764    DELDIR=
765    
766    ADM=
767    
768    # Additional monitor types
769    PTRACERS_NUM="1 2 3 4 5"
770    
771  echo -n "parsing options...  "  MATCH_CRIT=13
772    
773    printf "parsing options...  "
774    
775  ac_prev=  ac_prev=
776  for ac_option ; do  for ac_option ; do
# Line 481  for ac_option ; do Line 804  for ac_option ; do
804          -tdir=* | --tdir=*)          -tdir=* | --tdir=*)
805              TESTDIRS=$ac_optarg ;;              TESTDIRS=$ac_optarg ;;
806    
807            -skipdir | --skipdir | -skd | --skd)
808                ac_prev=SKIPDIRS ;;
809            -skipdir=* | --skipdir=*)
810                SKIPDIRS=$ac_optarg ;;
811    
812          -bash | --bash | -b | --b)          -bash | --bash | -b | --b)
813              ac_prev=BASH ;;              ac_prev=BASH ;;
814          -bash=* | --bash=*)          -bash=* | --bash=*)
# Line 496  for ac_option ; do Line 824  for ac_option ; do
824          -make=* | --make=*)          -make=* | --make=*)
825              MAKE=$ac_optarg ;;              MAKE=$ac_optarg ;;
826    
827            -odir | --odir)
828                ac_prev=OUTDIR ;;
829            -odir=* | --odir=*)
830                OUTDIR=$ac_optarg ;;
831    
832            -ptracers | --ptracers | -ptr | --ptr)
833                ac_prev=PTRACERS_NUM ;;
834            -ptracers=* | --ptracers=* | -ptr=* | --ptr=*)
835                PTRACERS_NUM=$ac_optarg ;;
836    
837            -match | --match ) ac_prev=MATCH_CRIT ;;
838            -match=* | --match=* ) MATCH_CRIT=$ac_optarg ;;
839    
840            -j) ac_prev=JOBS ;;
841            -j=*) JOBS=$ac_optarg ;;
842    
843          -clean | --clean)          -clean | --clean)
844              CLEANUP=t ;;              CLEANUP=t ; DELDIR=t ;;
845    
846          -quick | --quick | -q | --q)          -quick | --quick | -q | --q)
847              QUICK=t ;;              QUICK=t ;;
# Line 508  for ac_option ; do Line 852  for ac_option ; do
852          -nodepend | --nodepend | -nd | --nd)          -nodepend | --nodepend | -nd | --nd)
853              NODEPEND=t ;;              NODEPEND=t ;;
854    
855          -mpi) MPI=true ;;          -postclean | --postclean | -pc | --pc)
856                POSTCLEAN=t ;;
857    
858            -mpi) MPI=t ;;
859    
860            -mth) MULTI_THREAD=t ;;
861    
862            -adm | -ad) ADM=t ;;
863    
864          -ieee) IEEE=true ;;          -ieee) IEEE=true ;;
865          -noieee) IEEE= ;;          -noieee) IEEE= ;;
# Line 517  for ac_option ; do Line 868  for ac_option ; do
868          -debug) debug=1 ;;          -debug) debug=1 ;;
869          -quiet) verbose=0 ;;          -quiet) verbose=0 ;;
870    
871            -deldir | -dd) DELDIR=t ;;
872    
873            -ts) TS=t;;
874    
875            -papis) PAPIS=t;;
876    
877            -pcls) PCL=t;;
878    
879          -*)          -*)
880              echo "Error: unrecognized option: "$ac_option              echo "Error: unrecognized option: "$ac_option
881              usage              usage
# Line 537  if test "x$QUICK" = xt ; then Line 896  if test "x$QUICK" = xt ; then
896      NODEPEND=t      NODEPEND=t
897  fi  fi
898    
899    #- setting for forward or ADM testing
900    if test "x$ADM" = xt ; then
901        code_dir=code_ad
902        input_dirs='input_ad input'
903        ref_outp="output_adm.txt"
904        EXECUTABLE="mitgcmuv_ad"
905    else
906        code_dir=code
907        input_dirs='input'
908        ref_outp="output.txt"
909        EXECUTABLE="mitgcmuv"
910    fi
911    
912  if test "x$TESTDIRS" = x ; then  if test "x$TESTDIRS" = x ; then
913      TESTDIRS=`scandirs`      LIST=`scandirs results/$ref_outp`
914    else
915        #- expand group of experiments:
916        LIST=" "
917        for xx in $TESTDIRS
918        do
919          case $xx in
920            'basic') LIST=${LIST}" aim.5l_cs hs94.128x64x5 ideal_2D_oce"
921                     LIST=${LIST}" lab_sea tutorial_baroclinic_gyre"
922                     LIST=${LIST}" tutorial_global_oce_latlon tutorial_plume_on_slope"
923                    ;;
924            'tutorials')
925                     LIST=${LIST}" "`ls | grep 'tutorial_'` ;;
926            *)       LIST=${LIST}" "$xx ;;
927          esac
928        done
929  fi  fi
930    #echo 'LIST='${LIST}'<'
931    #- skip dirs, remove duplicate and non-directory:
932    TESTDIRS=" "
933    count=0
934    for xx in $LIST
935    do
936        yy=`echo $SKIPDIRS | grep -c $xx`
937        if test $yy = 0 ; then
938            if test -d $xx ; then
939                yy=`echo $TESTDIRS | grep -c $xx`
940                if test $yy = 0 ; then TESTDIRS=${TESTDIRS}" "$xx ; fi
941            else count=1 ;
942                echo ""; echo -n " -- skip \"$xx\" (not a directory !)"
943            fi
944        else
945            if test $count = 1 ; then echo -n ", \"$xx\""
946            else count=1 ; echo "" ;  echo -n " skip: \"$xx\""
947            fi
948        fi
949    done
950    if test $count = 1 ; then echo "" ; echo -n " ... " ; fi
951    #echo 'TESTDIRS='${TESTDIRS}'<'
952    
953  if test "x$OPTFILE" = xNONE -a "x$MITGCM_OF" != x ; then  if test "x$OPTFILE" = xNONE -a "x$MITGCM_OF" != x ; then
954      OPTFILE=$MITGCM_OF      OPTFILE=$MITGCM_OF
955  fi  fi
956    
957  echo "OK"  OUTPUTFILE=$ref_outp
958    if test "x$COMMAND" = x ; then
959        COMMAND="./$EXECUTABLE > $OUTPUTFILE"
960    fi
961    if test "x$MPI" = xt ; then
962        OUTPUTFILE="STDOUT.0000"
963    fi
964    
965    echo "OK (COMMAND= $COMMAND )"
966    
967    # set the Default List of output variables to be checked:
968    #  (use default or load experiment-specific list from file "tr_checklist")
969    # content : 1rst = main variable used to decide if it pass or FAIL
970    #         others = number of matching digits to be printed in summary.txt
971    if test "x$ADM" = x ; then
972        DEF_CHECK_LIST='PS PS T+ S+ U+ V+ pt1+ pt2+ pt3+ pt4+ pt5+'
973        EMPTY_RESULTS='.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..'
974        LEN_CHECK_LIST=`echo $DEF_CHECK_LIST | sed 's/ [a-zA-Z0-9]*+/&mn &mx &av &sd/g' | awk '{print NF-1}'`
975        ii=`echo $EMPTY_RESULTS | awk '{print NF}'`
976        EMPTY_RESULTS=$EMPTY_RESULTS`expr $LEN_CHECK_LIST - $ii | awk 'BEGIN{FS=":"}{for(i=1;i<=$1;i++){printf "  ."}}'`
977    else
978        DEF_CHECK_LIST='Grad Cost Grad'
979        EMPTY_RESULTS='.. ..'
980        LEN_CHECK_LIST=`echo $DEF_CHECK_LIST | sed 's/ [a-zA-Z0-9]*+/&mn &mx &av &sd/g' | awk '{print NF-1}'`
981    fi
982    
983  #  create the FORTRAN comparison code  #  create the FORTRAN comparison code
984  createcodelet  createcodelet
985    
986  #  build the mpack utility  #  build the mpack utility
987  build_mpack  if test "x$ADDRESSES" = xNONE -o "x$ADDRESSES" = x ; then
988        echo "skipping mpack build"
989    else
990        build_mpack
991    fi
992    
993  #  Create a uniquely named directory to store results  #  Create a uniquely named directory to store results
994  MACH=`hostname`  MACH=`hostname`
995  UNAMEA=`uname -a`  UNAMEA=`uname -a`
996  DATE=`date +%Y%m%d`  DATE=`date +%Y%m%d`
997  BASE=$MACH"_"$DATE"_"  BASE="tr_"$MACH"_"$DATE"_"
998    if test "x$OUTDIR" != x ; then
999        BASE="tr_"$OUTDIR"_"$DATE"_"
1000    fi
1001  DNUM=0  DNUM=0
1002  DRESULTS="$BASE$DNUM"  DRESULTS="$BASE$DNUM"
1003  while test -e $DRESULTS ; do  while test -e $DRESULTS ; do
# Line 567  done Line 1007  done
1007  mkdir $DRESULTS  mkdir $DRESULTS
1008  RETVAL=$?  RETVAL=$?
1009  if test "x$RETVAL" != x0 ; then  if test "x$RETVAL" != x0 ; then
1010      echo "Error: can't create results directory \"./$DRESULTS\""      echo "ERROR: Can't create results directory \"./$DRESULTS\""
1011      exit 1      exit 1
1012  fi  fi
1013  SUMMARY="$DRESULTS/summary.txt"  SUMMARY="$DRESULTS/summary.txt"
1014  date > $SUMMARY  printf "Start time:  " >> $SUMMARY
1015  cat << EOF >> $SUMMARY  start_date=`date`
1016                  T           S           U           V  echo $start_date > $SUMMARY
 G D M    c        m  s        m  s        m  s        m  s  
 E p a R  g  m  m  e  .  m  m  e  .  m  m  e  .  m  m  e  .  
 N n k u  2  i  a  a  d  i  a  a  d  i  a  a  d  i  a  a  d  
 2 d e n  d  n  x  n  .  n  x  n  .  n  x  n  .  n  x  n  .  
   
 EOF  
   
 NDIR=0  
1017    
1018    of_path=
1019  if test "x$OPTFILE" != xNONE ; then  if test "x$OPTFILE" != xNONE ; then
1020      if test -r $OPTFILE ; then      if test -r $OPTFILE ; then
1021          OPTFILE=`pwd`"/$OPTFILE"          # get the path
1022            path=${OPTFILE%/*}
1023            if test "x$path" = x ; then
1024                of_path=`pwd`
1025            else
1026                of_path=`( cd $path > /dev/null 2>&1 ; pwd )`
1027            fi
1028            file=${OPTFILE##*/}
1029            OPTFILE=$of_path/$file
1030            cp $OPTFILE $DRESULTS
1031            echo >> $SUMMARY
1032            echo "  OPTFILE=$OPTFILE" >> $SUMMARY
1033        else
1034            echo | tee $SUMMARY
1035            echo "ERROR: can't read OPTFILE=\"$OPTFILE\"" | tee $SUMMARY
1036            exit 1
1037      fi      fi
1038    else
1039        echo >> $SUMMARY
1040        echo "No \"OPTFILE\" was explicitly specified by testreport," >> $SUMMARY
1041        echo "   so the genmake default will be used." >> $SUMMARY
1042  fi  fi
1043  echo  echo
 echo "OPTFILE=$OPTFILE" >> $SUMMARY  
1044  echo >> $SUMMARY  echo >> $SUMMARY
1045    if test "x$ADM" = x ; then
1046        if [ $MATCH_CRIT -lt 10 ] ;
1047        then line_0="default  "$MATCH_CRIT ;
1048        else line_0="default "$MATCH_CRIT ; fi
1049           line_0="$line_0  ----T-----  ----S-----  ----U-----  ----V-----"
1050    #   line_0="            ----T-----  ----S-----  ----U-----  ----V-----"
1051        line_1="G D M    c        m  s        m  s        m  s        m  s"
1052        line_2="E p a R  g  m  m  e  .  m  m  e  .  m  m  e  .  m  m  e  ."
1053        line_3="N n k u  2  i  a  a  d  i  a  a  d  i  a  a  d  i  a  a  d"
1054        line_4="2 d e n  d  n  x  n  .  n  x  n  .  n  x  n  .  n  x  n  ."
1055        for ii in $PTRACERS_NUM ; do
1056            #  tst=`eval 'echo $HAVE_PTR0'$ii`
1057            #  if test "x$tst" = xt ; then
1058            line_0="$line_0  --PTR 0"$ii"--"
1059            line_1="$line_1        m  s"
1060            line_2="$line_2  m  m  e  ."
1061            line_3="$line_3  i  a  a  d"
1062            line_4="$line_4  n  x  n  ."
1063            #  fi
1064        done
1065        echo "$line_0" | tee -a $SUMMARY
1066        echo "$line_1" | tee -a $SUMMARY
1067        echo "$line_2" | tee -a $SUMMARY
1068        echo "$line_3" | tee -a $SUMMARY
1069        echo "$line_4" | tee -a $SUMMARY
1070        echo " "       | tee -a $SUMMARY
1071    else
1072        echo "ADJOINT=true" >> $SUMMARY
1073        echo >> $SUMMARY
1074        if [ $MATCH_CRIT -lt 10 ] ;
1075        then line_0="default     "$MATCH_CRIT ;
1076        else line_0="default    "$MATCH_CRIT ; fi
1077        echo "$line_0" | tee -a $SUMMARY
1078        cat << EOF | tee -a $SUMMARY
1079    G D M    C  G
1080    E p a R  o  r
1081    N n k u  s  a
1082    2 d e n  t  d
1083    
1084    EOF
1085    fi
1086    
1087  #  ...and each test directory...  #  ...and each test directory...
1088  for dir in $TESTDIRS ; do  for dir in $TESTDIRS ; do
# Line 598  for dir in $TESTDIRS ; do Line 1090  for dir in $TESTDIRS ; do
1090      #  Cleanup only!      #  Cleanup only!
1091      if test "x$CLEANUP" = xt ; then      if test "x$CLEANUP" = xt ; then
1092          if test -r $dir/build/Makefile ; then          if test -r $dir/build/Makefile ; then
1093                echo '  ------  clean dir:' $dir/build
1094              ( cd $dir/build ; make CLEAN )              ( cd $dir/build ; make CLEAN )
1095          fi          fi
1096          if test -r $dir/input/Makefile ; then          if test -d $dir/run/CVS ; then
1097              ( cd $dir/input ; make CLEAN )              echo '  ------  clean dir:' $dir/run
1098                run_clean $dir/run
1099          fi          fi
1100            (
1101                cd $dir
1102                rm -rf tr_run.*
1103            )
1104          continue          continue
1105      fi      fi
1106    
1107      #  Verify that the testdir exists and contains previous      #  Verify that the testdir exists and contains previous
1108      #  results in the correct location--or skip this directory!      #  results in the correct location--or skip this directory!
1109      if test ! -r $dir"/results/output.txt" ; then      fout=$dir"/results/"$ref_outp
1110          echo "can't read \"$dir/results/output.txt\" -- skipping $dir"      if test ! -r $fout ; then
1111            echo "can't read \"$fout\" -- skipping $dir"
1112          continue          continue
1113      fi      fi
1114        if test "x$ADM" = x ; then
1115            check_for_add_mon_output  $fout
1116        fi
1117    
1118      echo "-------------------------------------------------------------------------------"      # Check for additional types of monitor output
     echo  
     echo "Experiment:  $dir"  
     echo  
     unset genmake makedepend make run  
     results='-- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --'  
1119    
1120      if [ -r $dir/build ]; then      builddir="build"
1121          seperatebuilddir=1      if test ! -d $dir/$builddir ; then mkdir $dir/$builddir ; fi
1122          builddir=build      rundir="run"
1123          rundir=build      if test ! -d $dir/$rundir ; then
1124          ( cd $dir/build; ln -sf ../input/* . )          rundir=$builddir
     else  
         seperatebuilddir=0  
         builddir=input  
         rundir=input  
1125      fi      fi
1126            CODE_DIR=$dir/$code_dir
     CODE_DIR=$dir/code  
1127      BUILD_DIR=$dir/$builddir      BUILD_DIR=$dir/$builddir
     MPI_FILES="CPP_EEOPTIONS.h_mpi SIZE.h_mpi"  
     NOMPI_FILES="CPP_EEOPTIONS.h_nompi SIZE.h_nompi"  
1128    
1129      #  Is this an MPI run?      if test ! -r $CODE_DIR"/SIZE.h_mpi" -a "x$MPI" = "xt" ; then
1130      if test "x$MPI" = xt ; then          echo "can't find \"$CODE_DIR/SIZE.h_mpi\" -- skipping $dir"
1131          FILES=$MPI_FILES          continue
         endings="_mpi"  
     else  
         FILES=$NOMPI_FILES  
         endings="_nompi"  
1132      fi      fi
1133            if test ! -r $dir"/input/eedata.mth" -a "x$MULTI_THREAD" = "xt" ; then
1134      #  Check to see that we have the files          echo "can't find \"$dir/input/eedata.mth\" -- skipping $dir"
     have_files=t  
     for i in $FILES ; do  
         if test ! -r $CODE_DIR/$i ; then  
             echo "Warning: can't read file $CODE_DIR/$i"  
             have_files=f  
         fi  
     done  
     if test "x$have_files" != xt -a "x$MPI" = xt ; then  
         echo "Skipping $dir due to lack of input files (see above warning)"  
1135          continue          continue
1136      fi      fi
1137        
1138      #  If we have the $FILES and they differ, copy the $FILES to $BUILD_DIR      #  Check whether there are "extra runs" for this testdir
1139      if test "x$have_files" = xt ; then      extra_runs=
1140          for i in $FILES ; do      if test "x$ADM" = x ; then
1141              sstr="s|$endings||"          ex_run_dirs=`( cd $dir ; echo input.* )`
1142              name=`echo $i | sed -e $sstr `          #echo "ex_run_dirs='$ex_run_dirs'"
1143              cmp $CODE_DIR/$i $BUILD_DIR/$name > /dev/null 2>&1          for exd in $ex_run_dirs ; do
1144              RETVAL=$?              name=`echo $exd | sed -e 's/input.//g'`
1145              if test "x$RETVAL" != x0 ; then              outf="$dir/results/output.$name.txt"
1146                  cp $CODE_DIR/$i $BUILD_DIR/$name              if test -f $outf -a -r $outf ; then
1147                    if test "x$MULTI_THREAD" = "xt" ; then
1148                        if test -r $dir"/"$exd"/eedata.mth" ; then
1149                            extra_runs="$extra_runs $name"
1150                        #else echo $dir"/"$exd"/eedata.mth: not found"
1151                        fi
1152                    else
1153                        extra_runs="$extra_runs $name"
1154                    fi
1155              fi              fi
1156          done          done
1157      fi      fi
1158        
1159        echo "-------------------------------------------------------------------------------"
1160        echo
1161        if test "x$extra_runs" = "x" ; then
1162           echo "Experiment:  $dir"
1163        else
1164           echo "Experiment:  $dir ; extra_runs=$extra_runs"
1165        fi
1166        echo
1167        unset genmake makedepend make run
1168        results=$EMPTY_RESULTS
1169    
1170      #  Create an output dir for each OPTFILE/tdir combination      #  Create an output dir for each OPTFILE/tdir combination
1171      CDIR=$DRESULTS"/"$DRESULTS"_"$NDIR      rel_CDIR=$DRESULTS"/"$dir
1172      mkdir $CDIR      mkdir $rel_CDIR
1173      CDIR=`pwd`"/$CDIR"      CDIR=`pwd`"/$rel_CDIR"
1174            
1175      if test "x$CLEANUP" = xt ; then      if test "x$CLEANUP" = xt ; then
1176          makeclean $dir/$builddir          echo '====>>> this is to check that we never go through this part <<< ==='
1177            makeclean $dir/$builddir \
1178                && run_clean $dir/$rundir
1179      else      else
1180          genmakemodel $dir/$builddir && genmake=Y \          genmakemodel $dir/$builddir && genmake=Y \
1181              && makeclean $dir/$builddir \              && makeclean $dir/$builddir \
1182                && run_clean $dir/$rundir \
1183                && symlink_mpifiles $dir $code_dir $builddir \
1184              && makedependmodel $dir/$builddir && makedepend=Y \              && makedependmodel $dir/$builddir && makedepend=Y \
1185              && makemodel $dir/$builddir && make=Y \              && makemodel $dir/$builddir && make=Y \
1186              && linkdata $seperatebuilddir $dir/$rundir \              && linkdata $dir/$rundir $input_dirs \
1187              && runmodel $dir/$builddir && run=Y \              && runmodel $dir/$rundir && run=Y \
1188              && results=`testoutput $dir $rundir`              && results=`testoutput_run $dir $rundir $ref_outp`
1189      fi      fi
1190            
1191      echo      echo
1192      formatresults $dir ${genmake:-N} ${makedepend:-N} ${make:-N} \  # --> same processing for adjoint & forward test
1193          ${run:-N} $results          fres=`formatresults $dir ${genmake:-N} ${makedepend:-N} ${make:-N} ${run:-N} $results`
1194      echo          echo
1195      formatresults $dir ${genmake:-N} ${makedepend:-N} ${make:-N} \          echo "$fres" | sed 's/ 99/ --/g' | sed 's/  > />/' | sed 's/  < /</' >> $SUMMARY
1196          ${run:-N} $results >> $SUMMARY          touch $CDIR"/summary.txt"
1197      echo "fresults='" > $CDIR"/summary.txt"          echo "fresults='$fres'" | sed 's/ 99/ --/g' >> $CDIR"/summary.txt"
1198      formatresults $dir ${genmake:-N} ${makedepend:-N} ${make:-N} \          echo "MACH='$MACH'" >> $CDIR"/summary.txt"
1199          ${run:-N} $results >> $CDIR"/summary.txt"          echo "UNAMEA='$UNAMEA'" >> $CDIR"/summary.txt"
1200      echo "'" >> $CDIR"/summary.txt"          echo "DATE='$DATE'" >> $CDIR"/summary.txt"
1201      echo "MACH='$MACH'" >> $CDIR"/summary.txt"          echo "tdir='$dir'" >> $CDIR"/summary.txt"
1202      echo "UNAMEA='$UNAMEA'" >> $CDIR"/summary.txt"  
1203      echo "DATE='$DATE'" >> $CDIR"/summary.txt"          for ex in $extra_runs ; do
1204      echo "tdir='$dir'" >> $CDIR"/summary.txt"              unset run
1205                results=$EMPTY_RESULTS
1206                #  Create an output dir for each OPTFILE/tdir.ex combination
1207                rel_CDIR=$DRESULTS"/"$dir"."$ex
1208                mkdir $rel_CDIR
1209                CDIR=`pwd`"/$rel_CDIR"
1210                test ! -e "$dir/tr_run.$ex" && mkdir "$dir/tr_run.$ex"
1211                run_clean $dir/tr_run.$ex
1212                linkdata $dir/tr_run.$ex input.$ex input
1213                runmodel $dir/tr_run.$ex && run=Y \
1214                    && results=`testoutput_run $dir tr_run.$ex "output.${ex}.txt"`
1215                fres=`formatresults $dir ${genmake:-N} ${makedepend:-N} ${make:-N} ${run:-N} $results`
1216                fres="$fres.$ex"
1217                echo
1218                echo "$fres" | sed 's/ 99/ --/g' | sed 's/  > />/' | sed 's/  < /</' >> $SUMMARY
1219                touch $CDIR"/summary.txt"
1220                echo "fresults='$fres'" | sed 's/ 99/ --/g' >> $CDIR"/summary.txt"
1221                echo "MACH='$MACH'" >> $CDIR"/summary.txt"
1222                echo "UNAMEA='$UNAMEA'" >> $CDIR"/summary.txt"
1223                echo "DATE='$DATE'" >> $CDIR"/summary.txt"
1224                echo "tdir='$dir.$ex'" >> $CDIR"/summary.txt"
1225                if test "x$POSTCLEAN" = xt ; then
1226                    run_clean $dir/tr_run.$ex
1227                fi
1228            done
1229    # <-- same processing for adjoint & forward test
1230        if test "x$ADM" = xt ; then
1231            head -1 $dir/$builddir/taf_ad.log >> $CDIR"/summary.txt"
1232            grep -A3 'Seconds in section "ALL' $dir/$rundir/$OUTPUTFILE \
1233                               >> $CDIR"/summary.txt"
1234        fi
1235    
1236        #postclean $dir/$builddir
1237        if test "x$POSTCLEAN" = xt ; then
1238            makeclean $dir/$builddir \
1239                && run_clean $dir/$rundir
1240        fi
1241            
1242      (      echo "-------------------------------------------------------------------------------"
         cd $DRESULTS  
         tar -cf $NDIR".tar" $DRESULTS"_"$NDIR > /dev/null 2>&1  
         gzip $NDIR".tar"  
     )  
1243            
1244      if test "x$ADDRESSES" = xNONE -o "x$ADDRESSES" = x ; then  done
1245          echo "No mail sent"  
1246      else  printf "Start time:  " >> $SUMMARY
1247          $MPACK -s MITgcm-test -m 1000000 $DRESULTS"/"$NDIR".tar.gz" $ADDRESSES  echo $start_date >> $SUMMARY
1248    printf "End time:    " >> $SUMMARY
1249    date >> $SUMMARY
1250    
1251    #  If addresses were supplied and mpack built successfully, then try
1252    #  to send email using mpack.
1253    if test "x$ADDRESSES" = xNONE -o "x$ADDRESSES" = x ; then
1254        echo "No results email was sent."
1255    else
1256        if test "x$HAVE_MPACK" = xt ; then
1257            tar -cf $DRESULTS".tar" $DRESULTS > /dev/null 2>&1 \
1258                && gzip $DRESULTS".tar" \
1259                && $MPACK -s MITgcm-test -m 3555000 $DRESULTS".tar.gz" $ADDRESSES
1260          RETVAL=$?          RETVAL=$?
1261          if test "x$RETVAL" != x0 ; then          if test "x$RETVAL" != x0 ; then
1262              echo "Warning: \"$MPACK\" failed -- please contact <edhill@mitgcm.org>"              echo
1263                echo "Warning: The tar, gzip, & mpack step failed.  Please send email"
1264                echo "  to <MITgcm-support@mitgcm.org> for help.  You may copy the "
1265                echo "  summary of results from the directory \"$DRESULTS\"."
1266                echo
1267          else          else
1268              rm -f $DRESULTS"/"$NDIR".tar*"              echo
1269                echo "An email containing results was sent to the following addresses:"
1270                echo "  \"$ADDRESSES\""
1271                echo
1272          fi          fi
1273            test -f $DRESULTS".tar"  &&  rm -f $DRESULTS".tar"
1274            test -f $DRESULTS".tar.gz"  &&  rm -f $DRESULTS".tar.gz"
1275      fi      fi
1276    fi
1277    
1278      echo "-------------------------------------------------------------------------------"  rm -f tr_cmpnum.c tr_cmpnum
       
     NDIR=$(( $NDIR + 1 ))  
       
 done  
1279    
1280  rm tmp_cmpnum.f a.out  if test "x$CLEANUP" != xt ; then
1281        cat $SUMMARY | sed 's/ \.  \.  \.  \.  \.  \.  \.  \.  \.  \.  \.  \. //'
1282        if test -e tr_out.txt ; then
1283            mv tr_out.txt tr_out.txt.old
1284        fi
1285        cat $SUMMARY | sed '/^[YN] [YN] [YN] [YN]/ s/ \. //g' > tr_out.txt
1286    fi
1287    
1288  cat $SUMMARY  if test "x$DELDIR" = xt ; then
1289        rm -rf $DRESULTS
1290    fi
1291    
Legend:
Removed from v.1.10  
changed lines
  Added in v.1.105
  ViewVC Help
Powered by ViewVC 1.1.22