/[MITgcm]/MITgcm/verification/testreport
ViewVC logotype

Diff of /MITgcm/verification/testreport

Parent Directory Parent Directory | Revision Log Revision Log | View Revision Graph Revision Graph | View Patch Patch

revision 1.9.2.8 by edhill, Sat Oct 4 02:10:52 2003 UTC revision 1.106 by jmc, Tue Oct 23 19:36:15 2007 UTC
# Line 1  Line 1 
1  #!/bin/bash  #! /usr/bin/env bash
2  #  #
3  #  $Header$  #  $Header$
4    #  $Name$
5  #  #
6    
7  usage()  usage()
# Line 10  usage() Line 11  usage()
11      echo      echo
12      echo "where possible OPTIONS are:"      echo "where possible OPTIONS are:"
13      echo "  (-help|-h)               print usage"      echo "  (-help|-h)               print usage"
14      echo "  (-mpi)                   use MPI input files"      echo "  (-mth)                   run multi threaded (using eedata.mth)"
15      echo "  (-optfile=|-of=)STRING   list of optfiles to use"      echo "  (-mpi)                   compile and run using MPI"
16      echo "  (-a|-addr)STRING         list of email recipients"      echo "  (-ieee|-noieee)          if possible, use IEEE compiler flags"
17        echo "                             (DEF=\"-ieee\")"
18        echo "  (-of=|-optfile=)STRING   list of optfiles to use"
19        echo "  (-a|-addr) STRING        list of email recipients"
20      echo "                             (DEF=\"edhill@mitgcm.org\")"      echo "                             (DEF=\"edhill@mitgcm.org\")"
21      echo "  (-t|-tdir)STRING         list of test dirs to use"      echo "  (-t|-tdir) STRING        list of group and/or exp. dirs to test"
22      echo "                             (DEF=\"\" which builds all)"      echo "                             (recognized groups: basic, tutorials)"
23      echo "  (-b|-bash)STRING         location of \"bash\" executable"      echo "                             (DEF=\"\" which test all)"
24      echo "                             (DEF=\"\" for \"/bin/bash\")"      echo "  (-skd|-skipdir) STRING   list of exp. dirs to skip"
25      echo "  (-command)STRING         command to run"      echo "                             (DEF=\"\" which test all)"
26        echo "  (-b|-bash) STRING        preferred location of a \"bash\" or"
27        echo "                             Bourne-compatible \"sh\" shell"
28        echo "                             (DEF=\"\" for \"bash\")"
29        echo "  (-adm|-ad)               perform an adjoint run"
30        echo "  (-command) STRING        command to run"
31      echo "                             (DEF=\"make output.txt\")"      echo "                             (DEF=\"make output.txt\")"
32      echo "  (-m|-make)STRING         command to use for \"make\""      echo "  (-m|-make) STRING        command to use for \"make\""
33      echo "                             (DEF=\"make\")"      echo "                             (DEF=\"make\")"
34        echo "  (-odir) STRING           used to build output directory name"
35        echo "                             (DEF=\"hostname\")"
36        echo "  (-ptr|-ptracers) STRING  specify which ptracers to test"
37        echo "                             (DEF=\"1 2 3 4 5\")"
38        echo "  (-match) NUMBER          Matching Criteria (number of digits)"
39        echo "                             (DEF=\"12\")"
40        echo "  (-j) JOBS                use \"make -j JOBS\" for parallel builds"
41      echo "  (-clean)                 *ONLY* run \"make CLEAN\""      echo "  (-clean)                 *ONLY* run \"make CLEAN\""
42      echo "  (-quick|-q)              same as \"-nogenmake -noclean -nodepend\""      echo "  (-quick|-q)              same as \"-nogenmake -noclean -nodepend\""
43      echo "  (-nogenmake|-ng)         skip the genmake stage"      echo "  (-nogenmake|-ng)         skip the genmake stage"
44      echo "  (-noclean|-nc)           skip the \"make clean\" stage"      echo "  (-noclean|-nc)           skip the \"make clean\" stage"
45      echo "  (-nodepend|-nd)          skip the \"make depend\" stage"      echo "  (-nodepend|-nd)          skip the \"make depend\" stage"
46        echo "  (-deldir|-dd)            on success, delete the output directory"
47        echo "  (-ts)                    provide timing information per timestep"
48        echo "  (-papis)                 provide MFlop/s per timestep using PAPI"
49        echo "  (-pcls)                  provide MFlop/s per timestep using PCL"
50      echo      echo
51      echo "and where STRING follows a whitespace-delimited format"      echo "and where STRING can be a whitespace-delimited list"
52      echo "such as:"      echo "such as:"
53        echo
54      echo "  -t 'exp0 exp2 exp3' "      echo "  -t 'exp0 exp2 exp3' "
55      echo "  -addr='abc@123.com testing@home.org'"      echo "  -addr='abc@123.com testing@home.org'"
56      echo      echo
57        echo "provided that the expression is properly quoted within the current"
58        echo "shell (note the use of single quotes to protect white space)."
59        echo
60      exit 1      exit 1
61  }  }
62    
63  #  build the mpack utility  #  build the mpack utility
64  build_mpack()  build_mpack()
65  {  {
66      echo -n "building the mpack utility...  "      printf "building the mpack utility...  "
67      if test ! -x "$MPACKDIR/mpack" ; then      if test ! -x "$MPACKDIR/mpack" ; then
68          if test ! -d $MPACKDIR ; then          if test ! -d $MPACKDIR ; then
69                echo
70              echo "Error: can't find \"$MPACKDIR\""              echo "Error: can't find \"$MPACKDIR\""
71              echo "  are you sure this program is being run in the correct "              echo "  are you sure this program is being run in the correct "
72              echo "  (that is, \"MITGCM_ROOT\verification\") directory?"              echo "  (that is, \"MITGCM_ROOT\verification\") directory?"
73              exit 1              echo
74                HAVE_MPACK=f
75          fi          fi
76          echo -n "building mpack...  "          printf "building mpack...  "
77          ( cd $MPACKDIR && ./configure && $MAKE ) > build_mpack.out 2>&1          if test "x$CC" = x ; then
78                export CC=cc
79            fi
80            ( cd $MPACKDIR && ./configure && $MAKE ) > tr_build_mpack.out 2>&1
81          RETVAL=$?          RETVAL=$?
82          if test "x$RETVAL" != x0 ; then          if test "x$RETVAL" != x0 ; then
83              echo              echo
84              echo "Error building the mpack tools at: $MPACK_DIR"              echo "Error building the mpack tools at: $MPACK_DIR"
85              exit 1              echo
86                HAVE_MPACK=f
87            else
88                rm -f tr_build_mpack.out
89                HAVE_MPACK=t
90          fi          fi
91        else
92            HAVE_MPACK=t
93      fi      fi
94      echo "OK"      echo "OK"
95  }  }
96    
97  compare_lines()  testoutput_var()
 {  
     # use codelet to compare lines  
     if [ $verbose -gt 1 ]; then  
         cat tmp3.txt 1>&2  
     fi  
     return `./a.out < tmp3.txt`  
 }  
   
 testoutput_for_prop()  
98  {  {
99      # testoutput_for_prop dir s1 label subdir      # testoutput_var dir s1 label subdir reference_output
100      #      #
101      #  compares files in $dir/$subdir/output.txt and $dir/results/output.txt      #  compares 1 variable output selected from file $dir/$subdir/$OUTPUTFILE
102      #  using search strings s1 and text label      #     with same output from reference file $dir/results/$reference_output
103        #  using search strings s1 and text label
104    
105      if [ $debug -gt 0 ]; then      if [ $debug -gt 0 ]; then
106          echo testoutput_for_prop: grep "$2" $1/$4/output.txt 1>&2          echo testoutput_var: grep "$2" $1/$4/$OUTPUTFILE 1>&2
107      fi      fi
108      if [ -r $1/$4/output.txt ]; then      if [ -r $1/$4/$OUTPUTFILE ]; then
109          grep "$2" $1/$4/output.txt | sed 's/.*=//' | nl > tmp1.txt          grep "$2" $1/$4/$OUTPUTFILE | sed 's/.*=//' | cat -n > tmp1.txt
110          lncnt=`wc -l tmp1.txt | awk '{print $1}' `          lncntA=`wc -l tmp1.txt | awk '{print $1}' `
111          if [ $lncnt -lt 3 ]; then          if [ $lncntA -lt 2 ]; then
112              if [ $verbose -gt 0 ]; then              if [ $verbose -gt 0 ]; then
113                  echo Not enough lines of output when searching for "$2" 1>&2                  echo Not enough lines of output when searching for "$2" 1>&2
114              fi              fi
115              return 99              return 99
116          fi          fi
117      else      else
118          echo testoutput_for_prop: output.txt from model run was not readable 1>&2          echo testoutput_var: $OUTPUTFILE from model run was not readable 1>&2
119          return 99          return 99
120      fi      fi
121      if [ $debug -gt 0 ]; then      if [ $debug -gt 0 ]; then
122          echo testoutput_for_prop: grep "$2" $1/results/output.txt 1>&2          echo testoutput_var: grep "$2" $1/results/$5 1>&2
123      fi      fi
124      grep "$2" $1/results/output.txt | sed 's/.*=//' | nl > tmp2.txt      grep "$2" $1/results/$5 | sed 's/.*=//' | cat -n > tmp2.txt
125      lncnt=`wc -l tmp2.txt | awk '{print $1}' `      lncntB=`wc -l tmp2.txt | awk '{print $1}' `
126      if [ $lncnt -lt 3 ]; then      if [ $lncntB -lt 2 ]; then
127          if [ $verbose -gt 0 ]; then          if [ $verbose -gt 0 ]; then
128              echo Not enough lines of output when searching for "$2" 1>&2              echo Not enough lines of output when searching for "$2" 1>&2
129          fi          fi
130          return 99          return 99
131      fi      fi
132        if [ $lncntA -ne $lncntB ]; then
133            if [ $verbose -gt 0 ]; then
134                echo Not same Nb of lines when searching for "$2" ":" $lncntA $lncntB 1>&2
135            fi
136            return 99
137        fi
138        has_nan=`cat tmp1.txt | grep -i nan | wc -l`
139        if [ $has_nan -gt 0  ] ; then
140            echo testoutput_var: $OUTPUTFILE contains $has_nan NaN values  1>&2
141            return 99
142        fi
143        has_inf=`cat tmp1.txt | grep -i inf | wc -l`
144        if [ $has_inf -gt 0  ] ; then
145            echo testoutput_var: $OUTPUTFILE contains $has_inf Inf values  1>&2
146            return 99
147        fi
148      if [ $debug -gt 0 ]; then      if [ $debug -gt 0 ]; then
149          echo testoutput_for_prop: join tmp1.txt tmp2.txt 1>&2          echo testoutput_var: join tmp1.txt tmp2.txt 1>&2
150      fi      fi
151      join tmp1.txt tmp2.txt | awk '{print $1 " " $2 " " $3}' > tmp3.txt      join tmp1.txt tmp2.txt | awk '{print $1 " " $2 " " $3}' > tmp3.txt
152      if [ $debug -gt 0 ]; then      if [ $debug -gt 0 ]; then
153          echo testoutput_for_prop: compare_lines 1>&2          echo testoutput_var: compare_lines 1>&2
154        fi
155        if [ $verbose -gt 1 ]; then
156            cat tmp3.txt 1>&2
157      fi      fi
158      compare_lines      echo "-1" >> tmp3.txt
159      digits_of_similarity=$?      # On the SGI O3K (*not* the O2K), "cat -n" inserts a ":" after the line number
160        cat tmp3.txt | sed -e 's|:||g' > tmp4.txt
161        digits_of_similarity=`./tr_cmpnum < tmp4.txt`
162      if [ $digits_of_similarity -eq 99 ]; then      if [ $digits_of_similarity -eq 99 ]; then
163          if [ $verbose -gt 0 ]; then          if [ $verbose -gt 0 ]; then
164              echo testoutput_for_prop: No comparison was available for \"$2\" 1>&2              echo testoutput_var: No comparison was available for \"$3\" 1>&2
165          fi          fi
166          digits_of_similarity=99          digits_of_similarity=99
167      else      else
168          if [ $verbose -gt 0 ]; then          if [ $verbose -gt 0 ]; then
169              echo There were $digits_of_similarity decimal places of similarity for \"$2\" 1>&2              echo There were $digits_of_similarity decimal places of similarity for \"$3\" 1>&2
170          fi          fi
171      fi      fi
172      rm tmp1.txt tmp2.txt tmp3.txt      rm -f tmp1.txt tmp2.txt tmp3.txt tmp4.txt
173            
174      return $digits_of_similarity      return $digits_of_similarity
175  }  }
# Line 141  dashnum() Line 189  dashnum()
189      done      done
190  }  }
191    
192  testoutput()  check_for_add_mon_output()
193  {  {
194      # testoutput diretory subdir      # Check for additional types of monitor output
195      #      if test "x$1" = x ; then
196      #  test output in "directory"          return
   
     if [ $debug -gt 0 ]; then  
         echo testoutput: testoutput_for_prop $1 cg2d_init_res 1>&2  
197      fi      fi
198      testoutput_for_prop $1 "cg2d_init_res" "cg2d init. residual" $2; cg2dres=$?  
199      if [ $debug -gt 0 ]; then      for ii in $PTRACERS_NUM ; do
200          echo testoutput: cg2dres=$cg2dres 1>&2          eval "HAVE_PTR0"$ii"=f"
201      fi      done
202        
203      testoutput_for_prop $1 "dynstat_theta_min" "theta minimum" $2; tmin=$?      ptr_add="trcstat_ptracerXX_min trcstat_ptracerXX_max"
204      testoutput_for_prop $1 "dynstat_theta_max" "theta maximum" $2; tmax=$?      ptr_add="$ptr_add trcstat_ptracerXX_mean trcstat_ptracerXX_sd"
205      testoutput_for_prop $1 "dynstat_theta_mean" "theta mean" $2; tmean=$?      for ii in $PTRACERS_NUM ; do
206      testoutput_for_prop $1 "dynstat_theta_sd" "theta s.d." $2; tsd=$?          for jj in $ptr_add ; do
207      testoutput_for_prop $1 "dynstat_salt_min" "salt minimum" $2; smin=$?              name=`eval "echo $jj | sed -e 's|XX|0"$ii"|g'"`
208      testoutput_for_prop $1 "dynstat_salt_max" "salt maximum" $2; smax=$?              tst=`grep $name $1 | wc -l | awk '{print $1}'`
209      testoutput_for_prop $1 "dynstat_salt_mean" "salt mean" $2; smean=$?              if test ! "x$tst" = x0 ; then
210      testoutput_for_prop $1 "dynstat_salt_sd" "salt s.d." $2; ssd=$?                  eval "HAVE_PTR0"$ii"=t"
211      testoutput_for_prop $1 "dynstat_uvel_min" "U minimum" $2; umin=$?              fi
212      testoutput_for_prop $1 "dynstat_uvel_max" "U maximum" $2; umax=$?          done
213      testoutput_for_prop $1 "dynstat_uvel_mean" "U mean" $2; umean=$?          #  eval 'echo "HAVE_PTR0'$ii' = $HAVE_PTR0'$ii'"'
214      testoutput_for_prop $1 "dynstat_uvel_sd" "U s.d." $2; usd=$?      done
215      testoutput_for_prop $1 "dynstat_vvel_min" "V minimum" $2; vmin=$?  }
216      testoutput_for_prop $1 "dynstat_vvel_max" "V maximum" $2; vmax=$?  
217      testoutput_for_prop $1 "dynstat_vvel_mean" "V mean" $2; vmean=$?  testoutput_run()
218      testoutput_for_prop $1 "dynstat_vvel_sd" "V s.d." $2; vsd=$?  {
219            # testoutput_run directory subdir reference_output
220      dashnum $cg2dres $tmin $tmax $tmean $tsd $smin $smax $smean $ssd \      #
221          $umin $umax $umean $usd $vmin $vmax $vmean $vsd      #  test output from 1 run in "directory"
222    # --> same processing for adjoint & forward test
223            # default list of output variables to be checked:
224            #  1rst : main variable used to decide if it pass or FAIL
225            #  others : number of matching digits to be printed in summary.txt
226            listChk=$DEF_CHECK_LIST
227            #  load experiment-specific list from file "tr_checklist" (if it exist)
228            if test -r $1/$2/tr_checklist ; then listChk=`cat $1/$2/tr_checklist` ; fi
229            sVar=`echo $listChk | awk '{print $1}'`
230            # remove 1rst var and expand the list: + => min max mean s.d
231            listVar=`echo $listChk | sed 's/ [a-zA-Z0-9]*+/&mn &mx &av &sd/g' \
232                                   | sed 's/+//g' | sed "s/^$sVar//"`
233            if [ $debug -gt 0 ]; then echo "testoutput_run: listVar(I)='$listVar'" 1>&2 ; fi
234            for ii in 1 2 3 4 5 6 7 8 9 ; do
235              tst=`eval 'echo "$HAVE_PTR0'$ii'"'`
236             #echo "-- ptr test=" $tst "number of var=" `echo $listVar | awk '{print NF}'` 1>&2
237              if test "x$tst" != xt ; then listVar=`echo "$listVar" | sed "s/ pt$ii..//g"` ; fi
238            done
239            tst=`echo $sVar $listVar | awk '{ for(i=2;i<=NF;i++){t+=($i==$1)}; print t }'`
240            if test $tst != 1 ; then
241              if test $tst = 0 ; then echo "==> WARNING: selected var >$sVar< not found" 1>&2
242                     else echo "==> WARNING: found selected var >$sVar< $tst times" 1>&2 ; fi
243              echo "==> WARNING: in checked list:" $listVar 1>&2
244            #- put it back once:
245              listVar=" $sVar "`echo "$listVar " | sed "s/ $sVar / /g"`
246            fi
247            if [ $debug -gt 0 ]; then echo "testoutput_run: listVar(M)='$listVar'" 1>&2 ; fi
248            echo "listVar='$listVar'" > $CDIR"/summary.txt"
249            allargs=""
250            for xx in $listVar
251            do
252              case $xx in
253               'PS')  if [ $debug -gt 0 ]
254                      then echo testoutput_run: testoutput_var $1 cg2d_init_res 1>&2 ; fi
255                      testoutput_var $1 "cg2d_init_res" "Press. Solver (cg2d)" $2 $3; yy=$?
256                      if [ $debug -gt 0 ] ; then echo testoutput_run: cg2dres=$yy 1>&2 ; fi ;;
257              'Cost') testoutput_var $1 "ADM  precision_derivative_cost" "ADM Cost" $2 $3; yy=$? ;;
258              'Grad') testoutput_var $1 "ADM  precision_derivative_grad" "ADM Grad" $2 $3; yy=$? ;;
259               'Tmn') testoutput_var $1 "dynstat_theta_min"  "Theta minimum"  $2 $3; yy=$? ;;
260               'Tmx') testoutput_var $1 "dynstat_theta_max"  "Theta maximum"  $2 $3; yy=$? ;;
261               'Tav') testoutput_var $1 "dynstat_theta_mean" "Theta mean"     $2 $3; yy=$? ;;
262               'Tsd') testoutput_var $1 "dynstat_theta_sd"   "Theta Std.Dev"  $2 $3; yy=$? ;;
263               'Smn') testoutput_var $1 "dynstat_salt_min"  "Salt minimum"    $2 $3; yy=$? ;;
264               'Smx') testoutput_var $1 "dynstat_salt_max"  "Salt maximum"    $2 $3; yy=$? ;;
265               'Sav') testoutput_var $1 "dynstat_salt_mean" "Salt mean"       $2 $3; yy=$? ;;
266               'Ssd') testoutput_var $1 "dynstat_salt_sd"   "Salt Std.Dev"    $2 $3; yy=$? ;;
267               'Umn') testoutput_var $1 "dynstat_uvel_min"  "U minimum"       $2 $3; yy=$? ;;
268               'Umx') testoutput_var $1 "dynstat_uvel_max"  "U maximum"       $2 $3; yy=$? ;;
269               'Uav') testoutput_var $1 "dynstat_uvel_mean" "U mean"          $2 $3; yy=$? ;;
270               'Usd') testoutput_var $1 "dynstat_uvel_sd"   "U Std.Dev"       $2 $3; yy=$? ;;
271               'Vmn') testoutput_var $1 "dynstat_vvel_min"  "V minimum"       $2 $3; yy=$? ;;
272               'Vmx') testoutput_var $1 "dynstat_vvel_max"  "V maximum"       $2 $3; yy=$? ;;
273               'Vav') testoutput_var $1 "dynstat_vvel_mean" "V mean"          $2 $3; yy=$? ;;
274               'Vsd') testoutput_var $1 "dynstat_vvel_sd"   "V Std.Dev"       $2 $3; yy=$? ;;
275            'pt1mn'|'pt2mn'|'pt3mn'|'pt4mn'|'pt5mn') ii=`echo $xx | sed 's/pt//' | sed 's/..$//'`
276               testoutput_var $1 "trcstat_ptracer0"$ii"_min"  "p0"$ii"_min"   $2 $3; yy=$? ;;
277            'pt1mx'|'pt2mx'|'pt3mx'|'pt4mx'|'pt5mx') ii=`echo $xx | sed 's/pt//' | sed 's/..$//'`
278               testoutput_var $1 "trcstat_ptracer0"$ii"_max"  "p0"$ii"_max"   $2 $3; yy=$? ;;
279            'pt1av'|'pt2av'|'pt3av'|'pt4av'|'pt5av') ii=`echo $xx | sed 's/pt//' | sed 's/..$//'`
280               testoutput_var $1 "trcstat_ptracer0"$ii"_mean" "p0"$ii"_mean" $2 $3; yy=$? ;;
281            'pt1sd'|'pt2sd'|'pt3sd'|'pt4sd'|'pt5sd') ii=`echo $xx | sed 's/pt//' | sed 's/..$//'`
282               testoutput_var $1 "trcstat_ptracer0"$ii"_sd"   "p0"$ii"_StDv"  $2 $3; yy=$? ;;
283             'Qntmn') testoutput_var $1 "extforcing_qnet_min" "Qnet minimum"  $2 $3; yy=$? ;;
284             'Qntmx') testoutput_var $1 "extforcing_qnet_max" "Qnet maximum"  $2 $3; yy=$? ;;
285             'Qntav') testoutput_var $1 "extforcing_qnet_mean" "Qnet mean"    $2 $3; yy=$? ;;
286             'Qntsd') testoutput_var $1 "extforcing_qnet_sd"  "Qnet Std.Dev"  $2 $3; yy=$? ;;
287             'aSImn') testoutput_var $1 "seaice_area_min"   "SIce Area min"   $2 $3; yy=$? ;;
288             'aSImx') testoutput_var $1 "seaice_area_max"   "SIce Area max"   $2 $3; yy=$? ;;
289             'aSIav') testoutput_var $1 "seaice_area_mean"  "SIce Area mean"  $2 $3; yy=$? ;;
290             'aSIsd') testoutput_var $1 "seaice_area_sd"    "SIce Area StDv"  $2 $3; yy=$? ;;
291             'hSImn') testoutput_var $1 "seaice_heff_min"   "SIce Heff min"   $2 $3; yy=$? ;;
292             'hSImx') testoutput_var $1 "seaice_heff_max"   "SIce Hell max"   $2 $3; yy=$? ;;
293             'hSIav') testoutput_var $1 "seaice_heff_mean"  "SIce Hell mean"  $2 $3; yy=$? ;;
294             'hSIsd') testoutput_var $1 "seaice_heff_sd"    "SIce Hell StDv"  $2 $3; yy=$? ;;
295            'AthSiG') testoutput_var $1 "thSI_Ice_Area_G" "thSIc Area Global" $2 $3; yy=$? ;;
296            'AthSiS') testoutput_var $1 "thSI_Ice_Area_S" "thSIc Area South"  $2 $3; yy=$? ;;
297            'AthSiN') testoutput_var $1 "thSI_Ice_Area_N" "thSIc Area North"  $2 $3; yy=$? ;;
298            'HthSiG') testoutput_var $1 "thSI_IceH_ave_G" "thSIc H Global"    $2 $3; yy=$? ;;
299            'HthSiS') testoutput_var $1 "thSI_IceH_ave_S" "thSIc H South"     $2 $3; yy=$? ;;
300            'HthSiN') testoutput_var $1 "thSI_IceH_ave_N" "thSIc H North"     $2 $3; yy=$? ;;
301                  *) yy=99; echo "WARNING: asking for var=$xx : not recognized !" 1>&2 ;;
302              esac
303              if test $xx = $sVar
304              then allargs="$allargs > $yy <"
305              else allargs="$allargs $yy"
306              fi
307            done
308    
309            nbVar=`echo $listVar | awk '{print NF}'`
310            if [ $nbVar -lt $LEN_CHECK_LIST ] ; then
311            #-- fill line (up to standard length) with dot:
312              adNul=`expr $LEN_CHECK_LIST - $nbVar | awk '{for(i=1;i<=$1;i++){print "."}}'`
313              echo $allargs $adNul
314            else
315              echo $allargs
316            fi
317    # <-- same processing for adjoint & forward test
318  }  }
319    
320  genmakemodel()  genmakemodel()
# Line 182  genmakemodel() Line 323  genmakemodel()
323      if test "x$NOGENMAKE" = xt ; then      if test "x$NOGENMAKE" = xt ; then
324          echo "genmake skipped!"          echo "genmake skipped!"
325      else      else
326          GENMAKE2="$BASH ../../../tools/genmake2"          if test "x$BASH" = x ; then
327                GENMAKE2="../../../tools/genmake2"
328            else
329                GENMAKE2="$BASH ../../../tools/genmake2 -bash $BASH"
330            fi
331          (          (
332              cd $1;              cd $1;
333              printf 'genmake ... ' 1>&2              command="$GENMAKE2  -ds -m $MAKE"
334              command="$GENMAKE2  -ds -m $MAKE --mods=../code"              if test "x$ADM" = x ; then
335                    command="$command --mods=../code"
336                else
337                    command="$command --mods=../code_ad"
338                fi
339              if test "x$OPTFILE" != xNONE ; then              if test "x$OPTFILE" != xNONE ; then
340                  command="$command --optfile=$OPTFILE"                  command="$command --optfile=$OPTFILE"
                 # echo "  command=\"$command\""  
341              fi              fi
342                if test "x$IEEE" != x ; then
343                    command="$command -ieee"
344                fi
345                if test "x$MPI" = xt ; then
346                    command="$command -mpi"
347                fi
348                if test "x$TS" = xt ; then
349                    command="$command -ts"
350                fi
351                if test "x$PAPIS" = xt ; then
352                    command="$command -papis"
353                else
354                if test "x$PCLS" = xt ; then
355                    command="$command -pcls"
356                fi
357                fi
358                printf 'genmake ... ' 1>&2
359              $command > make.log 2>&1              $command > make.log 2>&1
360              RETVAL=$?              RETVAL=$?
361              for i in genmake_state genmake_optfile genmake_local Makefile ; do              #  Reduce the size of the testing emails!
362                  if test -r $i ; then              head -100 Makefile > $CDIR/Makefile_head
                     cp $i $CDIR  
                 fi  
             done  
363              if test "x$RETVAL" != x0 ; then              if test "x$RETVAL" != x0 ; then
364                  tail make.log                  tail make.log
365                  echo "genmakemodel: genmake failed" 1>&2                  echo "genmakemodel: genmake failed" 1>&2
366                  cp make.log $CDIR                  cp genmake_* make.log $CDIR
367                  return 1                  return 1
368              else              else
369                  echo "succesful" 1>&2                  echo "successful" 1>&2
370              fi              fi
371          )          )
372      fi      fi
# Line 214  makeclean() Line 376  makeclean()
376  {  {
377      # makeclean directory      # makeclean directory
378      if test "x$NOCLEAN" = xt ; then      if test "x$NOCLEAN" = xt ; then
379          echo "make CLEAN skipped!"          echo "make Clean skipped!"
380      else      else
381          (          (
382              cd $1;              cd $1;
383              if test -e output.txt ; then              #if test -e $OUTPUTFILE ; then rm -f $OUTPUTFILE ; fi
                 rm -f output.txt  
             fi  
             printf 'make CLEAN ... ' 2>&1  
384              if test -r Makefile ; then              if test -r Makefile ; then
385                  $MAKE CLEAN >> make.log 2>&1                  printf 'clean build-dir: make Clean ... ' 2>&1
386                    $MAKE Clean >> make.log 2>&1
387                  RETVAL=$?                  RETVAL=$?
388                  if test "x$RETVAL" != x0 ; then                  if test "x$RETVAL" != x0 ; then
389                      tail make.log                      tail make.log
390                      echo "makeclean: \"make CLEAN\" failed" 1>&2                      echo "makeclean: \"make Clean\" failed" 1>&2
391                      cp make.log $CDIR"/make.log"                      cp make.log $CDIR"/make.log"
392                      return 1                      return 1
393                  fi                  fi
394              fi              fi
395              echo succesful 1>&2              echo successful 1>&2
396                exit 0
397            )
398        fi
399    }
400    
401    run_clean()
402    {
403        # run_clean directory
404        if test "x$NOCLEAN" = xt ; then
405            echo "run_clean skipped!"
406        else
407            (
408                cd $1;
409                printf 'clean run-dir ... ' 2>&1
410                # part of what is done after "make clean" when doing "make CLEAN"
411                find . -name "*.meta" -exec rm {} \;
412                find . -name "*.data" -exec rm {} \;
413                find . -name "fort.*" -exec rm {} \;
414                find . -type l -exec rm {} \;
415                rm -f $EXECUTABLE *.txt STD* *diagnostics.log datetime
416                rm -rf mnc_test_*
417                echo successful 1>&2
418              exit 0              exit 0
419          )          )
420      fi      fi
# Line 255  makedependmodel() Line 437  makedependmodel()
437                  cp make.log $CDIR"/make.log"                  cp make.log $CDIR"/make.log"
438                  return 1                  return 1
439              else              else
440                  echo succesful 1>&2                  echo successful 1>&2
441              fi              fi
442          )          )
443      fi      fi
# Line 268  makemodel() Line 450  makemodel()
450          cd $1;          cd $1;
451          if test -r Makefile ; then          if test -r Makefile ; then
452              printf 'make ... ' 1>&2              printf 'make ... ' 1>&2
453              $MAKE >> make.log 2>&1              if test "x$ADM" = x ; then
454                    if test "x$JOBS" = x ; then
455                        $MAKE >> make.log 2>&1
456                    else
457                        $MAKE -j $JOBS >> make.log 2>&1
458                    fi
459                else
460                    $MAKE adall >> make.log 2>&1
461                fi
462              RETVAL=$?              RETVAL=$?
463              if test "x$RETVAL" != x0 ; then              if test "x$RETVAL" != x0 ; then
464                  tail make.log                  tail make.log
# Line 276  makemodel() Line 466  makemodel()
466                  cp make.log $CDIR"/make.log"                  cp make.log $CDIR"/make.log"
467                  return 1                  return 1
468              else              else
469                  echo succesful 1>&2                  echo successful 1>&2
470              fi              fi
471          fi          fi
472      )      )
473  }  }
474    
475    symlink_mpifiles()
476    {
477        # Put special links so that MPI specific files are used
478        # This MUST be invoked between makeclean and makelinks because
479        # the Makefile will link to non-mpi files by default
480    
481        dir=$1
482        code_dir=$2
483        BUILD_DIR=$dir/$3
484        CODE_DIR=$dir/$code_dir
485        
486        # These are files that should replace their counter-part when using -mpi
487        MPI_FILES=`(cd $CODE_DIR; find . -name "*_mpi")`
488    
489        #  Is this an MPI run?
490        if test "x$MPI" = xt ; then
491            # YES: We symbolically link these files to the build
492            # dir so long as there is no real file in place
493            for ii in $MPI_FILES ; do
494                i=`echo $ii | sed 's:^\./::'`
495                name=`echo $i | sed 's:_mpi::' `
496                cmp $CODE_DIR/$i $BUILD_DIR/$name > /dev/null 2>&1
497                RETVAL=$?
498                if test "x$RETVAL" != x0 ; then
499                    if ! test -f $BUILD_DIR/$i ; then
500                        #echo Linking $name to $i
501                        (cd $BUILD_DIR; ln -sf ../$code_dir/$i $name)
502                    fi
503                fi
504            done
505        else
506            # NO: We undo any _mpi symbolically linked files
507            for ii in $MPI_FILES ; do
508                i=`echo $ii | sed 's:^\./::'`
509                name=`echo $i | sed 's:_mpi::' `
510                if test -L $BUILD_DIR/$name ; then
511                    cmp $BUILD_DIR/$name "../$code_dir/$name"_mpi > /dev/null 2>&1
512                    RETVAL=$?
513                    if test "x$RETVAL" = x0 ; then
514                        #echo Un-linking $name from $linktarg
515                        rm -f $BUILD_DIR/$name
516                    fi
517                fi
518            done
519        fi
520        
521    }
522    
523  linkdata()  linkdata()
524  {  {
525      # linkdata flag      # linkdata run_dir input_dir_1 input_dir_2 ...
526      #      #
527      # symbolically link data files to run directory      # symbolically link data files to run directory
528      if [ $1 -ne 0 ]; then      if test -d $1 ; then
529          ( cd $2 ;  ln -sf ../input/* . )          (
530                cd $1 ; shift
531                if test -r "../"$1"/eedata.mth" ; then
532                # found eedata.mth in 1rst input dir and it is readable
533                    if test "x$MULTI_THREAD" = "xt" ; then
534                    # multi-threaded test: remove symbolic link & link eedata.mth
535                        if test -h eedata ; then rm -f eedata ; fi
536                        if test ! -r eedata ; then
537                            ln -sf "../"$1"/eedata.mth" eedata ;
538                            printf 'eedata.mth ' 1>&2
539                        fi
540                    else
541                    # not multi-threaded test: remove eedata symbolic link
542                        if test -h eedata ; then rm -f eedata ; fi
543                    fi
544                fi
545                for ldir in $* ; do
546                    if test -d "../"$ldir ; then
547                        printf 'ldir='${ldir} 1>&2
548                        files=`( cd "../"$ldir ; ls -1 | grep -v CVS )`
549                        for i in $files ; do
550                            if test ! -d "../"$ldir/$i ; then
551                                if test ! -r $i  ; then
552                                    printf ' '$i 1>&2
553                                    ln -sf "../"$ldir"/"$i $i
554                                fi
555                            fi
556                        done
557                        if test -x "../"$ldir"/"prepare_run ; then
558                            "../"$ldir"/"prepare_run
559                        fi
560                        printf ' ; ' 1>&2
561                    fi
562                done
563            )
564      fi      fi
565  }  }
566    
# Line 296  runmodel() Line 568  runmodel()
568  {  {
569      # runmodel directory      # runmodel directory
570      #      #
571      #  runs "$COMMAND" in "directory"      #  runs "$COMMAND in "directory"
572      #  (where "$COMMAND" is relative to "directory")      #  (where "$COMMAND" is relative to "directory")
573      (      (
574          cd $1          cd $1
575          printf 'runmodel: ' 1>&2          printf 'runmodel in %s ...' $1 1>&2
576          # make output.txt          # make output.txt
577          $COMMAND          echo
578          RETVAL=$?          if test -L $EXECUTABLE -a -x "../"$builddir"/"$EXECUTABLE ; then
579          if test "x$RETVAL" = x0 ; then              diff -q $EXECUTABLE "../"$builddir"/"$EXECUTABLE > /dev/null 2>&1
580              cp output.txt $CDIR"/output.txt"              outD=$? ; if test $outD != 0 ; then rm -f $EXECUTABLE ; rm -f run.log ; fi
581            fi
582            if test ! -x $EXECUTABLE -a -x "../"$builddir"/"$EXECUTABLE ; then
583                echo " link" $EXECUTABLE "from dir ../"$builddir > run.log_00
584                ln -sf "../"$builddir"/"$EXECUTABLE .
585            fi
586            if test ! -x $EXECUTABLE ; then
587                    rm -f run.log ; touch run.log
588                    if test -f run.log_00 ; then cat run.log_00 >> run.log ; fi
589                    echo " no executable:" $EXECUTABLE >> run.log
590                    RETVAL=8
591                    ENDVAL=-1
592            else
593                if test ! -f $OUTPUTFILE -o $OUTPUTFILE -ot $EXECUTABLE ; then
594                  # output do not exist or is older than executable:
595                    rm -f run.log ; touch run.log
596                    if test -f run.log_00 ; then cat run.log_00 >> run.log ; fi
597                    ( eval $COMMAND ) >> run.log 2>&1
598                    RETVAL=$?
599                else
600                    RETVAL=0
601                    if test -f run.log ; then
602                        if test -f run.log_00 ; then cat run.log_00 >> run.log ; fi
603                        echo "---------->> $OUTPUTFILE is up to date " >> run.log 2>&1
604                    else
605                        touch run.log
606                        if test -f run.log_00 ; then cat run.log_00 >> run.log ; fi
607                        echo "---------->> $OUTPUTFILE is up to date " >> run.log 2>&1
608                        echo " no previous run.log: assume NORMAL END" >> run.log 2>&1
609                    fi
610                fi
611                ENDVAL=`cat run.log | grep -v 'ABNORMAL END' | grep -c 'NORMAL END'`
612            fi
613            rm -f run.log_00
614            #if test "x$RETVAL" = x0 ; then
615            if [ $RETVAL -eq 0 -a $ENDVAL -gt 0 ] ; then
616                tail run.log
617                echo successful 1>&2
618                # === Reduce the size of the testing emails!
619                #cp $OUTPUTFILE $CDIR"/"$OUTPUTFILE
620                if test -s STDERR.0000 ; then cp STDERR.0000 $CDIR"/STDERR.0000" ; fi
621              return 0              return 0
622          else          else
623                tail run.log
624                echo failed '(run:' $RETVAL ' end:' $ENDVAL ')' 1>&2
625                cp run.log $CDIR"/run.log"
626                if test -s STDERR.0000 ; then cp STDERR.0000 $CDIR"/STDERR.0000" ; fi
627              return 1              return 1
628          fi          fi
629      )      )
# Line 317  createcodelet() Line 633  createcodelet()
633  {  {
634      # create codelet for comparing model output      # create codelet for comparing model output
635    
636      echo -n "creating the comparison code...  "      printf "creating the comparison code...  "
637      cat > tmp_cmpnum.f <<EOFA      cat > tr_cmpnum.c <<EOF
638        program cmpnum  #include <stdio.h>
639        implicit none  #include <math.h>
640        real*8 a,b,diff  int main( int argc, char** argv )  {
641        integer linnum,best    int linnum,cmplin,best,lncnt;
642        best=-16    double a,b,abave,relerr;
643    99  read(*,*,end=70,err=60) linnum,a,b    best = -22;
644        diff=0.5*(abs(a)+abs(b))    lncnt = 0;
645  c     print *,a,b,diff,abs(a-b)/diff    while( 1 & ( (lncnt+=1) < 999 ) )  {
646        if (diff.gt.1.e-12) then      scanf("%d", &linnum);
647          diff=abs(a-b)/diff      if (linnum == -1)  break;
648          if (diff.gt.0.) then      scanf("%lf", &a);  scanf("%lf", &b);
649  c         print *,int(log10(diff)),diff      abave = 0.5*(fabs(a)+fabs(b));
650            linnum=int(log10(diff))      if ( abave == abave ) {
651            best=max(best,linnum)        if (abave > 0.0) {
652          endif          relerr=fabs(a-b)/abave;
653        else          if (relerr > 0.0) { cmplin = (int)rint(log10(relerr)); }
654          if (best.eq.-16.and.diff.ne.0.) best=-22          else { cmplin = -16 ; }
655        endif          best = (best > cmplin) ? best : cmplin; }
656        goto 99        else { cmplin = -22 ; }
657    60  stop 'cmpnum: An error occured reading a,b'     /* printf("%d ; %lf ; %lf\n",cmplin,a,b); */
658    70  print *,-best        }
659        end     else {
660  EOFA     /* printf("%lf ; %lf ; %lf\n",abave,a,b); */
661          break; }
662      }
663      if (lncnt == 999) best=-29;
664      if (linnum != -1) best=-99;
665      printf("%d\n", -best);
666      return 0;
667    }
668    EOF
669        $CC -o tr_cmpnum tr_cmpnum.c -lm
670    
671      f77 tmp_cmpnum.f      if [ -x ./tr_cmpnum ]; then
     if [ -x ./a.out ]; then  
672          echo "OK"          echo "OK"
673          return 0          return 0
674      else      else
675          echo          echo
676          echo "createcodelet: failed to compile codelet"          echo "ERROR: failed to compile comparison code -- please specify"
677            echo "  a C compiler using the CC environment variable."
678          exit 1          exit 1
679      fi      fi
680  }  }
# Line 361  formatresults() Line 686  formatresults()
686      nm=$1      nm=$1
687      printf '%s %s %s %s' $2 $3 $4 $5      printf '%s %s %s %s' $2 $3 $4 $5
688      shift; shift; shift; shift; shift;      shift; shift; shift; shift; shift;
689      printf '%3s' $@      listPrt=$@
690        listRes=`echo $listPrt | sed 's/>//' | sed 's/<//'`
691        xx=`echo $listPrt | sed 's/.*>//' | sed 's/<.*//' | awk '{print $1}'`
692        printf '%3s' $listPrt
693    #   line below does not work on hp-ux_ia64 : do those substitutions later on
694    #   printf '%3s' $listPrt | sed 's/ 99/ --/g' | sed 's/  > />/' | sed 's/  < /</'
695            
696      if [ $1 = '--' ]; then      if [ $xx = '..' ]; then
697            printf ' N/O '
698        elif [ $xx = '--' ]; then
699            printf ' N/O '
700        elif [ $xx = 99 ]; then
701          printf ' N/O '          printf ' N/O '
702      else      else
703          if [ $1 -gt 12 ]; then          if [ $xx -ge $MATCH_CRIT ]; then
704              printf ' pass'              printf ' pass'
705          else          else
706              printf ' FAIL'              printf ' FAIL'
# Line 377  formatresults() Line 711  formatresults()
711            
712  }  }
713    
 show_help()  
 {  
     cat - << EOF  
 $0 [-help] [-quick] [-verbose] dir1 [dir2] [...]  
   
  -help|-h      Show this help message  
  -quiet     Reduce the amount of output  
  -verbose   Produce copious amounts of output  
  -debug     Produce even more output which will mean nothing to most  
  -force     Do "make CLEAN" before compiling. This forces a complete rebuild.  
  -clean     Do "make CLEAN" after compiling and testing.  
  -noieee    By default, $0 uses the -ieee option for genmake. This turns it off.  
  -cleanup   Aggresively removes all model output, executables and object files  
             and then exits. Use with care.  
   
 Normal usage:  
  $0 *       Configure, compile, run and analyze in all experiment directories  
 EOF  
 }  
   
714  scandirs()  scandirs()
715  {  {
716      if [ $# -eq 0 ]; then      if [ $# -eq 1 ]; then
717          for arg in * ; do          for arg in * ; do
718              test -d $arg/input && echo $arg              test -f $arg/$1 && echo $arg
719          done          done
720      else      else
721          echo $*          echo $*
722      fi      fi
723  }  }
724    
725    
726  ###############################################################################  ###############################################################################
 ###############################################################################  
 ###############################################################################  
727    
728    
729  #  Default properties  #  Default properties
# Line 421  clean=0 Line 733  clean=0
733  expts=''  expts=''
734  # ieee=1  # ieee=1
735    
736    IEEE=true
737    if test "x$MITGCM_IEEE" != x ; then
738        IEEE=$MITGCM_IEEE
739    fi
740    
741    
742  CLEANUP=f  CLEANUP=f
743  QUICK=f  QUICK=f
744  NOGENMAKE=f  NOGENMAKE=f
745  NOCLEAN=f  NOCLEAN=f
746  NODEPEND=f  NODEPEND=f
747    POSTCLEAN=f
748    
749  BASH=  BASH=
750  OPTFILE=NONE  OPTFILE=NONE
751  ADDRESSES=  ADDRESSES=
752  TESTDIRS=  TESTDIRS=
753    SKIPDIRS=
754  MPACKDIR="../tools/mpack-1.6"  MPACKDIR="../tools/mpack-1.6"
755    HAVE_MPACK=
756  MPACK="$MPACKDIR/mpack"  MPACK="$MPACKDIR/mpack"
757  COMMAND="make output.txt"  COMMAND=
758  MAKE=make  if test "x$MAKE" = x ; then
759        MAKE=make
760    fi
761    if test "x$CC" = x ; then
762        CC=cc
763    fi
764    JOBS=
765  MPI=f  MPI=f
766    MULTI_THREAD=f
767    OUTDIR=
768    DELDIR=
769    
770    ADM=
771    
772    # Additional monitor types
773    PTRACERS_NUM="1 2 3 4 5"
774    
775    MATCH_CRIT=13
776    
777  echo -n "parsing options...  "  printf "parsing options...  "
778    
779  ac_prev=  ac_prev=
780  for ac_option ; do  for ac_option ; do
# Line 471  for ac_option ; do Line 808  for ac_option ; do
808          -tdir=* | --tdir=*)          -tdir=* | --tdir=*)
809              TESTDIRS=$ac_optarg ;;              TESTDIRS=$ac_optarg ;;
810    
811            -skipdir | --skipdir | -skd | --skd)
812                ac_prev=SKIPDIRS ;;
813            -skipdir=* | --skipdir=*)
814                SKIPDIRS=$ac_optarg ;;
815    
816          -bash | --bash | -b | --b)          -bash | --bash | -b | --b)
817              ac_prev=BASH ;;              ac_prev=BASH ;;
818          -bash=* | --bash=*)          -bash=* | --bash=*)
# Line 486  for ac_option ; do Line 828  for ac_option ; do
828          -make=* | --make=*)          -make=* | --make=*)
829              MAKE=$ac_optarg ;;              MAKE=$ac_optarg ;;
830    
831            -odir | --odir)
832                ac_prev=OUTDIR ;;
833            -odir=* | --odir=*)
834                OUTDIR=$ac_optarg ;;
835    
836            -ptracers | --ptracers | -ptr | --ptr)
837                ac_prev=PTRACERS_NUM ;;
838            -ptracers=* | --ptracers=* | -ptr=* | --ptr=*)
839                PTRACERS_NUM=$ac_optarg ;;
840    
841            -match | --match ) ac_prev=MATCH_CRIT ;;
842            -match=* | --match=* ) MATCH_CRIT=$ac_optarg ;;
843    
844            -j) ac_prev=JOBS ;;
845            -j=*) JOBS=$ac_optarg ;;
846    
847          -clean | --clean)          -clean | --clean)
848              CLEANUP=t ;;              CLEANUP=t ; DELDIR=t ;;
849    
850          -quick | --quick | -q | --q)          -quick | --quick | -q | --q)
851              QUICK=t ;;              QUICK=t ;;
# Line 498  for ac_option ; do Line 856  for ac_option ; do
856          -nodepend | --nodepend | -nd | --nd)          -nodepend | --nodepend | -nd | --nd)
857              NODEPEND=t ;;              NODEPEND=t ;;
858    
859            -postclean | --postclean | -pc | --pc)
860                POSTCLEAN=t ;;
861    
862          -mpi) MPI=t ;;          -mpi) MPI=t ;;
863    
864            -mth) MULTI_THREAD=t ;;
865    
866            -adm | -ad) ADM=t ;;
867    
868            -ieee) IEEE=true ;;
869            -noieee) IEEE= ;;
870    
871          -verbose) verbose=2 ;;          -verbose) verbose=2 ;;
872          -debug) debug=1 ;;          -debug) debug=1 ;;
873          -quiet) verbose=0 ;;          -quiet) verbose=0 ;;
874    
875            -deldir | -dd) DELDIR=t ;;
876    
877            -ts) TS=t;;
878    
879            -papis) PAPIS=t;;
880    
881            -pcls) PCL=t;;
882    
883          -*)          -*)
884              echo "Error: unrecognized option: "$ac_option              echo "Error: unrecognized option: "$ac_option
885              usage              usage
# Line 523  if test "x$QUICK" = xt ; then Line 900  if test "x$QUICK" = xt ; then
900      NODEPEND=t      NODEPEND=t
901  fi  fi
902    
903    #- setting for forward or ADM testing
904    if test "x$ADM" = xt ; then
905        code_dir=code_ad
906        input_dirs='input_ad input'
907        ref_outp="output_adm.txt"
908        EXECUTABLE="mitgcmuv_ad"
909    else
910        code_dir=code
911        input_dirs='input'
912        ref_outp="output.txt"
913        EXECUTABLE="mitgcmuv"
914    fi
915    
916  if test "x$TESTDIRS" = x ; then  if test "x$TESTDIRS" = x ; then
917      TESTDIRS=`scandirs`      LIST=`scandirs results/$ref_outp`
918    else
919        #- expand group of experiments:
920        LIST=" "
921        for xx in $TESTDIRS
922        do
923          case $xx in
924            'basic') LIST=${LIST}" aim.5l_cs hs94.128x64x5 ideal_2D_oce"
925                     LIST=${LIST}" lab_sea tutorial_baroclinic_gyre"
926                     LIST=${LIST}" tutorial_global_oce_latlon tutorial_plume_on_slope"
927                    ;;
928            'tutorials')
929                     LIST=${LIST}" "`ls | grep 'tutorial_'` ;;
930            *)       LIST=${LIST}" "$xx ;;
931          esac
932        done
933  fi  fi
934    #echo 'LIST='${LIST}'<'
935    #- skip dirs, remove duplicate and non-directory:
936    TESTDIRS=" "
937    count=0
938    for xx in $LIST
939    do
940        yy=`echo $SKIPDIRS | grep -c $xx`
941        if test $yy = 0 ; then
942            if test -d $xx ; then
943                yy=`echo $TESTDIRS | grep -c $xx`
944                if test $yy = 0 ; then TESTDIRS=${TESTDIRS}" "$xx ; fi
945            else count=1 ;
946                echo ""; echo -n " -- skip \"$xx\" (not a directory !)"
947            fi
948        else
949            if test $count = 1 ; then echo -n ", \"$xx\""
950            else count=1 ; echo "" ;  echo -n " skip: \"$xx\""
951            fi
952        fi
953    done
954    if test $count = 1 ; then echo "" ; echo -n " ... " ; fi
955    #echo 'TESTDIRS='${TESTDIRS}'<'
956    
957  if test "x$OPTFILE" = xNONE -a "x$MITGCM_OF" != x ; then  if test "x$OPTFILE" = xNONE -a "x$MITGCM_OF" != x ; then
958      OPTFILE=$MITGCM_OF      OPTFILE=$MITGCM_OF
959  fi  fi
960    
961  echo "OK"  OUTPUTFILE=$ref_outp
962    if test "x$COMMAND" = x ; then
963        COMMAND="./$EXECUTABLE > $OUTPUTFILE"
964    fi
965    if test "x$MPI" = xt ; then
966        OUTPUTFILE="STDOUT.0000"
967    fi
968    
969    echo "OK (COMMAND= $COMMAND )"
970    
971    # set the Default List of output variables to be checked:
972    #  (use default or load experiment-specific list from file "tr_checklist")
973    # content : 1rst = main variable used to decide if it pass or FAIL
974    #         others = number of matching digits to be printed in summary.txt
975    if test "x$ADM" = x ; then
976        DEF_CHECK_LIST='PS PS T+ S+ U+ V+ pt1+ pt2+ pt3+ pt4+ pt5+'
977        EMPTY_RESULTS='.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..'
978        LEN_CHECK_LIST=`echo $DEF_CHECK_LIST | sed 's/ [a-zA-Z0-9]*+/&mn &mx &av &sd/g' | awk '{print NF-1}'`
979        ii=`echo $EMPTY_RESULTS | awk '{print NF}'`
980        EMPTY_RESULTS=$EMPTY_RESULTS`expr $LEN_CHECK_LIST - $ii | awk 'BEGIN{FS=":"}{for(i=1;i<=$1;i++){printf "  ."}}'`
981    else
982        DEF_CHECK_LIST='Grad Cost Grad'
983        EMPTY_RESULTS='.. ..'
984        LEN_CHECK_LIST=`echo $DEF_CHECK_LIST | sed 's/ [a-zA-Z0-9]*+/&mn &mx &av &sd/g' | awk '{print NF-1}'`
985    fi
986    
987  #  create the FORTRAN comparison code  #  create the FORTRAN comparison code
988  createcodelet  createcodelet
989    
990  #  build the mpack utility  #  build the mpack utility
991  build_mpack  if test "x$ADDRESSES" = xNONE -o "x$ADDRESSES" = x ; then
992        echo "skipping mpack build"
993    else
994        build_mpack
995    fi
996    
997  #  Create a uniquely named directory to store results  #  Create a uniquely named directory to store results
998  MACH=`hostname`  MACH=`hostname`
999  UNAMEA=`uname -a`  UNAMEA=`uname -a`
1000  DATE=`date +%Y%m%d`  DATE=`date +%Y%m%d`
1001  BASE=$MACH"_"$DATE"_"  BASE="tr_"$MACH"_"$DATE"_"
1002    if test "x$OUTDIR" != x ; then
1003        BASE="tr_"$OUTDIR"_"$DATE"_"
1004    fi
1005  DNUM=0  DNUM=0
1006  DRESULTS="$BASE$DNUM"  DRESULTS="$BASE$DNUM"
1007  while test -e $DRESULTS ; do  while test -e $DRESULTS ; do
# Line 553  done Line 1011  done
1011  mkdir $DRESULTS  mkdir $DRESULTS
1012  RETVAL=$?  RETVAL=$?
1013  if test "x$RETVAL" != x0 ; then  if test "x$RETVAL" != x0 ; then
1014      echo "Error: can't create results directory \"./$DRESULTS\""      echo "ERROR: Can't create results directory \"./$DRESULTS\""
1015      exit 1      exit 1
1016  fi  fi
1017  SUMMARY="$DRESULTS/summary.txt"  SUMMARY="$DRESULTS/summary.txt"
1018  date > $SUMMARY  printf "Start time:  " >> $SUMMARY
1019  cat << EOF >> $SUMMARY  start_date=`date`
1020                  T           S           U           V  echo $start_date > $SUMMARY
 G D M    c        m  s        m  s        m  s        m  s  
 E p a R  g  m  m  e  .  m  m  e  .  m  m  e  .  m  m  e  .  
 N n k u  2  i  a  a  d  i  a  a  d  i  a  a  d  i  a  a  d  
 2 d e n  d  n  x  n  .  n  x  n  .  n  x  n  .  n  x  n  .  
   
 EOF  
   
 NDIR=0  
1021    
1022    of_path=
1023  if test "x$OPTFILE" != xNONE ; then  if test "x$OPTFILE" != xNONE ; then
1024      if test -r $OPTFILE ; then      if test -r $OPTFILE ; then
1025          OPTFILE=`pwd`"/$OPTFILE"          # get the path
1026            path=${OPTFILE%/*}
1027            if test "x$path" = x ; then
1028                of_path=`pwd`
1029            else
1030                of_path=`( cd $path > /dev/null 2>&1 ; pwd )`
1031            fi
1032            file=${OPTFILE##*/}
1033            OPTFILE=$of_path/$file
1034            cp $OPTFILE $DRESULTS
1035            echo >> $SUMMARY
1036            echo "  OPTFILE=$OPTFILE" >> $SUMMARY
1037        else
1038            echo | tee $SUMMARY
1039            echo "ERROR: can't read OPTFILE=\"$OPTFILE\"" | tee $SUMMARY
1040            exit 1
1041      fi      fi
1042    else
1043        echo >> $SUMMARY
1044        echo "No \"OPTFILE\" was explicitly specified by testreport," >> $SUMMARY
1045        echo "   so the genmake default will be used." >> $SUMMARY
1046  fi  fi
1047  echo  echo
 echo "OPTFILE=$OPTFILE" >> $SUMMARY  
1048  echo >> $SUMMARY  echo >> $SUMMARY
1049    if test "x$ADM" = x ; then
1050        if [ $MATCH_CRIT -lt 10 ] ;
1051        then line_0="default  "$MATCH_CRIT ;
1052        else line_0="default "$MATCH_CRIT ; fi
1053           line_0="$line_0  ----T-----  ----S-----  ----U-----  ----V-----"
1054    #   line_0="            ----T-----  ----S-----  ----U-----  ----V-----"
1055        line_1="G D M    c        m  s        m  s        m  s        m  s"
1056        line_2="E p a R  g  m  m  e  .  m  m  e  .  m  m  e  .  m  m  e  ."
1057        line_3="N n k u  2  i  a  a  d  i  a  a  d  i  a  a  d  i  a  a  d"
1058        line_4="2 d e n  d  n  x  n  .  n  x  n  .  n  x  n  .  n  x  n  ."
1059        for ii in $PTRACERS_NUM ; do
1060            #  tst=`eval 'echo $HAVE_PTR0'$ii`
1061            #  if test "x$tst" = xt ; then
1062            line_0="$line_0  --PTR 0"$ii"--"
1063            line_1="$line_1        m  s"
1064            line_2="$line_2  m  m  e  ."
1065            line_3="$line_3  i  a  a  d"
1066            line_4="$line_4  n  x  n  ."
1067            #  fi
1068        done
1069        echo "$line_0" | tee -a $SUMMARY
1070        echo "$line_1" | tee -a $SUMMARY
1071        echo "$line_2" | tee -a $SUMMARY
1072        echo "$line_3" | tee -a $SUMMARY
1073        echo "$line_4" | tee -a $SUMMARY
1074        echo " "       | tee -a $SUMMARY
1075    else
1076        echo "ADJOINT=true" >> $SUMMARY
1077        echo >> $SUMMARY
1078        if [ $MATCH_CRIT -lt 10 ] ;
1079        then line_0="default     "$MATCH_CRIT ;
1080        else line_0="default    "$MATCH_CRIT ; fi
1081        echo "$line_0" | tee -a $SUMMARY
1082        cat << EOF | tee -a $SUMMARY
1083    G D M    C  G
1084    E p a R  o  r
1085    N n k u  s  a
1086    2 d e n  t  d
1087    
1088    EOF
1089    fi
1090    
1091  #  ...and each test directory...  #  ...and each test directory...
1092  for dir in $TESTDIRS ; do  for dir in $TESTDIRS ; do
1093            
1094        # set builddir & rundir:
1095        builddir="build"
1096        if test ! -d $dir/$builddir ; then mkdir $dir/$builddir ; fi
1097        rundir="run"
1098        if test ! -d $dir/$rundir ; then
1099            rundir=$builddir
1100        fi
1101        CODE_DIR=$dir/$code_dir
1102        BUILD_DIR=$dir/$builddir
1103    
1104      #  Cleanup only!      #  Cleanup only!
1105      if test "x$CLEANUP" = xt ; then      if test "x$CLEANUP" = xt ; then
1106          if test -r $dir/build/Makefile ; then          if test -r $BUILD_DIR/Makefile ; then
1107              ( cd $dir/build ; make CLEAN )              echo '  ------  clean dir:' $dir/build
1108                ( cd $BUILD_DIR ; make CLEAN )
1109          fi          fi
1110          if test -r $dir/input/Makefile ; then          if test -d $dir/$rundir/CVS ; then
1111              ( cd $dir/input ; make CLEAN )              echo '  ------  clean dir:' $dir/$rundir
1112                run_clean $dir/$rundir
1113          fi          fi
1114            (
1115                cd $dir
1116                rm -rf tr_run.*
1117            )
1118          continue          continue
1119      fi      fi
1120    
1121      #  Verify that the testdir exists and contains previous      #  Verify that the testdir exists and contains previous
1122      #  results in the correct location--or skip this directory!      #  results in the correct location--or skip this directory!
1123      if test ! -r $dir"/results/output.txt" ; then      fout=$dir"/results/"$ref_outp
1124          echo "can't read \"$dir/results/output.txt\" -- skipping $dir"      if test ! -r $fout ; then
1125            echo "can't read \"$fout\" -- skipping $dir"
1126          continue          continue
1127      fi      fi
1128        if test "x$ADM" = x ; then
1129      echo "-------------------------------------------------------------------------------"          check_for_add_mon_output  $fout
     echo  
     echo "Experiment:  $dir"  
     echo  
     unset genmake makedepend make run  
     results='-- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --'  
   
     if [ -r $dir/build ]; then  
         seperatebuilddir=1  
         builddir=build  
         rundir=build  
         ( cd $dir/build; ln -sf ../input/* . )  
     else  
         seperatebuilddir=0  
         builddir=input  
         rundir=input  
1130      fi      fi
       
     CODE_DIR=$dir/code  
     BUILD_DIR=$dir/$builddir  
     MPI_FILES="CPP_EEOPTIONS.h_mpi SIZE.h_mpi"  
     NOMPI_FILES="CPP_EEOPTIONS.h_nompi SIZE.h_nompi"  
1131    
1132      #  Is this an MPI run?      # Check for additional types of monitor output
1133      if test "x$MPI" = xt ; then  
1134          FILES=$MPI_FILES      if test ! -r $CODE_DIR"/SIZE.h_mpi" -a "x$MPI" = "xt" ; then
1135      else          echo "can't find \"$CODE_DIR/SIZE.h_mpi\" -- skipping $dir"
1136          FILES=$NOMPI_FILES          continue
1137      fi      fi
1138            if test ! -r $dir"/input/eedata.mth" -a "x$MULTI_THREAD" = "xt" ; then
1139      #  Check to see that we have the files          echo "can't find \"$dir/input/eedata.mth\" -- skipping $dir"
     have_files=t  
     for i in $FILES ; do  
         if test ! -r $CODE_DIR/$i ; then  
             echo "Warning: can't read file $CODE_DIR/$i"  
             have_files=f  
         fi  
     done  
     if test "x$have_files" != xt -a "x$MPI" = xt ; then  
         echo "Skipping $dir due to lack of input files (see above warning)"  
1140          continue          continue
1141      fi      fi
1142        
1143      #  If we have the $FILES and they differ, copy the $FILES to $BUILD_DIR      #  Check whether there are "extra runs" for this testdir
1144      if test "x$have_files" = xt ; then      extra_runs=
1145          for i in $FILES ; do      if test "x$ADM" = x ; then
1146              cmp $CODE_DIR/$i $BUILD_DIR/$i > /dev/null 2>&1          ex_run_dirs=`( cd $dir ; echo input.* )`
1147              RETVAL=$?          #echo "ex_run_dirs='$ex_run_dirs'"
1148              if test "x$RETVAL" != x0 ; then          for exd in $ex_run_dirs ; do
1149                  cp $CODE_DIR/$i $BUILD_DIR/$i              name=`echo $exd | sed -e 's/input.//g'`
1150                outf="$dir/results/output.$name.txt"
1151                if test -f $outf -a -r $outf ; then
1152                    if test "x$MULTI_THREAD" = "xt" ; then
1153                        if test -r $dir"/"$exd"/eedata.mth" ; then
1154                            extra_runs="$extra_runs $name"
1155                        #else echo $dir"/"$exd"/eedata.mth: not found"
1156                        fi
1157                    else
1158                        extra_runs="$extra_runs $name"
1159                    fi
1160              fi              fi
1161          done          done
1162      fi      fi
1163        
1164        echo "-------------------------------------------------------------------------------"
1165        echo
1166        if test "x$extra_runs" = "x" ; then
1167           echo "Experiment:  $dir"
1168        else
1169           echo "Experiment:  $dir ; extra_runs=$extra_runs"
1170        fi
1171        echo
1172        unset genmake makedepend make run
1173        results=$EMPTY_RESULTS
1174    
1175      #  Create an output dir for each OPTFILE/tdir combination      #  Create an output dir for each OPTFILE/tdir combination
1176      CDIR=$DRESULTS"/"$DRESULTS"_"$NDIR      rel_CDIR=$DRESULTS"/"$dir
1177      mkdir $CDIR      mkdir $rel_CDIR
1178      CDIR=`pwd`"/$CDIR"      CDIR=`pwd`"/$rel_CDIR"
1179            
1180      if test "x$CLEANUP" = xt ; then      if test "x$CLEANUP" = xt ; then
1181          makeclean $dir/$builddir          echo '====>>> this is to check that we never go through this part <<< ==='
1182            makeclean $dir/$builddir \
1183                && run_clean $dir/$rundir
1184      else      else
1185          genmakemodel $dir/$builddir && genmake=Y \          genmakemodel $dir/$builddir && genmake=Y \
1186              && makeclean $dir/$builddir \              && makeclean $dir/$builddir \
1187                && run_clean $dir/$rundir \
1188                && symlink_mpifiles $dir $code_dir $builddir \
1189              && makedependmodel $dir/$builddir && makedepend=Y \              && makedependmodel $dir/$builddir && makedepend=Y \
1190              && makemodel $dir/$builddir && make=Y \              && makemodel $dir/$builddir && make=Y \
1191              && linkdata $seperatebuilddir $dir/$rundir \              && linkdata $dir/$rundir $input_dirs \
1192              && runmodel $dir/$builddir && run=Y \              && runmodel $dir/$rundir && run=Y \
1193              && results=`testoutput $dir $rundir`              && results=`testoutput_run $dir $rundir $ref_outp`
1194      fi      fi
1195            
1196      echo      echo
1197      formatresults $dir ${genmake:-N} ${makedepend:-N} ${make:-N} \  # --> same processing for adjoint & forward test
1198          ${run:-N} $results          fres=`formatresults $dir ${genmake:-N} ${makedepend:-N} ${make:-N} ${run:-N} $results`
1199      echo          echo
1200      formatresults $dir ${genmake:-N} ${makedepend:-N} ${make:-N} \          echo "$fres" | sed 's/ 99/ --/g' | sed 's/  > />/' | sed 's/  < /</' >> $SUMMARY
1201          ${run:-N} $results >> $SUMMARY          touch $CDIR"/summary.txt"
1202      echo "fresults='" > $CDIR"/summary.txt"          echo "fresults='$fres'" | sed 's/ 99/ --/g' >> $CDIR"/summary.txt"
1203      formatresults $dir ${genmake:-N} ${makedepend:-N} ${make:-N} \          echo "MACH='$MACH'" >> $CDIR"/summary.txt"
1204          ${run:-N} $results >> $CDIR"/summary.txt"          echo "UNAMEA='$UNAMEA'" >> $CDIR"/summary.txt"
1205      echo "'" >> $CDIR"/summary.txt"          echo "DATE='$DATE'" >> $CDIR"/summary.txt"
1206      echo "MACH='$MACH'" >> $CDIR"/summary.txt"          echo "tdir='$dir'" >> $CDIR"/summary.txt"
1207      echo "UNAMEA='$UNAMEA'" >> $CDIR"/summary.txt"  
1208      echo "DATE='$DATE'" >> $CDIR"/summary.txt"          for ex in $extra_runs ; do
1209      echo "tdir='$dir'" >> $CDIR"/summary.txt"              unset run
1210                results=$EMPTY_RESULTS
1211                #  reference output file
1212                refExOut=`echo $ref_outp | sed "s/\./.${ex}./g"`
1213                #  Create an output dir for each OPTFILE/tdir.ex combination
1214                rel_CDIR=$DRESULTS"/"$dir"."$ex
1215                mkdir $rel_CDIR
1216                CDIR=`pwd`"/$rel_CDIR"
1217                test ! -e "$dir/tr_run.$ex" && mkdir "$dir/tr_run.$ex"
1218                run_clean $dir/tr_run.$ex
1219                linkdata $dir/tr_run.$ex input.$ex input
1220                runmodel $dir/tr_run.$ex && run=Y \
1221                && results=`testoutput_run $dir tr_run.$ex $refExOut`
1222                fres=`formatresults $dir ${genmake:-N} ${makedepend:-N} ${make:-N} ${run:-N} $results`
1223                fres="$fres.$ex"
1224                echo
1225                echo "$fres" | sed 's/ 99/ --/g' | sed 's/  > />/' | sed 's/  < /</' >> $SUMMARY
1226                touch $CDIR"/summary.txt"
1227                echo "fresults='$fres'" | sed 's/ 99/ --/g' >> $CDIR"/summary.txt"
1228                echo "MACH='$MACH'" >> $CDIR"/summary.txt"
1229                echo "UNAMEA='$UNAMEA'" >> $CDIR"/summary.txt"
1230                echo "DATE='$DATE'" >> $CDIR"/summary.txt"
1231                echo "tdir='$dir.$ex'" >> $CDIR"/summary.txt"
1232                if test "x$POSTCLEAN" = xt ; then
1233                    run_clean $dir/tr_run.$ex
1234                fi
1235            done
1236    # <-- same processing for adjoint & forward test
1237        if test "x$ADM" = xt ; then
1238            head -1 $dir/$builddir/taf_ad.log >> $CDIR"/summary.txt"
1239            grep -A3 'Seconds in section "ALL' $dir/$rundir/$OUTPUTFILE \
1240                               >> $CDIR"/summary.txt"
1241        fi
1242    
1243        #postclean $dir/$builddir
1244        if test "x$POSTCLEAN" = xt ; then
1245            makeclean $dir/$builddir \
1246                && run_clean $dir/$rundir
1247        fi
1248            
1249      (      echo "-------------------------------------------------------------------------------"
         cd $DRESULTS  
         tar -cf $NDIR".tar" $DRESULTS"_"$NDIR > /dev/null 2>&1  
         gzip $NDIR".tar"  
     )  
1250            
1251      if test "x$ADDRESSES" = xNONE -o "x$ADDRESSES" = x ; then  done
1252          echo "No mail sent"  
1253      else  printf "Start time:  " >> $SUMMARY
1254          $MPACK -s MITgcm-test -m 1000000 $DRESULTS"/"$NDIR".tar.gz" $ADDRESSES  echo $start_date >> $SUMMARY
1255    printf "End time:    " >> $SUMMARY
1256    date >> $SUMMARY
1257    
1258    #  If addresses were supplied and mpack built successfully, then try
1259    #  to send email using mpack.
1260    if test "x$ADDRESSES" = xNONE -o "x$ADDRESSES" = x ; then
1261        echo "No results email was sent."
1262    else
1263        if test "x$HAVE_MPACK" = xt ; then
1264            tar -cf $DRESULTS".tar" $DRESULTS > /dev/null 2>&1 \
1265                && gzip $DRESULTS".tar" \
1266                && $MPACK -s MITgcm-test -m 3555000 $DRESULTS".tar.gz" $ADDRESSES
1267          RETVAL=$?          RETVAL=$?
1268          if test "x$RETVAL" != x0 ; then          if test "x$RETVAL" != x0 ; then
1269              echo "Warning: \"$MPACK\" failed -- please contact <edhill@mitgcm.org>"              echo
1270                echo "Warning: The tar, gzip, & mpack step failed.  Please send email"
1271                echo "  to <MITgcm-support@mitgcm.org> for help.  You may copy the "
1272                echo "  summary of results from the directory \"$DRESULTS\"."
1273                echo
1274          else          else
1275              rm -f $DRESULTS"/"$NDIR".tar*"              echo
1276                echo "An email containing results was sent to the following addresses:"
1277                echo "  \"$ADDRESSES\""
1278                echo
1279          fi          fi
1280            test -f $DRESULTS".tar"  &&  rm -f $DRESULTS".tar"
1281            test -f $DRESULTS".tar.gz"  &&  rm -f $DRESULTS".tar.gz"
1282      fi      fi
1283    fi
1284    
1285      echo "-------------------------------------------------------------------------------"  rm -f tr_cmpnum.c tr_cmpnum
       
     NDIR=$(( $NDIR + 1 ))  
       
 done  
1286    
1287  rm tmp_cmpnum.f a.out  if test "x$CLEANUP" != xt ; then
1288        cat $SUMMARY | sed 's/ \.  \.  \.  \.  \.  \.  \.  \.  \.  \.  \.  \. //'
1289        if test -e tr_out.txt ; then
1290            mv tr_out.txt tr_out.txt.old
1291        fi
1292        cat $SUMMARY | sed '/^[YN] [YN] [YN] [YN]/ s/ \. //g' > tr_out.txt
1293    fi
1294    
1295  cat $SUMMARY  if test "x$DELDIR" = xt ; then
1296        rm -rf $DRESULTS
1297    fi
1298    
Legend:
Removed from v.1.9.2.8  
changed lines
  Added in v.1.106
  ViewVC Help
Powered by ViewVC 1.1.22