/[MITgcm]/MITgcm/verification/testreport
ViewVC logotype

Diff of /MITgcm/verification/testreport

Parent Directory Parent Directory | Revision Log Revision Log | View Revision Graph Revision Graph | View Patch Patch

revision 1.9.2.8 by edhill, Sat Oct 4 02:10:52 2003 UTC revision 1.107 by jmc, Mon Oct 29 19:14:12 2007 UTC
# Line 1  Line 1 
1  #!/bin/bash  #! /usr/bin/env bash
2  #  #
3  #  $Header$  #  $Header$
4    #  $Name$
5  #  #
6    
7  usage()  usage()
# Line 10  usage() Line 11  usage()
11      echo      echo
12      echo "where possible OPTIONS are:"      echo "where possible OPTIONS are:"
13      echo "  (-help|-h)               print usage"      echo "  (-help|-h)               print usage"
14      echo "  (-mpi)                   use MPI input files"      echo "  (-mth)                   run multi threaded (using eedata.mth)"
15      echo "  (-optfile=|-of=)STRING   list of optfiles to use"      echo "  (-mpi)                   compile and run using MPI"
16      echo "  (-a|-addr)STRING         list of email recipients"      echo "  (-ieee|-noieee)          if possible, use IEEE compiler flags"
17        echo "                             (DEF=\"-ieee\")"
18        echo "  (-of=|-optfile=)STRING   list of optfiles to use"
19        echo "  (-a|-addr) STRING        list of email recipients"
20      echo "                             (DEF=\"edhill@mitgcm.org\")"      echo "                             (DEF=\"edhill@mitgcm.org\")"
21      echo "  (-t|-tdir)STRING         list of test dirs to use"      echo "  (-t|-tdir) STRING        list of group and/or exp. dirs to test"
22      echo "                             (DEF=\"\" which builds all)"      echo "                             (recognized groups: basic, tutorials)"
23      echo "  (-b|-bash)STRING         location of \"bash\" executable"      echo "                             (DEF=\"\" which test all)"
24      echo "                             (DEF=\"\" for \"/bin/bash\")"      echo "  (-skd|-skipdir) STRING   list of exp. dirs to skip"
25      echo "  (-command)STRING         command to run"      echo "                             (DEF=\"\" which test all)"
26        echo "  (-b|-bash) STRING        preferred location of a \"bash\" or"
27        echo "                             Bourne-compatible \"sh\" shell"
28        echo "                             (DEF=\"\" for \"bash\")"
29        echo "  (-adm|-ad)               perform an adjoint run"
30        echo "  (-command) STRING        command to run"
31      echo "                             (DEF=\"make output.txt\")"      echo "                             (DEF=\"make output.txt\")"
32      echo "  (-m|-make)STRING         command to use for \"make\""      echo "  (-m|-make) STRING        command to use for \"make\""
33      echo "                             (DEF=\"make\")"      echo "                             (DEF=\"make\")"
34        echo "  (-odir) STRING           used to build output directory name"
35        echo "                             (DEF=\"hostname\")"
36        echo "  (-ptr|-ptracers) STRING  specify which ptracers to test"
37        echo "                             (DEF=\"1 2 3 4 5\")"
38        echo "  (-match) NUMBER          Matching Criteria (number of digits)"
39        echo "                             (DEF=\"12\")"
40        echo "  (-j) JOBS                use \"make -j JOBS\" for parallel builds"
41      echo "  (-clean)                 *ONLY* run \"make CLEAN\""      echo "  (-clean)                 *ONLY* run \"make CLEAN\""
42      echo "  (-quick|-q)              same as \"-nogenmake -noclean -nodepend\""      echo "  (-quick|-q)              same as \"-nogenmake -noclean -nodepend\""
43      echo "  (-nogenmake|-ng)         skip the genmake stage"      echo "  (-nogenmake|-ng)         skip the genmake stage"
44      echo "  (-noclean|-nc)           skip the \"make clean\" stage"      echo "  (-noclean|-nc)           skip the \"make clean\" stage"
45      echo "  (-nodepend|-nd)          skip the \"make depend\" stage"      echo "  (-nodepend|-nd)          skip the \"make depend\" stage"
46        echo "  (-deldir|-dd)            on success, delete the output directory"
47        echo "  (-ts)                    provide timing information per timestep"
48        echo "  (-papis)                 provide MFlop/s per timestep using PAPI"
49        echo "  (-pcls)                  provide MFlop/s per timestep using PCL"
50      echo      echo
51      echo "and where STRING follows a whitespace-delimited format"      echo "and where STRING can be a whitespace-delimited list"
52      echo "such as:"      echo "such as:"
53        echo
54      echo "  -t 'exp0 exp2 exp3' "      echo "  -t 'exp0 exp2 exp3' "
55      echo "  -addr='abc@123.com testing@home.org'"      echo "  -addr='abc@123.com testing@home.org'"
56      echo      echo
57        echo "provided that the expression is properly quoted within the current"
58        echo "shell (note the use of single quotes to protect white space)."
59        echo
60      exit 1      exit 1
61  }  }
62    
63  #  build the mpack utility  #  build the mpack utility
64  build_mpack()  build_mpack()
65  {  {
66      echo -n "building the mpack utility...  "      printf "building the mpack utility...  "
67      if test ! -x "$MPACKDIR/mpack" ; then      if test ! -x "$MPACKDIR/mpack" ; then
68          if test ! -d $MPACKDIR ; then          if test ! -d $MPACKDIR ; then
69                echo
70              echo "Error: can't find \"$MPACKDIR\""              echo "Error: can't find \"$MPACKDIR\""
71              echo "  are you sure this program is being run in the correct "              echo "  are you sure this program is being run in the correct "
72              echo "  (that is, \"MITGCM_ROOT\verification\") directory?"              echo "  (that is, \"MITGCM_ROOT\verification\") directory?"
73              exit 1              echo
74                HAVE_MPACK=f
75          fi          fi
76          echo -n "building mpack...  "          printf "building mpack...  "
77          ( cd $MPACKDIR && ./configure && $MAKE ) > build_mpack.out 2>&1          if test "x$CC" = x ; then
78                export CC=cc
79            fi
80            ( cd $MPACKDIR && ./configure && $MAKE ) > tr_build_mpack.out 2>&1
81          RETVAL=$?          RETVAL=$?
82          if test "x$RETVAL" != x0 ; then          if test "x$RETVAL" != x0 ; then
83              echo              echo
84              echo "Error building the mpack tools at: $MPACK_DIR"              echo "Error building the mpack tools at: $MPACK_DIR"
85              exit 1              echo
86                HAVE_MPACK=f
87            else
88                rm -f tr_build_mpack.out
89                HAVE_MPACK=t
90          fi          fi
91        else
92            HAVE_MPACK=t
93      fi      fi
94      echo "OK"      echo "OK"
95  }  }
96    
97  compare_lines()  testoutput_var()
 {  
     # use codelet to compare lines  
     if [ $verbose -gt 1 ]; then  
         cat tmp3.txt 1>&2  
     fi  
     return `./a.out < tmp3.txt`  
 }  
   
 testoutput_for_prop()  
98  {  {
99      # testoutput_for_prop dir s1 label subdir      # testoutput_var dir s1 label subdir reference_output
100      #      #
101      #  compares files in $dir/$subdir/output.txt and $dir/results/output.txt      #  compares 1 variable output selected from file $dir/$subdir/$OUTPUTFILE
102      #  using search strings s1 and text label      #     with same output from reference file $dir/results/$reference_output
103        #  using search strings s1 and text label
104    
105      if [ $debug -gt 0 ]; then      if [ $debug -gt 0 ]; then
106          echo testoutput_for_prop: grep "$2" $1/$4/output.txt 1>&2          echo testoutput_var: grep "$2" $1/$4/$OUTPUTFILE 1>&2
107      fi      fi
108      if [ -r $1/$4/output.txt ]; then      if [ -r $1/$4/$OUTPUTFILE ]; then
109          grep "$2" $1/$4/output.txt | sed 's/.*=//' | nl > tmp1.txt          grep "$2" $1/$4/$OUTPUTFILE | sed 's/.*=//' | cat -n > tmp1.txt
110          lncnt=`wc -l tmp1.txt | awk '{print $1}' `          lncntA=`wc -l tmp1.txt | awk '{print $1}' `
111          if [ $lncnt -lt 3 ]; then          if [ $lncntA -lt 2 ]; then
112              if [ $verbose -gt 0 ]; then              if [ $verbose -gt 0 ]; then
113                  echo Not enough lines of output when searching for "$2" 1>&2                  echo Not enough lines of output when searching for "$2" 1>&2
114              fi              fi
115              return 99              return 99
116          fi          fi
117      else      else
118          echo testoutput_for_prop: output.txt from model run was not readable 1>&2          echo testoutput_var: $OUTPUTFILE from model run was not readable 1>&2
119          return 99          return 99
120      fi      fi
121      if [ $debug -gt 0 ]; then      if [ $debug -gt 0 ]; then
122          echo testoutput_for_prop: grep "$2" $1/results/output.txt 1>&2          echo testoutput_var: grep "$2" $1/results/$5 1>&2
123      fi      fi
124      grep "$2" $1/results/output.txt | sed 's/.*=//' | nl > tmp2.txt      grep "$2" $1/results/$5 | sed 's/.*=//' | cat -n > tmp2.txt
125      lncnt=`wc -l tmp2.txt | awk '{print $1}' `      lncntB=`wc -l tmp2.txt | awk '{print $1}' `
126      if [ $lncnt -lt 3 ]; then      if [ $lncntB -lt 2 ]; then
127          if [ $verbose -gt 0 ]; then          if [ $verbose -gt 0 ]; then
128              echo Not enough lines of output when searching for "$2" 1>&2              echo Not enough lines of output when searching for "$2" 1>&2
129          fi          fi
130          return 99          return 99
131      fi      fi
132        if [ $lncntA -ne $lncntB ]; then
133            if [ $verbose -gt 0 ]; then
134                echo Not same Nb of lines when searching for "$2" ":" $lncntA $lncntB 1>&2
135            fi
136            return 99
137        fi
138        has_nan=`cat tmp1.txt | grep -i nan | wc -l`
139        if [ $has_nan -gt 0  ] ; then
140            echo testoutput_var: $OUTPUTFILE contains $has_nan NaN values  1>&2
141            return 99
142        fi
143        has_inf=`cat tmp1.txt | grep -i inf | wc -l`
144        if [ $has_inf -gt 0  ] ; then
145            echo testoutput_var: $OUTPUTFILE contains $has_inf Inf values  1>&2
146            return 99
147        fi
148      if [ $debug -gt 0 ]; then      if [ $debug -gt 0 ]; then
149          echo testoutput_for_prop: join tmp1.txt tmp2.txt 1>&2          echo testoutput_var: join tmp1.txt tmp2.txt 1>&2
150      fi      fi
151      join tmp1.txt tmp2.txt | awk '{print $1 " " $2 " " $3}' > tmp3.txt      join tmp1.txt tmp2.txt | awk '{print $1 " " $2 " " $3}' > tmp3.txt
152      if [ $debug -gt 0 ]; then      if [ $debug -gt 0 ]; then
153          echo testoutput_for_prop: compare_lines 1>&2          echo testoutput_var: compare_lines 1>&2
154        fi
155        if [ $verbose -gt 1 ]; then
156            cat tmp3.txt 1>&2
157      fi      fi
158      compare_lines      echo "-1" >> tmp3.txt
159      digits_of_similarity=$?      # On the SGI O3K (*not* the O2K), "cat -n" inserts a ":" after the line number
160        cat tmp3.txt | sed -e 's|:||g' > tmp4.txt
161        digits_of_similarity=`./tr_cmpnum < tmp4.txt`
162      if [ $digits_of_similarity -eq 99 ]; then      if [ $digits_of_similarity -eq 99 ]; then
163          if [ $verbose -gt 0 ]; then          if [ $verbose -gt 0 ]; then
164              echo testoutput_for_prop: No comparison was available for \"$2\" 1>&2              echo testoutput_var: No comparison was available for \"$3\" 1>&2
165          fi          fi
166          digits_of_similarity=99          digits_of_similarity=99
167      else      else
168          if [ $verbose -gt 0 ]; then          if [ $verbose -gt 0 ]; then
169              echo There were $digits_of_similarity decimal places of similarity for \"$2\" 1>&2              echo There were $digits_of_similarity decimal places of similarity for \"$3\" 1>&2
170          fi          fi
171      fi      fi
172      rm tmp1.txt tmp2.txt tmp3.txt      rm -f tmp1.txt tmp2.txt tmp3.txt tmp4.txt
173            
174      return $digits_of_similarity      return $digits_of_similarity
175  }  }
# Line 141  dashnum() Line 189  dashnum()
189      done      done
190  }  }
191    
192  testoutput()  check_for_add_mon_output()
193  {  {
194      # testoutput diretory subdir      # Check for additional types of monitor output
195      #      if test "x$1" = x ; then
196      #  test output in "directory"          return
   
     if [ $debug -gt 0 ]; then  
         echo testoutput: testoutput_for_prop $1 cg2d_init_res 1>&2  
197      fi      fi
198      testoutput_for_prop $1 "cg2d_init_res" "cg2d init. residual" $2; cg2dres=$?  
199      if [ $debug -gt 0 ]; then      for ii in $PTRACERS_NUM ; do
200          echo testoutput: cg2dres=$cg2dres 1>&2          eval "HAVE_PTR0"$ii"=f"
201      fi      done
202        
203      testoutput_for_prop $1 "dynstat_theta_min" "theta minimum" $2; tmin=$?      ptr_add="trcstat_ptracerXX_min trcstat_ptracerXX_max"
204      testoutput_for_prop $1 "dynstat_theta_max" "theta maximum" $2; tmax=$?      ptr_add="$ptr_add trcstat_ptracerXX_mean trcstat_ptracerXX_sd"
205      testoutput_for_prop $1 "dynstat_theta_mean" "theta mean" $2; tmean=$?      for ii in $PTRACERS_NUM ; do
206      testoutput_for_prop $1 "dynstat_theta_sd" "theta s.d." $2; tsd=$?          for jj in $ptr_add ; do
207      testoutput_for_prop $1 "dynstat_salt_min" "salt minimum" $2; smin=$?              name=`eval "echo $jj | sed -e 's|XX|0"$ii"|g'"`
208      testoutput_for_prop $1 "dynstat_salt_max" "salt maximum" $2; smax=$?              tst=`grep $name $1 | wc -l | awk '{print $1}'`
209      testoutput_for_prop $1 "dynstat_salt_mean" "salt mean" $2; smean=$?              if test ! "x$tst" = x0 ; then
210      testoutput_for_prop $1 "dynstat_salt_sd" "salt s.d." $2; ssd=$?                  eval "HAVE_PTR0"$ii"=t"
211      testoutput_for_prop $1 "dynstat_uvel_min" "U minimum" $2; umin=$?              fi
212      testoutput_for_prop $1 "dynstat_uvel_max" "U maximum" $2; umax=$?          done
213      testoutput_for_prop $1 "dynstat_uvel_mean" "U mean" $2; umean=$?          #  eval 'echo "HAVE_PTR0'$ii' = $HAVE_PTR0'$ii'"'
214      testoutput_for_prop $1 "dynstat_uvel_sd" "U s.d." $2; usd=$?      done
215      testoutput_for_prop $1 "dynstat_vvel_min" "V minimum" $2; vmin=$?  }
216      testoutput_for_prop $1 "dynstat_vvel_max" "V maximum" $2; vmax=$?  
217      testoutput_for_prop $1 "dynstat_vvel_mean" "V mean" $2; vmean=$?  testoutput_run()
218      testoutput_for_prop $1 "dynstat_vvel_sd" "V s.d." $2; vsd=$?  {
219            # testoutput_run directory subdir reference_output
220      dashnum $cg2dres $tmin $tmax $tmean $tsd $smin $smax $smean $ssd \      #
221          $umin $umax $umean $usd $vmin $vmax $vmean $vsd      #  test output from 1 run in "directory"
222    # --> same processing for adjoint & forward test
223            # default list of output variables to be checked:
224            #  1rst : main variable used to decide if it pass or FAIL
225            #  others : number of matching digits to be printed in summary.txt
226            listChk=$DEF_CHECK_LIST
227            #  load experiment-specific list from file "tr_checklist" (if it exist)
228            if test -r $1/$2/tr_checklist ; then listChk=`cat $1/$2/tr_checklist` ; fi
229            sVar=`echo $listChk | awk '{print $1}'`
230            # remove 1rst var and expand the list: + => min max mean s.d
231            listVar=`echo $listChk | sed 's/ [a-zA-Z0-9]*+/&mn &mx &av &sd/g' \
232                                   | sed 's/+//g' | sed "s/^$sVar//"`
233            if [ $debug -gt 0 ]; then echo "testoutput_run: listVar(I)='$listVar'" 1>&2 ; fi
234            for ii in 1 2 3 4 5 6 7 8 9 ; do
235              tst=`eval 'echo "$HAVE_PTR0'$ii'"'`
236             #echo "-- ptr test=" $tst "number of var=" `echo $listVar | awk '{print NF}'` 1>&2
237              if test "x$tst" != xt ; then listVar=`echo "$listVar" | sed "s/ pt$ii..//g"` ; fi
238            done
239            tst=`echo $sVar $listVar | awk '{ for(i=2;i<=NF;i++){t+=($i==$1)}; print t }'`
240            if test $tst != 1 ; then
241              if test $tst = 0 ; then echo "==> WARNING: selected var >$sVar< not found" 1>&2
242                     else echo "==> WARNING: found selected var >$sVar< $tst times" 1>&2 ; fi
243              echo "==> WARNING: in checked list:" $listVar 1>&2
244            #- put it back once:
245              listVar=" $sVar "`echo "$listVar " | sed "s/ $sVar / /g"`
246            fi
247            if [ $debug -gt 0 ]; then echo "testoutput_run: listVar(M)='$listVar'" 1>&2 ; fi
248            echo "listVar='$listVar'" > $CDIR"/summary.txt"
249            allargs=""
250            for xx in $listVar
251            do
252              case $xx in
253               'PS')  if [ $debug -gt 0 ]
254                      then echo testoutput_run: testoutput_var $1 cg2d_init_res 1>&2 ; fi
255                      testoutput_var $1 "cg2d_init_res" "Press. Solver (cg2d)" $2 $3; yy=$?
256                      if [ $debug -gt 0 ] ; then echo testoutput_run: cg2dres=$yy 1>&2 ; fi ;;
257              'Cost') testoutput_var $1 "ADM  precision_derivative_cost" "ADM Cost" $2 $3; yy=$? ;;
258              'Grad') testoutput_var $1 "ADM  precision_derivative_grad" "ADM Grad" $2 $3; yy=$? ;;
259               'Tmn') testoutput_var $1 "dynstat_theta_min"  "Theta minimum"  $2 $3; yy=$? ;;
260               'Tmx') testoutput_var $1 "dynstat_theta_max"  "Theta maximum"  $2 $3; yy=$? ;;
261               'Tav') testoutput_var $1 "dynstat_theta_mean" "Theta mean"     $2 $3; yy=$? ;;
262               'Tsd') testoutput_var $1 "dynstat_theta_sd"   "Theta Std.Dev"  $2 $3; yy=$? ;;
263               'Smn') testoutput_var $1 "dynstat_salt_min"  "Salt minimum"    $2 $3; yy=$? ;;
264               'Smx') testoutput_var $1 "dynstat_salt_max"  "Salt maximum"    $2 $3; yy=$? ;;
265               'Sav') testoutput_var $1 "dynstat_salt_mean" "Salt mean"       $2 $3; yy=$? ;;
266               'Ssd') testoutput_var $1 "dynstat_salt_sd"   "Salt Std.Dev"    $2 $3; yy=$? ;;
267               'Umn') testoutput_var $1 "dynstat_uvel_min"  "U minimum"       $2 $3; yy=$? ;;
268               'Umx') testoutput_var $1 "dynstat_uvel_max"  "U maximum"       $2 $3; yy=$? ;;
269               'Uav') testoutput_var $1 "dynstat_uvel_mean" "U mean"          $2 $3; yy=$? ;;
270               'Usd') testoutput_var $1 "dynstat_uvel_sd"   "U Std.Dev"       $2 $3; yy=$? ;;
271               'Vmn') testoutput_var $1 "dynstat_vvel_min"  "V minimum"       $2 $3; yy=$? ;;
272               'Vmx') testoutput_var $1 "dynstat_vvel_max"  "V maximum"       $2 $3; yy=$? ;;
273               'Vav') testoutput_var $1 "dynstat_vvel_mean" "V mean"          $2 $3; yy=$? ;;
274               'Vsd') testoutput_var $1 "dynstat_vvel_sd"   "V Std.Dev"       $2 $3; yy=$? ;;
275            'pt1mn'|'pt2mn'|'pt3mn'|'pt4mn'|'pt5mn') ii=`echo $xx | sed 's/pt//' | sed 's/..$//'`
276               testoutput_var $1 "trcstat_ptracer0"$ii"_min"  "p0"$ii"_min"   $2 $3; yy=$? ;;
277            'pt1mx'|'pt2mx'|'pt3mx'|'pt4mx'|'pt5mx') ii=`echo $xx | sed 's/pt//' | sed 's/..$//'`
278               testoutput_var $1 "trcstat_ptracer0"$ii"_max"  "p0"$ii"_max"   $2 $3; yy=$? ;;
279            'pt1av'|'pt2av'|'pt3av'|'pt4av'|'pt5av') ii=`echo $xx | sed 's/pt//' | sed 's/..$//'`
280               testoutput_var $1 "trcstat_ptracer0"$ii"_mean" "p0"$ii"_mean" $2 $3; yy=$? ;;
281            'pt1sd'|'pt2sd'|'pt3sd'|'pt4sd'|'pt5sd') ii=`echo $xx | sed 's/pt//' | sed 's/..$//'`
282               testoutput_var $1 "trcstat_ptracer0"$ii"_sd"   "p0"$ii"_StDv"  $2 $3; yy=$? ;;
283             'Qntmn') testoutput_var $1 "extforcing_qnet_min" "Qnet minimum"  $2 $3; yy=$? ;;
284             'Qntmx') testoutput_var $1 "extforcing_qnet_max" "Qnet maximum"  $2 $3; yy=$? ;;
285             'Qntav') testoutput_var $1 "extforcing_qnet_mean" "Qnet mean"    $2 $3; yy=$? ;;
286             'Qntsd') testoutput_var $1 "extforcing_qnet_sd"  "Qnet Std.Dev"  $2 $3; yy=$? ;;
287             'aSImn') testoutput_var $1 "seaice_area_min"   "SIce Area min"   $2 $3; yy=$? ;;
288             'aSImx') testoutput_var $1 "seaice_area_max"   "SIce Area max"   $2 $3; yy=$? ;;
289             'aSIav') testoutput_var $1 "seaice_area_mean"  "SIce Area mean"  $2 $3; yy=$? ;;
290             'aSIsd') testoutput_var $1 "seaice_area_sd"    "SIce Area StDv"  $2 $3; yy=$? ;;
291             'hSImn') testoutput_var $1 "seaice_heff_min"   "SIce Heff min"   $2 $3; yy=$? ;;
292             'hSImx') testoutput_var $1 "seaice_heff_max"   "SIce Hell max"   $2 $3; yy=$? ;;
293             'hSIav') testoutput_var $1 "seaice_heff_mean"  "SIce Hell mean"  $2 $3; yy=$? ;;
294             'hSIsd') testoutput_var $1 "seaice_heff_sd"    "SIce Hell StDv"  $2 $3; yy=$? ;;
295            'AthSiG') testoutput_var $1 "thSI_Ice_Area_G" "thSIc Area Global" $2 $3; yy=$? ;;
296            'AthSiS') testoutput_var $1 "thSI_Ice_Area_S" "thSIc Area South"  $2 $3; yy=$? ;;
297            'AthSiN') testoutput_var $1 "thSI_Ice_Area_N" "thSIc Area North"  $2 $3; yy=$? ;;
298            'HthSiG') testoutput_var $1 "thSI_IceH_ave_G" "thSIc H Global"    $2 $3; yy=$? ;;
299            'HthSiS') testoutput_var $1 "thSI_IceH_ave_S" "thSIc H South"     $2 $3; yy=$? ;;
300            'HthSiN') testoutput_var $1 "thSI_IceH_ave_N" "thSIc H North"     $2 $3; yy=$? ;;
301                  *) yy=99; echo "WARNING: asking for var=$xx : not recognized !" 1>&2 ;;
302              esac
303              if test $xx = $sVar
304              then allargs="$allargs > $yy <"
305              else allargs="$allargs $yy"
306              fi
307            done
308    
309            nbVar=`echo $listVar | awk '{print NF}'`
310            if [ $nbVar -lt $LEN_CHECK_LIST ] ; then
311            #-- fill line (up to standard length) with dot:
312              adNul=`expr $LEN_CHECK_LIST - $nbVar | awk '{for(i=1;i<=$1;i++){print "."}}'`
313              echo $allargs $adNul
314            else
315              echo $allargs
316            fi
317    # <-- same processing for adjoint & forward test
318  }  }
319    
320  genmakemodel()  genmakemodel()
# Line 182  genmakemodel() Line 323  genmakemodel()
323      if test "x$NOGENMAKE" = xt ; then      if test "x$NOGENMAKE" = xt ; then
324          echo "genmake skipped!"          echo "genmake skipped!"
325      else      else
326          GENMAKE2="$BASH ../../../tools/genmake2"          if test "x$BASH" = x ; then
327                GENMAKE2="../../../tools/genmake2"
328            else
329                GENMAKE2="$BASH ../../../tools/genmake2 -bash $BASH"
330            fi
331          (          (
332              cd $1;              cd $1;
333              printf 'genmake ... ' 1>&2              command="$GENMAKE2  -ds -m $MAKE"
334              command="$GENMAKE2  -ds -m $MAKE --mods=../code"              if test "x$ADM" = x ; then
335                    command="$command --mods=../code"
336                else
337                    command="$command --mods=../code_ad"
338                fi
339              if test "x$OPTFILE" != xNONE ; then              if test "x$OPTFILE" != xNONE ; then
340                  command="$command --optfile=$OPTFILE"                  command="$command --optfile=$OPTFILE"
                 # echo "  command=\"$command\""  
341              fi              fi
342                if test "x$IEEE" != x ; then
343                    command="$command -ieee"
344                fi
345                if test "x$MPI" = xt ; then
346                    command="$command -mpi"
347                fi
348                if test "x$TS" = xt ; then
349                    command="$command -ts"
350                fi
351                if test "x$PAPIS" = xt ; then
352                    command="$command -papis"
353                else
354                if test "x$PCLS" = xt ; then
355                    command="$command -pcls"
356                fi
357                fi
358                printf 'genmake ... ' 1>&2
359              $command > make.log 2>&1              $command > make.log 2>&1
360              RETVAL=$?              RETVAL=$?
361              for i in genmake_state genmake_optfile genmake_local Makefile ; do              #  Reduce the size of the testing emails!
362                  if test -r $i ; then              head -100 Makefile > $CDIR/Makefile_head
                     cp $i $CDIR  
                 fi  
             done  
363              if test "x$RETVAL" != x0 ; then              if test "x$RETVAL" != x0 ; then
364                  tail make.log                  tail make.log
365                  echo "genmakemodel: genmake failed" 1>&2                  echo "genmakemodel: genmake failed" 1>&2
366                  cp make.log $CDIR                  cp genmake_* make.log $CDIR
367                  return 1                  return 1
368              else              else
369                  echo "succesful" 1>&2                  echo "successful" 1>&2
370              fi              fi
371          )          )
372      fi      fi
# Line 214  makeclean() Line 376  makeclean()
376  {  {
377      # makeclean directory      # makeclean directory
378      if test "x$NOCLEAN" = xt ; then      if test "x$NOCLEAN" = xt ; then
379          echo "make CLEAN skipped!"          echo "make Clean skipped!"
380      else      else
381          (          (
382              cd $1;              cd $1;
383              if test -e output.txt ; then              #if test -e $OUTPUTFILE ; then rm -f $OUTPUTFILE ; fi
                 rm -f output.txt  
             fi  
             printf 'make CLEAN ... ' 2>&1  
384              if test -r Makefile ; then              if test -r Makefile ; then
385                  $MAKE CLEAN >> make.log 2>&1                  printf 'clean build-dir: make Clean ... ' 2>&1
386                    $MAKE Clean >> make.log 2>&1
387                  RETVAL=$?                  RETVAL=$?
388                  if test "x$RETVAL" != x0 ; then                  if test "x$RETVAL" != x0 ; then
389                      tail make.log                      tail make.log
390                      echo "makeclean: \"make CLEAN\" failed" 1>&2                      echo "makeclean: \"make Clean\" failed" 1>&2
391                      cp make.log $CDIR"/make.log"                      cp make.log $CDIR"/make.log"
392                      return 1                      return 1
393                  fi                  fi
394              fi              fi
395              echo succesful 1>&2              echo successful 1>&2
396                exit 0
397            )
398        fi
399    }
400    
401    run_clean()
402    {
403        # run_clean directory
404        if test "x$NOCLEAN" = xt ; then
405            echo "run_clean skipped!"
406        else
407            (
408                cd $1;
409                printf 'clean run-dir ... ' 2>&1
410                # part of what is done after "make clean" when doing "make CLEAN"
411                find . -name "*.meta" -exec rm {} \;
412                find . -name "*.data" -exec rm {} \;
413                find . -name "fort.*" -exec rm {} \;
414                find . -type l -exec rm {} \;
415                rm -f $EXECUTABLE *.txt STD* *diagnostics.log datetime
416                rm -rf mnc_test_*
417                rm -f *_MIT_CE_000.opt0000 costfunction*0000
418                echo successful 1>&2
419              exit 0              exit 0
420          )          )
421      fi      fi
# Line 255  makedependmodel() Line 438  makedependmodel()
438                  cp make.log $CDIR"/make.log"                  cp make.log $CDIR"/make.log"
439                  return 1                  return 1
440              else              else
441                  echo succesful 1>&2                  echo successful 1>&2
442              fi              fi
443          )          )
444      fi      fi
# Line 268  makemodel() Line 451  makemodel()
451          cd $1;          cd $1;
452          if test -r Makefile ; then          if test -r Makefile ; then
453              printf 'make ... ' 1>&2              printf 'make ... ' 1>&2
454              $MAKE >> make.log 2>&1              if test "x$ADM" = x ; then
455                    if test "x$JOBS" = x ; then
456                        $MAKE >> make.log 2>&1
457                    else
458                        $MAKE -j $JOBS >> make.log 2>&1
459                    fi
460                else
461                    $MAKE adall >> make.log 2>&1
462                fi
463              RETVAL=$?              RETVAL=$?
464              if test "x$RETVAL" != x0 ; then              if test "x$RETVAL" != x0 ; then
465                  tail make.log                  tail make.log
# Line 276  makemodel() Line 467  makemodel()
467                  cp make.log $CDIR"/make.log"                  cp make.log $CDIR"/make.log"
468                  return 1                  return 1
469              else              else
470                  echo succesful 1>&2                  echo successful 1>&2
471              fi              fi
472          fi          fi
473      )      )
474  }  }
475    
476    symlink_mpifiles()
477    {
478        # Put special links so that MPI specific files are used
479        # This MUST be invoked between makeclean and makelinks because
480        # the Makefile will link to non-mpi files by default
481    
482        dir=$1
483        code_dir=$2
484        BUILD_DIR=$dir/$3
485        CODE_DIR=$dir/$code_dir
486        
487        # These are files that should replace their counter-part when using -mpi
488        MPI_FILES=`(cd $CODE_DIR; find . -name "*_mpi")`
489    
490        #  Is this an MPI run?
491        if test "x$MPI" = xt ; then
492            # YES: We symbolically link these files to the build
493            # dir so long as there is no real file in place
494            for ii in $MPI_FILES ; do
495                i=`echo $ii | sed 's:^\./::'`
496                name=`echo $i | sed 's:_mpi::' `
497                cmp $CODE_DIR/$i $BUILD_DIR/$name > /dev/null 2>&1
498                RETVAL=$?
499                if test "x$RETVAL" != x0 ; then
500                    if ! test -f $BUILD_DIR/$i ; then
501                        #echo Linking $name to $i
502                        (cd $BUILD_DIR; ln -sf ../$code_dir/$i $name)
503                    fi
504                fi
505            done
506        else
507            # NO: We undo any _mpi symbolically linked files
508            for ii in $MPI_FILES ; do
509                i=`echo $ii | sed 's:^\./::'`
510                name=`echo $i | sed 's:_mpi::' `
511                if test -L $BUILD_DIR/$name ; then
512                    cmp $BUILD_DIR/$name "../$code_dir/$name"_mpi > /dev/null 2>&1
513                    RETVAL=$?
514                    if test "x$RETVAL" = x0 ; then
515                        #echo Un-linking $name from $linktarg
516                        rm -f $BUILD_DIR/$name
517                    fi
518                fi
519            done
520        fi
521        
522    }
523    
524  linkdata()  linkdata()
525  {  {
526      # linkdata flag      # linkdata run_dir input_dir_1 input_dir_2 ...
527      #      #
528      # symbolically link data files to run directory      # symbolically link data files to run directory
529      if [ $1 -ne 0 ]; then      if test -d $1 ; then
530          ( cd $2 ;  ln -sf ../input/* . )          (
531                cd $1 ; shift
532                if test -r "../"$1"/eedata.mth" ; then
533                # found eedata.mth in 1rst input dir and it is readable
534                    if test "x$MULTI_THREAD" = "xt" ; then
535                    # multi-threaded test: remove symbolic link & link eedata.mth
536                        if test -h eedata ; then rm -f eedata ; fi
537                        if test ! -r eedata ; then
538                            ln -sf "../"$1"/eedata.mth" eedata ;
539                            printf 'eedata.mth ' 1>&2
540                        fi
541                    else
542                    # not multi-threaded test: remove eedata symbolic link
543                        if test -h eedata ; then rm -f eedata ; fi
544                    fi
545                fi
546                for ldir in $* ; do
547                    if test -d "../"$ldir ; then
548                        printf 'ldir='${ldir} 1>&2
549                        files=`( cd "../"$ldir ; ls -1 | grep -v CVS )`
550                        for i in $files ; do
551                            if test ! -d "../"$ldir/$i ; then
552                                if test ! -r $i  ; then
553                                    printf ' '$i 1>&2
554                                    ln -sf "../"$ldir"/"$i $i
555                                fi
556                            fi
557                        done
558                        if test -x "../"$ldir"/"prepare_run ; then
559                            "../"$ldir"/"prepare_run
560                        fi
561                        printf ' ; ' 1>&2
562                    fi
563                done
564            )
565      fi      fi
566  }  }
567    
# Line 296  runmodel() Line 569  runmodel()
569  {  {
570      # runmodel directory      # runmodel directory
571      #      #
572      #  runs "$COMMAND" in "directory"      #  runs "$COMMAND in "directory"
573      #  (where "$COMMAND" is relative to "directory")      #  (where "$COMMAND" is relative to "directory")
574      (      (
575          cd $1          cd $1
576          printf 'runmodel: ' 1>&2          printf 'runmodel in %s ...' $1 1>&2
577          # make output.txt          # make output.txt
578          $COMMAND          echo
579          RETVAL=$?          if test -L $EXECUTABLE -a -x "../"$builddir"/"$EXECUTABLE ; then
580          if test "x$RETVAL" = x0 ; then              diff -q $EXECUTABLE "../"$builddir"/"$EXECUTABLE > /dev/null 2>&1
581              cp output.txt $CDIR"/output.txt"              outD=$? ; if test $outD != 0 ; then rm -f $EXECUTABLE ; rm -f run.log ; fi
582            fi
583            if test ! -x $EXECUTABLE -a -x "../"$builddir"/"$EXECUTABLE ; then
584                echo " link" $EXECUTABLE "from dir ../"$builddir > run.log_00
585                ln -sf "../"$builddir"/"$EXECUTABLE .
586            fi
587            if test ! -x $EXECUTABLE ; then
588                    rm -f run.log ; touch run.log
589                    if test -f run.log_00 ; then cat run.log_00 >> run.log ; fi
590                    echo " no executable:" $EXECUTABLE >> run.log
591                    RETVAL=8
592                    ENDVAL=-1
593            else
594                if test ! -f $OUTPUTFILE -o $OUTPUTFILE -ot $EXECUTABLE ; then
595                  # output do not exist or is older than executable:
596                    rm -f run.log ; touch run.log
597                    if test -f run.log_00 ; then cat run.log_00 >> run.log ; fi
598                    ( eval $COMMAND ) >> run.log 2>&1
599                    RETVAL=$?
600                else
601                    RETVAL=0
602                    if test -f run.log ; then
603                        if test -f run.log_00 ; then cat run.log_00 >> run.log ; fi
604                        echo "---------->> $OUTPUTFILE is up to date " >> run.log 2>&1
605                    else
606                        touch run.log
607                        if test -f run.log_00 ; then cat run.log_00 >> run.log ; fi
608                        echo "---------->> $OUTPUTFILE is up to date " >> run.log 2>&1
609                        echo " no previous run.log: assume NORMAL END" >> run.log 2>&1
610                    fi
611                fi
612                ENDVAL=`cat run.log | grep -v 'ABNORMAL END' | grep -c 'NORMAL END'`
613            fi
614            rm -f run.log_00
615            #if test "x$RETVAL" = x0 ; then
616            if [ $RETVAL -eq 0 -a $ENDVAL -gt 0 ] ; then
617                tail run.log
618                echo successful 1>&2
619                # === Reduce the size of the testing emails!
620                #cp $OUTPUTFILE $CDIR"/"$OUTPUTFILE
621                if test -s STDERR.0000 ; then cp STDERR.0000 $CDIR"/STDERR.0000" ; fi
622              return 0              return 0
623          else          else
624                tail run.log
625                echo failed '(run:' $RETVAL ' end:' $ENDVAL ')' 1>&2
626                cp run.log $CDIR"/run.log"
627                if test -s STDERR.0000 ; then cp STDERR.0000 $CDIR"/STDERR.0000" ; fi
628              return 1              return 1
629          fi          fi
630      )      )
# Line 317  createcodelet() Line 634  createcodelet()
634  {  {
635      # create codelet for comparing model output      # create codelet for comparing model output
636    
637      echo -n "creating the comparison code...  "      printf "creating the comparison code...  "
638      cat > tmp_cmpnum.f <<EOFA      cat > tr_cmpnum.c <<EOF
639        program cmpnum  #include <stdio.h>
640        implicit none  #include <math.h>
641        real*8 a,b,diff  int main( int argc, char** argv )  {
642        integer linnum,best    int linnum,cmplin,best,lncnt;
643        best=-16    double a,b,abave,relerr;
644    99  read(*,*,end=70,err=60) linnum,a,b    best = -22;
645        diff=0.5*(abs(a)+abs(b))    lncnt = 0;
646  c     print *,a,b,diff,abs(a-b)/diff    while( 1 & ( (lncnt+=1) < 999 ) )  {
647        if (diff.gt.1.e-12) then      scanf("%d", &linnum);
648          diff=abs(a-b)/diff      if (linnum == -1)  break;
649          if (diff.gt.0.) then      scanf("%lf", &a);  scanf("%lf", &b);
650  c         print *,int(log10(diff)),diff      abave = 0.5*(fabs(a)+fabs(b));
651            linnum=int(log10(diff))      if ( abave == abave ) {
652            best=max(best,linnum)        if (abave > 0.0) {
653          endif          relerr=fabs(a-b)/abave;
654        else          if (relerr > 0.0) { cmplin = (int)rint(log10(relerr)); }
655          if (best.eq.-16.and.diff.ne.0.) best=-22          else { cmplin = -16 ; }
656        endif          best = (best > cmplin) ? best : cmplin; }
657        goto 99        else { cmplin = -22 ; }
658    60  stop 'cmpnum: An error occured reading a,b'     /* printf("%d ; %lf ; %lf\n",cmplin,a,b); */
659    70  print *,-best        }
660        end     else {
661  EOFA     /* printf("%lf ; %lf ; %lf\n",abave,a,b); */
662          break; }
663      }
664      if (lncnt == 999) best=-29;
665      if (linnum != -1) best=-99;
666      printf("%d\n", -best);
667      return 0;
668    }
669    EOF
670        $CC -o tr_cmpnum tr_cmpnum.c -lm
671    
672      f77 tmp_cmpnum.f      if [ -x ./tr_cmpnum ]; then
     if [ -x ./a.out ]; then  
673          echo "OK"          echo "OK"
674          return 0          return 0
675      else      else
676          echo          echo
677          echo "createcodelet: failed to compile codelet"          echo "ERROR: failed to compile comparison code -- please specify"
678            echo "  a C compiler using the CC environment variable."
679          exit 1          exit 1
680      fi      fi
681  }  }
# Line 361  formatresults() Line 687  formatresults()
687      nm=$1      nm=$1
688      printf '%s %s %s %s' $2 $3 $4 $5      printf '%s %s %s %s' $2 $3 $4 $5
689      shift; shift; shift; shift; shift;      shift; shift; shift; shift; shift;
690      printf '%3s' $@      listPrt=$@
691        listRes=`echo $listPrt | sed 's/>//' | sed 's/<//'`
692        xx=`echo $listPrt | sed 's/.*>//' | sed 's/<.*//' | awk '{print $1}'`
693        printf '%3s' $listPrt
694    #   line below does not work on hp-ux_ia64 : do those substitutions later on
695    #   printf '%3s' $listPrt | sed 's/ 99/ --/g' | sed 's/  > />/' | sed 's/  < /</'
696            
697      if [ $1 = '--' ]; then      if [ $xx = '..' ]; then
698            printf ' N/O '
699        elif [ $xx = '--' ]; then
700            printf ' N/O '
701        elif [ $xx = 99 ]; then
702          printf ' N/O '          printf ' N/O '
703      else      else
704          if [ $1 -gt 12 ]; then          if [ $xx -ge $MATCH_CRIT ]; then
705              printf ' pass'              printf ' pass'
706          else          else
707              printf ' FAIL'              printf ' FAIL'
# Line 377  formatresults() Line 712  formatresults()
712            
713  }  }
714    
 show_help()  
 {  
     cat - << EOF  
 $0 [-help] [-quick] [-verbose] dir1 [dir2] [...]  
   
  -help|-h      Show this help message  
  -quiet     Reduce the amount of output  
  -verbose   Produce copious amounts of output  
  -debug     Produce even more output which will mean nothing to most  
  -force     Do "make CLEAN" before compiling. This forces a complete rebuild.  
  -clean     Do "make CLEAN" after compiling and testing.  
  -noieee    By default, $0 uses the -ieee option for genmake. This turns it off.  
  -cleanup   Aggresively removes all model output, executables and object files  
             and then exits. Use with care.  
   
 Normal usage:  
  $0 *       Configure, compile, run and analyze in all experiment directories  
 EOF  
 }  
   
715  scandirs()  scandirs()
716  {  {
717      if [ $# -eq 0 ]; then      if [ $# -eq 1 ]; then
718          for arg in * ; do          for arg in * ; do
719              test -d $arg/input && echo $arg              test -f $arg/$1 && echo $arg
720          done          done
721      else      else
722          echo $*          echo $*
723      fi      fi
724  }  }
725    
726    
727  ###############################################################################  ###############################################################################
 ###############################################################################  
 ###############################################################################  
728    
729    
730  #  Default properties  #  Default properties
# Line 421  clean=0 Line 734  clean=0
734  expts=''  expts=''
735  # ieee=1  # ieee=1
736    
737    IEEE=true
738    if test "x$MITGCM_IEEE" != x ; then
739        IEEE=$MITGCM_IEEE
740    fi
741    
742    
743  CLEANUP=f  CLEANUP=f
744  QUICK=f  QUICK=f
745  NOGENMAKE=f  NOGENMAKE=f
746  NOCLEAN=f  NOCLEAN=f
747  NODEPEND=f  NODEPEND=f
748    POSTCLEAN=f
749    
750  BASH=  BASH=
751  OPTFILE=NONE  OPTFILE=NONE
752  ADDRESSES=  ADDRESSES=
753  TESTDIRS=  TESTDIRS=
754    SKIPDIRS=
755  MPACKDIR="../tools/mpack-1.6"  MPACKDIR="../tools/mpack-1.6"
756    HAVE_MPACK=
757  MPACK="$MPACKDIR/mpack"  MPACK="$MPACKDIR/mpack"
758  COMMAND="make output.txt"  COMMAND=
759  MAKE=make  if test "x$MAKE" = x ; then
760        MAKE=make
761    fi
762    if test "x$CC" = x ; then
763        CC=cc
764    fi
765    JOBS=
766  MPI=f  MPI=f
767    MULTI_THREAD=f
768    OUTDIR=
769    DELDIR=
770    
771    ADM=
772    
773    # Additional monitor types
774    PTRACERS_NUM="1 2 3 4 5"
775    
776    MATCH_CRIT=13
777    
778  echo -n "parsing options...  "  printf "parsing options...  "
779    
780  ac_prev=  ac_prev=
781  for ac_option ; do  for ac_option ; do
# Line 471  for ac_option ; do Line 809  for ac_option ; do
809          -tdir=* | --tdir=*)          -tdir=* | --tdir=*)
810              TESTDIRS=$ac_optarg ;;              TESTDIRS=$ac_optarg ;;
811    
812            -skipdir | --skipdir | -skd | --skd)
813                ac_prev=SKIPDIRS ;;
814            -skipdir=* | --skipdir=*)
815                SKIPDIRS=$ac_optarg ;;
816    
817          -bash | --bash | -b | --b)          -bash | --bash | -b | --b)
818              ac_prev=BASH ;;              ac_prev=BASH ;;
819          -bash=* | --bash=*)          -bash=* | --bash=*)
# Line 486  for ac_option ; do Line 829  for ac_option ; do
829          -make=* | --make=*)          -make=* | --make=*)
830              MAKE=$ac_optarg ;;              MAKE=$ac_optarg ;;
831    
832            -odir | --odir)
833                ac_prev=OUTDIR ;;
834            -odir=* | --odir=*)
835                OUTDIR=$ac_optarg ;;
836    
837            -ptracers | --ptracers | -ptr | --ptr)
838                ac_prev=PTRACERS_NUM ;;
839            -ptracers=* | --ptracers=* | -ptr=* | --ptr=*)
840                PTRACERS_NUM=$ac_optarg ;;
841    
842            -match | --match ) ac_prev=MATCH_CRIT ;;
843            -match=* | --match=* ) MATCH_CRIT=$ac_optarg ;;
844    
845            -j) ac_prev=JOBS ;;
846            -j=*) JOBS=$ac_optarg ;;
847    
848          -clean | --clean)          -clean | --clean)
849              CLEANUP=t ;;              CLEANUP=t ; DELDIR=t ;;
850    
851          -quick | --quick | -q | --q)          -quick | --quick | -q | --q)
852              QUICK=t ;;              QUICK=t ;;
# Line 498  for ac_option ; do Line 857  for ac_option ; do
857          -nodepend | --nodepend | -nd | --nd)          -nodepend | --nodepend | -nd | --nd)
858              NODEPEND=t ;;              NODEPEND=t ;;
859    
860            -postclean | --postclean | -pc | --pc)
861                POSTCLEAN=t ;;
862    
863          -mpi) MPI=t ;;          -mpi) MPI=t ;;
864    
865            -mth) MULTI_THREAD=t ;;
866    
867            -adm | -ad) ADM=t ;;
868    
869            -ieee) IEEE=true ;;
870            -noieee) IEEE= ;;
871    
872          -verbose) verbose=2 ;;          -verbose) verbose=2 ;;
873          -debug) debug=1 ;;          -debug) debug=1 ;;
874          -quiet) verbose=0 ;;          -quiet) verbose=0 ;;
875    
876            -deldir | -dd) DELDIR=t ;;
877    
878            -ts) TS=t;;
879    
880            -papis) PAPIS=t;;
881    
882            -pcls) PCL=t;;
883    
884          -*)          -*)
885              echo "Error: unrecognized option: "$ac_option              echo "Error: unrecognized option: "$ac_option
886              usage              usage
# Line 523  if test "x$QUICK" = xt ; then Line 901  if test "x$QUICK" = xt ; then
901      NODEPEND=t      NODEPEND=t
902  fi  fi
903    
904    #- setting for forward or ADM testing
905    if test "x$ADM" = xt ; then
906        code_dir=code_ad
907        input_dirs='input_ad input'
908        ref_outp="output_adm.txt"
909        EXECUTABLE="mitgcmuv_ad"
910    else
911        code_dir=code
912        input_dirs='input'
913        ref_outp="output.txt"
914        EXECUTABLE="mitgcmuv"
915    fi
916    
917  if test "x$TESTDIRS" = x ; then  if test "x$TESTDIRS" = x ; then
918      TESTDIRS=`scandirs`      LIST=`scandirs results/$ref_outp`
919    else
920        #- expand group of experiments:
921        LIST=" "
922        for xx in $TESTDIRS
923        do
924          case $xx in
925            'basic') LIST=${LIST}" aim.5l_cs hs94.128x64x5 ideal_2D_oce"
926                     LIST=${LIST}" lab_sea tutorial_baroclinic_gyre"
927                     LIST=${LIST}" tutorial_global_oce_latlon tutorial_plume_on_slope"
928                    ;;
929            'tutorials')
930                     LIST=${LIST}" "`ls | grep 'tutorial_'` ;;
931            *)       LIST=${LIST}" "$xx ;;
932          esac
933        done
934  fi  fi
935    #echo 'LIST='${LIST}'<'
936    #- skip dirs, remove duplicate and non-directory:
937    TESTDIRS=" "
938    count=0
939    for xx in $LIST
940    do
941        yy=`echo $SKIPDIRS | grep -c $xx`
942        if test $yy = 0 ; then
943            if test -d $xx ; then
944                yy=`echo $TESTDIRS | grep -c $xx`
945                if test $yy = 0 ; then TESTDIRS=${TESTDIRS}" "$xx ; fi
946            else count=1 ;
947                echo ""; echo -n " -- skip \"$xx\" (not a directory !)"
948            fi
949        else
950            if test $count = 1 ; then echo -n ", \"$xx\""
951            else count=1 ; echo "" ;  echo -n " skip: \"$xx\""
952            fi
953        fi
954    done
955    if test $count = 1 ; then echo "" ; echo -n " ... " ; fi
956    #echo 'TESTDIRS='${TESTDIRS}'<'
957    
958  if test "x$OPTFILE" = xNONE -a "x$MITGCM_OF" != x ; then  if test "x$OPTFILE" = xNONE -a "x$MITGCM_OF" != x ; then
959      OPTFILE=$MITGCM_OF      OPTFILE=$MITGCM_OF
960  fi  fi
961    
962  echo "OK"  OUTPUTFILE=$ref_outp
963    if test "x$COMMAND" = x ; then
964        COMMAND="./$EXECUTABLE > $OUTPUTFILE"
965    fi
966    if test "x$MPI" = xt ; then
967        OUTPUTFILE="STDOUT.0000"
968    fi
969    
970    echo "OK (COMMAND= $COMMAND )"
971    
972    # set the Default List of output variables to be checked:
973    #  (use default or load experiment-specific list from file "tr_checklist")
974    # content : 1rst = main variable used to decide if it pass or FAIL
975    #         others = number of matching digits to be printed in summary.txt
976    if test "x$ADM" = x ; then
977        DEF_CHECK_LIST='PS PS T+ S+ U+ V+ pt1+ pt2+ pt3+ pt4+ pt5+'
978        EMPTY_RESULTS='.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..'
979        LEN_CHECK_LIST=`echo $DEF_CHECK_LIST | sed 's/ [a-zA-Z0-9]*+/&mn &mx &av &sd/g' | awk '{print NF-1}'`
980        ii=`echo $EMPTY_RESULTS | awk '{print NF}'`
981        EMPTY_RESULTS=$EMPTY_RESULTS`expr $LEN_CHECK_LIST - $ii | awk 'BEGIN{FS=":"}{for(i=1;i<=$1;i++){printf "  ."}}'`
982    else
983        DEF_CHECK_LIST='Grad Cost Grad'
984        EMPTY_RESULTS='.. ..'
985        LEN_CHECK_LIST=`echo $DEF_CHECK_LIST | sed 's/ [a-zA-Z0-9]*+/&mn &mx &av &sd/g' | awk '{print NF-1}'`
986    fi
987    
988  #  create the FORTRAN comparison code  #  create the FORTRAN comparison code
989  createcodelet  createcodelet
990    
991  #  build the mpack utility  #  build the mpack utility
992  build_mpack  if test "x$ADDRESSES" = xNONE -o "x$ADDRESSES" = x ; then
993        echo "skipping mpack build"
994    else
995        build_mpack
996    fi
997    
998  #  Create a uniquely named directory to store results  #  Create a uniquely named directory to store results
999  MACH=`hostname`  MACH=`hostname`
1000  UNAMEA=`uname -a`  UNAMEA=`uname -a`
1001  DATE=`date +%Y%m%d`  DATE=`date +%Y%m%d`
1002  BASE=$MACH"_"$DATE"_"  BASE="tr_"$MACH"_"$DATE"_"
1003    if test "x$OUTDIR" != x ; then
1004        BASE="tr_"$OUTDIR"_"$DATE"_"
1005    fi
1006  DNUM=0  DNUM=0
1007  DRESULTS="$BASE$DNUM"  DRESULTS="$BASE$DNUM"
1008  while test -e $DRESULTS ; do  while test -e $DRESULTS ; do
# Line 553  done Line 1012  done
1012  mkdir $DRESULTS  mkdir $DRESULTS
1013  RETVAL=$?  RETVAL=$?
1014  if test "x$RETVAL" != x0 ; then  if test "x$RETVAL" != x0 ; then
1015      echo "Error: can't create results directory \"./$DRESULTS\""      echo "ERROR: Can't create results directory \"./$DRESULTS\""
1016      exit 1      exit 1
1017  fi  fi
1018  SUMMARY="$DRESULTS/summary.txt"  SUMMARY="$DRESULTS/summary.txt"
1019  date > $SUMMARY  printf "Start time:  " >> $SUMMARY
1020  cat << EOF >> $SUMMARY  start_date=`date`
1021                  T           S           U           V  echo $start_date > $SUMMARY
 G D M    c        m  s        m  s        m  s        m  s  
 E p a R  g  m  m  e  .  m  m  e  .  m  m  e  .  m  m  e  .  
 N n k u  2  i  a  a  d  i  a  a  d  i  a  a  d  i  a  a  d  
 2 d e n  d  n  x  n  .  n  x  n  .  n  x  n  .  n  x  n  .  
   
 EOF  
   
 NDIR=0  
1022    
1023    of_path=
1024  if test "x$OPTFILE" != xNONE ; then  if test "x$OPTFILE" != xNONE ; then
1025      if test -r $OPTFILE ; then      if test -r $OPTFILE ; then
1026          OPTFILE=`pwd`"/$OPTFILE"          # get the path
1027            path=${OPTFILE%/*}
1028            if test "x$path" = x ; then
1029                of_path=`pwd`
1030            else
1031                of_path=`( cd $path > /dev/null 2>&1 ; pwd )`
1032            fi
1033            file=${OPTFILE##*/}
1034            OPTFILE=$of_path/$file
1035            cp $OPTFILE $DRESULTS
1036            echo >> $SUMMARY
1037            echo "  OPTFILE=$OPTFILE" >> $SUMMARY
1038        else
1039            echo | tee $SUMMARY
1040            echo "ERROR: can't read OPTFILE=\"$OPTFILE\"" | tee $SUMMARY
1041            exit 1
1042      fi      fi
1043    else
1044        echo >> $SUMMARY
1045        echo "No \"OPTFILE\" was explicitly specified by testreport," >> $SUMMARY
1046        echo "   so the genmake default will be used." >> $SUMMARY
1047  fi  fi
1048  echo  echo
 echo "OPTFILE=$OPTFILE" >> $SUMMARY  
1049  echo >> $SUMMARY  echo >> $SUMMARY
1050    if test "x$ADM" = x ; then
1051        if [ $MATCH_CRIT -lt 10 ] ;
1052        then line_0="default  "$MATCH_CRIT ;
1053        else line_0="default "$MATCH_CRIT ; fi
1054           line_0="$line_0  ----T-----  ----S-----  ----U-----  ----V-----"
1055    #   line_0="            ----T-----  ----S-----  ----U-----  ----V-----"
1056        line_1="G D M    c        m  s        m  s        m  s        m  s"
1057        line_2="E p a R  g  m  m  e  .  m  m  e  .  m  m  e  .  m  m  e  ."
1058        line_3="N n k u  2  i  a  a  d  i  a  a  d  i  a  a  d  i  a  a  d"
1059        line_4="2 d e n  d  n  x  n  .  n  x  n  .  n  x  n  .  n  x  n  ."
1060        for ii in $PTRACERS_NUM ; do
1061            #  tst=`eval 'echo $HAVE_PTR0'$ii`
1062            #  if test "x$tst" = xt ; then
1063            line_0="$line_0  --PTR 0"$ii"--"
1064            line_1="$line_1        m  s"
1065            line_2="$line_2  m  m  e  ."
1066            line_3="$line_3  i  a  a  d"
1067            line_4="$line_4  n  x  n  ."
1068            #  fi
1069        done
1070        echo "$line_0" | tee -a $SUMMARY
1071        echo "$line_1" | tee -a $SUMMARY
1072        echo "$line_2" | tee -a $SUMMARY
1073        echo "$line_3" | tee -a $SUMMARY
1074        echo "$line_4" | tee -a $SUMMARY
1075        echo " "       | tee -a $SUMMARY
1076    else
1077        echo "ADJOINT=true" >> $SUMMARY
1078        echo >> $SUMMARY
1079        if [ $MATCH_CRIT -lt 10 ] ;
1080        then line_0="default     "$MATCH_CRIT ;
1081        else line_0="default    "$MATCH_CRIT ; fi
1082        echo "$line_0" | tee -a $SUMMARY
1083        cat << EOF | tee -a $SUMMARY
1084    G D M    C  G
1085    E p a R  o  r
1086    N n k u  s  a
1087    2 d e n  t  d
1088    
1089    EOF
1090    fi
1091    
1092  #  ...and each test directory...  #  ...and each test directory...
1093  for dir in $TESTDIRS ; do  for dir in $TESTDIRS ; do
1094            
1095        # set builddir & rundir:
1096        builddir="build"
1097        if test ! -d $dir/$builddir ; then mkdir $dir/$builddir ; fi
1098        rundir="run"
1099        if test ! -d $dir/$rundir ; then
1100            rundir=$builddir
1101        fi
1102        CODE_DIR=$dir/$code_dir
1103        BUILD_DIR=$dir/$builddir
1104    
1105      #  Cleanup only!      #  Cleanup only!
1106      if test "x$CLEANUP" = xt ; then      if test "x$CLEANUP" = xt ; then
1107          if test -r $dir/build/Makefile ; then          if test -r $BUILD_DIR/Makefile ; then
1108              ( cd $dir/build ; make CLEAN )              echo '  ------  clean dir:' $dir/build
1109                ( cd $BUILD_DIR ; make CLEAN )
1110          fi          fi
1111          if test -r $dir/input/Makefile ; then          if test -d $dir/$rundir/CVS ; then
1112              ( cd $dir/input ; make CLEAN )              echo '  ------  clean dir:' $dir/$rundir
1113                run_clean $dir/$rundir
1114          fi          fi
1115            (
1116                cd $dir
1117                rm -rf tr_run.*
1118            )
1119          continue          continue
1120      fi      fi
1121    
1122      #  Verify that the testdir exists and contains previous      #  Verify that the testdir exists and contains previous
1123      #  results in the correct location--or skip this directory!      #  results in the correct location--or skip this directory!
1124      if test ! -r $dir"/results/output.txt" ; then      fout=$dir"/results/"$ref_outp
1125          echo "can't read \"$dir/results/output.txt\" -- skipping $dir"      if test ! -r $fout ; then
1126            echo "can't read \"$fout\" -- skipping $dir"
1127          continue          continue
1128      fi      fi
1129        if test "x$ADM" = x ; then
1130      echo "-------------------------------------------------------------------------------"          check_for_add_mon_output  $fout
     echo  
     echo "Experiment:  $dir"  
     echo  
     unset genmake makedepend make run  
     results='-- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --'  
   
     if [ -r $dir/build ]; then  
         seperatebuilddir=1  
         builddir=build  
         rundir=build  
         ( cd $dir/build; ln -sf ../input/* . )  
     else  
         seperatebuilddir=0  
         builddir=input  
         rundir=input  
1131      fi      fi
       
     CODE_DIR=$dir/code  
     BUILD_DIR=$dir/$builddir  
     MPI_FILES="CPP_EEOPTIONS.h_mpi SIZE.h_mpi"  
     NOMPI_FILES="CPP_EEOPTIONS.h_nompi SIZE.h_nompi"  
1132    
1133      #  Is this an MPI run?      # Check for additional types of monitor output
1134      if test "x$MPI" = xt ; then  
1135          FILES=$MPI_FILES      if test ! -r $CODE_DIR"/SIZE.h_mpi" -a "x$MPI" = "xt" ; then
1136      else          echo "can't find \"$CODE_DIR/SIZE.h_mpi\" -- skipping $dir"
1137          FILES=$NOMPI_FILES          continue
1138      fi      fi
1139            if test ! -r $dir"/input/eedata.mth" -a "x$MULTI_THREAD" = "xt" ; then
1140      #  Check to see that we have the files          echo "can't find \"$dir/input/eedata.mth\" -- skipping $dir"
     have_files=t  
     for i in $FILES ; do  
         if test ! -r $CODE_DIR/$i ; then  
             echo "Warning: can't read file $CODE_DIR/$i"  
             have_files=f  
         fi  
     done  
     if test "x$have_files" != xt -a "x$MPI" = xt ; then  
         echo "Skipping $dir due to lack of input files (see above warning)"  
1141          continue          continue
1142      fi      fi
1143        
1144      #  If we have the $FILES and they differ, copy the $FILES to $BUILD_DIR      #  Check whether there are "extra runs" for this testdir
1145      if test "x$have_files" = xt ; then      extra_runs=
1146          for i in $FILES ; do      if test "x$ADM" = x ; then
1147              cmp $CODE_DIR/$i $BUILD_DIR/$i > /dev/null 2>&1          ex_run_dirs=`( cd $dir ; echo input.* )`
1148              RETVAL=$?          #echo "ex_run_dirs='$ex_run_dirs'"
1149              if test "x$RETVAL" != x0 ; then          for exd in $ex_run_dirs ; do
1150                  cp $CODE_DIR/$i $BUILD_DIR/$i              name=`echo $exd | sed -e 's/input.//g'`
1151                outf="$dir/results/output.$name.txt"
1152                if test -f $outf -a -r $outf ; then
1153                    if test "x$MULTI_THREAD" = "xt" ; then
1154                        if test -r $dir"/"$exd"/eedata.mth" ; then
1155                            extra_runs="$extra_runs $name"
1156                        #else echo $dir"/"$exd"/eedata.mth: not found"
1157                        fi
1158                    else
1159                        extra_runs="$extra_runs $name"
1160                    fi
1161              fi              fi
1162          done          done
1163      fi      fi
1164        
1165        echo "-------------------------------------------------------------------------------"
1166        echo
1167        if test "x$extra_runs" = "x" ; then
1168           echo "Experiment:  $dir"
1169        else
1170           echo "Experiment:  $dir ; extra_runs=$extra_runs"
1171        fi
1172        echo
1173        unset genmake makedepend make run
1174        results=$EMPTY_RESULTS
1175    
1176      #  Create an output dir for each OPTFILE/tdir combination      #  Create an output dir for each OPTFILE/tdir combination
1177      CDIR=$DRESULTS"/"$DRESULTS"_"$NDIR      rel_CDIR=$DRESULTS"/"$dir
1178      mkdir $CDIR      mkdir $rel_CDIR
1179      CDIR=`pwd`"/$CDIR"      CDIR=`pwd`"/$rel_CDIR"
1180            
1181      if test "x$CLEANUP" = xt ; then      if test "x$CLEANUP" = xt ; then
1182          makeclean $dir/$builddir          echo '====>>> this is to check that we never go through this part <<< ==='
1183            makeclean $dir/$builddir \
1184                && run_clean $dir/$rundir
1185      else      else
1186          genmakemodel $dir/$builddir && genmake=Y \          genmakemodel $dir/$builddir && genmake=Y \
1187              && makeclean $dir/$builddir \              && makeclean $dir/$builddir \
1188                && run_clean $dir/$rundir \
1189                && symlink_mpifiles $dir $code_dir $builddir \
1190              && makedependmodel $dir/$builddir && makedepend=Y \              && makedependmodel $dir/$builddir && makedepend=Y \
1191              && makemodel $dir/$builddir && make=Y \              && makemodel $dir/$builddir && make=Y \
1192              && linkdata $seperatebuilddir $dir/$rundir \              && linkdata $dir/$rundir $input_dirs \
1193              && runmodel $dir/$builddir && run=Y \              && runmodel $dir/$rundir && run=Y \
1194              && results=`testoutput $dir $rundir`              && results=`testoutput_run $dir $rundir $ref_outp`
1195      fi      fi
1196            
1197      echo      echo
1198      formatresults $dir ${genmake:-N} ${makedepend:-N} ${make:-N} \  # --> same processing for adjoint & forward test
1199          ${run:-N} $results          fres=`formatresults $dir ${genmake:-N} ${makedepend:-N} ${make:-N} ${run:-N} $results`
1200      echo          echo
1201      formatresults $dir ${genmake:-N} ${makedepend:-N} ${make:-N} \          echo "$fres" | sed 's/ 99/ --/g' | sed 's/  > />/' | sed 's/  < /</' >> $SUMMARY
1202          ${run:-N} $results >> $SUMMARY          touch $CDIR"/summary.txt"
1203      echo "fresults='" > $CDIR"/summary.txt"          echo "fresults='$fres'" | sed 's/ 99/ --/g' >> $CDIR"/summary.txt"
1204      formatresults $dir ${genmake:-N} ${makedepend:-N} ${make:-N} \          echo "MACH='$MACH'" >> $CDIR"/summary.txt"
1205          ${run:-N} $results >> $CDIR"/summary.txt"          echo "UNAMEA='$UNAMEA'" >> $CDIR"/summary.txt"
1206      echo "'" >> $CDIR"/summary.txt"          echo "DATE='$DATE'" >> $CDIR"/summary.txt"
1207      echo "MACH='$MACH'" >> $CDIR"/summary.txt"          echo "tdir='$dir'" >> $CDIR"/summary.txt"
1208      echo "UNAMEA='$UNAMEA'" >> $CDIR"/summary.txt"  
1209      echo "DATE='$DATE'" >> $CDIR"/summary.txt"          for ex in $extra_runs ; do
1210      echo "tdir='$dir'" >> $CDIR"/summary.txt"              unset run
1211                results=$EMPTY_RESULTS
1212                #  reference output file
1213                refExOut=`echo $ref_outp | sed "s/\./.${ex}./g"`
1214                #  Create an output dir for each OPTFILE/tdir.ex combination
1215                rel_CDIR=$DRESULTS"/"$dir"."$ex
1216                mkdir $rel_CDIR
1217                CDIR=`pwd`"/$rel_CDIR"
1218                test ! -e "$dir/tr_run.$ex" && mkdir "$dir/tr_run.$ex"
1219                run_clean $dir/tr_run.$ex
1220                linkdata $dir/tr_run.$ex input.$ex input
1221                runmodel $dir/tr_run.$ex && run=Y \
1222                && results=`testoutput_run $dir tr_run.$ex $refExOut`
1223                fres=`formatresults $dir ${genmake:-N} ${makedepend:-N} ${make:-N} ${run:-N} $results`
1224                fres="$fres.$ex"
1225                echo
1226                echo "$fres" | sed 's/ 99/ --/g' | sed 's/  > />/' | sed 's/  < /</' >> $SUMMARY
1227                touch $CDIR"/summary.txt"
1228                echo "fresults='$fres'" | sed 's/ 99/ --/g' >> $CDIR"/summary.txt"
1229                echo "MACH='$MACH'" >> $CDIR"/summary.txt"
1230                echo "UNAMEA='$UNAMEA'" >> $CDIR"/summary.txt"
1231                echo "DATE='$DATE'" >> $CDIR"/summary.txt"
1232                echo "tdir='$dir.$ex'" >> $CDIR"/summary.txt"
1233                if test "x$POSTCLEAN" = xt ; then
1234                    run_clean $dir/tr_run.$ex
1235                fi
1236            done
1237    # <-- same processing for adjoint & forward test
1238        if test "x$ADM" = xt ; then
1239            head -1 $dir/$builddir/taf_ad.log >> $CDIR"/summary.txt"
1240            grep -A3 'Seconds in section "ALL' $dir/$rundir/$OUTPUTFILE \
1241                               >> $CDIR"/summary.txt"
1242        fi
1243    
1244        #postclean $dir/$builddir
1245        if test "x$POSTCLEAN" = xt ; then
1246            makeclean $dir/$builddir \
1247                && run_clean $dir/$rundir
1248        fi
1249            
1250      (      echo "-------------------------------------------------------------------------------"
         cd $DRESULTS  
         tar -cf $NDIR".tar" $DRESULTS"_"$NDIR > /dev/null 2>&1  
         gzip $NDIR".tar"  
     )  
1251            
1252      if test "x$ADDRESSES" = xNONE -o "x$ADDRESSES" = x ; then  done
1253          echo "No mail sent"  
1254      else  printf "Start time:  " >> $SUMMARY
1255          $MPACK -s MITgcm-test -m 1000000 $DRESULTS"/"$NDIR".tar.gz" $ADDRESSES  echo $start_date >> $SUMMARY
1256    printf "End time:    " >> $SUMMARY
1257    date >> $SUMMARY
1258    
1259    #  If addresses were supplied and mpack built successfully, then try
1260    #  to send email using mpack.
1261    if test "x$ADDRESSES" = xNONE -o "x$ADDRESSES" = x ; then
1262        echo "No results email was sent."
1263    else
1264        if test "x$HAVE_MPACK" = xt ; then
1265            tar -cf $DRESULTS".tar" $DRESULTS > /dev/null 2>&1 \
1266                && gzip $DRESULTS".tar" \
1267                && $MPACK -s MITgcm-test -m 3555000 $DRESULTS".tar.gz" $ADDRESSES
1268          RETVAL=$?          RETVAL=$?
1269          if test "x$RETVAL" != x0 ; then          if test "x$RETVAL" != x0 ; then
1270              echo "Warning: \"$MPACK\" failed -- please contact <edhill@mitgcm.org>"              echo
1271                echo "Warning: The tar, gzip, & mpack step failed.  Please send email"
1272                echo "  to <MITgcm-support@mitgcm.org> for help.  You may copy the "
1273                echo "  summary of results from the directory \"$DRESULTS\"."
1274                echo
1275          else          else
1276              rm -f $DRESULTS"/"$NDIR".tar*"              echo
1277                echo "An email containing results was sent to the following addresses:"
1278                echo "  \"$ADDRESSES\""
1279                echo
1280          fi          fi
1281            test -f $DRESULTS".tar"  &&  rm -f $DRESULTS".tar"
1282            test -f $DRESULTS".tar.gz"  &&  rm -f $DRESULTS".tar.gz"
1283      fi      fi
1284    fi
1285    
1286      echo "-------------------------------------------------------------------------------"  rm -f tr_cmpnum.c tr_cmpnum
       
     NDIR=$(( $NDIR + 1 ))  
       
 done  
1287    
1288  rm tmp_cmpnum.f a.out  if test "x$CLEANUP" != xt ; then
1289        cat $SUMMARY | sed 's/ \.  \.  \.  \.  \.  \.  \.  \.  \.  \.  \.  \. //'
1290        if test -e tr_out.txt ; then
1291            mv tr_out.txt tr_out.txt.old
1292        fi
1293        cat $SUMMARY | sed '/^[YN] [YN] [YN] [YN]/ s/ \. //g' > tr_out.txt
1294    fi
1295    
1296  cat $SUMMARY  if test "x$DELDIR" = xt ; then
1297        rm -rf $DRESULTS
1298    fi
1299    
Legend:
Removed from v.1.9.2.8  
changed lines
  Added in v.1.107
  ViewVC Help
Powered by ViewVC 1.1.22