/[MITgcm]/MITgcm/verification/testreport
ViewVC logotype

Diff of /MITgcm/verification/testreport

Parent Directory Parent Directory | Revision Log Revision Log | View Revision Graph Revision Graph | View Patch Patch

revision 1.2 by edhill, Mon Sep 1 16:50:27 2003 UTC revision 1.122 by jmc, Wed Apr 15 22:22:36 2009 UTC
# Line 1  Line 1 
1  #!/bin/bash  #! /usr/bin/env bash
2  #  #
3  #  $Header$  #  $Header$
4    #  $Name$
5  #  #
6    
7  usage()  usage()
# Line 10  usage() Line 11  usage()
11      echo      echo
12      echo "where possible OPTIONS are:"      echo "where possible OPTIONS are:"
13      echo "  (-help|-h)               print usage"      echo "  (-help|-h)               print usage"
14      echo "  (-optfile=|-of=)STRING   list of genmake2 \"optfiles\""      echo "  (-mth)                   run multi-threaded (using eedata.mth)"
15      echo "  (-a|-addr)STRING         list of email recipients"      echo "  (-mpi)                   compile and run using MPI"
16      echo "  (-t|-tdir)STRING         list of \"test\" dirs"      echo "  (-ieee|-noieee)          if possible, use IEEE compiler flags"
17        echo "                             (DEF=\"-ieee\")"
18        echo "  (-gsl)                   compile with \"-gsl\" flag"
19        echo "  (-of=|-optfile=)STRING   list of optfiles to use"
20        echo "  (-a|-addr) STRING        list of email recipients"
21        echo "                             (DEF=\"\" no email is sent)"
22        echo "  (-mpd|-mpackdir) DIR     location of the mpack utility"
23        echo "                             (DEF=\"../tools/mpack-1.6\")"
24        echo "  (-t|-tdir) STRING        list of group and/or exp. dirs to test"
25        echo "                             (recognized groups: basic, tutorials)"
26        echo "                             (DEF=\"\" which test all)"
27        echo "  (-skd|-skipdir) STRING   list of exp. dirs to skip"
28        echo "                             (DEF=\"\" which test all)"
29        echo "  (-b|-bash) STRING        preferred location of a \"bash\" or"
30        echo "                             Bourne-compatible \"sh\" shell"
31        echo "                             (DEF=\"\" for \"bash\")"
32        echo "  (-adm|-ad)               perform an adjoint run"
33        echo "  (-oad)                   perform an OpenAD adjoint run"
34        echo "  (-command) STRING        command to run"
35        echo "                             (DEF=\"make output.txt\")"
36        echo "  (-m|-make) STRING        command to use for \"make\""
37        echo "                             (DEF=\"make\")"
38        echo "  (-odir) STRING           used to build output directory name"
39        echo "                             (DEF=\"hostname\")"
40        echo "  (-ptr|-ptracers) STRING  specify which ptracers to test"
41        echo "                             (DEF=\"1 2 3 4 5\")"
42        echo "  (-match) NUMBER          Matching Criteria (number of digits)"
43        echo "                             (DEF=\"12\")"
44        echo "  (-j) JOBS                use \"make -j JOBS\" for parallel builds"
45        echo "  (-clean)                 *ONLY* run \"make CLEAN\""
46        echo "  (-quick|-q)              same as \"-nogenmake -noclean -nodepend\""
47        echo "  (-nogenmake|-ng)         skip the genmake stage"
48        echo "  (-noclean|-nc)           skip the \"make clean\" stage"
49        echo "  (-nodepend|-nd)          skip the \"make depend\" stage"
50        echo "  (-deldir|-dd)            on success, delete the output directory"
51        echo "  (-ts)                    provide timing information per timestep"
52        echo "  (-papis)                 provide MFlop/s per timestep using PAPI"
53        echo "  (-pcls)                  provide MFlop/s per timestep using PCL"
54        echo
55        echo "and where STRING can be a whitespace-delimited list"
56        echo "such as:"
57        echo
58        echo "  -t 'exp0 exp2 exp3' "
59        echo "  -addr='abc@123.com testing@home.org'"
60        echo
61        echo "provided that the expression is properly quoted within the current"
62        echo "shell (note the use of single quotes to protect white space)."
63      echo      echo
64      exit 1      exit 1
65  }  }
# Line 20  usage() Line 67  usage()
67  #  build the mpack utility  #  build the mpack utility
68  build_mpack()  build_mpack()
69  {  {
70      echo -n "building the mpack utility...  "      printf "building the mpack utility...  "
71      if test ! -x "$MPACKDIR/mpack" ; then      MPACK="$MPACKDIR/mpack"
72        if test ! -x $MPACK ; then
73          if test ! -d $MPACKDIR ; then          if test ! -d $MPACKDIR ; then
74                echo
75              echo "Error: can't find \"$MPACKDIR\""              echo "Error: can't find \"$MPACKDIR\""
76              echo "  are you sure this program is being run in the correct "              echo "  are you sure this program is being run in the correct "
77              echo "  (that is, \"MITGCM_ROOT\verification\") directory?"              echo "  (that is, \"MITGCM_ROOT\verification\") directory?"
78              exit 1              echo
79                HAVE_MPACK=f
80            fi
81            if test "x$CC" = x ; then
82                export CC=cc
83          fi          fi
84          echo -n "building mpack...  "          printf "building mpack (using CC=$CC)...  "
85          ( cd $MPACKDIR && ./configure && make ) > build_mpack.out 2>&1          ( cd $MPACKDIR && ./configure && $MAKE ) > tr_build_mpack.out 2>&1
86          RETVAL=$?          RETVAL=$?
87          if test "x$RETVAL" != x0 ; then          if test "x$RETVAL" != x0 ; then
88              echo              echo
89              echo "Error building the mpack tools at: $MPACK_DIR"              echo "Error building the mpack tools at: $MPACK_DIR"
90              exit 1              echo
91                HAVE_MPACK=f
92            else
93                rm -f tr_build_mpack.out
94                HAVE_MPACK=t
95                echo "done"
96          fi          fi
97        else
98            HAVE_MPACK=t
99            echo "already exist"
100      fi      fi
     echo "OK"  
 }  
   
 compare_lines()  
 {  
     # use codelet to compare lines  
     if [ $verbose -gt 1 ]; then  
         cat tmp3.txt 1>&2  
     fi  
     return `./a.out < tmp3.txt`  
101  }  }
102    
103  testoutput_for_prop()  testoutput_var()
104  {  {
105      # testoutput_for_prop dir s1 label subdir      # testoutput_var dir s1 label subdir reference_output
106      #      #
107      #  compares files in $dir/$subdir/output.txt and $dir/results/output.txt      #  compares 1 variable output selected from file $dir/$subdir/$OUTPUTFILE
108      #  using search strings s1 and text label      #     with same output from reference file $dir/results/$reference_output
109        #  using search strings s1 and text label
110    
111      if [ $debug -gt 0 ]; then      if [ $debug -gt 0 ]; then
112          echo testoutput_for_prop: grep "$2" $1/$4/output.txt 1>&2          echo testoutput_var: grep "$2" $1/$4/$OUTPUTFILE 1>&2
113      fi      fi
114      if [ -r $1/$4/output.txt ]; then      if [ -r $1/$4/$OUTPUTFILE ]; then
115          grep "$2" $1/$4/output.txt | sed 's/.*=//' | nl > tmp1.txt          grep "$2" $1/$4/$OUTPUTFILE | sed 's/.*=//' | cat -n > tmp1.txt
116          lncnt=`wc -l tmp1.txt | awk '{print $1}' `          lncntA=`wc -l tmp1.txt | awk '{print $1}' `
117          if [ $lncnt -lt 3 ]; then          if [ $lncntA -lt 2 ]; then
118              if [ $verbose -gt 0 ]; then              if [ $verbose -gt 0 ]; then
119                  echo Not enough lines of output when searching for "$2" 1>&2                  echo Not enough lines of output when searching for "$2" 1>&2
120              fi              fi
121              return 99              return 99
122          fi          fi
123      else      else
124          echo testoutput_for_prop: output.txt from model run was not readable 1>&2          echo testoutput_var: $OUTPUTFILE from model run was not readable 1>&2
125          return 99          return 99
126      fi      fi
127      if [ $debug -gt 0 ]; then      if [ $debug -gt 0 ]; then
128          echo testoutput_for_prop: grep "$2" $1/results/output.txt 1>&2          echo testoutput_var: grep "$2" $1/results/$5 1>&2
129      fi      fi
130      grep "$2" $1/results/output.txt | sed 's/.*=//' | nl > tmp2.txt      grep "$2" $1/results/$5 | sed 's/.*=//' | cat -n > tmp2.txt
131      lncnt=`wc -l tmp2.txt | awk '{print $1}' `      lncntB=`wc -l tmp2.txt | awk '{print $1}' `
132      if [ $lncnt -lt 3 ]; then      if [ $lncntB -lt 2 ]; then
133          if [ $verbose -gt 0 ]; then          if [ $verbose -gt 0 ]; then
134              echo Not enough lines of output when searching for "$2" 1>&2              echo Not enough lines of output when searching for "$2" 1>&2
135          fi          fi
136          return 99          return 99
137      fi      fi
138        if [ $lncntA -ne $lncntB ]; then
139            if [ $verbose -gt 0 ]; then
140                echo Not same Nb of lines when searching for "$2" ":" $lncntA $lncntB 1>&2
141            fi
142            return 99
143        fi
144        has_nan=`cat tmp1.txt | grep -i nan | wc -l`
145        if [ $has_nan -gt 0  ] ; then
146            echo testoutput_var: $OUTPUTFILE contains $has_nan NaN values  1>&2
147            return 99
148        fi
149        has_inf=`cat tmp1.txt | grep -i inf | wc -l`
150        if [ $has_inf -gt 0  ] ; then
151            echo testoutput_var: $OUTPUTFILE contains $has_inf Inf values  1>&2
152            return 99
153        fi
154      if [ $debug -gt 0 ]; then      if [ $debug -gt 0 ]; then
155          echo testoutput_for_prop: join tmp1.txt tmp2.txt 1>&2          echo testoutput_var: join tmp1.txt tmp2.txt 1>&2
156      fi      fi
157      join tmp1.txt tmp2.txt | awk '{print $1 " " $2 " " $3}' > tmp3.txt      join tmp1.txt tmp2.txt | awk '{print $1 " " $2 " " $3}' > tmp3.txt
158      if [ $debug -gt 0 ]; then      if [ $debug -gt 0 ]; then
159          echo testoutput_for_prop: compare_lines 1>&2          echo testoutput_var: compare_lines 1>&2
160      fi      fi
161      compare_lines      if [ $verbose -gt 1 ]; then
162      digits_of_similarity=$?          cat tmp3.txt 1>&2
163        fi
164        echo "-1" >> tmp3.txt
165        # On the SGI O3K (*not* the O2K), "cat -n" inserts a ":" after the line number
166        cat tmp3.txt | sed -e 's|:||g' > tmp4.txt
167        digits_of_similarity=`./tr_cmpnum < tmp4.txt`
168      if [ $digits_of_similarity -eq 99 ]; then      if [ $digits_of_similarity -eq 99 ]; then
169          if [ $verbose -gt 0 ]; then          if [ $verbose -gt 0 ]; then
170              echo testoutput_for_prop: No comparison was available for \"$2\" 1>&2              echo testoutput_var: No comparison was available for \"$3\" 1>&2
171          fi          fi
172          digits_of_similarity=99          digits_of_similarity=99
173      else      else
174          if [ $verbose -gt 0 ]; then          if [ $verbose -gt 0 ]; then
175              echo There were $digits_of_similarity decimal places of similarity for \"$2\" 1>&2              echo There were $digits_of_similarity decimal places of similarity for \"$3\" 1>&2
176          fi          fi
177      fi      fi
178      rm tmp1.txt tmp2.txt tmp3.txt      rm -f tmp1.txt tmp2.txt tmp3.txt tmp4.txt
179            
180      return $digits_of_similarity      return $digits_of_similarity
181  }  }
182    
183  dashnum()  testoutput_run()
184  {  {
185      # dashnum n1 n2 n3 ...      # testoutput_run directory subdir reference_output
186      #      #
187      #  print numbers using %3i format or "--" if number = 99      #  test output from 1 run in "directory"
188    # --> same processing for adjoint & forward test
189            # default list of output variables to be checked:
190            #  1rst : main variable used to decide if it pass or FAIL
191            #  others : number of matching digits to be printed in summary.txt
192            listChk=$DEF_CHECK_LIST
193            #  load experiment-specific list from file "tr_checklist" (if it exist)
194            if test -r $1/$2/tr_checklist ; then listChk=`cat $1/$2/tr_checklist` ; fi
195            sVar=`echo $listChk | awk '{print $1}'`
196            # remove 1rst var and expand the list: + => min max mean s.d
197            listVar=`echo $listChk | sed 's/ [a-zA-Z0-9]*+/&mn &mx &av &sd/g' \
198                                   | sed 's/+//g' | sed "s/^$sVar//"`
199            if [ $debug -gt 0 ]; then echo "testoutput_run: listVar(I)='$listVar'" 1>&2 ; fi
200            # check for ptracer output in reference_output file :
201            outpref=$1/results/$3
202            ptr_mon="trcstat_ptracerXX_min trcstat_ptracerXX_max"
203            ptr_mon="$ptr_mon trcstat_ptracerXX_mean trcstat_ptracerXX_sd"
204            for ii in $PTRACERS_NUM ; do
205                ptrfound=0
206                for jj in $ptr_mon ; do
207                    name=`eval "echo $jj | sed -e 's|XX|0"$ii"|g'"`
208                    tst=`grep $name $outpref | wc -l | awk '{print $1}'`
209                    if test ! "x$tst" = x0 ; then ptrfound=1 ; fi
210                done
211                if test $ptrfound = '1' ; then
212                    eval "HAVE_PTR0"$ii"=t"
213                else
214                    eval "HAVE_PTR0"$ii"=f"
215                  if test "x$ADM" = x -a "x$OADM" = x; then
216                  # remove this ptr from the list of output variable to check
217                  # echo "-- ptr test=" $tst "number of var=" `echo $listVar | awk '{print NF}'` 1>&2
218                    listVar=`echo "$listVar" | sed "s/ pt$ii..//g"`
219                  fi
220                fi
221            #   eval 'echo "HAVE_PTR0'$ii' = $HAVE_PTR0'$ii'"' 1>&2
222            done
223            tst=`echo $sVar $listVar | awk '{ for(i=2;i<=NF;i++){if($i==$1)t+=1}; print t }'`
224            if test $tst != 1 ; then
225              if test $tst = 0 ; then echo "==> WARNING: selected var >$sVar< not found" 1>&2
226                     else echo "==> WARNING: found selected var >$sVar< $tst times" 1>&2 ; fi
227              echo "==> WARNING: in checked list:" $listVar 1>&2
228            #- put it back once:
229              listVar=" $sVar "`echo "$listVar " | sed "s/ $sVar / /g"`
230            fi
231            if [ $debug -gt 0 ]; then echo "testoutput_run: listVar(M)='$listVar'" 1>&2 ; fi
232            echo "listVar='$listVar'" > $CDIR"/summary.txt"
233            allargs=""
234            for xx in $listVar
235            do
236              case $xx in
237               'PS')  if [ $debug -gt 0 ]
238                      then echo testoutput_run: testoutput_var $1 cg2d_init_res 1>&2 ; fi
239                      testoutput_var $1 "cg2d_init_res" "Press. Solver (cg2d)" $2 $3; yy=$?
240                      if [ $debug -gt 0 ] ; then echo testoutput_run: cg2dres=$yy 1>&2 ; fi ;;
241              'Cost') testoutput_var $1 "ADM  precision_derivative_cost" "ADM Cost" $2 $3; yy=$? ;;
242              'Grad') testoutput_var $1 "ADM  precision_derivative_grad" "ADM Grad" $2 $3; yy=$? ;;
243               'Tmn') testoutput_var $1 "dynstat_theta_min"  "Theta minimum"  $2 $3; yy=$? ;;
244               'Tmx') testoutput_var $1 "dynstat_theta_max"  "Theta maximum"  $2 $3; yy=$? ;;
245               'Tav') testoutput_var $1 "dynstat_theta_mean" "Theta mean"     $2 $3; yy=$? ;;
246               'Tsd') testoutput_var $1 "dynstat_theta_sd"   "Theta Std.Dev"  $2 $3; yy=$? ;;
247               'Smn') testoutput_var $1 "dynstat_salt_min"  "Salt minimum"    $2 $3; yy=$? ;;
248               'Smx') testoutput_var $1 "dynstat_salt_max"  "Salt maximum"    $2 $3; yy=$? ;;
249               'Sav') testoutput_var $1 "dynstat_salt_mean" "Salt mean"       $2 $3; yy=$? ;;
250               'Ssd') testoutput_var $1 "dynstat_salt_sd"   "Salt Std.Dev"    $2 $3; yy=$? ;;
251               'Umn') testoutput_var $1 "dynstat_uvel_min"  "U minimum"       $2 $3; yy=$? ;;
252               'Umx') testoutput_var $1 "dynstat_uvel_max"  "U maximum"       $2 $3; yy=$? ;;
253               'Uav') testoutput_var $1 "dynstat_uvel_mean" "U mean"          $2 $3; yy=$? ;;
254               'Usd') testoutput_var $1 "dynstat_uvel_sd"   "U Std.Dev"       $2 $3; yy=$? ;;
255               'Vmn') testoutput_var $1 "dynstat_vvel_min"  "V minimum"       $2 $3; yy=$? ;;
256               'Vmx') testoutput_var $1 "dynstat_vvel_max"  "V maximum"       $2 $3; yy=$? ;;
257               'Vav') testoutput_var $1 "dynstat_vvel_mean" "V mean"          $2 $3; yy=$? ;;
258               'Vsd') testoutput_var $1 "dynstat_vvel_sd"   "V Std.Dev"       $2 $3; yy=$? ;;
259            'pt1mn'|'pt2mn'|'pt3mn'|'pt4mn'|'pt5mn') ii=`echo $xx | sed 's/pt//' | sed 's/..$//'`
260               testoutput_var $1 "trcstat_ptracer0"$ii"_min"  "p0"$ii"_min"   $2 $3; yy=$? ;;
261            'pt1mx'|'pt2mx'|'pt3mx'|'pt4mx'|'pt5mx') ii=`echo $xx | sed 's/pt//' | sed 's/..$//'`
262               testoutput_var $1 "trcstat_ptracer0"$ii"_max"  "p0"$ii"_max"   $2 $3; yy=$? ;;
263            'pt1av'|'pt2av'|'pt3av'|'pt4av'|'pt5av') ii=`echo $xx | sed 's/pt//' | sed 's/..$//'`
264               testoutput_var $1 "trcstat_ptracer0"$ii"_mean" "p0"$ii"_mean" $2 $3; yy=$? ;;
265            'pt1sd'|'pt2sd'|'pt3sd'|'pt4sd'|'pt5sd') ii=`echo $xx | sed 's/pt//' | sed 's/..$//'`
266               testoutput_var $1 "trcstat_ptracer0"$ii"_sd"   "p0"$ii"_StDv"  $2 $3; yy=$? ;;
267             'Qntmn') testoutput_var $1 "extforcing_qnet_min" "Qnet minimum"  $2 $3; yy=$? ;;
268             'Qntmx') testoutput_var $1 "extforcing_qnet_max" "Qnet maximum"  $2 $3; yy=$? ;;
269             'Qntav') testoutput_var $1 "extforcing_qnet_mean" "Qnet mean"    $2 $3; yy=$? ;;
270             'Qntsd') testoutput_var $1 "extforcing_qnet_sd"  "Qnet Std.Dev"  $2 $3; yy=$? ;;
271             'aSImn') testoutput_var $1 "seaice_area_min"   "SIce Area min"   $2 $3; yy=$? ;;
272             'aSImx') testoutput_var $1 "seaice_area_max"   "SIce Area max"   $2 $3; yy=$? ;;
273             'aSIav') testoutput_var $1 "seaice_area_mean"  "SIce Area mean"  $2 $3; yy=$? ;;
274             'aSIsd') testoutput_var $1 "seaice_area_sd"    "SIce Area StDv"  $2 $3; yy=$? ;;
275             'hSImn') testoutput_var $1 "seaice_heff_min"   "SIce Heff min"   $2 $3; yy=$? ;;
276             'hSImx') testoutput_var $1 "seaice_heff_max"   "SIce Hell max"   $2 $3; yy=$? ;;
277             'hSIav') testoutput_var $1 "seaice_heff_mean"  "SIce Hell mean"  $2 $3; yy=$? ;;
278             'hSIsd') testoutput_var $1 "seaice_heff_sd"    "SIce Hell StDv"  $2 $3; yy=$? ;;
279            'AthSiG') testoutput_var $1 "thSI_Ice_Area_G" "thSIc Area Global" $2 $3; yy=$? ;;
280            'AthSiS') testoutput_var $1 "thSI_Ice_Area_S" "thSIc Area South"  $2 $3; yy=$? ;;
281            'AthSiN') testoutput_var $1 "thSI_Ice_Area_N" "thSIc Area North"  $2 $3; yy=$? ;;
282            'HthSiG') testoutput_var $1 "thSI_IceH_ave_G" "thSIc H Global"    $2 $3; yy=$? ;;
283            'HthSiS') testoutput_var $1 "thSI_IceH_ave_S" "thSIc H South"     $2 $3; yy=$? ;;
284            'HthSiN') testoutput_var $1 "thSI_IceH_ave_N" "thSIc H North"     $2 $3; yy=$? ;;
285                  *) yy=99; echo "WARNING: asking for var=$xx : not recognized !" 1>&2 ;;
286              esac
287              if test $xx = $sVar
288              then allargs="$allargs > $yy <"
289              else allargs="$allargs $yy"
290              fi
291            done
292    
293            nbVar=`echo $listVar | awk '{print NF}'`
294            if [ $nbVar -lt $LEN_CHECK_LIST ] ; then
295            #-- fill line (up to standard length) with dot:
296              adNul=`expr $LEN_CHECK_LIST - $nbVar | awk '{for(i=1;i<=$1;i++){print "."}}'`
297              echo $allargs $adNul
298            else
299              echo $allargs
300            fi
301    # <-- same processing for adjoint & forward test
302    }
303    
304      for num in $@ ; do  genmakemodel()
305          if [ $num = 99 ]; then  {
306              printf ' --'      # genmakemodel directory
307        if test "x$NOGENMAKE" = xt ; then
308            echo "genmake skipped!"
309        else
310            if test "x$BASH" = x ; then
311                GENMAKE2="../../../tools/genmake2"
312          else          else
313              printf '%3i' $num              GENMAKE2="$BASH ../../../tools/genmake2 -bash $BASH"
314          fi          fi
315      done          (
316                cd $1;
317                command="$GENMAKE2  -ds -m $MAKE"
318                if test "x$ADM" = xt ; then
319                    command="$command --mods=../code_ad"
320                elif test "x$OADM" = xt ; then
321                    command="$command -adof ../../../tools/adjoint_options/adjoint_oad -mods '../code_oad ../../OpenAD/code_oad_all'"
322                else
323                    command="$command --mods=../code"
324                fi
325                if test "x$OPTFILE" != xNONE ; then
326                    command="$command --optfile=$OPTFILE"
327                fi
328                if test "x$IEEE" != x ; then
329                    command="$command -ieee"
330                fi
331                if test "x$GSL" = xt ; then
332                    command="$command -gsl"
333                fi
334                if test "x$MPI" = xt ; then
335                    command="$command -mpi"
336                fi
337                if test "x$MULTI_THREAD" = xt ; then
338                #- run multi-threaded using OpenMP:
339                    command="$command -omp"
340                fi
341                if test "x$TS" = xt ; then
342                    command="$command -ts"
343                fi
344                if test "x$PAPIS" = xt ; then
345                    command="$command -papis"
346                else
347                if test "x$PCLS" = xt ; then
348                    command="$command -pcls"
349                fi
350                fi
351                printf 'genmake ... ' 1>&2
352                # $command > make.log 2>&1
353                eval $command > make.log 2>&1
354                RETVAL=$?
355                #  Reduce the size of the testing emails!
356                head -100 Makefile > $CDIR/Makefile_head
357                if test "x$RETVAL" != x0 ; then
358                    tail make.log
359                    echo "genmakemodel: genmake failed" 1>&2
360                    cp genmake_* make.log $CDIR
361                    return 1
362                else
363                    echo "successful" 1>&2
364                fi
365            )
366        fi
367  }  }
368    
369  testoutput()  makeclean()
370  {  {
371      # testoutput diretory subdir      # makeclean directory
372      #      if test "x$NOCLEAN" = xt ; then
373      #  test output in "directory"          echo "make Clean skipped!"
374        else
375      if [ $debug -gt 0 ]; then          (
376          echo testoutput: testoutput_for_prop $1 cg2d_init_res 1>&2              cd $1;
377      fi              #if test -e $OUTPUTFILE ; then rm -f $OUTPUTFILE ; fi
378      testoutput_for_prop $1 "cg2d_init_res" "cg2d init. residual" $2; cg2dres=$?              if test -r Makefile ; then
379      if [ $debug -gt 0 ]; then                  printf 'clean build-dir: make Clean ... ' 2>&1
380          echo testoutput: cg2dres=$cg2dres 1>&2                  $MAKE Clean >> make.log 2>&1
381                    RETVAL=$?
382                    if test "x$RETVAL" != x0 ; then
383                        tail make.log
384                        echo "makeclean: \"make Clean\" failed" 1>&2
385                        cp make.log $CDIR"/make.log"
386                        return 1
387                    fi
388                fi
389                echo successful 1>&2
390                exit 0
391            )
392      fi      fi
       
     testoutput_for_prop $1 "dynstat_theta_min" "theta minimum" $2; tmin=$?  
     testoutput_for_prop $1 "dynstat_theta_max" "theta maximum" $2; tmax=$?  
     testoutput_for_prop $1 "dynstat_theta_mean" "theta mean" $2; tmean=$?  
     testoutput_for_prop $1 "dynstat_theta_sd" "theta s.d." $2; tsd=$?  
     testoutput_for_prop $1 "dynstat_salt_min" "salt minimum" $2; smin=$?  
     testoutput_for_prop $1 "dynstat_salt_max" "salt maximum" $2; smax=$?  
     testoutput_for_prop $1 "dynstat_salt_mean" "salt mean" $2; smean=$?  
     testoutput_for_prop $1 "dynstat_salt_sd" "salt s.d." $2; ssd=$?  
     testoutput_for_prop $1 "dynstat_uvel_min" "U minimum" $2; umin=$?  
     testoutput_for_prop $1 "dynstat_uvel_max" "U maximum" $2; umax=$?  
     testoutput_for_prop $1 "dynstat_uvel_mean" "U mean" $2; umean=$?  
     testoutput_for_prop $1 "dynstat_uvel_sd" "U s.d." $2; usd=$?  
     testoutput_for_prop $1 "dynstat_vvel_min" "V minimum" $2; vmin=$?  
     testoutput_for_prop $1 "dynstat_vvel_max" "V maximum" $2; vmax=$?  
     testoutput_for_prop $1 "dynstat_vvel_mean" "V mean" $2; vmean=$?  
     testoutput_for_prop $1 "dynstat_vvel_sd" "V s.d." $2; vsd=$?  
       
     dashnum $cg2dres $tmin $tmax $tmean $tsd $smin $smax $smean $ssd \  
         $umin $umax $umean $usd $vmin $vmax $vmean $vsd  
393  }  }
394    
395  genmakemodel()  run_clean()
396  {  {
397      # genmakemodel directory      # run_clean directory
398      GENMAKE2="../../../tools/genmake2"      if test "x$NOCLEAN" = xt ; then
399      (          echo "run_clean skipped!"
400          cd $1;      else
401          printf 'genmake ... ' 1>&2          (
402          # ../../../tools/genmake -ieee -mods=../code > make.log 2>&1              cd $1;
403          $GENMAKE2  -ds --mods=../code "--optfile="$OPTFILE > make.log 2>&1              printf 'clean run-dir ... ' 2>&1
404          RETVAL=$?              # part of what is done after "make clean" when doing "make CLEAN"
405          for i in gm_state gm_optfile gm_local Makefile ; do              find . -name "*.meta" -exec rm {} \;
406              if test -r $i ; then              find . -name "*.data" -exec rm {} \;
407                  cp $i $CDIR              find . -name "fort.*" -exec rm {} \;
408              fi              find . -type l -exec rm {} \;
409          done              rm -f $EXECUTABLE *.txt STD* *diagnostics.log datetime
410          if test "x$RETVAL" != x0 ; then              rm -rf mnc_test_*
411              tail make.log              rm -f *_MIT_CE_000.opt0000 costfunction*0000
412              echo "genmakemodel: genmake failed" 1>&2              echo successful 1>&2
413              cp make.log $CDIR              exit 0
414              return 1          )
415          else      fi
             echo "succesful" 1>&2  
         fi  
     )  
416  }  }
417    
418  makeclean()  makedependmodel()
419  {  {
420      # makeclean directory      # makedependmodel directory
421      (      if test "x$NODEPEND" = xt ; then
422          cd $1;          echo "make depend skipped!"
423          rm -f output.txt      else
424          printf 'make CLEAN ... ' 2>&1          (
425          if test -r Makefile ; then              cd $1;
426              make CLEAN >> make.log 2>&1              printf 'make depend ... ' 1>&2
427                $MAKE depend >> make.log 2>&1
428              RETVAL=$?              RETVAL=$?
429              if test "x$RETVAL" != x0 ; then              if test "x$RETVAL" != x0 ; then
430                  tail make.log                  tail make.log
431                  echo "makeclean: \"make CLEAN\" failed" 1>&2                  echo "makedependmodel: make depend failed" 1>&2
432                  cp make.log $CDIR"/make.log"                  cp make.log $CDIR"/make.log"
433                  return 1                  return 1
434                else
435                    echo successful 1>&2
436              fi              fi
437          fi          )
438          echo succesful 1>&2      fi
         exit 0  
     )  
 }  
   
 makedependmodel()  
 {  
     # makedependmodel directory  
     (  
         cd $1;  
         printf 'make depend ... ' 1>&2  
         make depend >> make.log 2>&1  
         RETVAL=$?  
         if test "x$RETVAL" != x0 ; then  
             tail make.log  
             echo "makedependmodel: make depend failed" 1>&2  
             cp make.log $CDIR"/make.log"  
             return 1  
         else  
             echo succesful 1>&2  
         fi  
     )  
439  }  }
440    
441  makemodel()  makemodel()
# Line 231  makemodel() Line 445  makemodel()
445          cd $1;          cd $1;
446          if test -r Makefile ; then          if test -r Makefile ; then
447              printf 'make ... ' 1>&2              printf 'make ... ' 1>&2
448              make >> make.log 2>&1              if test "x$ADM" = xt ; then
449                    $MAKE adall >> make.log 2>&1
450                elif test "x$OADM" = xt ; then
451                    $MAKE adAll >> make.log 2>&1
452                else
453                    if test "x$JOBS" = x ; then
454                        $MAKE >> make.log 2>&1
455                    else
456                        $MAKE -j $JOBS >> make.log 2>&1
457                    fi
458                fi
459              RETVAL=$?              RETVAL=$?
460              if test "x$RETVAL" != x0 ; then              if test "x$RETVAL" != x0 ; then
461                  tail make.log                  tail make.log
# Line 239  makemodel() Line 463  makemodel()
463                  cp make.log $CDIR"/make.log"                  cp make.log $CDIR"/make.log"
464                  return 1                  return 1
465              else              else
466                  echo succesful 1>&2                  echo successful 1>&2
467              fi              fi
468          fi          fi
469      )      )
470  }  }
471    
472    symlink_mpifiles()
473    {
474        # Put special links so that MPI specific files are used
475        # This MUST be invoked between makeclean and makelinks because
476        # the Makefile will link to non-mpi files by default
477    
478        dir=$1
479        code_dir=$2
480        BUILD_DIR=$dir/$3
481        CODE_DIR=$dir/$code_dir
482        
483        # These are files that should replace their counter-part when using -mpi
484        MPI_FILES=`(cd $CODE_DIR; find . -name "*_mpi" -print)`
485    
486        #  Is this an MPI run?
487        if test "x$MPI" = xt ; then
488            # YES: We symbolically link these files to the build
489            # dir so long as there is no real file in place
490            for ii in $MPI_FILES ; do
491                i=`echo $ii | sed 's:^\./::'`
492                name=`echo $i | sed 's:_mpi::' `
493                cmp $CODE_DIR/$i $BUILD_DIR/$name > /dev/null 2>&1
494                RETVAL=$?
495                if test "x$RETVAL" != x0 ; then
496                    if ! test -f $BUILD_DIR/$i ; then
497                        #echo Linking $name to $i
498                        (cd $BUILD_DIR; ln -sf ../$code_dir/$i $name)
499                    fi
500                fi
501            done
502        else
503            # NO: We undo any _mpi symbolically linked files
504            for ii in $MPI_FILES ; do
505                i=`echo $ii | sed 's:^\./::'`
506                name=`echo $i | sed 's:_mpi::' `
507                if test -L $BUILD_DIR/$name ; then
508                    cmp $BUILD_DIR/$name "../$code_dir/$name"_mpi > /dev/null 2>&1
509                    RETVAL=$?
510                    if test "x$RETVAL" = x0 ; then
511                        #echo Un-linking $name from $linktarg
512                        rm -f $BUILD_DIR/$name
513                    fi
514                fi
515            done
516        fi
517        
518    }
519    
520  linkdata()  linkdata()
521  {  {
522      # linkdata flag      # linkdata run_dir input_dir_1 input_dir_2 ...
523      #      #
524      # symbolically link data files to run directory      # symbolically link data files to run directory
525      if [ $1 -ne 0 ]; then      if test -d $1 ; then
526          ( cd $2 ;  ln -sf ../input/* . )          (
527                cd $1 ; shift
528                if test -r "../"$1"/eedata.mth" ; then
529                # found eedata.mth in 1rst input dir and it is readable
530                    if test "x$MULTI_THREAD" = "xt" ; then
531                    # multi-threaded test: remove symbolic link & link eedata.mth
532                        if test -h eedata ; then rm -f eedata ; fi
533                        if test ! -r eedata ; then
534                            ln -sf "../"$1"/eedata.mth" eedata ;
535                            printf 'eedata.mth ' 1>&2
536                        fi
537                    else
538                    # not multi-threaded test: remove eedata symbolic link
539                        if test -h eedata ; then rm -f eedata ; fi
540                    fi
541                fi
542                prevDir='NONE'
543                for ldir in $* ; do
544                    if test -d "../"$ldir -a $ldir != $prevDir ; then
545                        printf 'ldir='${ldir} 1>&2
546                        files=`( cd "../"$ldir ; ls -1 | grep -v CVS )`
547                        for i in $files ; do
548                            if test ! -d "../"$ldir/$i ; then
549                                if test ! -r $i  ; then
550                                    printf ' '$i 1>&2
551                                    ln -sf "../"$ldir"/"$i $i
552                                fi
553                            fi
554                        done
555                        if test -x "../"$ldir"/"prepare_run ; then
556                            "../"$ldir"/"prepare_run
557                        fi
558                        printf ' ; ' 1>&2
559                    fi
560                    prevDir=$ldir
561                done
562            )
563      fi      fi
564  }  }
565    
566  runmodel()  runmodel()
567  {  {
568      # runmodel directory exe      # runmodel directory
569      #      #
570      #  runs the model "exe" in "directory" (exe is relative to directory)      #  runs "$COMMAND in "directory"
571        #  (where "$COMMAND" is relative to "directory")
572      (      (
573          cd $1          cd $1
574          if [ -x $2 ]; then          printf 'runmodel in %s ...' $1 1>&2
575              if [ $quick -eq 0 ]; then          # make output.txt
576                  rm -f output.txt          echo
577              fi          if test -L $EXECUTABLE -a -x "../"$builddir"/"$EXECUTABLE ; then
578              printf 'runmodel: ' 1>&2              diff -q $EXECUTABLE "../"$builddir"/"$EXECUTABLE > /dev/null 2>&1
579              make output.txt              outD=$? ; if test $outD != 0 ; then rm -f $EXECUTABLE ; fi
580              RETVAL=$?          fi
581              if test "x$RETVAL" = x0 ; then          if test ! -x $EXECUTABLE -a -x "../"$builddir"/"$EXECUTABLE ; then
582                  cp output.txt $CDIR"/output.txt"              echo " link" $EXECUTABLE "from dir ../"$builddir > run.log_tmp
583                  return 0              ln -sf "../"$builddir"/"$EXECUTABLE .
584            fi
585            if test ! -x $EXECUTABLE ; then
586                    rm -f $RUNLOG ; touch $RUNLOG
587                    if test -f run.log_tmp ; then cat run.log_tmp >> $RUNLOG ; fi
588                    echo " no executable:" $EXECUTABLE >> $RUNLOG
589                    RETVAL=8
590                    ENDVAL=-1
591            else
592                if test ! -f $OUTPUTFILE -o $OUTPUTFILE -ot $EXECUTABLE ; then
593                  # output do not exist or is older than executable:
594                    rm -f $RUNLOG ; touch $RUNLOG
595                    if test -f run.log_tmp ; then cat run.log_tmp >> $RUNLOG ; fi
596                    ( eval $COMMAND ) >> $RUNLOG 2>&1
597                    RETVAL=$?
598              else              else
599                  return 1                  RETVAL=0
600                    if test -f $RUNLOG ; then
601                        if test -f run.log_tmp ; then cat run.log_tmp >> $RUNLOG ; fi
602                        echo "---------->> $OUTPUTFILE is up to date " >> $RUNLOG 2>&1
603                    else
604                        touch $RUNLOG
605                        if test -f run.log_tmp ; then cat run.log_tmp >> $RUNLOG ; fi
606                        echo "---------->> $OUTPUTFILE is up to date " >> $RUNLOG 2>&1
607                        echo " no previous $RUNLOG: assume NORMAL END" >> $RUNLOG 2>&1
608                    fi
609              fi              fi
610                ENDVAL=`cat $RUNLOG | grep -v 'ABNORMAL END' | grep -c 'NORMAL END'`
611            fi
612            rm -f run.log_tmp
613            #if test "x$RETVAL" = x0 ; then
614            if [ $RETVAL -eq 0 -a $ENDVAL -gt 0 ] ; then
615                tail $RUNLOG
616                echo successful 1>&2
617                # === Reduce the size of the testing emails!
618                #cp $OUTPUTFILE $CDIR"/"$OUTPUTFILE
619                if test -s STDERR.0000 ; then cp STDERR.0000 $CDIR"/STDERR.0000" ; fi
620                return 0
621            else
622                tail $RUNLOG
623                echo failed '(run:' $RETVAL ' end:' $ENDVAL ')' 1>&2
624                cp $RUNLOG $CDIR"/"$RUNLOG
625                if test -s STDERR.0000 ; then cp STDERR.0000 $CDIR"/STDERR.0000" ; fi
626                return 1
627          fi          fi
628      )      )
629  }  }
# Line 283  createcodelet() Line 632  createcodelet()
632  {  {
633      # create codelet for comparing model output      # create codelet for comparing model output
634    
635      echo -n "creating the comparison code...  "      printf "creating the comparison code (using CC=$CC)...  "
636      cat > tmp_cmpnum.f <<EOFA      cat > tr_cmpnum.c <<EOF
637        program cmpnum  #include <stdio.h>
638        implicit none  #include <math.h>
639        real*8 a,b,diff  int main( int argc, char** argv )  {
640        integer linnum,best    int linnum,cmplin,best,lncnt;
641        best=-16    double a,b,abave,relerr;
642    99  read(*,*,end=70,err=60) linnum,a,b    best = -22;
643        diff=0.5*(abs(a)+abs(b))    lncnt = 0;
644  c     print *,a,b,diff,abs(a-b)/diff    while( 1 & ( (lncnt+=1) < 999 ) )  {
645        if (diff.gt.1.e-12) then      scanf("%d", &linnum);
646          diff=abs(a-b)/diff      if (linnum == -1)  break;
647          if (diff.gt.0.) then      scanf("%lf", &a);  scanf("%lf", &b);
648  c         print *,int(log10(diff)),diff      abave = 0.5*(fabs(a)+fabs(b));
649            linnum=int(log10(diff))      if ( abave == abave ) {
650            best=max(best,linnum)        if (abave > 0.0) {
651          endif          relerr=fabs(a-b)/abave;
652        else          if (relerr > 0.0) { cmplin = (int)rint(log10(relerr)); }
653          if (best.eq.-16.and.diff.ne.0.) best=-22          else { cmplin = -16 ; }
654        endif          best = (best > cmplin) ? best : cmplin; }
655        goto 99        else { cmplin = -22 ; }
656    60  stop 'cmpnum: An error occured reading a,b'     /* printf("%d ; %lf ; %lf\n",cmplin,a,b); */
657    70  print *,-best        }
658        end     else {
659  EOFA     /* printf("%lf ; %lf ; %lf\n",abave,a,b); */
660          break; }
661      }
662      if (lncnt == 999) best=-29;
663      if (linnum != -1) best=-99;
664      printf("%d\n", -best);
665      return 0;
666    }
667    EOF
668        $CC -o tr_cmpnum tr_cmpnum.c -lm
669    
670      f77 tmp_cmpnum.f      if [ -x ./tr_cmpnum ]; then
     if [ -x ./a.out ]; then  
671          echo "OK"          echo "OK"
672          return 0          return 0
673      else      else
674          echo          echo
675          echo "createcodelet: failed to compile codelet" | tee          echo "ERROR: failed to compile comparison code -- please specify"
676            echo "  a C compiler using the CC environment variable."
677          exit 1          exit 1
678      fi      fi
679  }  }
# Line 327  formatresults() Line 685  formatresults()
685      nm=$1      nm=$1
686      printf '%s %s %s %s' $2 $3 $4 $5      printf '%s %s %s %s' $2 $3 $4 $5
687      shift; shift; shift; shift; shift;      shift; shift; shift; shift; shift;
688      printf '%3s' $@      listPrt=$@
689        listRes=`echo $listPrt | sed 's/>//' | sed 's/<//'`
690        xx=`echo $listPrt | sed 's/.*>//' | sed 's/<.*//' | awk '{print $1}'`
691        printf '%3s' $listPrt
692    #   line below does not work on hp-ux_ia64 : do those substitutions later on
693    #   printf '%3s' $listPrt | sed 's/ 99/ --/g' | sed 's/  > />/' | sed 's/  < /</'
694            
695      if [ $1 = '--' ]; then      if [ $xx = '..' ]; then
696            printf ' N/O '
697        elif [ $xx = '--' ]; then
698            printf ' N/O '
699        elif [ $xx = 99 ]; then
700          printf ' N/O '          printf ' N/O '
701      else      else
702          if [ $1 -gt 12 ]; then          if [ $xx -ge $MATCH_CRIT ]; then
703              printf ' pass'              printf ' pass'
704          else          else
705              printf ' FAIL'              printf ' FAIL'
# Line 343  formatresults() Line 710  formatresults()
710            
711  }  }
712    
 show_help()  
 {  
     cat - << EOF  
 $0 [-help] [-quick] [-verbose] dir1 [dir2] [...]  
  -help      Show this help message  
  -quick     Skip "genmake" and "make depend" if the Makefile exists  
  -quiet     Reduce the amount of output  
  -verbose   Produce copious amounts of output  
  -debug     Produce even more output which will mean nothing to most  
  -force     Do "make CLEAN" before compiling. This forces a complete rebuild.  
  -clean     Do "make CLEAN" after compiling and testing.  
  -noieee    By default, $0 uses the -ieee option for genmake. This turns it off.  
  -cleanup   Aggresively removes all model output, executables and object files  
             and then exits. Use with care.  
   
 Normal usage:  
  $0 *       Configure, compile, run and analyze in all experiment directories  
 EOF  
 }  
   
713  scandirs()  scandirs()
714  {  {
715      if [ $# -eq 0 ]; then      if [ $# -eq 1 ]; then
716          for arg in * ; do          for arg in * ; do
717              test -d $arg/input && echo $arg              test -f $arg/$1 && echo $arg
718          done          done
719      else      else
720          echo $*          echo $*
721      fi      fi
722  }  }
723    
724    
725  ###############################################################################  ###############################################################################
 ###############################################################################  
 ###############################################################################  
726    
727    
728  #  Default properties  #  Default properties
729  debug=0  debug=0
730  verbose=1  verbose=1
 quick=0  
731  clean=0  clean=0
 ieee=1  
 expts=''  
732    
733  OPTFILES=  IEEE=true
734  ADDRESSES=edhill@mitgcm.org  if test "x$MITGCM_IEEE" != x ; then
735        IEEE=$MITGCM_IEEE
736    fi
737    GSL=f
738    
739    CLEANUP=f
740    QUICK=f
741    NOGENMAKE=f
742    NOCLEAN=f
743    NODEPEND=f
744    POSTCLEAN=f
745    
746    BASH=
747    OPTFILE=NONE
748    ADDRESSES=
749  TESTDIRS=  TESTDIRS=
750    SKIPDIRS=
751  MPACKDIR="../tools/mpack-1.6"  MPACKDIR="../tools/mpack-1.6"
752  MPACK="$MPACKDIR/mpack"  HAVE_MPACK=
753    MPACK=
754    COMMAND=
755    if test "x$MAKE" = x ; then
756        MAKE=make
757    fi
758    if test "x$CC" = x ; then
759        CC=cc
760    fi
761    JOBS=
762    MPI=f
763    MULTI_THREAD=f
764    OUTDIR=
765    DELDIR=
766    
767    ADM=
768    OADM=
769    
770    # list of pTracers to check for monitor output
771    PTRACERS_NUM="1 2 3 4 5"
772    
773  echo -n "parsing options...  "  MATCH_CRIT=13
774    
775    printf "parsing options...  "
776    
777  ac_prev=  ac_prev=
778  for ac_option ; do  for ac_option ; do
# Line 414  for ac_option ; do Line 792  for ac_option ; do
792              usage ;;              usage ;;
793                    
794          -optfile | --optfile | -of | --of)          -optfile | --optfile | -of | --of)
795              ac_prev=OPTFILES ;;              ac_prev=OPTFILE ;;
796          -optfile=* | --optfile=* | -of=* | --of=*)          -optfile=* | --optfile=* | -of=* | --of=*)
797              OPTFILES=$ac_optarg ;;              OPTFILE=$ac_optarg ;;
798                    
799          -addr | --addr | -a | --a)          -addr | --addr | -a | --a)
800              ac_prev=ADDRESSES ;;              ac_prev=ADDRESSES ;;
801          -addr=* | --addr=*)          -addr=* | --addr=*)
802              ADDRESSES=$ac_optarg ;;              ADDRESSES=$ac_optarg ;;
803            -mpackdir | --mpackdir | -mpd | --mpd)
804                ac_prev=MPACKDIR ;;
805            -mpackdir=* | --mpackdir=* | -mpd=* | --mpd=*)
806                MPACKDIR=$ac_optarg ;;
807    
808          -tdir | --tdir | -t | --t)          -tdir | --tdir | -t | --t)
809              ac_prev=TESTDIRS ;;              ac_prev=TESTDIRS ;;
810          -tdir=* | --tdir=*)          -tdir=* | --tdir=*)
811              TESTDIRS=$ac_optarg ;;              TESTDIRS=$ac_optarg ;;
812    
813          -quick) quick=1 ;;          -skipdir | --skipdir | -skd | --skd)
814                ac_prev=SKIPDIRS ;;
815            -skipdir=* | --skipdir=*)
816                SKIPDIRS=$ac_optarg ;;
817    
818            -bash | --bash | -b | --b)
819                ac_prev=BASH ;;
820            -bash=* | --bash=*)
821                BASH=$ac_optarg ;;
822    
823            -command | --command | -c | --c)
824                ac_prev=COMMAND ;;
825            -command=* | --command=*)
826                COMMAND=$ac_optarg ;;
827    
828            -make | --make | -m | --m)
829                ac_prev=MAKE ;;
830            -make=* | --make=*)
831                MAKE=$ac_optarg ;;
832    
833            -odir | --odir)
834                ac_prev=OUTDIR ;;
835            -odir=* | --odir=*)
836                OUTDIR=$ac_optarg ;;
837    
838            -ptracers | --ptracers | -ptr | --ptr)
839                ac_prev=PTRACERS_NUM ;;
840            -ptracers=* | --ptracers=* | -ptr=* | --ptr=*)
841                PTRACERS_NUM=$ac_optarg ;;
842    
843            -match | --match ) ac_prev=MATCH_CRIT ;;
844            -match=* | --match=* ) MATCH_CRIT=$ac_optarg ;;
845    
846            -j) ac_prev=JOBS ;;
847            -j=*) JOBS=$ac_optarg ;;
848    
849            -clean | --clean)
850                CLEANUP=t ; DELDIR=t ;;
851    
852            -quick | --quick | -q | --q)
853                QUICK=t ;;
854            -nogenmake | --nogenmake | -ng | --ng)
855                NOGENMAKE=t ;;
856            -noclean | --noclean | -nc | --nc)
857                NOCLEAN=t ;;
858            -nodepend | --nodepend | -nd | --nd)
859                NODEPEND=t ;;
860    
861            -postclean | --postclean | -pc | --pc)
862                POSTCLEAN=t ;;
863    
864            -mpi) MPI=t ;;
865    
866            -mth) MULTI_THREAD=t ;;
867    
868            -adm | -ad) ADM=t ;;
869    
870            -oad) OADM=t; NODEPEND=t ;;
871    
872            -ieee) IEEE=true ;;
873            -noieee) IEEE= ;;
874            -gsl) GSL=t ;;
875    
876          -verbose) verbose=2 ;;          -verbose) verbose=2 ;;
877          -debug) debug=1 ;;          -debug) debug=1 ;;
         -clean) clean=1 ;;  
         -noieee) ieee=0 ;;  
878          -quiet) verbose=0 ;;          -quiet) verbose=0 ;;
879    
880            -deldir | -dd) DELDIR=t ;;
881    
882            -ts) TS=t;;
883    
884            -papis) PAPIS=t;;
885    
886            -pcls) PCL=t;;
887    
888          -*)          -*)
889              echo "Error: unrecognized option: "$ac_option              echo "Error: unrecognized option: "$ac_option
890              usage              usage
# Line 449  for ac_option ; do Line 899  for ac_option ; do
899            
900  done  done
901    
902    if test "x$QUICK" = xt ; then
903        NOGENMAKE=t
904        NOCLEAN=t
905        NODEPEND=t
906    fi
907    
908    #- setting for forward or ADM testing
909    if test "x$ADM" = xt ; then
910        code_dir=code_ad
911        inputdir=input_ad
912        ref_outp="output_adm.txt"
913        EXECUTABLE="mitgcmuv_ad"
914    elif test "x$OADM" = xt ; then
915        code_dir=code_oad
916        inputdir=input_oad
917        ref_outp="output_oadm.txt"
918        EXECUTABLE="mitgcmuv_ad"
919    else
920        code_dir=code
921        inputdir=input
922        ref_outp="output.txt"
923        EXECUTABLE="mitgcmuv"
924    fi
925    
926  if test "x$TESTDIRS" = x ; then  if test "x$TESTDIRS" = x ; then
927      TESTDIRS=`scandirs`      LIST=`scandirs results/$ref_outp`
928    else
929        #- expand group of experiments:
930        LIST=" "
931        for xx in $TESTDIRS
932        do
933          case $xx in
934            'basic') LIST=${LIST}" aim.5l_cs hs94.128x64x5 ideal_2D_oce"
935                     LIST=${LIST}" lab_sea tutorial_baroclinic_gyre"
936                     LIST=${LIST}" tutorial_global_oce_latlon tutorial_plume_on_slope"
937                    ;;
938            'tutorials')
939                     LIST=${LIST}" "`ls | grep 'tutorial_'` ;;
940            *)       LIST=${LIST}" "$xx ;;
941          esac
942        done
943    fi
944    #echo 'LIST='${LIST}'<'
945    #- skip dirs, remove duplicate and non-directory:
946    TESTDIRS=" "
947    count=0
948    for xx in $LIST
949    do
950        yy=`echo $SKIPDIRS | grep -c $xx`
951        if test $yy = 0 ; then
952            if test -d $xx ; then
953                yy=`echo $TESTDIRS | grep -c $xx`
954                if test $yy = 0 ; then TESTDIRS=${TESTDIRS}" "$xx ; fi
955            else count=1 ;
956                echo ""; echo -n " -- skip \"$xx\" (not a directory !)"
957            fi
958        else
959            if test $count = 1 ; then echo -n ", \"$xx\""
960            else count=1 ; echo "" ;  echo -n " skip: \"$xx\""
961            fi
962        fi
963    done
964    if test $count = 1 ; then echo "" ; echo -n " ... " ; fi
965    #echo 'TESTDIRS='${TESTDIRS}'<'
966    
967    if test "x$OPTFILE" = xNONE -a "x$MITGCM_OF" != x ; then
968        OPTFILE=$MITGCM_OF
969    fi
970    
971    RUNLOG="run.log"
972    OUTPUTFILE=$ref_outp
973    if test "x$COMMAND" = x ; then
974        COMMAND="./$EXECUTABLE > $OUTPUTFILE"
975    fi
976    if test "x$MPI" = xt ; then
977        OUTPUTFILE="STDOUT.0000"
978  fi  fi
979    
980  echo "OK"  echo "OK (COMMAND= $COMMAND )"
981    
982    # set the Default List of output variables to be checked:
983    #  (use default or load experiment-specific list from file "tr_checklist")
984    # content : 1rst = main variable used to decide if it pass or FAIL
985    #         others = number of matching digits to be printed in summary.txt
986    if test "x$ADM" = x -a "x$OADM" = x; then
987        DEF_CHECK_LIST='PS PS T+ S+ U+ V+ pt1+ pt2+ pt3+ pt4+ pt5+'
988        EMPTY_RESULTS='.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..'
989        LEN_CHECK_LIST=`echo $DEF_CHECK_LIST | sed 's/ [a-zA-Z0-9]*+/&mn &mx &av &sd/g' | awk '{print NF-1}'`
990        ii=`echo $EMPTY_RESULTS | awk '{print NF}'`
991        EMPTY_RESULTS=$EMPTY_RESULTS`expr $LEN_CHECK_LIST - $ii | awk 'BEGIN{FS=":"}{for(i=1;i<=$1;i++){printf "  ."}}'`
992    else
993        DEF_CHECK_LIST='Grad Cost Grad'
994        EMPTY_RESULTS='.. ..'
995        LEN_CHECK_LIST=`echo $DEF_CHECK_LIST | sed 's/ [a-zA-Z0-9]*+/&mn &mx &av &sd/g' | awk '{print NF-1}'`
996    fi
997    
998  #  create the FORTRAN comparison code  #  create the FORTRAN comparison code
999  createcodelet  createcodelet
1000    
1001  #  build the mpack utility  #  build the mpack utility (if ADDRESSES = NONE, do it to test the build)
1002  build_mpack  if test "x$ADDRESSES" = x ; then
1003        echo "skipping mpack build"
1004    else
1005        build_mpack
1006    fi
1007    
1008  #  Create a uniquely named directory to store results  #  Create a uniquely named directory to store results
1009    CMDLINE=$0
1010    for xx in "$@" ; do nw=`echo $xx | wc -w`
1011        if test $nw = '1' ; then CMDLINE="$CMDLINE $xx"
1012                            else CMDLINE="$CMDLINE '$xx'" ; fi
1013    done
1014    #for xx in "$@" ; do CMDLINE="$CMDLINE '$xx'" ; done
1015  MACH=`hostname`  MACH=`hostname`
1016  UNAMEA=`uname -a`  UNAMEA=`uname -a`
1017  DATE=`date +%Y%m%d`  DATE=`date +%Y%m%d`
1018  BASE=$MACH"_"$DATE"_"  BASE="tr_"$MACH"_"$DATE"_"
1019    if test "x$OUTDIR" != x ; then
1020        BASE="tr_"$OUTDIR"_"$DATE"_"
1021    else
1022        short_name=`hostname | sed 's/\..*$//'`
1023        BASE="tr_"$short_name"_"$DATE"_"
1024    fi
1025  DNUM=0  DNUM=0
1026  DRESULTS="$BASE$DNUM"  DRESULTS="$BASE$DNUM"
1027  while test -e $DRESULTS ; do  while test -e $DRESULTS ; do
# Line 475  done Line 1031  done
1031  mkdir $DRESULTS  mkdir $DRESULTS
1032  RETVAL=$?  RETVAL=$?
1033  if test "x$RETVAL" != x0 ; then  if test "x$RETVAL" != x0 ; then
1034      echo "Error: can't create results directory \"./$DRESULTS\""      echo "ERROR: Can't create results directory \"./$DRESULTS\""
1035      exit 1      exit 1
1036  fi  fi
1037  SUMMARY="$DRESULTS/summary.txt"  SUMMARY="$DRESULTS/summary.txt"
1038  date > $SUMMARY  start_date=`date`
1039  cat << EOF >> $SUMMARY  echo $start_date > $SUMMARY
1040                  T           S           U           V  echo 'run:' $CMDLINE >> $SUMMARY
1041  G D M    c        m  s        m  s        m  s        m  s  echo 'on :' $UNAMEA  >> $SUMMARY
1042  E p a R  g  m  m  e  .  m  m  e  .  m  m  e  .  m  m  e  .  
1043  N n k u  2  i  a  a  d  i  a  a  d  i  a  a  d  i  a  a  d  of_path=
1044  2 d e n  d  n  x  n  .  n  x  n  .  n  x  n  .  n  x  n  .  if test "x$OPTFILE" != xNONE ; then
1045        if test -r $OPTFILE ; then
1046            # get the path
1047            path=${OPTFILE%/*}
1048            if test "x$path" = x ; then
1049                of_path=`pwd`
1050            else
1051                of_path=`( cd $path > /dev/null 2>&1 ; pwd )`
1052            fi
1053            file=${OPTFILE##*/}
1054            OPTFILE=$of_path/$file
1055            cp $OPTFILE $DRESULTS
1056            echo >> $SUMMARY
1057            echo "  OPTFILE=$OPTFILE" >> $SUMMARY
1058        else
1059            echo | tee $SUMMARY
1060            echo "ERROR: can't read OPTFILE=\"$OPTFILE\"" | tee $SUMMARY
1061            exit 1
1062        fi
1063    else
1064        echo >> $SUMMARY
1065        echo "No \"OPTFILE\" was explicitly specified by testreport," >> $SUMMARY
1066        echo "   so the genmake default will be used." >> $SUMMARY
1067    fi
1068    echo
1069    echo >> $SUMMARY
1070    if test "x$ADM" = x -a "x$OADM" = x; then
1071        if [ $MATCH_CRIT -lt 10 ] ;
1072        then line_0="default  "$MATCH_CRIT ;
1073        else line_0="default "$MATCH_CRIT ; fi
1074           line_0="$line_0  ----T-----  ----S-----  ----U-----  ----V-----"
1075    #   line_0="            ----T-----  ----S-----  ----U-----  ----V-----"
1076        line_1="G D M    c        m  s        m  s        m  s        m  s"
1077        line_2="E p a R  g  m  m  e  .  m  m  e  .  m  m  e  .  m  m  e  ."
1078        line_3="N n k u  2  i  a  a  d  i  a  a  d  i  a  a  d  i  a  a  d"
1079        line_4="2 d e n  d  n  x  n  .  n  x  n  .  n  x  n  .  n  x  n  ."
1080        for ii in $PTRACERS_NUM ; do
1081            line_0="$line_0  --PTR 0"$ii"--"
1082            line_1="$line_1        m  s"
1083            line_2="$line_2  m  m  e  ."
1084            line_3="$line_3  i  a  a  d"
1085            line_4="$line_4  n  x  n  ."
1086        done
1087        echo "$line_0" | tee -a $SUMMARY
1088        echo "$line_1" | tee -a $SUMMARY
1089        echo "$line_2" | tee -a $SUMMARY
1090        echo "$line_3" | tee -a $SUMMARY
1091        echo "$line_4" | tee -a $SUMMARY
1092        echo " "       | tee -a $SUMMARY
1093    else
1094        echo "ADJOINT=true" >> $SUMMARY
1095        echo >> $SUMMARY
1096        if [ $MATCH_CRIT -lt 10 ] ;
1097        then line_0="default     "$MATCH_CRIT ;
1098        else line_0="default    "$MATCH_CRIT ; fi
1099        echo "$line_0" | tee -a $SUMMARY
1100        cat << EOF | tee -a $SUMMARY
1101    G D M    C  G
1102    E p a R  o  r
1103    N n k u  s  a
1104    2 d e n  t  d
1105    
1106  EOF  EOF
1107    fi
1108    
1109  NDIR=0  #  ...and each test directory...
1110    for dir in $TESTDIRS ; do
1111        
1112        # set builddir & rundir:
1113        builddir="build"
1114        if test ! -d $dir/$builddir ; then mkdir $dir/$builddir ; fi
1115        rundir="run"
1116        if test ! -d $dir/$rundir ; then
1117            rundir=$builddir
1118        fi
1119        CODE_DIR=$dir/$code_dir
1120        BUILD_DIR=$dir/$builddir
1121    
1122  #  For each optfile...      #  Cleanup only!
1123  for OPTFILE in $OPTFILES ; do      if test "x$CLEANUP" = xt ; then
1124            if test -r $BUILD_DIR/Makefile ; then
1125                echo '  ------  clean dir:' $dir/$builddir
1126                ( cd $BUILD_DIR ; make CLEAN )
1127            fi
1128            if test -d $dir/$rundir/CVS ; then
1129                echo '  ------  clean dir:' $dir/$rundir
1130                run_clean $dir/$rundir
1131            fi
1132            (
1133                cd $dir
1134                rm -rf tr_run.*
1135            )
1136            continue
1137        fi
1138    
1139      OPTFILE=`pwd`"/$OPTFILE"      #  Verify that the testdir exists and contains previous
1140      if test ! -r $OPTFILE ; then      #  results in the correct location--or skip this directory!
1141          echo "Error: can't read optfile \"$OPTFILE\""      fout=$dir"/results/"$ref_outp
1142          exit 1      if test ! -r $fout ; then
1143            echo "can't read \"$fout\" -- skipping $dir"
1144            continue
1145      fi      fi
     echo  
     echo "OPTFILE=$OPTFILE" >> $SUMMARY  
     echo >> $SUMMARY  
       
     #  ...and each test directory...  
     for dir in $TESTDIRS ; do  
           
         #  Create an output dir for each OPTFILE/tdir combination  
         CDIR=$DRESULTS"/"$DRESULTS"_"$NDIR  
         mkdir $CDIR  
         CDIR=`pwd`"/$CDIR"  
1146    
1147          #  ...configue, make, run, and compare the output.      # Check for specific files for particular type of run
1148          echo "-------------------------------------------------------------------------------"  
1149          echo      if test ! -r $CODE_DIR"/SIZE.h_mpi" -a "x$MPI" = "xt" ; then
1150          echo "Experiment:  $dir"          echo "can't find \"$CODE_DIR/SIZE.h_mpi\" -- skipping $dir"
1151          echo          continue
1152          unset genmake makedepend make run      fi
1153          results='-- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --'      if test ! -r $dir"/input/eedata.mth" -a "x$MULTI_THREAD" = "xt" ; then
1154          ( cd $dir/input; rm -f *.{o,f,c,F} *.[f,F]90 work* output.txt Make* make.log; )          echo "can't find \"$dir/input/eedata.mth\" -- skipping $dir"
1155          if [ -r $dir/build ]; then          continue
1156              seperatebuilddir=1      fi
             builddir=build  
             rundir=build  
             ( cd $dir/build; ln -sf ../input/* . )  
         else  
             seperatebuilddir=0  
             builddir=input  
             rundir=input  
         fi  
1157    
1158          #  Verify that the testdir exists and contains previous      #  Check whether there are "extra runs" for this testdir
1159          #  results in the correct location--or skip this directory!      extra_runs=
1160          if test ! -r $dir"/results/output.txt" ; then      ex_run_dirs=`( cd $dir ; echo $inputdir.* )`
1161              echo | tee $SUMMARY      #echo "ex_run_dirs='$ex_run_dirs'"
1162              echo "can't read \"$dir/results/output.txt\" -- skipping $dir" \      for exd in $ex_run_dirs ; do
1163                  | tee $SUMMARY          name=`echo $exd | sed -e "s/$inputdir\.//"`
1164              continue          refExOut=`echo $ref_outp | sed "s/\./.${name}./"`
1165            outf="$dir/results/$refExOut"
1166            if test -f $outf -a -r $outf ; then
1167                if test "x$MULTI_THREAD" = "xt" ; then
1168                    if test -r $dir"/"$exd"/eedata.mth" ; then
1169                        extra_runs="$extra_runs $name"
1170                    #else echo $dir"/"$exd"/eedata.mth: not found"
1171                    fi
1172                else
1173                    extra_runs="$extra_runs $name"
1174                fi
1175          fi          fi
1176        done
1177    
1178        echo "-------------------------------------------------------------------------------"
1179        echo
1180        if test "x$extra_runs" = "x" ; then
1181           echo "Experiment:  $dir"
1182        else
1183           echo "Experiment:  $dir ; extra_runs=$extra_runs"
1184        fi
1185        echo
1186        unset genmake makedepend make run
1187        results=$EMPTY_RESULTS
1188    
1189        #  Create an output dir for each OPTFILE/tdir combination
1190        rel_CDIR=$DRESULTS"/"$dir
1191        mkdir $rel_CDIR
1192        CDIR=`pwd`"/$rel_CDIR"
1193        
1194        if test "x$CLEANUP" = xt ; then
1195            echo '====>>> this is to check that we never go through this part <<< ==='
1196            makeclean $dir/$builddir \
1197                && run_clean $dir/$rundir
1198        else
1199          genmakemodel $dir/$builddir && genmake=Y \          genmakemodel $dir/$builddir && genmake=Y \
1200              && makeclean $dir/$builddir \              && makeclean $dir/$builddir \
1201                && run_clean $dir/$rundir \
1202                && symlink_mpifiles $dir $code_dir $builddir \
1203              && makedependmodel $dir/$builddir && makedepend=Y \              && makedependmodel $dir/$builddir && makedepend=Y \
1204              && makemodel $dir/$builddir && make=Y \              && makemodel $dir/$builddir && make=Y \
1205              && linkdata $seperatebuilddir $dir/$rundir \              && linkdata $dir/$rundir $inputdir input \
1206              && runmodel $dir/$builddir mitgcmuv && run=Y \              && runmodel $dir/$rundir && run=Y \
1207              && results=`testoutput $dir $rundir`              && results=`testoutput_run $dir $rundir $ref_outp`
1208          echo      fi
1209          formatresults $dir ${genmake:-N} ${makedepend:-N} ${make:-N} \      
1210              ${run:-N} $results      echo
1211            fres=`formatresults $dir ${genmake:-N} ${makedepend:-N} ${make:-N} ${run:-N} $results`
1212          echo          echo
1213          formatresults $dir ${genmake:-N} ${makedepend:-N} ${make:-N} \          echo "$fres" | sed 's/ 99/ --/g' | sed 's/  > />/' | sed 's/  < /</' >> $SUMMARY
1214              ${run:-N} $results >> $SUMMARY          touch $CDIR"/summary.txt"
1215          echo "fresults='" > $CDIR"/summary.txt"          echo "fresults='$fres'" | sed 's/ 99/ --/g' >> $CDIR"/summary.txt"
         formatresults $dir ${genmake:-N} ${makedepend:-N} ${make:-N} \  
             ${run:-N} $results >> $CDIR"/summary.txt"  
         echo "'" >> $CDIR"/summary.txt"  
1216          echo "MACH='$MACH'" >> $CDIR"/summary.txt"          echo "MACH='$MACH'" >> $CDIR"/summary.txt"
1217          echo "UNAMEA='$UNAMEA'" >> $CDIR"/summary.txt"          echo "UNAMEA='$UNAMEA'" >> $CDIR"/summary.txt"
1218          echo "DATE='$DATE'" >> $CDIR"/summary.txt"          echo "DATE='$DATE'" >> $CDIR"/summary.txt"
1219          echo "tdir='$dir'" >> $CDIR"/summary.txt"          echo "tdir='$dir'" >> $CDIR"/summary.txt"
1220            if test "x$ADM" = xt ; then
1221                head -1 $dir/$builddir/taf_ad.log >> $CDIR"/summary.txt"
1222                grep -A3 'Seconds in section "ALL' $dir/$rundir/$OUTPUTFILE \
1223                                    >> $CDIR"/summary.txt"
1224            fi
1225    
1226          (          for ex in $extra_runs ; do
1227              cd $DRESULTS              unset run
1228              tar -cf $NDIR".tar" $DRESULTS"_"$NDIR > /dev/null 2>&1              results=$EMPTY_RESULTS
1229              gzip $NDIR".tar"              #  reference output file
1230          )              refExOut=`echo $ref_outp | sed "s/\./.${ex}./g"`
1231                #  Create an output dir for each OPTFILE/tdir.ex combination
1232                rel_CDIR=$DRESULTS"/"$dir"."$ex
1233                mkdir $rel_CDIR
1234                CDIR=`pwd`"/$rel_CDIR"
1235                test ! -e "$dir/tr_run.$ex" && mkdir "$dir/tr_run.$ex"
1236                run_clean $dir/tr_run.$ex
1237                linkdata $dir/tr_run.$ex $inputdir.$ex $inputdir input
1238                runmodel $dir/tr_run.$ex && run=Y \
1239                && results=`testoutput_run $dir tr_run.$ex $refExOut`
1240                fres=`formatresults $dir ${genmake:-N} ${makedepend:-N} ${make:-N} ${run:-N} $results`
1241                fres="$fres.$ex"
1242                echo
1243                echo "$fres" | sed 's/ 99/ --/g' | sed 's/  > />/' | sed 's/  < /</' >> $SUMMARY
1244                touch $CDIR"/summary.txt"
1245                echo "fresults='$fres'" | sed 's/ 99/ --/g' >> $CDIR"/summary.txt"
1246                echo "MACH='$MACH'" >> $CDIR"/summary.txt"
1247                echo "UNAMEA='$UNAMEA'" >> $CDIR"/summary.txt"
1248                echo "DATE='$DATE'" >> $CDIR"/summary.txt"
1249                echo "tdir='$dir.$ex'" >> $CDIR"/summary.txt"
1250                if test "x$ADM" = xt ; then
1251                    head -1 $dir/$builddir/taf_ad.log >> $CDIR"/summary.txt"
1252                    grep -A3 'Seconds in section "ALL' $dir/tr_run.$ex/$OUTPUTFILE \
1253                                       >> $CDIR"/summary.txt"
1254                fi
1255                if test "x$POSTCLEAN" = xt ; then
1256                    run_clean $dir/tr_run.$ex
1257                fi
1258            done
1259    
1260        #postclean $dir/$builddir
1261        if test "x$POSTCLEAN" = xt ; then
1262            makeclean $dir/$builddir \
1263                && run_clean $dir/$rundir
1264        fi
1265        
1266        echo "-------------------------------------------------------------------------------"
1267        
1268    done
1269    
1270          $MPACK -s MITgcm-test -m 1000000 $DRESULTS"/"$NDIR".tar.gz" $ADDRESSES  printf "Start time:  " >> $SUMMARY
1271    echo "$start_date" >> $SUMMARY
1272    printf "End time:    " >> $SUMMARY
1273    date >> $SUMMARY
1274    
1275    #  If addresses were supplied and mpack built successfully, then try
1276    #  to send email using mpack.
1277    if test "x$ADDRESSES" = xNONE -o "x$ADDRESSES" = x ; then
1278        echo "No results email was sent."
1279    else
1280        if test "x$HAVE_MPACK" = xt ; then
1281            tar -cf $DRESULTS".tar" $DRESULTS > /dev/null 2>&1 \
1282                && gzip $DRESULTS".tar" \
1283                && $MPACK -s MITgcm-test -m 3555000 $DRESULTS".tar.gz" $ADDRESSES
1284          RETVAL=$?          RETVAL=$?
1285          if test "x$RETVAL" != x0 ; then          if test "x$RETVAL" != x0 ; then
1286              echo "Warning: \"$MPACK\" failed -- please contact <edhill@mitgcm.org>"              echo
1287                echo "Warning: The tar, gzip, & mpack step failed.  Please send email"
1288                echo "  to <MITgcm-support@mitgcm.org> for help.  You may copy the "
1289                echo "  summary of results from the directory \"$DRESULTS\"."
1290                echo
1291          else          else
1292              rm -f $DRESULTS"/"$NDIR".tar*"              echo
1293                echo "An email containing results was sent to the following addresses:"
1294                echo "  \"$ADDRESSES\""
1295                echo
1296          fi          fi
1297            test -f $DRESULTS".tar"  &&  rm -f $DRESULTS".tar"
1298            test -f $DRESULTS".tar.gz"  &&  rm -f $DRESULTS".tar.gz"
1299        fi
1300    fi
1301    
1302          NDIR=$(( $NDIR + 1 ))  rm -f tr_cmpnum.c tr_cmpnum
           
     done  
 done  
1303    
1304  rm tmp_cmpnum.f a.out  if test "x$CLEANUP" != xt ; then
1305        cat $SUMMARY | sed 's/ \.  \.  \.  \.  \.  \.  \.  \.  \.  \.  \.  \. //'
1306        if test -e tr_out.txt ; then
1307            mv tr_out.txt tr_out.txt.old
1308        fi
1309        cat $SUMMARY | sed '/^[YN] [YN] [YN] [YN]/ s/ \. //g' > tr_out.txt
1310    fi
1311    
1312  cat $SUMMARY  if test "x$DELDIR" = xt ; then
1313        rm -rf $DRESULTS
1314    fi
1315    
Legend:
Removed from v.1.2  
changed lines
  Added in v.1.122
  ViewVC Help
Powered by ViewVC 1.1.22