/[MITgcm]/mitgcm.org/scripts/check_outp
ViewVC logotype

Diff of /mitgcm.org/scripts/check_outp

Parent Directory Parent Directory | Revision Log Revision Log | View Revision Graph Revision Graph | View Patch Patch

revision 1.15 by jmc, Tue Jul 7 23:32:02 2009 UTC revision 1.57 by jmc, Tue May 30 04:39:17 2023 UTC
# Line 6  Line 6 
6  #  the latest output with the previous one (from the same platform with  #  the latest output with the previous one (from the same platform with
7  #    same optfile)  #    same optfile)
8    
   
9  usage()  usage()
10  {  {
11      echo      echo
12      echo "Usage:  $0 [OPTIONS]"      echo "Usage:  $0 [OPTIONS]"
13      echo      echo
14      echo "where possible OPTIONS are:"      echo "where possible OPTIONS are:"
15      echo "  (-h|-help)            print usage"      echo "  (-h|-help)            print usage"
16      echo "  (-v|-verbose)         verbose mode"      echo "  (-v|-verbose)         verbose mode"
17        echo "  (-t|-test4update)     do nothing if previous output newer than"
18        echo "                         emails-processing log-file '$PRC_MAILS'"
19      echo "  (-l |-list )MACHINES  check platforms from this list"      echo "  (-l |-list )MACHINES  check platforms from this list"
20      echo "                         [def=\"$MACHINES\"]"      echo "                         [def=\"$MACHINES\"]"
21      echo "  (-d |-day  )FIRSTDAY  select output from day=\"YYYYMMDD\""      echo "  (-d |-day  )FIRSTDAY  select output from day=\"YYYYMMDD\""
# Line 22  usage() Line 23  usage()
23      echo "                         [def=\"$FIRSTDAY\"]"      echo "                         [def=\"$FIRSTDAY\"]"
24      echo "  (-u |-upto )LASTDAY   until last day=\"YYYYMMDD\" (=selected period)"      echo "  (-u |-upto )LASTDAY   until last day=\"YYYYMMDD\" (=selected period)"
25      echo "                         [def=\"FIRSTDAY\"]"      echo "                         [def=\"FIRSTDAY\"]"
26        echo "  (-b |-before)BEFORE   compare with output from before \"YYYYMMDD\""
27        echo "                         (=previous period) [def=\"FIRSTDAY\"]"
28      echo "  (-o |-outp )OUTPFIL   output file (-1 removed when exit)"      echo "  (-o |-outp )OUTPFIL   output file (-1 removed when exit)"
29      echo "                         [def=\"$OUTPFIL\"]"      echo "                         [def=\"$OUTPFIL\"]"
30      echo "  (-n |-nldf )NBLDIFF   max number of diff lines to echo"      echo "  (-n |-nldf )NBLDIFF   max number of diff lines to echo"
31      echo "                         [def=\"$NBLDIFF\"]"      echo "                         [def=\"$NBLDIFF\"]"
32      echo "  (-a |-addr )ADDRESS   send summary to mail ADDRESS list"      echo "  (-a |-addr )ADDRESS   send summary to mail ADDRESS list"
33      echo "                         [def=\"$ADDRESS\"]"      echo "                         [def=\"$ADDRESS\"]"
34      echo      echo
35      exit 1      exit 1
36  }  }
37    
38    #  create list of results dir for one platform:
39    make_resdir_list()
40    {
41          if test $monthDir == 1 ; then
42            dir_list=`grep '.._'$mname $TMP.dir_all`
43          else
44            dir_list=`( cd $INDIR ; ls -1 -t ../$PREV_P/??_*${mname}*/summary.txt 2> /dev/null | sed 's/\/summary.txt//' )`
45            #echo "dir_list='$dir_list'"
46          fi
47            for i in $dir_list ; do
48    
49                dir=$INDIR"/"$i
50                #--- get the opfile used to run testreport
51                OPTFILE=
52                if test -r $dir/summary.txt ; then
53                    comm=`grep 'OPTFILE=' $dir/summary.txt`
54                    eval $comm
55                fi
56                if test "x$OPTFILE" = x -a -r "$dir/genmake_state" ; then
57                    comm=`grep 'OPTFILE=' $dir/genmake_state 2>/dev/null`
58                    eval $comm
59                fi
60                if test "x$OPTFILE" = x ; then
61                    comm=`grep '^# OPTFILE=' $dir/*/Makefile* 2>/dev/null | head -1`
62                    comm=${comm##*#}
63                    eval $comm
64                fi
65                if test "x$OPTFILE" = x ; then
66                    OPTFILE="not_explicitly_specified"
67                else
68                    OPTFILE=${OPTFILE##*/}
69                fi
70                #--- case select test run by 1 user: get user who did run testreport
71                if test "x$sUser" != x ; then
72                    tUser=
73                    if test -f $dir/genmake_state ; then
74                       nn=`sed -n '/^# executed by:/=' $dir/genmake_state`
75                       if test "x$nn" != x ; then
76                         nn=`expr $nn + 1`
77                         tUser=`sed -n "$nn s/^# *// p" $dir/genmake_state | sed 's/@.*$//'`
78                       fi
79                    fi
80                    if test "x$tUser" = "x" ; then
81                       mkfile=`ls $dir/*/Makefile* 2>/dev/null | head -1`
82                       if test "x$mkfile" = 'x' ; then
83                         echo "no Makefile => discard test from: $i" | tee -a $OUTPFIL
84                         continue
85                       fi
86                       nn=`sed -n '/^# executed by:/=' $mkfile`
87                       if test "x$nn" != x ; then
88                         nn=`expr $nn + 1`
89                         tUser=`sed -n "$nn s/^# *// p" $mkfile | sed 's/@.*$//'`
90                       fi
91                    fi
92                    if test "x$tUser" = x ; then
93                         echo "no User found => discard test from: $i" | tee -a $OUTPFIL
94                         continue
95                    fi
96                    if test $tUser != $sUser ; then
97                       if test $dBug = 't' ; then
98                            echo "  discard test from: $i" | tee -a $OUTPFIL
99                       fi
100                       continue
101                    fi
102                fi
103    
104                ADJOINT=0
105                TANGLIN=0
106                OPENAD=0
107                TAPENAD=0
108                RESTART=0
109                Special=0
110                EXTRA=
111                FAST=0
112                DVLP=0
113                MPI=0
114                MTH=0
115                UR4=0
116                if test -r $dir/summary.txt ; then
117                    TAPENAD=`grep -c ' Tapenade$' $dir/summary.txt`
118                    ADJOINT=`grep -c -i '^ADJOINT' $dir/summary.txt`
119                    TANGLIN=`grep -c -i '^TANGLIN' $dir/summary.txt`
120                    if test "x$ADJOINT" = x1 ; then
121                      OPENAD=`grep -c '^Adjoint .* OpenAD' $dir/summary.txt`
122                    fi
123                    RESTART=`grep -c 'test 2+2=4 summary' $dir/summary.txt`
124                    #- special label for "darwin" test
125                    Special=`echo $i | grep -c '\-darwin[0-9]'`
126                    if test $Special != 0 ; then
127                        Special=`echo $i | sed -e "s/.*$mname/$mname/" -e "s/_/ /g" -e "s/-/ /g"`
128                        if test $dBug = 't' ; then echo -n " Special='$Special' ;" | tee -a $OUTPFIL ;  fi
129                        Special=`echo $Special | awk '{print $2}' | sed 's/darwin//'`
130                    fi
131                    comm=`grep '^run: .*testreport.* ' $dir/summary.txt`
132                    EXTRA=`echo "$comm" | grep " -*-tdir\>" | sed -e "s/^.* -*-tdir\>//" -e "s/ -.*$//"`
133                    if test "x$EXTRA" = x ; then
134                        EXTRA=`echo "$comm" | grep " -*-t\>" | sed -e "s/^.*-*-t\>//" -e "s/ -.*$//"`
135                    fi
136                    if test "x$EXTRA" = x ; then EXTRA=0 ; else
137                        #if test $dBug = 't' ; then echo -n " EXTRA='$EXTRA' ;" | tee -a $OUTPFIL ;  fi
138                        nn0=`echo $EXTRA | sed "s/ *' *//g" | wc -w`
139                        nn1=`echo $EXTRA | sed "s/ *' *//g" | tr ' ' '\n' | grep -c "\<darwin_"`
140                        nn2=`echo $EXTRA | sed "s/ *' *//g" | tr ' ' '\n' | grep -c "\<monod_"`
141                        EXTRA=9
142                        if [ $nn1 -ge 2 ] ; then EXTRA=1 ; fi
143                        if [ $nn2 -ge 2 ] ; then EXTRA=2 ; fi
144                        #echo " : nn0=$nn0 ; nn1=$nn1 ; nn2=$nn2"
145                    fi
146                    if test $dBug = 't' ; then if [ $Special -ne 0 -o $EXTRA -ne 0 ] ; then
147                        echo "      Special='$Special' ; EXTRA='$EXTRA'" | tee -a $OUTPFIL
148                    fi ; fi
149                    FAST=`echo "$comm" | grep -c " -*-fast\>"`
150                    if test "x$FAST" = x0 ; then
151                       FAST=`echo "$comm" | grep -c " '*-noieee'*"`
152                    fi
153                    DVLP=`echo "$comm" | grep -c " -*-devel\>"`
154                    MPI=`echo "$comm" | grep -c " -*-mpi\>"`
155                    if test "x$MPI" = x0 ; then
156                       MPI=`echo "$comm" | grep -c " -*-MPI\>"`
157                    fi
158                    MTH=`echo "$comm" | grep -c " -*-mth\>"`
159                    UR4=`echo "$comm" | grep -c " -*-use_r4\>"`
160                    if test "x$UR4" = x0 ; then
161                       UR4=`echo "$comm" | grep -c " -*-ur4\>"`
162                    fi
163                else EXTRA=0 ; fi
164                if test "x$ADJOINT" = x1 ; then
165                    kind="adm-TAF" ; order=0
166                    if test "x$TAPENAD" = x1 ; then
167                       kind="adm-TAP" ; order=2
168                    elif test "x$OPENAD" = x1 ; then
169                       kind="adm-OAD" ; order=4
170                    fi
171                elif test "x$TANGLIN" = x1 ; then
172                    kind="tlm-TAF" ; order=1
173                    if test "x$TAPENAD" = x1 ; then kind="tlm-TAP" ; order=3 ; fi
174                elif test "x$RESTART" = x0 ; then
175                    kind="forward" ; order=6
176                else
177                    kind="restart" ; order=7
178                fi
179                if test "x$UR4" = x1 ; then
180                    OPTFILE="${OPTFILE}.use_r4"
181                fi
182                if test "x$MPI" = x1 ; then
183                    yy=`echo $OPTFILE | grep -c '+mpi'`
184                    if test $yy = 0 ; then yy=`echo $OPTFILE | grep -c '+impi'` ; fi
185                    if test $yy = 0 ; then OPTFILE="${OPTFILE}+mpi"
186                                    else order=`expr $order + 200` ; fi
187                fi
188                if test "x$MTH" = x1 ; then
189                    yy=`echo $OPTFILE | grep -c '+mth$'`
190                    if test $yy = 0 ; then OPTFILE="${OPTFILE}+mth" ; fi
191                fi
192                if test "x$FAST" = x1 ; then
193                    OPTFILE="${OPTFILE}.fast"
194                fi
195                if test "x$DVLP" = x1 ; then
196                    OPTFILE="${OPTFILE}.dvlp"
197                fi
198                if [ $Special -eq 0 ] ; then
199                    order=`expr $order + 10 \* $EXTRA`
200                else
201                    order=`expr $order + 10 \* $Special`
202                fi
203                order=`printf '%3.3i' $order`
204                day=`echo $i   | sed -e 's/_[0-9]$//' | sed -e 's/_[0-9][0-9]$//'`
205                ttt=`echo $day | sed -e 's/_[0-9]$//' | sed -e 's/_[0-9][0-9]$//'`
206                day=`echo $ttt | sed -e 's|_| |g' |awk '{print $NF}'`
207    
208                if [ $day -lt $BEFORE ] ; then
209                    echo "$OPTFILE$order $day $OPTFILE $kind $i" >> $TMP.plist
210                elif [ $day -ge $FIRSTDAY -a $day -le $LASTDAY ] ; then
211                    echo "$OPTFILE$order $day $OPTFILE $kind $i" >> $TMP.slist
212                else
213                    if test $dBug = 't' ; then
214                       echo "discard day='$day' from: $i" | tee -a $OUTPFIL
215                    fi
216                fi
217    
218            done
219            if test $dBug = 't' ; then
220              if test $monthDir == 1 ; then
221                echo "---- current list (n=$monthDir) :" | tee -a $OUTPFIL
222                    cat $TMP.slist | tee -a $OUTPFIL
223              fi
224              num1=`wc -l $TMP.slist | awk '{print $1}'`
225              if test $num1 -gt 0 ; then
226              echo   ".... previous list (n=$monthDir):" | tee -a $OUTPFIL
227                    cat $TMP.plist | tee -a $OUTPFIL | head -20
228              fi
229              echo "----" | tee -a $OUTPFIL
230            fi
231    }
232    
233    #--------------------------------------------------------------------------
234    # here starts the sequential part of the script:
235    
236  #CURR_PER=`date +%Y`"_"`date +%m`  #CURR_PER=`date +%Y`"_"`date +%m`
237  CURR_DAY=`date +%Y%m%d`  CURR_DAY=`date +%Y%m%d`
238    PRC_MAILS='prc_emails_'`date +%m%d`
239  # defaults  # defaults
240  MACHINES='_All_'  MACHINES='_All_'
241  FIRSTDAY=$CURR_DAY  FIRSTDAY=$CURR_DAY
242  LASTDAY="30000000"  LASTDAY="30000000"
243    BEFORE="30000000"
244  OUTPFIL=`basename $0`'.log'  OUTPFIL=`basename $0`'.log'
245  NBLDIFF=5  NBLDIFF=5
246  ADDRESS='none'  ADDRESS='none'
247    MAILCMD="mail"
248  dBug=f  dBug=f
249    t4update=0
250  sTime=`date`  sTime=`date`
251  #- to get case insensitive "ls" (and order of tested experiments)  #- to get case insensitive "ls" (and order of tested experiments)
252  export LC_ALL="en_US.UTF-8"  export LC_ALL="en_US.UTF-8"
# Line 52  for ac_option ; do Line 257  for ac_option ; do
257    
258      # If the previous option needs an argument, assign it.      # If the previous option needs an argument, assign it.
259      if test -n "$ac_prev"; then      if test -n "$ac_prev"; then
260          eval "$ac_prev=\$ac_option"          eval "$ac_prev=\$ac_option"
261          ac_prev=          ac_prev=
262          continue          continue
263      fi      fi
264    
265      ac_optarg=`expr "x$ac_option" : 'x[^=]*=\(.*\)'`      ac_optarg=`expr "x$ac_option" : 'x[^=]*=\(.*\)'`
   
266      case $ac_option in      case $ac_option in
267                    
268          -help | --help | -h | --h)          -help | --help | -h | --h) usage ;;
269              usage ;;          -verbose | --verbose | -v | --v) dBug=t ;;
270          -verbose | --verbose | -v | --v)          -test4update | --test4update | -t | --t) t4update=1 ;;
             dBug=t ;;  
271                    
272          -list  | --list  | -l | --l)          -list  | --list  | -l | --l) ac_prev=MACHINES ;;
273              ac_prev=MACHINES ;;          -list=* | --list=*) MACHINES=$ac_optarg ;;
274          -list=* | --list=*)  
275              MACHINES=$ac_optarg ;;          -day  | --day  | -d | --d) ac_prev=FIRSTDAY ;;
276            -day=* | --day=*) FIRSTDAY=$ac_optarg ;;
277          -day  | --day  | -d | --d)  
278              ac_prev=FIRSTDAY ;;          -upto | --upto | -u | --u) ac_prev=LASTDAY ;;
279          -day=* | --day=*)          -upto=* | --upto=*) LASTDAY=$ac_optarg ;;
280              FIRSTDAY=$ac_optarg ;;  
281            -before | --before | -b | --b) ac_prev=BEFORE ;;
282          -upto | --upto | -u | --u)          -before=* | --before=*) BEFORE=$ac_optarg ;;
283              ac_prev=LASTDAY ;;  
284          -upto=* | --upto=*)          -outp | --outp | -o | --o) ac_prev=OUTPFIL ;;
285              LASTDAY=$ac_optarg ;;          -outp=* | --outp=*) OUTPFIL=$ac_optarg ;;
   
         -outp | --outp | -o | --o)  
             ac_prev=OUTPFIL ;;  
         -outp=* | --outp=*)  
             OUTPFIL=$ac_optarg ;;  
   
         -nldf | --nldf | -n | --n)  
             ac_prev=NBLDIFF ;;  
         -nldf=* | --nldf=*)  
             NBLDIFF=$ac_optarg ;;  
   
         -addr | --addr | -a | --a)  
             ac_prev=ADDRESS ;;  
         -addr=* | --addr=*)  
             ADDRESS=$ac_optarg ;;  
   
         *)  
             echo "Error: don't understand argument \"$ac_option\""  
             usage  
             ;;  
286    
287            -nldf | --nldf | -n | --n) ac_prev=NBLDIFF ;;
288            -nldf=* | --nldf=*) NBLDIFF=$ac_optarg ;;
289    
290            -addr | --addr | -a | --a) ac_prev=ADDRESS ;;
291            -addr=* | --addr=*) ADDRESS=$ac_optarg ;;
292    
293            *) echo "Error: don't understand argument \"$ac_option\""
294               usage ;;
295       esac       esac
296    
297  done  done
298    
299    #TMP=./chkoutp_$$
300    #- try to put temporary files in system-local /tmp dir
301    TMP=/tmp/chkoutp_$$
302    touch $TMP ; retVal=$?
303    if [ $retVal -eq 0 ] ; then
304      if test ! -r $TMP ; then TMP=./chkoutp_$$ ; fi
305    else
306      TMP=./chkoutp_$$
307    fi
308    rm -f $TMP
309    if test $dBug = 't' ; then echo "temp files: $TMP" ; fi
310    
311  #-- test FIRSTDAY content ; interpret as "date -d" arg. if not YYYYMMDD  #-- test FIRSTDAY content ; interpret as "date -d" arg. if not YYYYMMDD
312  ttt=`echo "y$FIRSTDAY" | sed 's/[0-9][0-9][0-9][0-9][0-9][0-9][0-9][0-9]/z/'`  ttt=`echo "y$FIRSTDAY" | sed 's/[0-9][0-9][0-9][0-9][0-9][0-9][0-9][0-9]/z/'`
313  if test "x$ttt" != 'xyz' ; then  if test "x$ttt" != 'xyz' ; then
# Line 115  if test "x$ttt" != 'xyz' ; then Line 319  if test "x$ttt" != 'xyz' ; then
319    exit 2    exit 2
320  fi  fi
321  if test $LASTDAY = "30000000" ; then LASTDAY=$FIRSTDAY ; fi  if test $LASTDAY = "30000000" ; then LASTDAY=$FIRSTDAY ; fi
322    if test  $BEFORE = "30000000" ; then  BEFORE=$FIRSTDAY ; fi
323  CMDLINE=$0  CMDLINE=$0
324  for xx in "$@" ; do nw=`echo $xx | wc -w`  for xx in "$@" ; do nw=`echo $xx | wc -w`
325    if test $nw = '1' ; then CMDLINE="$CMDLINE $xx"    if test $nw = '1' ; then CMDLINE="$CMDLINE $xx"
326                        else CMDLINE="$CMDLINE '$xx'" ; fi                        else CMDLINE="$CMDLINE '$xx'" ; fi
327  done  done
328    
329  PERIOD=`echo $FIRSTDAY | sed 's/[0-9][0-9]$//'`  PERIOD=`echo $LASTDAY | sed 's/[0-9][0-9]$//'`
330  PP=`expr $PERIOD - 1`  PP=`expr $PERIOD - 1`
331  PM=`echo $PP | sed 's/^[0-9][0-9][0-9][0-9]//'`  PM=`echo $PP | sed 's/^[0-9][0-9][0-9][0-9]//'`
332  PY=`echo $PP | sed 's/[0-9][0-9]$//'`  PY=`echo $PP | sed 's/[0-9][0-9]$//'`
# Line 129  if test $PM == '00' ; then PM='12' ; PY= Line 334  if test $PM == '00' ; then PM='12' ; PY=
334  PREV_P="${PY}_${PM}";  PREV_P="${PY}_${PM}";
335  PERIOD=`echo $PERIOD | sed 's/^[0-9][0-9][0-9][0-9]/&_/'`  PERIOD=`echo $PERIOD | sed 's/^[0-9][0-9][0-9][0-9]/&_/'`
336    
337  #INDIR="/net/orwell/export/export-9/mitgcm-testing/results/$PERIOD"  #INDIR="/net/zany.mit.edu/data/ORWELL/export-9/mitgcm-testing/results/$PERIOD"
338  INDIR="/u/u0/httpd/html/testing/results/$PERIOD"  INDIR="/u/u0/httpd/html/testing/results/$PERIOD"
339  #INDIR="/export/export-7/u/u2/jmc/mitgcm/test_web/results/$PERIOD"  #INDIR="$HOME/mitgcm/test_web/results/$PERIOD"
340    
341    #- a short summary of this checking :
342    OUTPSUM=`echo $LASTDAY | sed 's/^20../_/'`
343    OUTPSUM=`basename $0`"$OUTPSUM.txt"
344    
345  if test $OUTPFIL = '-1' ; then  if test $OUTPFIL = '-1' ; then
346    OUTPFIL='TTT.'$$    OUTPFIL='TTT.'$$
347    fi
348    if test $t4update = 1 ; then
349      if test -f $PRC_MAILS -a -f $OUTPSUM -a $FIRSTDAY = $CURR_DAY ; then
350        #- if update-log-file is older than previous output summary, just return
351        if test $PRC_MAILS -ot $OUTPSUM ; then
352          echo ' '$CMDLINE | tee -a $OUTPSUM
353          echo " t4update: skip "`basename $0`" ( $PRC_MAILS older than $OUTPSUM )" | tee -a $OUTPSUM
354          echo " End  time:  "`date` | tee -a $OUTPSUM
355          exit 0
356        else
357          if test -e $OUTPFIL ; then mv -f $OUTPFIL $OUTPFIL'_bak' ; fi
358          echo " t4update: run "`basename $0`" ( $PRC_MAILS newer than $OUTPSUM )" | tee $OUTPFIL
359        fi
360      elif test -f $OUTPSUM -a $FIRSTDAY = $CURR_DAY ; then
361          echo ' '$CMDLINE | tee -a $OUTPSUM
362          echo " t4update: skip "`basename $0`" ( $PRC_MAILS missing )" | tee -a $OUTPSUM
363          echo " End  time:  "`date` | tee -a $OUTPSUM
364          exit 0
365      else
366          if test -e $OUTPFIL ; then mv -f $OUTPFIL $OUTPFIL'_bak' ; fi
367          echo " t4update ignored (not current day or $OUTPSUM missing)" | tee $OUTPFIL
368      fi
369  elif test -e $OUTPFIL ; then  elif test -e $OUTPFIL ; then
370    mv -f $OUTPFIL $OUTPFIL'_bak'    mv -f $OUTPFIL $OUTPFIL'_bak'
371      touch $OUTPFIL
372  fi  fi
373  echo "CMDLINE='$CMDLINE'" > $OUTPFIL  if test -e $OUTPSUM ; then mv -f $OUTPSUM $OUTPSUM'_bak' ; fi
374    echo ' '$CMDLINE > $OUTPSUM
375    
376    echo "CMDLINE='$CMDLINE'" >> $OUTPFIL
377  echo "PERIOD='$PERIOD' , PREV_P='$PREV_P'" >> $OUTPFIL  echo "PERIOD='$PERIOD' , PREV_P='$PREV_P'" >> $OUTPFIL
378  echo "INDIR='$INDIR'" >> $OUTPFIL  echo "INDIR='$INDIR'" >> $OUTPFIL
379  echo "Checking latest output from $FIRSTDAY until $LASTDAY" >> $OUTPFIL  echo "Checking latest output from $FIRSTDAY until $LASTDAY" >> $OUTPFIL
380    echo "  versus latest from before $BEFORE" >> $OUTPFIL
381    
382  if test $dBug = 't' ; then  if test $dBug = 't' ; then
383    echo "PERIOD='$PERIOD' , PREV_P='$PREV_P'"    echo "PERIOD='$PERIOD' , PREV_P='$PREV_P'"
384    echo "FIRSTDAY='$FIRSTDAY' , LASTDAY='$LASTDAY'"    echo "FIRSTDAY='$FIRSTDAY' , LASTDAY='$LASTDAY' , BEFORE='$BEFORE'"
385  fi  fi
386  if test -d $INDIR ; then  if test -d $INDIR ; then
387    dirP=`echo $INDIR | sed "s/$PERIOD/$PREV_P/"`    dirP=`echo $INDIR | sed "s/$PERIOD/$PREV_P/"`
# Line 160  else Line 396  else
396    exit 3    exit 3
397  fi  fi
398    
 #- a short summary of this checking :  
 OUTPSUM=`echo $FIRSTDAY | sed 's/^20../_/'`  
 OUTPSUM=`basename $0`"$OUTPSUM.txt"  
 if test -e $OUTPSUM ; then mv -f $OUTPSUM $OUTPSUM'_bak' ; fi  
 echo ' '$CMDLINE > $OUTPSUM  
   
399  if test $FIRSTDAY = $LASTDAY ; then  if test $FIRSTDAY = $LASTDAY ; then
400    echo -n "Checking latest output from $FIRSTDAY" | tee -a $OUTPSUM    echo -n "Checking latest output from $FIRSTDAY" | tee -a $OUTPSUM
401  else  else
402    echo -n "Checking latest output from $FIRSTDAY until $LASTDAY" | tee -a $OUTPSUM    echo -n "Checking latest output from $FIRSTDAY until $LASTDAY" | tee -a $OUTPSUM
403  fi  fi
404  echo " versus latest prior to this period" | tee -a $OUTPSUM  if test $FIRSTDAY = $BEFORE ; then
405      echo " versus latest prior to this period" | tee -a $OUTPSUM
406    else
407      echo " versus latest from before $BEFORE" | tee -a $OUTPSUM
408    fi
409  echo "    Machine   Tot. Nb.   no    Nb with  Nb diff" >> $OUTPSUM  echo "    Machine   Tot. Nb.   no    Nb with  Nb diff" >> $OUTPSUM
410  echo "     name     checked   comp    Diff    lines"  >> $OUTPSUM  echo "     name     checked   comp    Diff    lines"  >> $OUTPSUM
411    
412  ( cd $INDIR ; ls -1 -t */summary.txt | sed 's/\/summary.txt//' ) > ./dir_all  ( cd $INDIR ; ls -1 -t */summary.txt | sed 's/\/summary.txt//' ) > $TMP.dir_all
413    
414  if test "x$MACHINES" = "x_All_" ; then  if test "x$MACHINES" = "x_All_" ; then
415    MACHINES="faulks meander lagoon harbor dickens danton aces"    MACHINES="villon batsi engaging1 engaging- svante glacier"
416    MACHINES="$MACHINES beagle columbia edvir rays solasrv sx8 xd1"    MACHINES="$MACHINES albedo pleiades archer"
   MACHINES="$MACHINES bigred starp"  
417    
418    MALL=`cat ./dir_all | sed -e 's|_| |g' | awk '{print $2}' | sort | uniq`    MALL=`cat $TMP.dir_all | sed -e 's|_| |g' | awk '{print $2}' | sort | uniq`
419    for madd in $MALL ; do    for madd in $MALL ; do
420      present=0      present=0
421      for m in $MACHINES ; do      for m in $MACHINES ; do
422          echo $madd | grep $m > /dev/null 2>&1          mm=`echo $m | sed 's/\./ /g' | awk '{print $1}'`
423          RETVAL=$?          echo $madd | grep $mm > /dev/null 2>&1
424          test $RETVAL = 0  &&  present=1          RETVAL=$?
425          continue          test $RETVAL = 0  &&  present=1
426            continue
427      done      done
428      test $present = 0  &&  MACHINES="$MACHINES $madd"      test $present = 0  &&  MACHINES="$MACHINES $madd"
429    done    done
430  fi  fi
431    #echo "MACHINES=$MACHINES" ; exit
432    
433  for mname in $MACHINES ; do  for pname in $MACHINES ; do
434    
435      if test $dBug = 't' ; then echo "  $mname" ; fi      sname=`echo $pname | sed 's/-$//'`
436      echo " name='$mname'" >> $OUTPFIL      mname=`echo $pname | sed 's/\./ /g' | awk '{print $1}'`
437      ctot=0 ; cmis=0 ; cdif=0      sUser=
438        if test $mname != $pname ; then
439      # put results from selected period in "slist",        # to select results from user "sUser"
440      #     results from previous period in "plist"        sUser=`echo $pname | sed 's/\./ /g' | awk '{print $2}'`
441      rm -f ./plist ./slist ; touch ./plist ./slist      fi
   
     for n in $listNum ; do  
       num1=`wc -l ./slist | awk '{print $1}'`  
       num0=`wc -l ./plist | awk '{print $1}'`  
       if test $n == 2 ; then  
         num2=`expr $num1 \* $n`  
         if [ $num0 -lt $num2 ] ; then  
           dir_list=`( cd $INDIR ; ls -1 -t ../$PREV_P/*${mname}*/summary.txt 2> /dev/null | sed 's/\/summary.txt//' )`  
           #echo "dir_list='$dir_list'"  
         fi  
       else  
         num2=$n  
         dir_list=`grep $mname ./dir_all`  
       fi  
       if [ $num0 -lt $num2 ] ; then  
         for i in $dir_list ; do  
   
             dir=$INDIR"/"$i  
             OPTFILE=  
             if test -r $dir/summary.txt ; then  
                 comm=`grep 'OPTFILE=' $dir/summary.txt`  
                 eval $comm  
                 OPTFILE=${OPTFILE##*/}  
             fi  
             if test "x$OPTFILE" = x -a -r "$dir/genmake_state" ; then  
                 comm=`grep 'OPTFILE=' $dir/genmake_state 2>/dev/null`  
                 eval $comm  
                 OPTFILE=${OPTFILE##*/}  
             fi  
             if test "x$OPTFILE" = x ; then  
                 comm=`grep '^# OPTFILE=' $dir/*/Makefile* 2>/dev/null | head -1`  
                 comm=${comm##*#}  
                 eval $comm  
                 OPTFILE=${OPTFILE##*/}  
             fi  
             if test "x$OPTFILE" = x ; then  
                 OPTFILE="not_explicitly_specified"  
             fi  
   
             ADJOINT=  
             RESTART=0  
             NOI3E=0  
             MTH=0  
             if test -r $dir/summary.txt ; then  
                 comm=`grep 'ADJOINT=true' $dir/summary.txt 2>/dev/null`  
                 eval $comm  
                 RESTART=`grep -c 'test 2+2=4 summary' $dir/summary.txt`  
                 NOI3E=`grep -c "^run: .*testreport.* '*-noieee'*" $dir/summary.txt`  
                 MTH=`grep -c "^run: .*testreport.* -mth" $dir/summary.txt`  
             fi  
             if test "x$RESTART" = x0 ; then  
                 kind="forward"  
                 test "x$ADJOINT" = xtrue  &&  kind="adjoint"  
             else  
                 kind="restart"  
             fi  
             if test "x$MTH" = x1 ; then  
                 yy=`echo $OPTFILE | grep -c '+mth$'`  
                 if test $yy = 0 ; then OPTFILE="${OPTFILE}+mth" ; fi  
             fi  
             if test "x$NOI3E" = x1 ; then  
                 OPTFILE="${OPTFILE}.noieee"  
             fi  
             day=`echo $i   | sed -e 's/_[0-9]$//' | sed -e 's/_[0-9][0-9]$//'`  
             ttt=`echo $day | sed -e 's/_[0-9]$//' | sed -e 's/_[0-9][0-9]$//'`  
             day=`echo $ttt | sed -e 's|_| |g' |awk '{print $NF}'`  
   
             if [ $day -lt $FIRSTDAY ] ; then  
                 echo "$OPTFILE$kind $day $OPTFILE $kind $i" >> ./plist  
             elif [ $day -le $LASTDAY ] ; then  
                 echo "$OPTFILE$kind $day $OPTFILE $kind $i" >> ./slist  
             else  
                 if test $dBug = 't' ; then  
                    echo "discard day='$day' from: $i" | tee -a $OUTPFIL  
                 fi  
             fi  
442    
443          done      if test $dBug = 't' ; then echo "  $pname" ; fi
444          if test $dBug = 't' ; then      echo " name='$pname'" >> $OUTPFIL
445            if test $n == 1 ; then      ctot=0 ; cmis=0 ; cdif=0
             echo "---- current list (n=$n) :" | tee -a $OUTPFIL  
                 cat ./slist | tee -a $OUTPFIL  
           fi  
           echo   ".... previous list (n=$n):" | tee -a $OUTPFIL  
                 cat ./plist | tee -a $OUTPFIL | head -20  
         fi  
446    
447        fi      # put results from selected period in "TMP.slist",
448      done      #     results from previous period in "TMP.plist"
449      if test $dBug = 't' ; then echo "----" | tee -a $OUTPFIL ; fi      rm -f $TMP.plist $TMP.slist ; touch $TMP.plist $TMP.slist
450    
451        #- create list of results (slist & plist) from current month directory
452        monthDir=1
453        make_resdir_list
454    
455      #  Do we have any data?  If so, create the latest pointer.      #  Do we have any data?  If so, create the latest pointer.
456      num=`wc -l ./slist | awk '{print $1}'`      num=`wc -l $TMP.slist | awk '{print $1}'`
457      if test $num -gt 0 ; then      if test $num -gt 0 ; then
458    
459          keys=`cat ./slist | cut -d " " -f 1 | sort | uniq`          keys=`cat $TMP.slist | cut -d " " -f 1 | sort | uniq`
460    
461          for key in $keys ; do          for key in $keys ; do
462            ctot=`expr $ctot + 1`            ctot=`expr $ctot + 1`
463            sline=`grep "^$key " ./slist | head -1`            sline=`grep "^$key " $TMP.slist | head -1`
464            sdir=`echo $sline | cut -d " " -f 5`            sdir=`echo $sline | cut -d " " -f 5`
465            kind=`echo $sline | cut -d " " -f 4`            type=`echo $sline | cut -d " " -f 4`
466            optf=`echo $sline | cut -d " " -f 3`            optf=`echo $sline | cut -d " " -f 3`
467            num=`grep -c "^$key" ./plist`            num=`grep -c "^$key" $TMP.plist`
468              if test $num = 0 -a $monthDir = 1 ; then
469              #- add results from previous month directory to "plist".
470                monthDir=2
471                make_resdir_list
472                num=`grep -c "^$key" $TMP.plist`
473              fi
474            #- discard unsafe test:            #- discard unsafe test:
475            dd=`echo $optf | grep -c 'gfortran.*mth'`            dd=`echo $optf | grep -c 'gfortran+mth'`
476            #if test $mname = 'lagoon' -a $dd = 1 ; then num=-1 ; fi            #if test $mname = 'lagoon' -a $dd = 1 ; then num=-1 ; fi
477            #if test $mname = 'harbor' -a $dd = 1 ; then num=-1 ; fi            #if test $mname = 'harbor' -a $dd = 1 ; then num=-1 ; fi
478            #if test $mname = 'aces' -a $optf = 'linux_ia32_open64' ; then num=-1 ; fi            #if test $mname = 'aces' -a $optf = 'linux_ia32_open64' ; then num=-1 ; fi
479            #if test $mname = 'aces' -a $optf = 'linux_ia32_g95' ; then num=-1 ; fi            #if test $mname = 'aces' -a $optf = 'linux_ia32_g95' ; then num=-1 ; fi
480            if test $num -gt 0 ; then            dd=`echo $optf | grep -c 'bigred.*noieee'`
481              pline=`grep "^$key " ./plist | head -1`            #if test $mname = 'bigred' -a $dd = 1 ; then num=-1 ; fi
482              if test $dBug = 't' ; then            if test $num -lt 0 ; then
483                echo "  discard $sdir : $type , of='$optf'" | tee -a $OUTPFIL
484                cmis=`expr $cmis + 1`
485              elif test $num = '0' ; then
486                echo "  dir='$sdir', type='$type', of='$optf':" | tee -a $OUTPFIL
487                echo "  --> no previous test matching key='$key'" | tee -a $OUTPFIL
488                cmis=`expr $cmis + 1`
489              else
490                pline=`grep "^$key " $TMP.plist | head -1`
491                if test $dBug = 't' ; then
492                  echo "s='$sline'" | tee -a $OUTPFIL                  echo "s='$sline'" | tee -a $OUTPFIL
493                  echo "p='$pline'" | tee -a $OUTPFIL                  echo "p='$pline'" | tee -a $OUTPFIL
494              fi              fi
495              pdir=`echo $pline | cut -d " " -f 5`              pdir=`echo $pline | cut -d " " -f 5`
496              outs="$INDIR/$sdir/summary.txt"              outs="$INDIR/$sdir/summary.txt"
497              sed -n "5,$ p" $outs | sed '/^[YN] [YN] [YN] [YN]/ s/ \. //g' \              xx=`( echo 5 ; sed -n '/^  OPTFILE=/=' $outs ) | tail -1`
498                                   | sed 's/ OPTFILE=.*\// OPTFILE=/g' \              sed "1,$xx d" $outs | sed '/^[YN] [YN] [YN] [YN]/ s/ \. //g' \
499                                   | grep -v '^[A-S][a-t]* time:  ' > tmpfs                                  | grep -v '^[A-S][a-t]* time:  ' > $TMP.fs
500              outp="$INDIR/$pdir/summary.txt"              outp="$INDIR/$pdir/summary.txt"
501              sed -n "5,$ p" $outp | sed '/^[YN] [YN] [YN] [YN]/ s/ \. //g' \              xx=`( echo 5 ; sed -n '/^  OPTFILE=/=' $outp ) | tail -1`
502                                   | sed 's/ OPTFILE=.*\// OPTFILE=/g' \              sed "1,$xx d" $outp | sed '/^[YN] [YN] [YN] [YN]/ s/ \. //g' \
503                                   | grep -v '^[A-S][a-t]* time:  ' > tmpfp                                  | grep -v '^[A-S][a-t]* time:  ' > $TMP.fp
504              #-- re-order list of exp (according to local "sort" order)              #-- check if list of exp are the same (and in the same order)
505              listD=`grep '^[YN] [YN] [YN] [YN]' tmpfs \              sed 's/  (e=.*, w=.*)$//' $TMP.fs > $TMP.fn
506                   | sed 's/^[YN] .*pass //' | sed 's/^[YN] .*FAIL //' \              listDs=`grep '^[YN] [YN] [YN] [YN]' $TMP.fn | awk '{print $NF}'`
507                   | sed 's/^[YN] .*N\/O  //' | sort`              #mv -f $TMP.fn $TMP.fs
508              for xx in $listD              rm -f $TMP.fn
509              do              sed 's/  (e=.*, w=.*)$//' $TMP.fp > $TMP.fn
510                  sed "/ $xx\$/d" tmpfs > tmpfn              listDp=`grep '^[YN] [YN] [YN] [YN]' $TMP.fn | awk '{print $NF}'`
511                  sed -n "/ $xx\$/p" tmpfs >> tmpfn              #mv -f $TMP.fn $TMP.fp
512                  mv tmpfn tmpfs              rm -f $TMP.fn
513              done              #echo "listDs='$listDs'" ;  echo "listDp='$listDp'"
514              listD=`grep '^[YN] [YN] [YN] [YN]' tmpfp \              if test "$listDs" != "$listDp" ; then
515                   | sed 's/^[YN] .*pass //' | sed 's/^[YN] .*FAIL //' \                  if test $dBug = 't' ; then echo ' -> re-order list of exp' ; fi
516                   | sed 's/^[YN] .*N\/O  //' | sort`                  #-- re-order list of exp (according to local "sort" order)
517              for xx in $listD                  listDs=`echo "$listDs" | sort`
518              do                  for xx in $listDs ; do
519                  sed "/ $xx\$/d" tmpfp > tmpfn                      sed -e "/ $xx\$/d" -e "/ $xx /d" $TMP.fs > $TMP.fn
520                  sed -n "/ $xx\$/p" tmpfp >> tmpfn                      sed -n -e "/ $xx\$/p" -e "/ $xx /p" $TMP.fs >> $TMP.fn
521                  mv tmpfn tmpfp                      mv -f $TMP.fn $TMP.fs
522              done                  done
523                    listDp=`echo "$listDp" | sort`
524                    for xx in $listDp ; do
525                        sed -e "/ $xx\$/d" -e "/ $xx /d" $TMP.fp > $TMP.fn
526                        sed -n -e "/ $xx\$/p" -e "/ $xx /p" $TMP.fp >> $TMP.fn
527                        mv -f $TMP.fn $TMP.fp
528                    done
529                #else
530                #   echo 'same list of exp => skip re-ordering'
531                fi
532              echo -n "=== diff $sdir $pdir :" | tee -a $OUTPFIL              echo -n "=== diff $sdir $pdir :" | tee -a $OUTPFIL
533              diff tmpfs tmpfp > tmpdf              diff $TMP.fs $TMP.fp > $TMP.dif
534              yy=$?              yy=$?
535              if test $yy != '0' ; then              if test $yy != '0' ; then
536                  echo " $kind , of='$optf'" | tee -a $OUTPFIL                  echo " $type , of='$optf'" | tee -a $OUTPFIL
537                  #grep '^run: ' $outp                  #grep '^run: ' $outp
538                  #grep '^run: ' $outs                  #grep '^run: ' $outs
539                  #-- score for each test:                  #-- score for each test:
540                  grep '^[YN] [YN] [YN] [YN]' tmpfs > tmploc 2>/dev/null                  grep '^[YN] [YN] [YN] [YN]' $TMP.fs > tmploc 2>/dev/null
541                  t_tot=`cat tmploc | wc -l | sed -e 's| ||g'`                  t_tot=`cat tmploc | wc -l | sed -e 's| ||g'`
542                  t_pass=`grep '^Y Y Y Y' tmploc | grep 'pass ' | wc -l | sed -e 's| ||g'`                  t_pass=`grep '^Y Y Y Y' tmploc | grep 'pass ' | wc -l | sed -e 's| ||g'`
543                  score_s=`printf '%2i' $t_pass`":$t_tot"                  score_s=`printf '%2i' $t_pass`":$t_tot"
544                  grep '^[YN] [YN] [YN] [YN]' tmpfp > tmploc 2>/dev/null                  grep '^[YN] [YN] [YN] [YN]' $TMP.fp > tmploc 2>/dev/null
545                  t_tot=`cat tmploc | wc -l | sed -e 's| ||g'`                  t_tot=`cat tmploc | wc -l | sed -e 's| ||g'`
546                  t_pass=`grep '^Y Y Y Y' tmploc | grep 'pass ' | wc -l | sed -e 's| ||g'`                  t_pass=`grep '^Y Y Y Y' tmploc | grep 'pass ' | wc -l | sed -e 's| ||g'`
547                  score_p=`printf '%2i' $t_pass`":$t_tot"                  score_p=`printf '%2i' $t_pass`":$t_tot"
548                  rm -f tmploc                  rm -f tmploc
549                  #-- count Nb of different lines                  #-- count Nb of different lines
550                  ndf=`wc -l tmpdf | awk '{print $1}'`                  ndf=`wc -l $TMP.dif | awk '{print $1}'`
551                  ndf=`expr $ndf / 2`                  ndf=`expr $ndf / 2`
552                  nn=`grep -c '^---' tmpdf`                  nn=`grep -c '^---' $TMP.dif`
553                  ndf=`expr $ndf - $nn`                  ndf=`expr $ndf - $nn`
554                  if [ $ndf -le $NBLDIFF ] ; then                  if [ $ndf -le $NBLDIFF ] ; then
555                    cat tmpdf                    cat $TMP.dif
556                  else                  else
557                    echo " $ndf lines differ ( $score_s , $score_p )"                    echo " $ndf lines differ ( $score_s , $score_p )"
558                  fi                  fi
559                  echo "< "`head -1 $outs`" ( $score_s )" >> $OUTPFIL                  echo "< "`head -1 $outs`" ( $score_s )" >> $OUTPFIL
560                  echo "> "`head -1 $outp`" ( $score_p )" >> $OUTPFIL                  echo "> "`head -1 $outp`" ( $score_p )" >> $OUTPFIL
561                  cat tmpdf >> $OUTPFIL                  cat $TMP.dif >> $OUTPFIL
562                  if [ $cdif -eq 0 ] ; then                  if [ $cdif -eq 0 ] ; then
563                    clin=`printf '%3i (%5s,%5s)' $ndf $score_s $score_p`                    clin=`printf '%3i (%5s,%5s)' $ndf $score_s $score_p`
564                  else                  else
565                    clin="$clin,"`printf '%3i (%5s,%5s)' $ndf $score_s $score_p`                    clin="$clin,"`printf '%3i (%5s,%5s)' $ndf $score_s $score_p`
566                  fi                  fi
567                  cdif=`expr $cdif + 1`                  cdif=`expr $cdif + 1`
568                  echo '----------------------------------------' | tee -a $OUTPFIL                  echo '----------------------------------------' | tee -a $OUTPFIL
569              else              else
570                  echo "" | tee -a $OUTPFIL                  echo " $type , of='$optf'" | tee -a $OUTPFIL
571              fi              fi
572              rm -f tmpfs tmpfp tmpdf              rm -f $TMP.fs $TMP.fp $TMP.dif
573            elif test $num = '0' ; then            fi
             echo "no previous test for:" $key | tee -a $OUTPFIL  
             cmis=`expr $cmis + 1`  
           else  
             cmis=`expr $cmis + 1`  
           fi  
574          done          done
575          if [ $cmis -gt 0 ] ; then tmis='(-'$cmis')' ; else tmis='(--)' ; fi          if [ $cmis -gt 0 ] ; then tmis='(-'$cmis')' ; else tmis='(--)' ; fi
576          printf '%11s :  %3i      %4s   %3i  ' $mname $ctot $tmis $cdif >> $OUTPSUM          printf '%11s :  %3i      %4s   %3i  ' $sname $ctot $tmis $cdif >> $OUTPSUM
577          if [ $cdif -gt 0 ] ; then          if [ $cdif -gt 0 ] ; then
578            echo "   $clin" >> $OUTPSUM            echo "   $clin" >> $OUTPSUM
579         else echo "" >> $OUTPSUM ; fi          else echo "" >> $OUTPSUM ; fi
580      fi      fi
581    
582  done  done
583    
584  echo "Start time:  $sTime" | tee -a $OUTPFIL  echo "Start time:  $sTime" | tee -a $OUTPFIL
585  echo "End  time:   "`date` | tee -a $OUTPFIL | tee -a $OUTPSUM  echo "End time:    "`date` | tee -a $OUTPFIL | tee -a $OUTPSUM
586    
587  rm -f ./dir_all ./slist ./plist  rm -f $TMP.dir_all $TMP.slist $TMP.plist
588  if test $OUTPFIL = "TTT.$$" ; then rm -f $OUTPFIL ; fi  if test $OUTPFIL = "TTT.$$" ; then rm -f $OUTPFIL ; fi
589  if test "x$ADDRESS" != 'xnone' ; then  if test "x$ADDRESS" != 'xnone' ; then
590    echo ".. send $OUTPSUM to $ADDRESS"    #- change default sender address ("From:") using "mail -r" option
591    mail -s $OUTPSUM $ADDRESS < $OUTPSUM    #  since, by default, baudelaire uses USER@localhost.localdomain
592      #fullNam=`hostname -A | awk '{print $1}'`
593      #MAILCMD="$MAILCMD -r ${USER}@${fullNam}"
594      #---
595      echo ".. send $OUTPSUM to '$ADDRESS' using '$MAILCMD'"
596      $MAILCMD -s 'check_outp summary' $ADDRESS < $OUTPSUM
597  fi  fi
598  echo ".. cat $OUTPSUM"  echo ".. cat $OUTPSUM"
599  cat $OUTPSUM  cat $OUTPSUM

Legend:
Removed from v.1.15  
changed lines
  Added in v.1.57

  ViewVC Help
Powered by ViewVC 1.1.22