/[MITgcm]/mitgcm.org/scripts/check_outp
ViewVC logotype

Diff of /mitgcm.org/scripts/check_outp

Parent Directory Parent Directory | Revision Log Revision Log | View Revision Graph Revision Graph | View Patch Patch

revision 1.26 by jmc, Wed Nov 24 16:22:08 2010 UTC revision 1.35 by jmc, Sun Feb 24 15:29:05 2013 UTC
# Line 6  Line 6 
6  #  the latest output with the previous one (from the same platform with  #  the latest output with the previous one (from the same platform with
7  #    same optfile)  #    same optfile)
8    
   
9  usage()  usage()
10  {  {
11      echo      echo
# Line 70  make_resdir_list() Line 69  make_resdir_list()
69              if test "x$sUser" != x ; then              if test "x$sUser" != x ; then
70                  tUser=                  tUser=
71                  if test -f $dir/genmake_state ; then                  if test -f $dir/genmake_state ; then
72                     nn=`sed -n '/^# executed by:/=' $dir/genmake_state`                     nn=`sed -n '/^# executed by:/=' $dir/genmake_state`
73                     if test "x$nn" != x ; then                     if test "x$nn" != x ; then
74                       nn=`expr $nn + 1`                       nn=`expr $nn + 1`
75                       tUser=`sed -n "$nn s/^# *// p" $dir/genmake_state | sed 's/@.*$//'`                       tUser=`sed -n "$nn s/^# *// p" $dir/genmake_state | sed 's/@.*$//'`
# Line 101  make_resdir_list() Line 100  make_resdir_list()
100              fi              fi
101    
102              ADJOINT=              ADJOINT=
103                TANGLIN=
104              RESTART=0              RESTART=0
105              NOI3E=0              EXTRA=
106                FAST=0
107                DVLP=0
108                MPI=0
109              MTH=0              MTH=0
110                UR4=0
111              if test -r $dir/summary.txt ; then              if test -r $dir/summary.txt ; then
112                  comm=`grep 'ADJOINT=true' $dir/summary.txt 2>/dev/null`                  comm=`grep 'ADJOINT=true' $dir/summary.txt 2>/dev/null`
113                  eval $comm                  eval $comm
114                    comm=`grep 'TANGLIN=true' $dir/summary.txt 2>/dev/null`
115                    eval $comm
116                  RESTART=`grep -c 'test 2+2=4 summary' $dir/summary.txt`                  RESTART=`grep -c 'test 2+2=4 summary' $dir/summary.txt`
117                  NOI3E=`grep -c "^run: .*testreport.* '*-noieee'*" $dir/summary.txt`                  comm=`grep '^run: .*testreport.* ' $dir/summary.txt`
118                  MTH=`grep -c "^run: .*testreport.* -mth" $dir/summary.txt`                  EXTRA=`echo "$comm" | grep " -*-tdir\>" | sed -e "s/^.* -*-tdir\>//" -e "s/ -.*$//"`
119                    if test "x$EXTRA" = x ; then
120                        EXTRA=`echo "$comm" | grep " -*-t\>" | sed -e "s/^.*-*-t\>//" -e "s/ -.*$//"`
121                    fi
122                    if test "x$EXTRA" = x ; then EXTRA=0 ; else
123                        #echo -n "EXTRA=$EXTRA"
124                        nn0=`echo $EXTRA | sed "s/ *' *//g" | wc -w`
125                        nn1=`echo $EXTRA | sed "s/ *' *//g" | tr ' ' '\n' | grep -c "\<monod_"`
126                        nn2=`echo $EXTRA | sed "s/ *' *//g" | tr ' ' '\n' | grep -c "\<darwin_"`
127                        EXTRA=1
128                        if [ $nn1 -ge 2 ] ; then EXTRA=2 ; fi
129                        if [ $nn2 -ge 2 ] ; then EXTRA=3 ; fi
130                        #echo " : nn0=$nn0 ; nn1=$nn1 ; nn2=$nn2"
131                    fi
132                    FAST=`echo "$comm" | grep -c " -*-fast\>"`
133                    if test "x$FAST" = x0 ; then
134                       FAST=`echo "$comm" | grep -c " '*-noieee'*"`
135                    fi
136                    DVLP=`echo "$comm" | grep -c " -*-devel\>"`
137                    MPI=`echo "$comm" | grep -c " -*-mpi\>"`
138                    if test "x$MPI" = x0 ; then
139                       MPI=`echo "$comm" | grep -c " -*-MPI\>"`
140                    fi
141                    MTH=`echo "$comm" | grep -c " -*-mth\>"`
142                    UR4=`echo "$comm" | grep -c " -*-use_r4\>"`
143                    if test "x$UR4" = x0 ; then
144                       UR4=`echo "$comm" | grep -c " -*-ur4\>"`
145                    fi
146              fi              fi
147              if test "x$RESTART" = x0 ; then              if test "x$ADJOINT" = xtrue ; then
148                  kind="forward"                  kind="adjoint" ; order=0
149                  test "x$ADJOINT" = xtrue  &&  kind="adjoint"              elif test "x$TANGLIN" = xtrue ; then
150                    kind="tanglin" ; order=1
151                elif test "x$RESTART" = x0 ; then
152                    kind="forward" ; order=2
153              else              else
154                  kind="restart"                  kind="restart" ; order=3
155                fi
156                order=`expr $order + 10 \* $EXTRA`
157                order=`printf '%3.3i' $order`
158                if test "x$UR4" = x1 ; then
159                    OPTFILE="${OPTFILE}.use_r4"
160                fi
161                if test "x$MPI" = x1 ; then
162                    yy=`echo $OPTFILE | grep -c '+mpi'`
163                    if test $yy = 0 ; then OPTFILE="${OPTFILE}+mpi" ; fi
164              fi              fi
165              if test "x$MTH" = x1 ; then              if test "x$MTH" = x1 ; then
166                  yy=`echo $OPTFILE | grep -c '+mth$'`                  yy=`echo $OPTFILE | grep -c '+mth$'`
167                  if test $yy = 0 ; then OPTFILE="${OPTFILE}+mth" ; fi                  if test $yy = 0 ; then OPTFILE="${OPTFILE}+mth" ; fi
168              fi              fi
169              if test "x$NOI3E" = x1 ; then              if test "x$FAST" = x1 ; then
170                  OPTFILE="${OPTFILE}.noieee"                  OPTFILE="${OPTFILE}.fast"
171              fi              fi
172              day=`echo $i   | sed -e 's/_[0-9]$//' | sed -e 's/_[0-9][0-9]$//'`              if test "x$DVLP" = x1 ; then
173              ttt=`echo $day | sed -e 's/_[0-9]$//' | sed -e 's/_[0-9][0-9]$//'`                  OPTFILE="${OPTFILE}.dvlp"
174              day=`echo $ttt | sed -e 's|_| |g' |awk '{print $NF}'`              fi
175                day=`echo $i   | sed -e 's/_[0-9]$//' | sed -e 's/_[0-9][0-9]$//'`
176              if [ $day -lt $BEFORE ] ; then              ttt=`echo $day | sed -e 's/_[0-9]$//' | sed -e 's/_[0-9][0-9]$//'`
177                  echo "$OPTFILE$kind $day $OPTFILE $kind $i" >> ./plist              day=`echo $ttt | sed -e 's|_| |g' |awk '{print $NF}'`
178              elif [ $day -ge $FIRSTDAY -a $day -le $LASTDAY ] ; then  
179                  echo "$OPTFILE$kind $day $OPTFILE $kind $i" >> ./slist              if [ $day -lt $BEFORE ] ; then
180                    echo "$OPTFILE$order $day $OPTFILE $kind $i" >> ./plist
181                elif [ $day -ge $FIRSTDAY -a $day -le $LASTDAY ] ; then
182                    echo "$OPTFILE$order $day $OPTFILE $kind $i" >> ./slist
183              else              else
184                  if test $dBug = 't' ; then                  if test $dBug = 't' ; then
185                     echo "discard day='$day' from: $i" | tee -a $OUTPFIL                     echo "discard day='$day' from: $i" | tee -a $OUTPFIL
# Line 177  for ac_option ; do Line 225  for ac_option ; do
225    
226      # If the previous option needs an argument, assign it.      # If the previous option needs an argument, assign it.
227      if test -n "$ac_prev"; then      if test -n "$ac_prev"; then
228          eval "$ac_prev=\$ac_option"          eval "$ac_prev=\$ac_option"
229          ac_prev=          ac_prev=
230          continue          continue
231      fi      fi
232    
233      ac_optarg=`expr "x$ac_option" : 'x[^=]*=\(.*\)'`      ac_optarg=`expr "x$ac_option" : 'x[^=]*=\(.*\)'`
234    
235      case $ac_option in      case $ac_option in
236                    
237          -help | --help | -h | --h)          -help | --help | -h | --h) usage ;;
238              usage ;;          -verbose | --verbose | -v | --v) dBug=t ;;
         -verbose | --verbose | -v | --v)  
             dBug=t ;;  
239                    
240          -list  | --list  | -l | --l)          -list  | --list  | -l | --l) ac_prev=MACHINES ;;
241              ac_prev=MACHINES ;;          -list=* | --list=*) MACHINES=$ac_optarg ;;
242          -list=* | --list=*)  
243              MACHINES=$ac_optarg ;;          -day  | --day  | -d | --d) ac_prev=FIRSTDAY ;;
244            -day=* | --day=*) FIRSTDAY=$ac_optarg ;;
245          -day  | --day  | -d | --d)  
246              ac_prev=FIRSTDAY ;;          -upto | --upto | -u | --u) ac_prev=LASTDAY ;;
247          -day=* | --day=*)          -upto=* | --upto=*) LASTDAY=$ac_optarg ;;
248              FIRSTDAY=$ac_optarg ;;  
249            -before | --before | -b | --b) ac_prev=BEFORE ;;
250          -upto | --upto | -u | --u)          -before=* | --before=*) BEFORE=$ac_optarg ;;
251              ac_prev=LASTDAY ;;  
252          -upto=* | --upto=*)          -outp | --outp | -o | --o) ac_prev=OUTPFIL ;;
253              LASTDAY=$ac_optarg ;;          -outp=* | --outp=*) OUTPFIL=$ac_optarg ;;
254    
255          -before | --before | -b | --b)          -nldf | --nldf | -n | --n) ac_prev=NBLDIFF ;;
256              ac_prev=BEFORE ;;          -nldf=* | --nldf=*) NBLDIFF=$ac_optarg ;;
257          -before=* | --before=*)  
258              BEFORE=$ac_optarg ;;          -addr | --addr | -a | --a) ac_prev=ADDRESS ;;
259            -addr=* | --addr=*) ADDRESS=$ac_optarg ;;
260          -outp | --outp | -o | --o)  
261              ac_prev=OUTPFIL ;;          *) echo "Error: don't understand argument \"$ac_option\""
262          -outp=* | --outp=*)             usage ;;
             OUTPFIL=$ac_optarg ;;  
   
         -nldf | --nldf | -n | --n)  
             ac_prev=NBLDIFF ;;  
         -nldf=* | --nldf=*)  
             NBLDIFF=$ac_optarg ;;  
   
         -addr | --addr | -a | --a)  
             ac_prev=ADDRESS ;;  
         -addr=* | --addr=*)  
             ADDRESS=$ac_optarg ;;  
   
         *)  
             echo "Error: don't understand argument \"$ac_option\""  
             usage  
             ;;  
263    
264       esac       esac
265    
# Line 314  echo "     name     checked   comp    Di Line 344  echo "     name     checked   comp    Di
344  ( cd $INDIR ; ls -1 -t */summary.txt | sed 's/\/summary.txt//' ) > ./dir_all  ( cd $INDIR ; ls -1 -t */summary.txt | sed 's/\/summary.txt//' ) > ./dir_all
345    
346  if test "x$MACHINES" = "x_All_" ; then  if test "x$MACHINES" = "x_All_" ; then
347    MACHINES="faulks meander aces.jmc aces.ce107 baudelaire dickens danton beagle harbor"    MACHINES="aces- acesgrid baudelaire dickens danton beagle"
348    MACHINES="$MACHINES pleiades iblade rays solasrv sx8"    MACHINES="$MACHINES pleiades iblade sx8 uv100 solasrv stomp weber"
   MACHINES="$MACHINES trane dodongo dokdo stomp bigred"  
349    
350    MALL=`cat ./dir_all | sed -e 's|_| |g' | awk '{print $2}' | sort | uniq`    MALL=`cat ./dir_all | sed -e 's|_| |g' | awk '{print $2}' | sort | uniq`
351    for madd in $MALL ; do    for madd in $MALL ; do
352      present=0      present=0
353      for m in $MACHINES ; do      for m in $MACHINES ; do
354          mm=`echo $m | sed 's/\./ /g' | awk '{print $1}'`          mm=`echo $m | sed 's/\./ /g' | awk '{print $1}'`
355          echo $madd | grep $mm > /dev/null 2>&1          echo $madd | grep $mm > /dev/null 2>&1
356          RETVAL=$?          RETVAL=$?
357          test $RETVAL = 0  &&  present=1          test $RETVAL = 0  &&  present=1
358          continue          continue
359      done      done
360      test $present = 0  &&  MACHINES="$MACHINES $madd"      test $present = 0  &&  MACHINES="$MACHINES $madd"
361    done    done
# Line 335  fi Line 364  fi
364    
365  for pname in $MACHINES ; do  for pname in $MACHINES ; do
366    
367        sname=`echo $pname | sed 's/-$//'`
368      mname=`echo $pname | sed 's/\./ /g' | awk '{print $1}'`      mname=`echo $pname | sed 's/\./ /g' | awk '{print $1}'`
369      sUser=      sUser=
370      if test $mname != $pname ; then      if test $mname != $pname ; then
# Line 363  for pname in $MACHINES ; do Line 393  for pname in $MACHINES ; do
393          for key in $keys ; do          for key in $keys ; do
394            ctot=`expr $ctot + 1`            ctot=`expr $ctot + 1`
395            sline=`grep "^$key " ./slist | head -1`            sline=`grep "^$key " ./slist | head -1`
396            sdir=`echo $sline | cut -d " " -f 5`            sdir=`echo $sline | cut -d " " -f 5`
397            type=`echo $sline | cut -d " " -f 4`            type=`echo $sline | cut -d " " -f 4`
398            optf=`echo $sline | cut -d " " -f 3`            optf=`echo $sline | cut -d " " -f 3`
399            num=`grep -c "^$key" ./plist`            num=`grep -c "^$key" ./plist`
400            if test $num = 0 -a $monthDir = 1 ; then            if test $num = 0 -a $monthDir = 1 ; then
401            #- add results from previous month directory to "plist".            #- add results from previous month directory to "plist".
402              monthDir=2              monthDir=2
403              make_resdir_list              make_resdir_list
404              num=`grep -c "^$key" ./plist`              num=`grep -c "^$key" ./plist`
405            fi            fi
406            #- discard unsafe test:            #- discard unsafe test:
407            dd=`echo $optf | grep -c 'gfortran+mth'`            dd=`echo $optf | grep -c 'gfortran+mth'`
408            if test $mname = 'lagoon' -a $dd = 1 ; then num=-1 ; fi            if test $mname = 'lagoon' -a $dd = 1 ; then num=-1 ; fi
# Line 380  for pname in $MACHINES ; do Line 410  for pname in $MACHINES ; do
410            #if test $mname = 'aces' -a $optf = 'linux_ia32_open64' ; then num=-1 ; fi            #if test $mname = 'aces' -a $optf = 'linux_ia32_open64' ; then num=-1 ; fi
411            #if test $mname = 'aces' -a $optf = 'linux_ia32_g95' ; then num=-1 ; fi            #if test $mname = 'aces' -a $optf = 'linux_ia32_g95' ; then num=-1 ; fi
412            dd=`echo $optf | grep -c 'bigred.*noieee'`            dd=`echo $optf | grep -c 'bigred.*noieee'`
413            if test $mname = 'bigred' -a $dd = 1 ; then num=-1 ; fi            #if test $mname = 'bigred' -a $dd = 1 ; then num=-1 ; fi
414            if test $num -lt 0 ; then            if test $num -lt 0 ; then
415              echo "  discard $sdir : $type , of='$optf'" | tee -a $OUTPFIL              echo "  discard $sdir : $type , of='$optf'" | tee -a $OUTPFIL
416              cmis=`expr $cmis + 1`              cmis=`expr $cmis + 1`
417            elif test $num = '0' ; then            elif test $num = '0' ; then
418              echo "no previous test for:" $key | tee -a $OUTPFIL              echo "no previous test for:" $key | tee -a $OUTPFIL
419              cmis=`expr $cmis + 1`              cmis=`expr $cmis + 1`
420            else            else
421              pline=`grep "^$key " ./plist | head -1`              pline=`grep "^$key " ./plist | head -1`
422              if test $dBug = 't' ; then              if test $dBug = 't' ; then
423                  echo "s='$sline'" | tee -a $OUTPFIL                  echo "s='$sline'" | tee -a $OUTPFIL
424                  echo "p='$pline'" | tee -a $OUTPFIL                  echo "p='$pline'" | tee -a $OUTPFIL
425              fi              fi
426              pdir=`echo $pline | cut -d " " -f 5`              pdir=`echo $pline | cut -d " " -f 5`
427              outs="$INDIR/$sdir/summary.txt"              outs="$INDIR/$sdir/summary.txt"
428              sed -n "5,$ p" $outs | sed '/^[YN] [YN] [YN] [YN]/ s/ \. //g' \              xx=`( echo 5 ; sed -n '/^  OPTFILE=/=' $outs ) | tail -1`
429                                   | sed 's/ OPTFILE=.*\// OPTFILE=/g' \              sed "1,$xx d" $outs | sed '/^[YN] [YN] [YN] [YN]/ s/ \. //g' \
430                                   | grep -v '^[A-S][a-t]* time:  ' > tmpfs                                  | grep -v '^[A-S][a-t]* time:  ' > tmpfs
431              outp="$INDIR/$pdir/summary.txt"              outp="$INDIR/$pdir/summary.txt"
432              sed -n "5,$ p" $outp | sed '/^[YN] [YN] [YN] [YN]/ s/ \. //g' \              xx=`( echo 5 ; sed -n '/^  OPTFILE=/=' $outp ) | tail -1`
433                                   | sed 's/ OPTFILE=.*\// OPTFILE=/g' \              sed "1,$xx d" $outp | sed '/^[YN] [YN] [YN] [YN]/ s/ \. //g' \
434                                   | grep -v '^[A-S][a-t]* time:  ' > tmpfp                                  | grep -v '^[A-S][a-t]* time:  ' > tmpfp
435              #-- re-order list of exp (according to local "sort" order)              #-- re-order list of exp (according to local "sort" order)
436              listD=`grep '^[YN] [YN] [YN] [YN]' tmpfs | awk '{print $NF}' | sort`              listD=`grep '^[YN] [YN] [YN] [YN]' tmpfs | awk '{print $NF}' | sort`
437              for xx in $listD              for xx in $listD
# Line 421  for pname in $MACHINES ; do Line 451  for pname in $MACHINES ; do
451              diff tmpfs tmpfp > tmpdf              diff tmpfs tmpfp > tmpdf
452              yy=$?              yy=$?
453              if test $yy != '0' ; then              if test $yy != '0' ; then
454                  echo " $type , of='$optf'" | tee -a $OUTPFIL                  echo " $type , of='$optf'" | tee -a $OUTPFIL
455                  #grep '^run: ' $outp                  #grep '^run: ' $outp
456                  #grep '^run: ' $outs                  #grep '^run: ' $outs
457                  #-- score for each test:                  #-- score for each test:
# Line 439  for pname in $MACHINES ; do Line 469  for pname in $MACHINES ; do
469                  ndf=`expr $ndf / 2`                  ndf=`expr $ndf / 2`
470                  nn=`grep -c '^---' tmpdf`                  nn=`grep -c '^---' tmpdf`
471                  ndf=`expr $ndf - $nn`                  ndf=`expr $ndf - $nn`
472                  if [ $ndf -le $NBLDIFF ] ; then                  if [ $ndf -le $NBLDIFF ] ; then
473                    cat tmpdf                    cat tmpdf
474                  else                  else
475                    echo " $ndf lines differ ( $score_s , $score_p )"                    echo " $ndf lines differ ( $score_s , $score_p )"
# Line 447  for pname in $MACHINES ; do Line 477  for pname in $MACHINES ; do
477                  echo "< "`head -1 $outs`" ( $score_s )" >> $OUTPFIL                  echo "< "`head -1 $outs`" ( $score_s )" >> $OUTPFIL
478                  echo "> "`head -1 $outp`" ( $score_p )" >> $OUTPFIL                  echo "> "`head -1 $outp`" ( $score_p )" >> $OUTPFIL
479                  cat tmpdf >> $OUTPFIL                  cat tmpdf >> $OUTPFIL
480                  if [ $cdif -eq 0 ] ; then                  if [ $cdif -eq 0 ] ; then
481                    clin=`printf '%3i (%5s,%5s)' $ndf $score_s $score_p`                    clin=`printf '%3i (%5s,%5s)' $ndf $score_s $score_p`
482                  else                  else
483                    clin="$clin,"`printf '%3i (%5s,%5s)' $ndf $score_s $score_p`                    clin="$clin,"`printf '%3i (%5s,%5s)' $ndf $score_s $score_p`
484                  fi                  fi
485                  cdif=`expr $cdif + 1`                  cdif=`expr $cdif + 1`
486                  echo '----------------------------------------' | tee -a $OUTPFIL                  echo '----------------------------------------' | tee -a $OUTPFIL
487              else              else
488                  echo " $type , of='$optf'" | tee -a $OUTPFIL                  echo " $type , of='$optf'" | tee -a $OUTPFIL
489              fi              fi
490              rm -f tmpfs tmpfp tmpdf              rm -f tmpfs tmpfp tmpdf
491            fi            fi
492          done          done
493          if [ $cmis -gt 0 ] ; then tmis='(-'$cmis')' ; else tmis='(--)' ; fi          if [ $cmis -gt 0 ] ; then tmis='(-'$cmis')' ; else tmis='(--)' ; fi
494          printf '%11s :  %3i      %4s   %3i  ' $pname $ctot $tmis $cdif >> $OUTPSUM          printf '%11s :  %3i      %4s   %3i  ' $sname $ctot $tmis $cdif >> $OUTPSUM
495          if [ $cdif -gt 0 ] ; then          if [ $cdif -gt 0 ] ; then
496            echo "   $clin" >> $OUTPSUM            echo "   $clin" >> $OUTPSUM
497         else echo "" >> $OUTPSUM ; fi          else echo "" >> $OUTPSUM ; fi
498      fi      fi
499    
500  done  done
Legend:
Removed from v.1.26  
changed lines
  Added in v.1.35
  ViewVC Help
Powered by ViewVC 1.1.22