Test Sets with Arena...

Discussion of chess software programming and technical issues.

Moderators: hgm, Rebel, chrisw

Glarean
Posts: 262
Joined: Sun Oct 05, 2008 1:04 pm
Location: Switzerland
Full name: Walter Eigenmann

Test Sets with Arena...

Post by Glarean »

For test sets it's a good idea to use the Interface Arena 3.5.1.
Arena creates an interesting output (txt-file: "report") of all solved tasks.

Unfortunately Arena don't generate a ranking list of all engines.
Perhaps here is a programmer who can make a small tool for that?

Thanks and greetings: Walter

Arena-Output (Example):

Code: Select all

--------------------------------------------------------------------------------

Analyse von D:\Schach\EPD-Tests\20Tactics.epd   
Analysemotor: AnMon 5.75
05.03.2017 12:22:08 Spielstufe: 5 Sekunden
   Quelle                      : Liste von EPD/PGN Dateien
      D:\Schach\EPD-Tests\20Tactics.epd
   Farben                      : Weiße Züge=True, Schwarze Züge=True
   Richtung                    : vorwärts
   Partien (PGN)               : Von 1 bis 999999
   Züge                        : Alle Züge
   Stellungen (EPD)            : Alle Stellungen
   Verwende Motor(en)          : Liste
      AnMon 5.75
      Arasan 19.1
      Crafty 25.1 WB
      Hannibal 1.7
      Hermann 2.8
   Sekunden pro Zug verwenden  : 5 Sekunden pro Zug
   Analyse&zeilen              : Speichern ab Such&tiefe=2
   Analysen abbrechen aktivieren: False
   Kommentar                   : Arena Output - Example
  1) b4-b5              Tb3-c3   
  2) Lf1-a6             Lf1-a6  * 1 Sekunde
  3) e3-e4              Dc4-b3   
  4) b4-b5              b4-b5   * 1 Sekunde
  5) Sa4xb6             Lh6xg7   
  6) Sd3xf4             Lg2-f3   
  7) g2-g3              Kc1-b1   
  8) Da1-a7             Th1-h2   
  9) Se5xf7             Se5xf7  * 0 Sekunden
 10) Dh3-h5             Lc1-g5   
 11) Sc3-d5             a4-a5    
 12) Dc2xh7             Dc2xh7  * 0 Sekunden
 13) .. Ta2-a3          Ta2-a3  * 2 Sekunden
 14) Th1xh5             Th1xh5  * 4 Sekunden
 15) Td1xd6             Db3-c3   
 16) Tf2xf5             Sd5-f4   
 17) .. Tf8-e8          Tf8-e8  * 4 Sekunden
 18) g2-g4              g2-g4   * 0 Sekunden
 19) .. Sg6-h4          Sg6-e7   
 20) Sc3xd5             Sc3xd5  * 1 Sekunde
9 von 20 Zügen gefunden
05.03.2017 12:24:08, Gesamt Dauer: 00:01:59 Wertungszeit: 01:08 = 68 Sekunden

--------------------------------------------------------------------------------

Analyse von D:\Schach\EPD-Tests\20Tactics.epd   
Analysemotor: Arasan 19.1
05.03.2017 12:22:08 Spielstufe: 15 Sekunden
   Quelle                      : Liste von EPD/PGN Dateien
      D:\Schach\EPD-Tests\20Tactics.epd
   Farben                      : Weiße Züge=True, Schwarze Züge=True
   Richtung                    : vorwärts
   Partien (PGN)               : Von 1 bis 999999
   Züge                        : Alle Züge
   Stellungen (EPD)            : Alle Stellungen
   Verwende Motor(en)          : Liste
      AnMon 5.75
      Arasan 19.1
      Crafty 25.1 WB
      Hannibal 1.7
      Hermann 2.8
   Sekunden pro Zug verwenden  : 5 Sekunden pro Zug
   Analyse&zeilen              : Speichern ab Such&tiefe=2
   Analysen abbrechen aktivieren: False
   Kommentar                   : Arena Output - Example
  1) b4-b5              Tb3-c3   
  2) Lf1-a6             Lf1-g2   
  3) e3-e4              Se5xf7   
  4) b4-b5              b4-b5   * 0 Sekunden
  5) Sa4xb6             Sf3-g5   
  6) Sd3xf4             Sd3xf4  * 0 Sekunden
  7) g2-g3              g2-g3   * 1 Sekunde
  8) Da1-a7             Th1-d1   
  9) Se5xf7             f4-f5    
 10) Dh3-h5             Dh3-h5  * 0 Sekunden
 11) Sc3-d5             Sc3-e2   
 12) Dc2xh7             Dc2xh7  * 0 Sekunden
 13) .. Ta2-a3          Ta2-a3  * 0 Sekunden
 14) Th1xh5             Th1xh5  * 0 Sekunden
 15) Td1xd6             Db3-d3   
 16) Tf2xf5             Tf2-f4   
 17) .. Tf8-e8          Te4xe2   
 18) g2-g4              g2-g4   * 0 Sekunden
 19) .. Sg6-h4          Lf8-h6   
 20) Sc3xd5             Sc3xd5  * 0 Sekunden
9 von 20 Zügen gefunden
05.03.2017 12:26:13, Gesamt Dauer: 00:04:04 Wertungszeit: 00:56 = 56 Sekunden

--------------------------------------------------------------------------------

Analyse von D:\Schach\EPD-Tests\20Tactics.epd   
Analysemotor: Crafty 25.1 WB
05.03.2017 12:22:08 Spielstufe: 15 Sekunden
   Quelle                      : Liste von EPD/PGN Dateien
      D:\Schach\EPD-Tests\20Tactics.epd
   Farben                      : Weiße Züge=True, Schwarze Züge=True
   Richtung                    : vorwärts
   Partien (PGN)               : Von 1 bis 999999
   Züge                        : Alle Züge
   Stellungen (EPD)            : Alle Stellungen
   Verwende Motor(en)          : Liste
      AnMon 5.75
      Arasan 19.1
      Crafty 25.1 WB
      Hannibal 1.7
      Hermann 2.8
   Sekunden pro Zug verwenden  : 5 Sekunden pro Zug
   Analyse&zeilen              : Speichern ab Such&tiefe=2
   Analysen abbrechen aktivieren: False
   Kommentar                   : Arena Output - Example
  1) b4-b5              Dd3-c2   
  2) Lf1-a6             Lf1-a6  * 1 Sekunde
  3) e3-e4              Dc4-d3   
  4) b4-b5              b4-b5   * 1 Sekunde
  5) Sa4xb6             Sf3-g5   
  6) Sd3xf4             Sd3xf4  * 1 Sekunde
  7) g2-g3              g2-g3   * 4 Sekunden
  8) Da1-a7             Th1-d1   
  9) Se5xf7             Ld3xg6   
 10) Dh3-h5             g2-g4    
 11) Sc3-d5             Sc3-e2   
 12) Dc2xh7             Dc2xh7  * 0 Sekunden
 13) .. Ta2-a3          Ta2-e2   
 14) Th1xh5             Kc1-b1   
 15) Td1xd6             Db3-c3   
 16) Tf2xf5             Kh2-g1   
 17) .. Tf8-e8          Te4xe2   
 18) g2-g4              g2-g4   * 1 Sekunde
 19) .. Sg6-h4          Dd7-g4   
 20) Sc3xd5             Sc3-b5   
6 von 20 Zügen gefunden
05.03.2017 12:28:34, Gesamt Dauer: 00:06:25 Wertungszeit: 01:18 = 78 Sekunden

--------------------------------------------------------------------------------

Analyse von D:\Schach\EPD-Tests\20Tactics.epd   
Analysemotor: Hannibal 1.7
05.03.2017 12:22:08 Spielstufe: 15 Sekunden
   Quelle                      : Liste von EPD/PGN Dateien
      D:\Schach\EPD-Tests\20Tactics.epd
   Farben                      : Weiße Züge=True, Schwarze Züge=True
   Richtung                    : vorwärts
   Partien (PGN)               : Von 1 bis 999999
   Züge                        : Alle Züge
   Stellungen (EPD)            : Alle Stellungen
   Verwende Motor(en)          : Liste
      AnMon 5.75
      Arasan 19.1
      Crafty 25.1 WB
      Hannibal 1.7
      Hermann 2.8
   Sekunden pro Zug verwenden  : 5 Sekunden pro Zug
   Analyse&zeilen              : Speichern ab Such&tiefe=2
   Analysen abbrechen aktivieren: False
   Kommentar                   : Arena Output - Example
  1) b4-b5              Tb3-c3   
  2) Lf1-a6             Lf1-g2   
  3) e3-e4              Se5xf7   
  4) b4-b5              b4-b5   * 0 Sekunden
  5) Sa4xb6             Sf3-g5   
  6) Sd3xf4             Sd3xf4  * 0 Sekunden
  7) g2-g3              Kc1-b1   
  8) Da1-a7             b5-b6    
  9) Se5xf7             f4-f5    
 10) Dh3-h5             Dh3-h5  * 0 Sekunden
 11) Sc3-d5             Sc3-d5  * 0 Sekunden
 12) Dc2xh7             Dc2xh7  * 0 Sekunden
 13) .. Ta2-a3          Ta2-a3  * 0 Sekunden
 14) Th1xh5             Th1xh5  * 0 Sekunden
 15) Td1xd6             Db3-d3   
 16) Tf2xf5             Tf2xf5  * 0 Sekunden
 17) .. Tf8-e8          Te4xe2   
 18) g2-g4              g2-g4   * 0 Sekunden
 19) .. Sg6-h4          Dd7-f5   
 20) Sc3xd5             Sc3xd5  * 0 Sekunden
10 von 20 Zügen gefunden
05.03.2017 12:30:39, Gesamt Dauer: 00:08:30 Wertungszeit: 00:50 = 50 Sekunden

--------------------------------------------------------------------------------

Analyse von D:\Schach\EPD-Tests\20Tactics.epd   
Analysemotor: Hermann 2.8
05.03.2017 12:22:08 Spielstufe: 15 Sekunden
   Quelle                      : Liste von EPD/PGN Dateien
      D:\Schach\EPD-Tests\20Tactics.epd
   Farben                      : Weiße Züge=True, Schwarze Züge=True
   Richtung                    : vorwärts
   Partien (PGN)               : Von 1 bis 999999
   Züge                        : Alle Züge
   Stellungen (EPD)            : Alle Stellungen
   Verwende Motor(en)          : Liste
      AnMon 5.75
      Arasan 19.1
      Crafty 25.1 WB
      Hannibal 1.7
      Hermann 2.8
   Sekunden pro Zug verwenden  : 5 Sekunden pro Zug
   Analyse&zeilen              : Speichern ab Such&tiefe=2
   Analysen abbrechen aktivieren: False
   Kommentar                   : Arena Output - Example
  1) b4-b5              e3-e4    
  2) Lf1-a6             Lf1-a6  * 0 Sekunden
  3) e3-e4              Dc4-b3   
  4) b4-b5              b4-b5   * 0 Sekunden
  5) Sa4xb6             Sf3-g5   
  6) Sd3xf4             Lg2-f3   
  7) g2-g3              b2-b3    
  8) Da1-a7             Th1-h2   
  9) Se5xf7             Ld3xg6   
 10) Dh3-h5             Te1-d1   
 11) Sc3-d5             a4-a5    
 12) Dc2xh7             Dc2xh7  * 0 Sekunden
 13) .. Ta2-a3          Ta2-a3  * 0 Sekunden
 14) Th1xh5             Th1xh5  * 0 Sekunden
 15) Td1xd6             Db3-c3   
 16) Tf2xf5             Sd5-f4   
 17) .. Tf8-e8          Te4-e8   
 18) g2-g4              g2-g4   * 0 Sekunden
 19) .. Sg6-h4          Sg6-e7   
 20) Sc3xd5             Sc3-b5   
6 von 20 Zügen gefunden
05.03.2017 12:32:40, Gesamt Dauer: 00:10:31 Wertungszeit: 01:10 = 70 Sekunden
Top
Ferdy
Posts: 4833
Joined: Sun Aug 10, 2008 3:15 pm
Location: Philippines

Re: Test Sets with Arena...

Post by Ferdy »

Created one but report language must be in english. Sample output.

Code: Select all

Arena report file : ecm-gcp-1.rep
Seconds per Move  : 1

Nr   Engine                   :   Pts  Total    Rate

1    Sf8                      :    16     20    0.80
2    Spike 1.4                :    16     20    0.80
3    Andscacs_0.89            :    14     20    0.70
4    AnMon 5.75               :    13     20    0.65
5    Arasan_19.1_64bit_pop    :    13     20    0.65
6    RumbleMinze              :     4     20    0.20
7    CDrill_1800_Build_4      :     2     20    0.10
I can add rated time in the column and probably use it to break the tie for ranking purposes.
Top
Glarean
Posts: 262
Joined: Sun Oct 05, 2008 1:04 pm
Location: Switzerland
Full name: Walter Eigenmann

Re: Test Sets with Arena...

Post by Glarean »

Ferdy wrote:Created one but report language must be in english. Sample output.
Thx !
Ferdy wrote:
Ferdy wrote:I can add rated time in the column and probably use it to break the tie for ranking purposes.
Would be great.

Thx and Greetings: Walter

.
Top
Ferdy
Posts: 4833
Joined: Sun Aug 10, 2008 3:15 pm
Location: Philippines

Re: Test Sets with Arena...

Post by Ferdy »

Console:

Code: Select all

Arena Report Parser v1.0.1

Enter report filename? ecm-gcp-3s.rep
summary_ecm-gcp-3s.rep file:

Code: Select all

Arena report file : ecm-gcp-3s.rep
Seconds per Move  : 3

Nr   Engine                    Pts  Total   Rate  RT(s)
1    Spike 1.4                  19     20   0.95    8.0
2    Sf8                        18     20   0.90   10.0
3    Andscacs_0.89              18     20   0.90   11.0
4    Deuterium v14.3.34.130     16     20   0.80   18.0
5    Arasan_19.1_64bit_pop      16     20   0.80   19.0
6    AnMon 5.75                 14     20   0.70   24.0
7    CDrill_1800_Build_4         3     20   0.15   52.0
8    RumbleMinze                 2     20   0.10   55.0
Download win exe file.
https://drive.google.com/file/d/0BwAOsu ... sp=sharing
Top

Return to “Computer Chess Club: Programming and Technical Discussions”