STS(i30) Stockfish

[wolfman]

STS(i30).
Swaminathan Test Suite
Intel core i5 @ 2.27 MHz, 4 Gb internal.
Windows 8 64. Engines using 1 cpu. Arena 3 GUI resp. Fritz 13 GUI.
Max. analyzing time is 30 seconds.
Activate abort analysis, holding 9 ply and extending 2 ply.
PV = Performance value.
MM = Matching moves.
RT = Rated time.


STS(i30) Stockfish 2.01-64JA
# //MM// RT
01 // 87 // 480
02 // 84 // 507
03 // 86 // 445
04 // 87 // 424
05 // 85 // 470
06 // 77 // 714
07 // 85 // 555
08 // 76 // 911
09 // 80 // 684
10 // 87 // 448
11 // 84 // 551
12 // 88 // 438
13 // 85 // 484
14 // 88 // 433
Total // 1179 // 7544

STS(i30) Stockfish 2.11-64JA
# //MM// RT
01 // 89 // 418
02 // 85 // 530
03 // 85 // 503
04 // 91 // 294
05 // 79 // 677
06 // 83 // 586
07 // 86 // 491
08 // 78 // 853
09 // 81 // 686
10 // 88 // 372
11 // 87 // 459
12 // 90 // 350
13 // 91 // 363
14 // 88 // 453
Total // 1201// 7035

STS(i30) Stockfish 2.22-64JA SSE4.2
# //MM// RT
01 // 90 // 385
02 // 86 // 452
03 // 84 // 546
04 // 93 // 269
05 // 85 // 479
06 // 90 // 406
07 // 86 // 512
08 // 79 // 751
09 // 84 // 627
10 // 91 // 298
11 // 88 // 456
12 // 91 // 341
13 // 92 // 386
14 // 88 // 424
Total // 1227// 6332

STS(i30) Stockfish 2.31-64JA popcount
# //MM// RT
01 // 90 // 345
02 // 89 // 385
03 // 87 // 445
04 // 93 // 283
05 // 89 // 397
06 // 87 // 458
07 // 84 // 536
08 // 83 // 657
09 // 87 // 488
10 // 97 // 148
11 // 84 // 545
12 // 89 // 415
13 // 87 // 443
14 // 85 // 496
Total // 1231 // 6041

Standing Total sofar.

# // Engine // PV // MM // RT // Provisonal rating
01 // Fire 1.5p-64 PP // 2644 // 1282 // 4391 // 3122
02 // Houdini 1.5a-64 // 2509 // 1269 // 4500 // 3229
03 // Houdini 3-64 // 2502 // 1271 // 4593 // xxxx
04 // Matrix 3000-64 // 2497 // 1270 // 4579 // xxxx
05 // Firebird 1.1-65 popcnt // 2428 // 1269 // 4845 // xxxx
06 // Houdini 2.0-64 // 2428 // 1265 // 4704 // 3234
07 // Strelka 5.5.1-64 // 2418 //1266 // 4786 // 3293
08 // Houdini 3tactical-64 // 2364 // 1260 // 4821 // xxxx
09 // Bouquet 1.5-64 pop // 2359 // 1264 // 4990 // xxxx
10 // Critter 1.6a-64 // 2351 // 1259 // 4843 // 3167
11 // Houdini 1.03a-64 // 2349 // 1263 // 4999 // 3154
12 // Robbolito 0.09-64 Qi sse4.2 // 2308 // 1265 // 5278 // 3157
13 // Robbolito 0.21-64 Q sse4.2 // 2285 // 1258 // 5128 // xxxx
14 // Critter 1.4-64 // 2273 // 1257 // 5152 // xxxx
15 // LEOpard 0.7c-64 // 2246 // 1254 // 5178 // xxxx
16 // Igorrit 0.086v9-64Sentinel // 2237 // 1257 // 5342 // xxxx
17 // LEOpard 07cT-64 // 2202 // 1257 // 5537 // xxxx
18 // Critter 1.2-64 SSE4 // 2108 // 1245 // 5596 // xxxx
19 // Fire 2.2-64 PP // 2062 // 1242 // 5751 // 3154
20 // BlackMamba 1.0-64 sse4.2 // 2059 // 1244 // 5854 // 2972
21 // Bouquet 1.6-64 pop // 2042 // 1239 // 5748 // xxxx
22 // Stockfish 2.31-64JA popcount // 1945 // 1231 // 6041 // xxxx
23 // Stockfish 2.22-64 JA SSE4.2 // 1880 // 1227 // 6332 // 3117
24 // Critter 0.90-64 SSE4 // 1820 // 1221 // 6514 // xxxx
25 // Komodo 4-64 sse // 1799 // 1220 // 6638 // 3158
26 // Fritz 13-32 // 1742 // 1224 // 7360 // xxxx
27 // Naum 4.2-64 // 1677 // 1207 // 7046 // 3018
28 // Komodo 5-64 // 1645 // 1200 // 6975 // xxxx
29 // Stockfish 2.11-64JA // 1644 // 1201 // 7035 // xxxx
30 // Komodo 2.03-64 JA // 1619 // 1198 // 7123 // 3144
31 // Komodo 3-64 sse // 1511 // 1185 // 7525 // 3188
32 // Stockfish 2.01-64JA // 1478 // 1179 // 7544 // xxxx
33 // Shredder 12-32 // 1161 // 1139 // 9472 // 2972
34 // Hiarcs 14WCSC-32 // 1016 // 1119 // 10181 // 3010

[Vinvin]

Thanks for your test.
I'd like to add 1 column : "artificial time to solve all the positions". It would be the "time to solve" + a fake time for unsolved position (let's say "max time*1.50").

Here's with the A.T.S. column added :

Code: Select all

#  Engine                        MM    RT  Unslv   ATS
 1 Fire 1.5p-64 PP              1282   4391  118   9701
 2 Houdini 1.5a-64              1269   4500  131  10395
 3 Houdini 3-64                 1271   4593  129  10398
 4 Matrix 3000-64               1270   4579  130  10429
 5 Firebird 1.1-65 popcnt       1269   4845  131  10740
 6 Houdini 2.0-64               1265   4704  135  10779
 7 Strelka 5.5.1-64             1266   4786  134  10816
 8 Houdini 3tactical-64         1260   4821  140  11121
 9 Bouquet 1.5-64 pop           1264   4990  136  11110
10 Critter 1.6a-64              1259   4843  141  11188
11 Houdini 1.03a-64             1263   4999  137  11164
12 Robbolito 0.09-64 Qi sse4.2  1265   5278  135  11353
13 Robbolito 0.21-64 Q sse4.2   1258   5128  142  11518
14 Critter 1.4-64               1257   5152  143  11587
15 LEOpard 0.7c-64              1254   5178  146  11748
16 Igorrit 0.086v9-64Sentinel   1257   5342  143  11777
17 LEOpard 07cT-64              1257   5537  143  11972
18 Critter 1.2-64 SSE4          1245   5596  155  12571
19 Fire 2.2-64 PP               1242   5751  158  12861
20 BlackMamba 1.0-64 sse4.2     1244   5854  156  12874
21 Bouquet 1.6-64 pop           1239   5748  161  12993
22 Stockfish 2.31-64JA popcount 1231   6041  169  13646
23 Stockfish 2.22-64 JA SSE4.2  1227   6332  173  14117
24 Critter 0.90-64 SSE4         1221   6514  179  14569
25 Komodo 4-64 sse              1220   6638  180  14738
26 Fritz 13-32                  1224   7360  176  15280
27 Naum 4.2-64                  1207   7046  193  15731
28 Komodo 5-64                  1200   6975  200  15975
29 Stockfish 2.11-64JA          1201   7035  199  15990
30 Komodo 2.03-64 JA            1198   7123  202  16213
31 Komodo 3-64 sse              1185   7525  215  17200
32 Stockfish 2.01-64JA          1179   7544  221  17489
33 Shredder 12-32               1139   9472  261  21217
34 Hiarcs 14WCSC-32             1119  10181  281  22826

[Don]

Thanks for your test.
I'd like to add 1 column : "artificial time to solve all the positions". It would be the "time to solve" + a fake time for unsolved position (let's say "max time*1.50").

Maybe the best way to do this is logarithmic because that is how time vs ELO works. For each doubling of time to solve, you get half the credit - that type of thing. It's awkward dealing with unsolved problems but at least their weight becomes less significant. Perhaps if a position is not solved in the allocated time you can "assume" it will be solved in double that time - probably that is the most accurate guess you can make without the actual information.

Here's with the A.T.S. column added :

Code: Select all

#  Engine                        MM    RT  Unslv   ATS
 1 Fire 1.5p-64 PP              1282   4391  118   9701
 2 Houdini 1.5a-64              1269   4500  131  10395
 3 Houdini 3-64                 1271   4593  129  10398
 4 Matrix 3000-64               1270   4579  130  10429
 5 Firebird 1.1-65 popcnt       1269   4845  131  10740
 6 Houdini 2.0-64               1265   4704  135  10779
 7 Strelka 5.5.1-64             1266   4786  134  10816
 8 Houdini 3tactical-64         1260   4821  140  11121
 9 Bouquet 1.5-64 pop           1264   4990  136  11110
10 Critter 1.6a-64              1259   4843  141  11188
11 Houdini 1.03a-64             1263   4999  137  11164
12 Robbolito 0.09-64 Qi sse4.2  1265   5278  135  11353
13 Robbolito 0.21-64 Q sse4.2   1258   5128  142  11518
14 Critter 1.4-64               1257   5152  143  11587
15 LEOpard 0.7c-64              1254   5178  146  11748
16 Igorrit 0.086v9-64Sentinel   1257   5342  143  11777
17 LEOpard 07cT-64              1257   5537  143  11972
18 Critter 1.2-64 SSE4          1245   5596  155  12571
19 Fire 2.2-64 PP               1242   5751  158  12861
20 BlackMamba 1.0-64 sse4.2     1244   5854  156  12874
21 Bouquet 1.6-64 pop           1239   5748  161  12993
22 Stockfish 2.31-64JA popcount 1231   6041  169  13646
23 Stockfish 2.22-64 JA SSE4.2  1227   6332  173  14117
24 Critter 0.90-64 SSE4         1221   6514  179  14569
25 Komodo 4-64 sse              1220   6638  180  14738
26 Fritz 13-32                  1224   7360  176  15280
27 Naum 4.2-64                  1207   7046  193  15731
28 Komodo 5-64                  1200   6975  200  15975
29 Stockfish 2.11-64JA          1201   7035  199  15990
30 Komodo 2.03-64 JA            1198   7123  202  16213
31 Komodo 3-64 sse              1185   7525  215  17200
32 Stockfish 2.01-64JA          1179   7544  221  17489
33 Shredder 12-32               1139   9472  261  21217
34 Hiarcs 14WCSC-32             1119  10181  281  22826

[wolfman]

Vincent,

I show herewith the STS-results with different maximum solving times.
The engine used is Fire xt 1.5p-64PP.
The STS testnumbers are 1, 8, 9 and 13.
MT > Maximum time for solving.
MM > Matching moves.
RT > Rated time.
ST > Solving time = RT - (100-MM)*MT

Results

MT : 30 sec.
STS 01 > MM : 98 - RT : 121 - ST : 51
STS 08 > MM : 80 - RT : 693 - ST : 93
STS 09 > MM : 85 - RT : 531 - ST : 231
STS 13 > MM : 94 - RT : 213 - ST : 33

MT : 120 sec.
STS 01 > MM : 95 - RT : 639 - ST : 39
STS 08 > MM : 83 - RT : 2373 - ST : 333
STS 09 > MM : 89 - RT : 1460 - ST : 140
STS 13 > MM : 97 - RT : 430 - ST : 70

MT : 240 sec.
STS 01 > MM : 97 - RT : 767 - ST : 47
STS 08 > MM : 84 - RT : 4385 - ST : 545
STS 09 > MM : 94 - RT : 1623 - ST : 183
STS 13 > MM : 95 - RT : 1262 - ST : 62

MT : 480
STS 01 > MM 98 - RT : 1024 - ST : 44
STS 08 > MM 91 - RT : 5641 - ST : 1321
STS 09 > MM 90 - RT : 4983 - ST : 183
STS 13 > MM 97 - RT : 1856 - ST : 416

I find it difficult to conclude to a fake time for unsolved position in orde to calculate ATS.

Eran.