Hash experiment - Komodo Dragon 2.5.1

Discussion of computer chess matches and engine tournaments.

Moderators: hgm, Dann Corbit, Harvey Williamson

fastgm
Posts: 818
Joined: Mon Aug 19, 2013 6:57 pm

Re: Hash experiment - Komodo Dragon 2.5.1

Post by fastgm »

ThomasMiller wrote: Fri Dec 03, 2021 12:25 pm Interesting experiment. What's Komodo average speed with 1 thread on your 2673-v4?
Dragon 2.5.1

1 thread
go movetime 20000
info time 20000 nodes 12238350 nps 611900

1 thread with other 39 threads runnung:
go movetime 20000
info time 20000 nodes 9978420 nps 498920
fastgm
Posts: 818
Joined: Mon Aug 19, 2013 6:57 pm

Re: Hash experiment - Komodo Dragon 2.5.1

Post by fastgm »

Time control 2 minutes + 1 second, now with 64 MB Hash too.

Code: Select all

Playing conditions:

CPU:           Intel Dual Xeon E5-2673v4 (40 Cores)
OS:            Windows 10 64-Bit
Tool:          Cutechess-Cli
Komodo Dragon: 1 Core, 64 Bit, default settings
Hash-Tables:   16, 64, 128, 256, 512, 1024 and 2048 MB
Time control:  2 minutes + 1 second
Tablebases:    Adjudication, 6 pieces
Openings:      TCEC_9-20.pgn (600 positions, changing colors)
Ponder:        Off
Learning:      Off


   # Engine                 :    Elo  Error   Games   Points    (%)       W      D      L     D(%)   CFS
 --------------------------------------------------------------------------------------------------------
   1 Dragon 2.5.1 - 1024    :   3002      3   14400   7249.5   50.34    2355   9789   2256   67.98    55
   2 Dragon 2.5.1 -  128    :   3002      3   14400   7244.0   50.31    2298   9892   2210   68.69    68
   3 Dragon 2.5.1 -  256    :   3001      3   14400   7221.0   50.15    2324   9794   2282   68.01    61
   4 Dragon 2.5.1 -   64    :   3000      3   14400   7207.5   50.05    2283   9849   2268   68.40    51
   5 Dragon 2.5.1 - 2048    :   3000      3   14400   7206.5   50.05    2341   9731   2328   67.58    76
   6 Dragon 2.5.1 -  512    :   2999      3   14400   7172.5   49.81    2300   9745   2355   67.67    94
   7 Dragon 2.5.1 -   16    :   2996      3   14400   7099.0   49.30    2206   9786   2408   67.96   ---

White advantage = 82.30 +/- 0.84
Draw rate (equal opponents) = 75.47 % +/- 0.23


Head to head statistics:

1) Dragon 2.5.1 - 1024 3002 :  14400 (+2355,=9789,-2256),  50.3 %

   vs.                       :  games (    +,    =,    -),   (%) :   Diff,   SD, CFS (%)
   Dragon 2.5.1 - 128        :   2400 (  380, 1660,  360),  50.4 :     +0,    2,   54.5
   Dragon 2.5.1 - 256        :   2400 (  392, 1617,  391),  50.0 :     +1,    2,   72.9
   Dragon 2.5.1 - 64         :   2400 (  402, 1625,  373),  50.6 :     +2,    2,   80.4
   Dragon 2.5.1 - 2048       :   2400 (  395, 1634,  371),  50.5 :     +2,    2,   82.2
   Dragon 2.5.1 - 512        :   2400 (  392, 1613,  395),  49.9 :     +3,    2,   95.1
   Dragon 2.5.1 - 16         :   2400 (  394, 1640,  366),  50.6 :     +7,    2,   99.9

2) Dragon 2.5.1 - 128  3002 :  14400 (+2298,=9892,-2210),  50.3 %

   vs.                       :  games (    +,    =,    -),   (%) :   Diff,   SD, CFS (%)
   Dragon 2.5.1 - 1024       :   2400 (  360, 1660,  380),  49.6 :     -0,    2,   45.5
   Dragon 2.5.1 - 256        :   2400 (  368, 1665,  367),  50.0 :     +1,    2,   68.3
   Dragon 2.5.1 - 64         :   2400 (  369, 1675,  356),  50.3 :     +2,    2,   77.9
   Dragon 2.5.1 - 2048       :   2400 (  407, 1623,  370),  50.8 :     +2,    2,   78.1
   Dragon 2.5.1 - 512        :   2400 (  384, 1645,  371),  50.3 :     +3,    2,   93.4
   Dragon 2.5.1 - 16         :   2400 (  410, 1624,  366),  50.9 :     +6,    2,   99.9

3) Dragon 2.5.1 - 256  3001 :  14400 (+2324,=9794,-2282),  50.1 %

   vs.                       :  games (    +,    =,    -),   (%) :   Diff,   SD, CFS (%)
   Dragon 2.5.1 - 1024       :   2400 (  391, 1617,  392),  50.0 :     -1,    2,   27.1
   Dragon 2.5.1 - 128        :   2400 (  367, 1665,  368),  50.0 :     -1,    2,   31.7
   Dragon 2.5.1 - 64         :   2400 (  388, 1652,  360),  50.6 :     +1,    2,   60.8
   Dragon 2.5.1 - 2048       :   2400 (  371, 1613,  416),  49.1 :     +1,    2,   61.9
   Dragon 2.5.1 - 512        :   2400 (  408, 1621,  371),  50.8 :     +2,    2,   84.5
   Dragon 2.5.1 - 16         :   2400 (  399, 1626,  375),  50.5 :     +5,    2,   99.5

4) Dragon 2.5.1 - 64   3000 :  14400 (+2283,=9849,-2268),  50.1 %

   vs.                       :  games (    +,    =,    -),   (%) :   Diff,   SD, CFS (%)
   Dragon 2.5.1 - 1024       :   2400 (  373, 1625,  402),  49.4 :     -2,    2,   19.6
   Dragon 2.5.1 - 128        :   2400 (  356, 1675,  369),  49.7 :     -2,    2,   22.1
   Dragon 2.5.1 - 256        :   2400 (  360, 1652,  388),  49.4 :     -1,    2,   39.2
   Dragon 2.5.1 - 2048       :   2400 (  384, 1617,  399),  49.7 :     +0,    2,   50.8
   Dragon 2.5.1 - 512        :   2400 (  414, 1622,  364),  51.0 :     +2,    2,   77.4
   Dragon 2.5.1 - 16         :   2400 (  396, 1658,  346),  51.0 :     +5,    2,   98.8

5) Dragon 2.5.1 - 2048 3000 :  14400 (+2341,=9731,-2328),  50.0 %

   vs.                       :  games (    +,    =,    -),   (%) :   Diff,   SD, CFS (%)
   Dragon 2.5.1 - 1024       :   2400 (  371, 1634,  395),  49.5 :     -2,    2,   17.8
   Dragon 2.5.1 - 128        :   2400 (  370, 1623,  407),  49.2 :     -2,    2,   21.9
   Dragon 2.5.1 - 256        :   2400 (  416, 1613,  371),  50.9 :     -1,    2,   38.1
   Dragon 2.5.1 - 64         :   2400 (  399, 1617,  384),  50.3 :     -0,    2,   49.2
   Dragon 2.5.1 - 512        :   2400 (  385, 1625,  390),  49.9 :     +1,    2,   75.7
   Dragon 2.5.1 - 16         :   2400 (  400, 1619,  381),  50.4 :     +5,    2,   98.8

6) Dragon 2.5.1 - 512  2999 :  14400 (+2300,=9745,-2355),  49.8 %

   vs.                       :  games (    +,    =,    -),   (%) :   Diff,   SD, CFS (%)
   Dragon 2.5.1 - 1024       :   2400 (  395, 1613,  392),  50.1 :     -3,    2,    4.9
   Dragon 2.5.1 - 128        :   2400 (  371, 1645,  384),  49.7 :     -3,    2,    6.6
   Dragon 2.5.1 - 256        :   2400 (  371, 1621,  408),  49.2 :     -2,    2,   15.5
   Dragon 2.5.1 - 64         :   2400 (  364, 1622,  414),  49.0 :     -2,    2,   22.6
   Dragon 2.5.1 - 2048       :   2400 (  390, 1625,  385),  50.1 :     -1,    2,   24.3
   Dragon 2.5.1 - 16         :   2400 (  409, 1619,  372),  50.8 :     +3,    2,   93.6

7) Dragon 2.5.1 - 16   2996 :  14400 (+2206,=9786,-2408),  49.3 %

   vs.                       :  games (    +,    =,    -),   (%) :   Diff,   SD, CFS (%)
   Dragon 2.5.1 - 1024       :   2400 (  366, 1640,  394),  49.4 :     -7,    2,    0.1
   Dragon 2.5.1 - 128        :   2400 (  366, 1624,  410),  49.1 :     -6,    2,    0.1
   Dragon 2.5.1 - 256        :   2400 (  375, 1626,  399),  49.5 :     -5,    2,    0.5
   Dragon 2.5.1 - 64         :   2400 (  346, 1658,  396),  49.0 :     -5,    2,    1.2
   Dragon 2.5.1 - 2048       :   2400 (  381, 1619,  400),  49.6 :     -5,    2,    1.2
   Dragon 2.5.1 - 512        :   2400 (  372, 1619,  409),  49.2 :     -3,    2,    6.4


Games        : 50.400 (finished)

White Wins   : 13.864 (27.5 %)
Black Wins   :  2.243  (4.5 %)
Draws        : 34.293 (68.0 %)

White Score  : 61.5 %
Black Score  : 38.5 %
fastgm
Posts: 818
Joined: Mon Aug 19, 2013 6:57 pm

Re: Hash experiment - Komodo Dragon 2.5.1

Post by fastgm »

Time control 2 minutes + 1 second, 4 Threads

Code: Select all

Playing conditions:

CPU:           Intel Dual Xeon E5-2673v4 (40 Cores)
OS:            Windows 10 64-Bit
Tool:          Cutechess-Cli
Komodo Dragon: 4 Threads, 64 Bit, default settings
Hash-Tables:   16, 64, 128, 256, 512, 1024 and 2048 MB
Time control:  2 minutes + 1 second
Tablebases:    Adjudication, 6 pieces
Openings:      TCEC_9-20.pgn (600 positions, changing colors)
Ponder:        Off
Learning:      Off


   # Engine                      :    Elo  Error   Games   Points    (%)       W      D      L     D(%)   CFS
 -------------------------------------------------------------------------------------------------------------
   1 Dragon 2.5.1 -  256 - T4    :   3006      4    7200   3664.5   50.90    1096   5137    967   71.35    59
   2 Dragon 2.5.1 - 1024 - T4    :   3005      4    7200   3657.5   50.80    1067   5181    952   71.96    83
   3 Dragon 2.5.1 -  512 - T4    :   3002      3    7200   3627.5   50.38    1060   5135   1005   71.32    51
   4 Dragon 2.5.1 - 2048 - T4    :   3002      4    7200   3627.0   50.38    1056   5142   1002   71.42    58
   5 Dragon 2.5.1 -  128 - T4    :   3002      4    7200   3620.5   50.28    1056   5129   1015   71.24    92
   6 Dragon 2.5.1 -   64 - T4    :   2998      4    7200   3577.0   49.68     995   5164   1041   71.72   100
   7 Dragon 2.5.1 -   16 - T4    :   2985      3    7200   3426.0   47.58     876   5100   1224   70.83   ---

White advantage = 78.54 +/- 1.16
Draw rate (equal opponents) = 79.76 % +/- 0.31


Head to head statistics:

1) Dragon 2.5.1 - 256 - T4  3006 :   7200 (+1096,=5137,-967),  50.9 %

   vs.                            :  games (    +,    =,   -),   (%) :   Diff,   SD, CFS (%)
   Dragon 2.5.1 - 1024 - T4       :   1200 (  173,  854, 173),  50.0 :     +1,    3,   58.6
   Dragon 2.5.1 - 512 - T4        :   1200 (  177,  853, 170),  50.3 :     +3,    3,   88.5
   Dragon 2.5.1 - 2048 - T4       :   1200 (  176,  861, 163),  50.5 :     +3,    3,   87.6
   Dragon 2.5.1 - 128 - T4        :   1200 (  186,  844, 170),  50.7 :     +4,    3,   91.9
   Dragon 2.5.1 - 64 - T4         :   1200 (  185,  854, 161),  51.0 :     +8,    3,   99.8
   Dragon 2.5.1 - 16 - T4         :   1200 (  199,  871, 130),  52.9 :    +21,    3,  100.0

2) Dragon 2.5.1 - 1024 - T4 3005 :   7200 (+1067,=5181,-952),  50.8 %

   vs.                            :  games (    +,    =,   -),   (%) :   Diff,   SD, CFS (%)
   Dragon 2.5.1 - 256 - T4        :   1200 (  173,  854, 173),  50.0 :     -1,    3,   41.4
   Dragon 2.5.1 - 512 - T4        :   1200 (  179,  858, 163),  50.7 :     +3,    3,   83.2
   Dragon 2.5.1 - 2048 - T4       :   1200 (  160,  882, 158),  50.1 :     +3,    3,   82.5
   Dragon 2.5.1 - 128 - T4        :   1200 (  178,  868, 154),  51.0 :     +3,    3,   87.7
   Dragon 2.5.1 - 64 - T4         :   1200 (  174,  877, 149),  51.0 :     +7,    3,   99.5
   Dragon 2.5.1 - 16 - T4         :   1200 (  203,  842, 155),  52.0 :    +20,    3,  100.0

3) Dragon 2.5.1 - 512 - T4  3002 :   7200 (+1060,=5135,-1005),  50.4 %

   vs.                            :  games (    +,    =,    -),   (%) :   Diff,   SD, CFS (%)
   Dragon 2.5.1 - 256 - T4        :   1200 (  170,  853,  177),  49.7 :     -3,    3,   11.5
   Dragon 2.5.1 - 1024 - T4       :   1200 (  163,  858,  179),  49.3 :     -3,    3,   16.8
   Dragon 2.5.1 - 2048 - T4       :   1200 (  174,  863,  163),  50.5 :     +0,    3,   50.7
   Dragon 2.5.1 - 128 - T4        :   1200 (  172,  847,  181),  49.6 :     +1,    3,   59.0
   Dragon 2.5.1 - 64 - T4         :   1200 (  188,  861,  151),  51.5 :     +4,    3,   94.5
   Dragon 2.5.1 - 16 - T4         :   1200 (  193,  853,  154),  51.6 :    +18,    3,  100.0

4) Dragon 2.5.1 - 2048 - T4 3002 :   7200 (+1056,=5142,-1002),  50.4 %

   vs.                            :  games (    +,    =,    -),   (%) :   Diff,   SD, CFS (%)
   Dragon 2.5.1 - 256 - T4        :   1200 (  163,  861,  176),  49.5 :     -3,    3,   12.4
   Dragon 2.5.1 - 1024 - T4       :   1200 (  158,  882,  160),  49.9 :     -3,    3,   17.5
   Dragon 2.5.1 - 512 - T4        :   1200 (  163,  863,  174),  49.5 :     -0,    3,   49.3
   Dragon 2.5.1 - 128 - T4        :   1200 (  177,  857,  166),  50.5 :     +1,    3,   58.1
   Dragon 2.5.1 - 64 - T4         :   1200 (  173,  849,  178),  49.8 :     +4,    3,   93.8
   Dragon 2.5.1 - 16 - T4         :   1200 (  222,  830,  148),  53.1 :    +18,    3,  100.0

5) Dragon 2.5.1 - 128 - T4  3002 :   7200 (+1056,=5129,-1015),  50.3 %

   vs.                            :  games (    +,    =,    -),   (%) :   Diff,   SD, CFS (%)
   Dragon 2.5.1 - 256 - T4        :   1200 (  170,  844,  186),  49.3 :     -4,    3,    8.1
   Dragon 2.5.1 - 1024 - T4       :   1200 (  154,  868,  178),  49.0 :     -3,    3,   12.3
   Dragon 2.5.1 - 512 - T4        :   1200 (  181,  847,  172),  50.4 :     -1,    3,   41.0
   Dragon 2.5.1 - 2048 - T4       :   1200 (  166,  857,  177),  49.5 :     -1,    3,   41.9
   Dragon 2.5.1 - 64 - T4         :   1200 (  174,  866,  160),  50.6 :     +4,    3,   91.6
   Dragon 2.5.1 - 16 - T4         :   1200 (  211,  847,  142),  52.9 :    +17,    3,  100.0

6) Dragon 2.5.1 - 64 - T4   2998 :   7200 (+995,=5164,-1041),  49.7 %

   vs.                            :  games (   +,    =,    -),   (%) :   Diff,   SD, CFS (%)
   Dragon 2.5.1 - 256 - T4        :   1200 ( 161,  854,  185),  49.0 :     -8,    3,    0.2
   Dragon 2.5.1 - 1024 - T4       :   1200 ( 149,  877,  174),  49.0 :     -7,    3,    0.5
   Dragon 2.5.1 - 512 - T4        :   1200 ( 151,  861,  188),  48.5 :     -4,    3,    5.5
   Dragon 2.5.1 - 2048 - T4       :   1200 ( 178,  849,  173),  50.2 :     -4,    3,    6.2
   Dragon 2.5.1 - 128 - T4        :   1200 ( 160,  866,  174),  49.4 :     -4,    3,    8.4
   Dragon 2.5.1 - 16 - T4         :   1200 ( 196,  857,  147),  52.0 :    +13,    3,  100.0

7) Dragon 2.5.1 - 16 - T4   2985 :   7200 (+876,=5100,-1224),  47.6 %

   vs.                            :  games (   +,    =,    -),   (%) :   Diff,   SD, CFS (%)
   Dragon 2.5.1 - 256 - T4        :   1200 ( 130,  871,  199),  47.1 :    -21,    3,    0.0
   Dragon 2.5.1 - 1024 - T4       :   1200 ( 155,  842,  203),  48.0 :    -20,    3,    0.0
   Dragon 2.5.1 - 512 - T4        :   1200 ( 154,  853,  193),  48.4 :    -18,    3,    0.0
   Dragon 2.5.1 - 2048 - T4       :   1200 ( 148,  830,  222),  46.9 :    -18,    3,    0.0
   Dragon 2.5.1 - 128 - T4        :   1200 ( 142,  847,  211),  47.1 :    -17,    3,    0.0
   Dragon 2.5.1 - 64 - T4         :   1200 ( 147,  857,  196),  48.0 :    -13,    3,    0.0


Games        : 25.200 (finished)

White Wins   :  6.378 (25.3 %)
Black Wins   :    828  (3.3 %)
Draws        : 17.994 (71.4 %)

White Score  : 61.0 %
Black Score  : 39.0 %
dkappe
Posts: 1620
Joined: Tue Aug 21, 2018 7:52 pm
Full name: Dietrich Kappe

Re: Hash experiment - Komodo Dragon 2.5.1

Post by dkappe »

I’d take two hash sizes — minimal and maximal — and increase time and threads until you see a dramatic difference. I think your hypothesis is correct, but your experiments may not be testing it properly.
Fat Titz by Stockfish, the engine with the bodaciously big net. Remember: size matters. If you want to learn more about this engine just google for "Fat Titz".
Jouni
Posts: 3229
Joined: Wed Mar 08, 2006 8:15 pm

Re: Hash experiment - Komodo Dragon 2.5.1

Post by Jouni »

Thanks! Also for Dragon and single 64 MB is enough. And for 4 th you need 4*64 MB.
Jouni