SF classic vs NNUE in ARASAN suite

Discussion of anything and everything relating to chess playing software and machines.

Moderator: Ras

Jouni
Posts: 3817
Joined: Wed Mar 08, 2006 8:15 pm
Full name: Jouni Uski

SF classic vs NNUE in ARASAN suite

Post by Jouni »

Single thread and 30s limit with 12.8. exe and net:
  • classic NNUE
    0:00:01 0:00:00
    0:00:01 0:00:01
    0:00:04 0:00:02
    0:00:05 0:00:03
    0:00:07 0:00:00
    0:00:30 0:00:28
    0:00:01 0:00:00
    0:00:30 0:00:20
    0:00:30 0:00:31
    0:00:30 0:00:19
    0:00:02 0:00:00
    0:00:00 0:00:06
    0:00:09 0:00:30
    0:00:04 0:00:17
    0:00:02 0:00:01
    0:00:29 0:00:00
    0:00:00 0:00:00
    0:00:04 0:00:30
    0:00:05 0:00:00
    0:00:07 0:00:30
    0:00:08 0:00:30
    0:00:02 0:00:13
    0:00:07 0:00:15
    0:00:02 0:00:01
    0:00:01 0:00:02
    0:00:00 0:00:02
    0:00:30 0:00:30
    0:00:03 0:00:00
    0:00:00 0:00:00
    0:00:01 0:00:00
    0:00:00 0:00:00
    0:00:04 0:00:30
    0:00:02 0:00:01
    0:00:30 0:00:30
    0:00:00 0:00:13
    0:00:00 0:00:00
    0:00:30 0:00:30
    0:00:05 0:00:30
    0:00:05 0:00:02
    0:00:00 0:00:30
    0:00:30 0:00:30
    0:00:30 0:00:30
    0:00:18 0:00:05
    0:00:09 0:00:30
    0:00:00 0:00:01
    0:00:01 0:00:13
    0:00:00 0:00:01
    0:00:00 0:00:02
    0:00:00 0:00:05
    0:00:01 0:00:00
    0:00:01 0:00:06
    0:00:30 0:00:30
    0:00:30 0:00:18
    0:00:02 0:00:05
    0:00:01 0:00:00
    0:00:00 0:00:00
    0:00:00 0:00:00
    0:00:15 0:00:01
    0:00:30 0:00:12
    0:00:01 0:00:30
    0:00:30 0:00:30
    0:00:07 0:00:24
    0:00:01 0:00:01
    0:00:01 0:00:02
    0:00:01 0:00:30
    0:00:01 0:00:06
    0:00:00 0:00:00
    0:00:04 0:00:04
    0:00:15 0:00:01
    0:00:02 0:00:20
    0:00:30 0:00:30
    0:00:00 0:00:01
    0:00:00 0:00:03
    0:00:19 0:00:08
    0:00:30 0:00:03
    0:00:06 0:00:01
    0:00:30 0:00:03
    0:00:02 0:00:00
    0:00:01 0:00:00
    0:00:30 0:00:06
    0:00:00 0:00:07
    0:00:08 0:00:12
    0:00:00 0:00:00
    0:00:05 0:00:00
    0:00:11 0:00:01
    0:00:01 0:00:01
    0:00:01 0:00:30
    0:00:07 0:00:01
    0:00:01 0:00:01
    0:00:01 0:00:00
    0:00:30 0:00:30
    0:00:02 0:00:29
    0:00:06 0:00:06
    0:00:03 0:00:07
    0:00:01 0:00:03
    0:00:30 0:00:30
    0:00:01 0:00:02
    0:00:02 0:00:00
    0:00:30 0:00:18
    0:00:03 0:00:01
    0:00:03 0:00:03
    0:00:01 0:00:01
    0:00:12 0:00:02
    0:00:30 0:00:30
    0:00:01 0:00:01
    0:00:30 0:00:01
    0:00:02 0:00:21
    0:00:01 0:00:01
    0:00:12 0:00:30
    0:00:01 0:00:03
    0:00:00 0:00:02
    0:00:23 0:00:09
    0:00:01 0:00:01
    0:00:04 0:00:00
    0:00:02 0:00:00
    0:00:30 0:00:30
    0:00:11 0:00:30
    0:00:30 0:00:10
    0:00:01 0:00:00
    0:00:30 0:00:06
    0:00:01 0:00:02
    0:00:30 0:00:30
    0:00:02 0:00:01
    0:00:30 0:00:30
    0:00:00 0:00:00
    0:00:03 0:00:03
    0:00:00 0:00:05
    0:00:22 0:00:30
    0:00:03 0:00:30
    0:00:13 0:00:00
    0:00:01 0:00:01
    0:00:30 0:00:30
    0:00:01 0:00:01
    0:00:07 0:00:30
    0:00:23 0:00:00
    0:00:01 0:00:01
    0:00:30 0:00:30
    0:00:01 0:00:02
    0:00:02 0:00:02
    0:00:01 0:00:08
    0:00:03 0:00:01
    0:00:31 0:00:00
    0:00:02 0:00:04
    0:00:01 0:00:01
    0:00:01 0:00:10
    0:00:30 0:00:30
    0:00:03 0:00:06
    0:00:03 0:00:06
    0:00:00 0:00:00
    0:00:01 0:00:01
    0:00:00 0:00:10
    0:00:05 0:00:29
    0:00:01 0:00:30
    0:00:28 0:00:17
    0:00:30 0:00:30
    0:00:30 0:00:27
    0:00:30 0:00:10
    0:00:30 0:00:30
    0:00:30 0:00:30
    0:00:04 0:00:08
    0:00:21 0:00:30
    0:00:00 0:00:00
    0:00:00 0:00:00
    0:00:01 0:00:14
    0:00:26 0:00:30
    0:00:01 0:00:02
    0:00:01 0:00:02
    0:00:03 0:00:05
    0:00:30 0:00:01
    0:00:00 0:00:00
    0:00:02 0:00:01
    0:00:03 0:00:14
    0:00:07 0:00:30
    0:00:20 0:00:18
    0:00:15 0:00:09
    0:00:02 0:00:01
    0:00:03 0:00:04
    0:00:04 0:00:07
    0:00:30 0:00:30
    0:00:10 0:00:00
    0:00:30 0:00:02
    0:00:00 0:00:01
    0:00:00 0:00:01
    0:00:30 0:00:30
    0:00:01 0:00:04
    0:00:02 0:00:04
    0:00:05 0:00:14
    0:00:10 0:00:30
    0:00:30 0:00:30
    0:00:30 0:00:05
    0:00:00 0:00:14
    0:00:20 0:00:30
    0:00:01 0:00:01
    0:00:30 0:00:30
    0:00:00 0:00:00
    0:00:02 0:00:01
    0:00:01 0:00:30
    0:00:02 0:00:06
    0:00:05 0:00:21
    0:00:30 0:00:30

    157 152

    0:33:04 0:37:15
Classic is better here.
Jouni
Top
User avatar
Ajedrecista
Posts: 2192
Joined: Wed Jul 13, 2011 9:04 pm
Location: Madrid, Spain.

Re: SF classic vs NNUE in ARASAN suite.

Post by Ajedrecista »

Hello Jouni:
Jouni wrote: ↑Mon Aug 17, 2020 7:41 pm Single thread and 30s limit with 12.8. exe and net:

Code: Select all

classic  NNUE
0:00:01	0:00:00
0:00:01	0:00:01
0:00:04	0:00:02
0:00:05	0:00:03
0:00:07	0:00:00
0:00:30	0:00:28
0:00:01	0:00:00
0:00:30	0:00:20
0:00:30	0:00:31
0:00:30	0:00:19
0:00:02	0:00:00
0:00:00	0:00:06
0:00:09	0:00:30
0:00:04	0:00:17
0:00:02	0:00:01
0:00:29	0:00:00
0:00:00	0:00:00
0:00:04	0:00:30
0:00:05	0:00:00
0:00:07	0:00:30
0:00:08	0:00:30
0:00:02	0:00:13
0:00:07	0:00:15
0:00:02	0:00:01
0:00:01	0:00:02
0:00:00	0:00:02
0:00:30	0:00:30
0:00:03	0:00:00
0:00:00	0:00:00
0:00:01	0:00:00
0:00:00	0:00:00
0:00:04	0:00:30
0:00:02	0:00:01
0:00:30	0:00:30
0:00:00	0:00:13
0:00:00	0:00:00
0:00:30	0:00:30
0:00:05	0:00:30
0:00:05	0:00:02
0:00:00	0:00:30
0:00:30	0:00:30
0:00:30	0:00:30
0:00:18	0:00:05
0:00:09	0:00:30
0:00:00	0:00:01
0:00:01	0:00:13
0:00:00	0:00:01
0:00:00	0:00:02
0:00:00	0:00:05
0:00:01	0:00:00
0:00:01	0:00:06
0:00:30	0:00:30
0:00:30	0:00:18
0:00:02	0:00:05
0:00:01	0:00:00
0:00:00	0:00:00
0:00:00	0:00:00
0:00:15	0:00:01
0:00:30	0:00:12
0:00:01	0:00:30
0:00:30	0:00:30
0:00:07	0:00:24
0:00:01	0:00:01
0:00:01	0:00:02
0:00:01	0:00:30
0:00:01	0:00:06
0:00:00	0:00:00
0:00:04	0:00:04
0:00:15	0:00:01
0:00:02	0:00:20
0:00:30	0:00:30
0:00:00	0:00:01
0:00:00	0:00:03
0:00:19	0:00:08
0:00:30	0:00:03
0:00:06	0:00:01
0:00:30	0:00:03
0:00:02	0:00:00
0:00:01	0:00:00
0:00:30	0:00:06
0:00:00	0:00:07
0:00:08	0:00:12
0:00:00	0:00:00
0:00:05	0:00:00
0:00:11	0:00:01
0:00:01	0:00:01
0:00:01	0:00:30
0:00:07	0:00:01
0:00:01	0:00:01
0:00:01	0:00:00
0:00:30	0:00:30
0:00:02	0:00:29
0:00:06	0:00:06
0:00:03	0:00:07
0:00:01	0:00:03
0:00:30	0:00:30
0:00:01	0:00:02
0:00:02	0:00:00
0:00:30	0:00:18
0:00:03	0:00:01
0:00:03	0:00:03
0:00:01	0:00:01
0:00:12	0:00:02
0:00:30	0:00:30
0:00:01	0:00:01
0:00:30	0:00:01
0:00:02	0:00:21
0:00:01	0:00:01
0:00:12	0:00:30
0:00:01	0:00:03
0:00:00	0:00:02
0:00:23	0:00:09
0:00:01	0:00:01
0:00:04	0:00:00
0:00:02	0:00:00
0:00:30	0:00:30
0:00:11	0:00:30
0:00:30	0:00:10
0:00:01	0:00:00
0:00:30	0:00:06
0:00:01	0:00:02
0:00:30	0:00:30
0:00:02	0:00:01
0:00:30	0:00:30
0:00:00	0:00:00
0:00:03	0:00:03
0:00:00	0:00:05
0:00:22	0:00:30
0:00:03	0:00:30
0:00:13	0:00:00
0:00:01	0:00:01
0:00:30	0:00:30
0:00:01	0:00:01
0:00:07	0:00:30
0:00:23	0:00:00
0:00:01	0:00:01
0:00:30	0:00:30
0:00:01	0:00:02
0:00:02	0:00:02
0:00:01	0:00:08
0:00:03	0:00:01
0:00:31	0:00:00
0:00:02	0:00:04
0:00:01	0:00:01
0:00:01	0:00:10
0:00:30	0:00:30
0:00:03	0:00:06
0:00:03	0:00:06
0:00:00	0:00:00
0:00:01	0:00:01
0:00:00	0:00:10
0:00:05	0:00:29
0:00:01	0:00:30
0:00:28	0:00:17
0:00:30	0:00:30
0:00:30	0:00:27
0:00:30	0:00:10
0:00:30	0:00:30
0:00:30	0:00:30
0:00:04	0:00:08
0:00:21	0:00:30
0:00:00	0:00:00
0:00:00	0:00:00
0:00:01	0:00:14
0:00:26	0:00:30
0:00:01	0:00:02
0:00:01	0:00:02
0:00:03	0:00:05
0:00:30	0:00:01
0:00:00	0:00:00
0:00:02	0:00:01
0:00:03	0:00:14
0:00:07	0:00:30
0:00:20	0:00:18
0:00:15	0:00:09
0:00:02	0:00:01
0:00:03	0:00:04
0:00:04	0:00:07
0:00:30	0:00:30
0:00:10	0:00:00
0:00:30	0:00:02
0:00:00	0:00:01
0:00:00	0:00:01
0:00:30	0:00:30
0:00:01	0:00:04
0:00:02	0:00:04
0:00:05	0:00:14
0:00:10	0:00:30
0:00:30	0:00:30
0:00:30	0:00:05
0:00:00	0:00:14
0:00:20	0:00:30
0:00:01	0:00:01
0:00:30	0:00:30
0:00:00	0:00:00
0:00:02 	0:00:01
0:00:01	0:00:30
0:00:02 	0:00:06
0:00:05	0:00:21
0:00:30	0:00:30
	
  157	     152
  
0:33:04	0:37:15
Classic is better here.
Thank you for the test. There are two 0:00:31 cases (#142 in classic and #9 in NNUE), so if I count solved positions as time < 30 seconds, I get 156/200 and 151/200, respectively (one less for each engine, surely due to the 0:00:31 cases).

I have done a little of work on your data with Excel:

Code: Select all

======================================================
#	t(C)	t(N)	t(C) - t(N)	Status
======================================================
001	1	0	1		NNUE better
002	1	1	0		Equally solved
003	4	2	2		NNUE better
004	5	3	2		NNUE better
005	7	0	7		NNUE better
006	30	28	Only NNUE	Only NNUE
007	1	0	1		NNUE better
008	30	20	Only NNUE	Only NNUE
009	30	31	None		None
010	30	19	Only NNUE	Only NNUE
011	2	0	2		NNUE better
012	0	6	-6		Classic better
013	9	30	Only Classic	Only Classic
014	4	17	-13		Classic better
015	2	1	1		NNUE better
016	29	0	29		NNUE better
017	0	0	0		Equally solved
018	4	30	Only Classic	Only Classic
019	5	0	5		NNUE better
020	7	30	Only Classic	Only Classic
021	8	30	Only Classic	Only Classic
022	2	13	-11		Classic better
023	7	15	-8		Classic better
024	2	1	1		NNUE better
025	1	2	-1		Classic better
026	0	2	-2		Classic better
027	30	30	None		None
028	3	0	3		NNUE better
029	0	0	0		Equally solved
030	1	0	1		NNUE better
031	0	0	0		Equally solved
032	4	30	Only Classic	Only Classic
033	2	1	1		NNUE better
034	30	30	None		None
035	0	13	-13		Classic better
036	0	0	0		Equally solved
037	30	30	None		None
038	5	30	Only Classic	Only Classic
039	5	2	3		NNUE better
040	0	30	Only Classic	Only Classic
041	30	30	None		None
042	30	30	None		None
043	18	5	13		NNUE better
044	9	30	Only Classic	Only Classic
045	0	1	-1		Classic better
046	1	13	-12		Classic better
047	0	1	-1		Classic better
048	0	2	-2		Classic better
049	0	5	-5		Classic better
050	1	0	1		NNUE better
051	1	6	-5		Classic better
052	30	30	None		None
053	30	18	Only NNUE	Only NNUE
054	2	5	-3		Classic better
055	1	0	1		NNUE better
056	0	0	0		Equally solved
057	0	0	0		Equally solved
058	15	1	14		NNUE better
059	30	12	Only NNUE	Only NNUE
060	1	30	Only Classic	Only Classic
061	30	30	None		None
062	7	24	-17		Classic better
063	1	1	0		Equally solved
064	1	2	-1		Classic better
065	1	30	Only Classic	Only Classic
066	1	6	-5		Classic better
067	0	0	0		Equally solved
068	4	4	0		Equally solved
069	15	1	14		NNUE better
070	2	20	-18		Classic better
071	30	30	None		None
072	0	1	-1		Classic better
073	0	3	-3		Classic better
074	19	8	11		NNUE better
075	30	3	Only NNUE	Only NNUE
076	6	1	5		NNUE better
077	30	3	Only NNUE	Only NNUE
078	2	0	2		NNUE better
079	1	0	1		NNUE better
080	30	6	Only NNUE	Only NNUE
081	0	7	-7		Classic better
082	8	12	-4		Classic better
083	0	0	0		Equally solved
084	5	0	5		NNUE better
085	11	1	10		NNUE better
086	1	1	0		Equally solved
087	1	30	Only Classic	Only Classic
088	7	1	6		NNUE better
089	1	1	0		Equally solved
090	1	0	1		NNUE better
091	30	30	None		None
092	2	29	-27		Classic better
093	6	6	0		Equally solved
094	3	7	-4		Classic better
095	1	3	-2		Classic better
096	30	30	None		None
097	1	2	-1		Classic better
098	2	0	2		NNUE better
099	30	18	Only NNUE	Only NNUE
100	3	1	2		NNUE better
101	3	3	0		Equally solved
102	1	1	0		Equally solved
103	12	2	10		NNUE better
104	30	30	None		None
105	1	1	0		Equally solved
106	30	1	Only NNUE	Only NNUE
107	2	21	-19		Classic better
108	1	1	0		Equally solved
109	12	30	Only Classic	Only Classic
110	1	3	-2		Classic better
111	0	2	-2		Classic better
112	23	9	14		NNUE better
113	1	1	0		Equally solved
114	4	0	4		NNUE better
115	2	0	2		NNUE better
116	30	30	None		None
117	11	30	Only Classic	Only Classic
118	30	10	Only NNUE	Only NNUE
119	1	0	1		NNUE better
120	30	6	Only NNUE	Only NNUE
121	1	2	-1		Classic better
122	30	30	None		None
123	2	1	1		NNUE better
124	30	30	None		None
125	0	0	0		Equally solved
126	3	3	0		Equally solved
127	0	5	-5		Classic better
128	22	30	Only Classic	Only Classic
129	3	30	Only Classic	Only Classic
130	13	0	13		NNUE better
131	1	1	0		Equally solved
132	30	30	None		None
133	1	1	0		Equally solved
134	7	30	Only Classic	Only Classic
135	23	0	23		NNUE better
136	1	1	0		Equally solved
137	30	30	None		None
138	1	2	-1		Classic better
139	2	2	0		Equally solved
140	1	8	-7		Classic better
141	3	1	2		NNUE better
142	31	0	Only NNUE	Only NNUE
143	2	4	-2		Classic better
144	1	1	0		Equally solved
145	1	10	-9		Classic better
146	30	30	None		None
147	3	6	-3		Classic better
148	3	6	-3		Classic better
149	0	0	0		Equally solved
150	1	1	0		Equally solved
151	0	10	-10		Classic better
152	5	29	-24		Classic better
153	1	30	Only Classic	Only Classic
154	28	17	11		NNUE better
155	30	30	None		None
156	30	27	Only NNUE	Only NNUE
157	30	10	Only NNUE	Only NNUE
158	30	30	None		None
159	30	30	None		None
160	4	8	-4		Classic better
161	21	30	Only Classic	Only Classic
162	0	0	0		Equally solved
163	0	0	0		Equally solved
164	1	14	-13		Classic better
165	26	30	Only Classic	Only Classic
166	1	2	-1		Classic better
167	1	2	-1		Classic better
168	3	5	-2		Classic better
169	30	1	Only NNUE	Only NNUE
170	0	0	0		Equally solved
171	2	1	1		NNUE better
172	3	14	-11		Classic better
173	7	30	Only Classic	Only Classic
174	20	18	2		NNUE better
175	15	9	6		NNUE better
176	2	1	1		NNUE better
177	3	4	-1		Classic better
178	4	7	-3		Classic better
179	30	30	None		None
180	10	0	10		NNUE better
181	30	2	Only NNUE	Only NNUE
182	0	1	-1		Classic better
183	0	1	-1		Classic better
184	30	30	None		None
185	1	4	-3		Classic better
186	2	4	-2		Classic better
187	5	14	-9		Classic better
188	10	30	Only Classic	Only Classic
189	30	30	None		None
190	30	5	Only NNUE	Only NNUE
191	0	14	-14		Classic better
192	20	30	Only Classic	Only Classic
193	1	1	0		Equally solved
194	30	30	None		None
195	0	0	0		Equally solved
196	2	1	1		NNUE better
197	1	30	Only Classic	Only Classic
198	2	6	-4		Classic better
199	5	21	-16		Classic better
200	30	30	None		None

Code: Select all

Statistics of solved positions:


===============================================
Statistic		Classic		NNUE	
===============================================
Amount			156		151
Sample mean := <t>	4.22		5.01
Sample st.dev. := s	6.13		6.83
Median			2		2
Mode			1 (x43)		0 (x36)

Code: Select all

=====================================================================================================================================
TIMES OF SOLVING		n	Perc.		Comment
=====================================================================================================================================
Only Classic			23	11.5 %		Classic better [<t> ~ 8.26; s ~ 7.51; median = 7; mode = 1 (x5)]
t(Classic) < t(NNUE)		55	27.5 %		Classic better
t(Classic) = t(NNUE)		33	16.5 %		Equally solved
t(Classic) > t(NNUE)		45	22.5 %		NNUE better
Only NNUE			18	 9.0 %		NNUE better [<t> = 10.5; s ~ 9.08; median = 8; mode = {1, 3, 6, 10, 18} (x2)]
None				26	13.0 %		Both unsolved
I hope no typos.

Regards from Spain.

Ajedrecista.
Top
Jouni
Posts: 3817
Joined: Wed Mar 08, 2006 8:15 pm
Full name: Jouni Uski

Re: SF classic vs NNUE in ARASAN suite

Post by Jouni »

Yes Fritz GUI allows 31s with 30s limit. Thanks for statistics.
Jouni
Top
Jouni
Posts: 3817
Joined: Wed Mar 08, 2006 8:15 pm
Full name: Jouni Uski

Re: SF classic vs NNUE in ARASAN suite

Post by Jouni »

Latest net (1035) scores only 145 in same test.
Jouni
Top

Return to “Computer Chess Club: General Topics”