Idea to improve NCM Stockfish testing

[Jouni]

https://nextchessmove.com/dev-builds

last test with non-functional change gives -7 ELO, not so informative . How about counting moving average? I count it for 7 successive test runs (new tests) and got:

156,4 (18.2.2018)
155,4
155,7
156,4
154,8
154,5
154,7
154,1
153,9
153,4
152,6
153,1
153,2
152,6
152,2
151,8
151,5
151,2
149,1
146,2
144,1
142,1
139,2
136,1
133,6
132,8
131,7
129,8
129,6
129,1
128,5
126,9
124,9
123,8
122,6 (3.11.2017)

Now with 70 000 games each no more sudden regression!

[Jouni]

Update until version 20180227-0706:

154,7
153,9
153,7
153,3
153,3
153,6
153,6
153,8
154,6
154,4
154,7
154,2
153,6
153,5
154,6
154,5
154,4
154,5
155,0
155,7
156,4
154,8
154,5
154,7
154,1
153,9
153,4
152,6
153,1
153,2
152,6
152,2
151,8
151,5
151,2
149,1
146,2
144,1
142,1
139,2

Seems that progress is now stalled at +154 meaning +3 to SF9 even after 10+ patches!