Test at fixed depth

[Alpha-Team]

Hi to all,
I have a question to ask at experts of tests between chess engines:
Are reliable tests doing the play two chess engine at fixed depth?
They can be useful to determinates the real strength of a chess engine?
Saludos

[shrapnel]

Did you use Google Translator to write this post ?
Just curious....

[Alpha-Team]

Did you use Google Translator to write this post ?
Just curious....

Unfortunately yes. Is unclear the question?

[Ozymandias]

The first one more than the second, but in any case, fixed depth leaves out time management, which is an important aspect of an engine's strength. In that sense, it can't be used to determine "the real strength of a chess engine".

Also, take into account that different engines, take more or less time, to reach the same depth.

[Ajedrecista]

Hello Alejandro:

Hi to all,
I have a question to ask at experts of tests between chess engines:
Are reliable tests doing the play two chess engine at fixed depth?
They can be useful to determinates the real strength of a chess engine?
Saludos

I am not an expert but I can say that different engines count nodes in different ways and the same applies with depth. The only use I see with tests at fixed depth is trying to measure Elo gains (but there are also uncertainties: more games ---> less error) of a certain engine and thus trying to estimate a law for diminishing returns. You can search 'diminishing returns' in TalkChess and you are going to find several examples (I did one a few years ago).

Just in case you have doubts with English language, I will write in Spanish (but an answer in English was needed for not being impolite with the rest of people).

------------

Hola Alejandro:

Escribo también en español/castellano (como prefieras) por si así lo entiendes mejor, pero era necesario que escribiese en inglés para no ser mal educado con el resto de gente.

No soy un experto probando programas pero puedo decirte que cada programa cuenta los nodos de manera diferente y lo mismo pasa con la profundidad nominal de búsqueda. La única utilidad que veo en este tipo de pruebas es intentar medir la ganancia en Elo de un determinado programa (es decir, enfrentar el programa X a una profundidad P contra el mismo programa X (no otro por lo que he escrito anteriormente) a una profundidad distinta de P). Cuantas más partidas se jueguen mejor pues los errores serán menores (en primera aproximación el error es inversamente proporcional a la raíz cuadrada del número de partidas) pero también lleva más tiempo, así que hay que encontrar un compromiso entre las dos cosas... depende de cada persona. Este tipo de pruebas serviría para intentar estimar cuánto Elo se gana con cada profundidad de más, que cada vez va a ser menor (ley de los rendimientos decrecientes). Recomiendo la búsqueda "diminishing returns" en inglés (para que obtengas resultados) en TalkChess: hay varios ejemplos. Yo mismo hice una prueba así hace unos pocos años.

Espero que te sirva mi respuesta.

Un saludo.

------------

Regards from Spain.

Ajedrecista.

[Alpha-Team]

Hello Alejandro:

Hi to all,
I have a question to ask at experts of tests between chess engines:
Are reliable tests doing the play two chess engine at fixed depth?
They can be useful to determinates the real strength of a chess engine?
Saludos

I am not an expert but I can say that different engines count nodes in different ways and the same applies with depth. The only use I see with tests at fixed depth is trying to measure Elo gains (but there are also uncertainties: more games ---> less error) of a certain engine and thus trying to estimate a law for diminishing returns. You can search 'diminishing returns' in TalkChess and you are going to find several examples (I did one a few years ago).

Just in case you have doubts with English language, I will write in Spanish (but an answer in English was needed for not being impolite with the rest of people).

------------

Hola Alejandro:

Escribo también en español/castellano (como prefieras) por si así lo entiendes mejor, pero era necesario que escribiese en inglés para no ser mal educado con el resto de gente.

No soy un experto probando programas pero puedo decirte que cada programa cuenta los nodos de manera diferente y lo mismo pasa con la profundidad nominal de búsqueda. La única utilidad que veo en este tipo de pruebas es intentar medir la ganancia en Elo de un determinado programa (es decir, enfrentar el programa X a una profundidad P contra el mismo programa X (no otro por lo que he escrito anteriormente) a una profundidad distinta de P). Cuantas más partidas se jueguen mejor pues los errores serán menores (en primera aproximación el error es inversamente proporcional a la raíz cuadrada del número de partidas) pero también lleva más tiempo, así que hay que encontrar un compromiso entre las dos cosas... depende de cada persona. Este tipo de pruebas serviría para intentar estimar cuánto Elo se gana con cada profundidad de más, que cada vez va a ser menor (ley de los rendimientos decrecientes). Recomiendo la búsqueda "diminishing returns" en inglés (para que obtengas resultados) en TalkChess: hay varios ejemplos. Yo mismo hice una prueba así hace unos pocos años.

Espero que te sirva mi respuesta.

Un saludo.

------------

Regards from Spain.

Ajedrecista.

Thank you very much for your response and your availability.
(Muchas gracias por tu respuesta y por tu disponibilidad...)
Saludos