Backtest no reproducible: 5 puntos que revisar

«Las estadísticas publicadas no coinciden con el backtest que hice yo mismo». Es una de las consultas más frecuentes que recibimos sobre los EA que distribuimos.

Primero, la conclusión: aunque pruebes el mismo EA en el mismo periodo, si el entorno difiere en un solo punto, el resultado cambia. En la mayoría de los casos la causa no está en el EA, sino en las condiciones de quien ejecuta la prueba. El orden en que conviene sospechar es, más o menos, este:

1. Hora del servidor y zona horaria
2. Especificaciones del símbolo
3. Swap
4. Datos históricos
5. Modelo de ticks (método de generación de ticks)

Eso sí, igualar los cinco puntos no garantiza una coincidencia exacta. Lo explicamos con honestidad en la sección «Límites» más abajo.

Por qué cambia el resultado incluso con «el mismo EA»

Un EA es una máquina que decide a partir de los precios y la información del símbolo que recibe. Si la entrada difiere aunque sea un poco, el momento de entrada se desplaza. Cuando se desplaza la primera operación, el capital, el lote y la situación de las posiciones posteriores cambian en cadena, y en pruebas de varios años el resultado final puede verse muy distinto.

Es más fácil entenderlo así: la reproducibilidad es un problema en el que una pequeña diferencia en un solo punto se amplifica con el tiempo.

Los 5 puntos que conviene revisar

1. Hora del servidor y zona horaria

La hora de MT5 no es la del reloj de tu ordenador, sino la hora del servidor del broker. Esta varía según el broker: algunos cambian con el horario de verano y otros no.

Los EA más afectados son los siguientes:

• EA con filtros horarios, como «solo sesión de Tokio» o «excluir la sesión de Nueva York»
• EA que toman como referencia la apertura, el máximo y el mínimo de la vela diaria (la hora de corte de la vela diaria difiere según el broker)
• EA con un tratamiento especial a la apertura semanal o antes del cierre del viernes

En los brokers que generan una vela diaria corta el domingo, cambia incluso el número de velas diarias. En un EA de breakout basado en velas diarias, solo esto ya puede producir un resultado completamente distinto.

2. Especificaciones del símbolo

Aunque se llamen igual, por ejemplo «XAUUSD», el contenido no tiene por qué ser el mismo. Revisa los siguientes elementos en la ventana de especificaciones:

• Dígitos (decimales) y tamaño del punto
• Tamaño del contrato
• Lote mínimo y paso de lote
• Nivel de stop (distancia mínima a la que se pueden colocar órdenes pendientes y stops)
• Método de cálculo del margen

Si los dígitos difieren, un stop loss indicado en «puntos» puede acabar teniendo en la práctica una distancia 10 veces distinta. En brokers con un nivel de stop amplio, incluso puede ocurrir que las órdenes con stop loss ajustado ni siquiera se acepten.

3. Swap

El probador de MT5 calcula aplicando a todo el periodo el valor de swap de la configuración del símbolo en el momento de ejecutar la prueba. No refleja la evolución real del swap en el pasado. Por eso, incluso con el mismo broker, el resultado puede cambiar si pruebas en otro día.

• Cuanto más tiempo mantiene posiciones el EA, mayor es el impacto
• El día de la semana en que se cobra el swap triple varía según el broker
• En las cuentas sin swap (swap-free) puede aplicarse otra comisión en su lugar

En EA que mantienen posiciones durante varios días, la diferencia de swap puede notarse con claridad en la diferencia de beneficios y pérdidas.

4. Datos históricos

Los datos de precios que usa el probador se descargan del servidor del broker al que estás conectado. Cada broker tiene un inicio de datos, huecos y una densidad de ticks distintos.

• Los datos del principio del periodo de prueba no están completos
• La descarga está a medias y el resultado cambia en la segunda prueba
• Incluso con el mismo broker, una actualización de datos en el servidor puede cambiar el resultado más tarde

Conviene revisar siempre en la pestaña de registro (Journal) si aparecen mensajes de «sincronización de datos» o «huecos en el historial».

5. Modelo de ticks

El resultado de un mismo EA cambia por completo según elijas «Solo precios de apertura», «OHLC de 1 minuto», «Todos los ticks» o «Todos los ticks basados en ticks reales». Cuanto más cercanos estén el stop loss y el take profit, más sensible es el EA a cómo se generan los ticks.

Revisa también estos dos elementos:

• Configuración del spread: si eliges «spread actual», se fija el spread de la franja horaria en que ejecutas la prueba. Si lo haces en fin de semana o de madrugada, puedes acabar probando con un spread amplio
• Configuración del retraso de ejecución: con o sin retraso, los EA de operativa a corto plazo dan resultados distintos

Lista de comprobación de reproducibilidad

Al comparar con las estadísticas publicadas, es más fácil acotar la causa si rellenas la siguiente tabla de arriba abajo.

El último punto, «parámetros de entrada», se pasa por alto con sorprendente frecuencia. Comprueba cada vez que no se han quedado valores modificados en la prueba anterior.

Si tienes dudas sobre la configuración básica de MT5, lo más rápido es repasar desde el principio los pasos de configuración de MT5.

Límites y advertencias

Aquí viene la parte incómoda.

• Aunque iguales los cinco puntos, con los datos de otro broker puede que no coincida exactamente. Se debe a que los propios ticks difieren según el broker, y esto no lo puede resolver quien ejecuta la prueba
• Las cifras de backtest que publicamos también se midieron con los datos de un broker concreto y de un momento concreto. No garantizamos que en tu entorno salgan los mismos números
• Hay casos en los que no se puede aislar con exactitud qué diferencia pesa cuánto. Si aparece una diferencia, la única forma es cambiar los elementos de uno en uno y repetir la prueba
• Incluso cuando el backtest coincide, no es más que una verificación con datos pasados. No promete resultados futuros

Dicho al revés, un EA cuyo resultado no se desmorona al cambiar de broker es más fiable. Probar en varios brokers y comparar da trabajo, pero es una forma de verificación eficaz. Las diferencias de especificaciones entre brokers están recogidas en la comparativa de brokers FX.

Resumen

• Aunque el EA y el periodo sean los mismos, el resultado se desvía por diferencias de entorno. La causa suele estar en las condiciones de prueba y no en el propio EA
• El orden para sospechar es: «hora del servidor, especificaciones del símbolo, swap, historial y modelo de ticks»
• Atención: del swap se usa «el valor en el momento de la prueba» para todo el periodo
• También es fácil pasar por alto la configuración del spread, el retraso y los parámetros de entrada que quedaron de antes
• Aunque lo igualemos todo, con un broker distinto puede que no haya coincidencia exacta
• Que el resultado resista o no un cambio de broker es un criterio útil al elegir un EA

Más métodos de verificación están reunidos en Conocimientos sobre EA y MT5.