[61] No confíes en un backtest con pocas operaciones

Por qué no debes confiar en un backtest con pocas operaciones

Al revisar el backtest de un EA, la mayoría mira primero el factor de beneficio o la rentabilidad anual. Pero lo que realmente decide si esa cifra merece confianza es el número de operaciones. Si las operaciones son pocas, por muy vistoso que sea el factor de beneficio, puede tratarse de pura casualidad.

Con PF 5.56 pero solo 28 operaciones, puede ser suerte

Veamos un ejemplo concreto. Un EA de tendencia en D1 (diario) para Bitcoin arrojó estas cifras en una verificación con ticks reales de 8 años.

• Factor de beneficio 5.56
• Drawdown máximo de apenas 3.2%
• 28 operaciones

Un PF de 5.56 es una cifra excelente, y muchos se lanzan a comprar en ese momento. Pero en cuanto se repara en que son solo 28 operaciones en 8 años, la valoración cambia por completo. Si el EA solo opera 3 o 4 veces al año, basta con que unas pocas hayan sido grandes ganadoras para que el resultado global parezca espectacular. ¿Y si 3 de esas 28 operaciones fueron aciertos puramente casuales? Al excluirlas, la ventaja estadística podría desaparecer.

En cambio, un EA de tendencia para USDJPY registró 631 operaciones en 9.4 años, con un factor de beneficio de 1.50 y una tasa de acierto del 34.5%. El PF es discreto, pero el hecho de tener 631 operaciones sugiere con fuerza que ese 1.50 no es casualidad. Aunque se excluyeran varias de esas 631 operaciones, el resultado apenas cambiaría.

Por qué importa tanto el número de operaciones: el ejemplo de la moneda

Si lanzas una moneda 3 veces y sale cara las 3, ¿puedes concluir que "esta moneda tiende a salir cara"? No. Con una moneda normal, tres caras seguidas ocurren con una probabilidad de 1 entre 8.

Con los EAs pasa lo mismo. Cuando el número de operaciones es bajo, resulta imposible distinguir entre "tuvo la suerte de coincidir con un buen tramo de mercado" y "tiene una ventaja real". A medida que aumenta el número de operaciones, la casualidad deja de poder explicar el resultado y la probabilidad de que la cifra sea genuina crece. En estadística, esto se conoce como el "tamaño de muestra".

Referencia: ¿cuántas operaciones hacen falta para confiar?

No existe un umbral estricto, pero como referencia práctica:

Y algo igual de importante: hay que combinarlo con el periodo de verificación. Si 500 operaciones se concentran en un solo año, el EA solo ha visto una fase de mercado. Solo se puede hablar de robustez cuando esas 500 o más operaciones abarcan varios regímenes de mercado (como Lehman, la pandemia, o las subidas de tipos).

Trucos para ocultar un número bajo de operaciones

Las páginas de venta usan varios recursos para disimular la escasez de operaciones.

• Inflar el beneficio neto con el interés compuesto: cifras como "+5,000%" no se construyen a partir del número de operaciones, sino multiplicando por el efecto compuesto. Con pocas operaciones, el beneficio neto puede parecer enorme.
• Destacar solo el factor de beneficio: como un PF de 5.56 (con 28 operaciones), resaltando el PF sin mencionar el número de operaciones.
• Mostrar solo la rentabilidad anual: la rentabilidad anual es cómoda para ocultar el número de operaciones.

Por eso, al revisar cualquier backtest, busca siempre el número de operaciones. Si no aparece, eso ya es en sí mismo una señal de alerta.

Compruébalo tú mismo

Nuestro EA gratuito (ruptura Donchian de barra cerrada) tiene el código fuente publicado, está verificado con ticks reales y registra 631 operaciones en USDJPY H1. Ejecutando el backtest puedes comprobar con tus propios ojos el número de operaciones, el factor de beneficio y el resultado por años. Sirve como ejemplo real de cómo se ve, estadísticamente, un EA "con muchas operaciones que ha atravesado varias fases de mercado".

Más información sobre Donchian Trend Engine (EA gratuito)

Nuestros productos de pago siguen el mismo criterio: publicamos el número de operaciones, el periodo de verificación y los datos reales de todos los productos. Un producto con solo unas decenas de operaciones no lo incluimos entre los principales, por muy alto que sea su PF.

En resumen

• La fiabilidad de un backtest depende del número de operaciones (tamaño de muestra)
• Un PF de 1.50 con 631 operaciones es más fiable que un PF de 5.56 con 28 operaciones
• Como referencia: más de 500 operaciones y que abarquen varios regímenes de mercado
• El interés compuesto, el PF aislado o la rentabilidad anual se usan para ocultar un número bajo de operaciones
• Desconfía de todo backtest que no indique el número de operaciones

Artículos relacionados: Cómo leer un informe de backtest de MT5 · Por qué el mismo EA da resultados opuestos con ticks reales y con OHLC · Cómo detectar el curve fitting