[57] Por que não confiar em backtests com poucas operações

Por que voce nao deve confiar em backtests com poucas operacoes

Ao analisar o backtest de um EA, a maioria das pessoas olha primeiro para o profit factor ou o retorno anual. Mas o que realmente determina se voce pode confiar nesses numeros e o numero de operacoes. Se o numero de operacoes for baixo, mesmo o profit factor mais impressionante pode ser apenas coincidencia.

Mesmo com PF 5.56, se forem 28 operacoes, pode ser so sorte

Vamos a um exemplo concreto. Um EA de tendencia em D1 (grafico diario) para Bitcoin apresentou os seguintes numeros em uma validacao de 8 anos com ticks reais:

• Profit factor de 5.56
• Drawdown maximo de apenas 3.2%
• 28 operacoes no total

Um PF de 5.56 e um numero excelente. Muita gente se empolga so de ver isso. Mas, no momento em que voce percebe que sao apenas 28 operacoes em 8 anos, a avaliacao muda completamente. Se o EA opera apenas 3 ou 4 vezes por ano, basta que algumas dessas operacoes tenham sido grandes vitorias para que o resultado geral pareca espetacular. E se 3 dessas 28 operacoes tiverem sido vitorias por pura sorte? Removendo essas 3, a vantagem estatistica pode simplesmente desaparecer.

Por outro lado, um EA de tendencia para USDJPY registrou 631 operacoes em 9.4 anos, com profit factor de 1.50 e taxa de acerto de 34.5%. O PF parece modesto, mas o numero de 631 operacoes sugere fortemente que esse 1.50 nao e fruto do acaso. Mesmo removendo algumas operacoes dessas 631, o resultado final quase nao muda.

Por que o numero de operacoes importa tanto — o exemplo da moeda

Se voce jogar uma moeda 3 vezes e sair cara nas 3, pode concluir que "essa moeda tem tendencia a dar cara"? Nao pode. Tres caras seguidas acontecem com probabilidade de 1 em 8, mesmo com uma moeda perfeitamente honesta.

O mesmo vale para EAs. Com poucas operacoes, e impossivel distinguir entre "o EA simplesmente pegou um bom momento de mercado" e "uma vantagem estatistica real". Quanto maior o numero de operacoes, mais dificil fica explicar o resultado pelo acaso, e maior a probabilidade de que o numero seja genuino. Na estatistica, isso e chamado de "tamanho da amostra".

Referencia: quantas operacoes sao necessarias para confiar no resultado

Nao existe um limite exato, mas na pratica, uma boa referencia e:

Mais importante ainda: e essencial olhar isso em conjunto com o periodo de validacao. Se 500 operacoes estiverem concentradas em apenas 1 ano, o EA passou por apenas uma unica fase de mercado. So podemos falar em robustez quando as mais de 500 operacoes atravessam multiplos regimes de mercado, como a crise do Lehman, a pandemia e ciclos de alta de juros.

Truques para esconder um numero baixo de operacoes

Paginas de venda usam varias taticas para disfarcar um numero baixo de operacoes.

• Inflar o lucro liquido com juros compostos: numeros como "+5.000%" sao gerados pela multiplicacao dos juros compostos, nao pelo numero de operacoes. Mesmo com poucas operacoes, o lucro liquido pode parecer gigantesco.
• Destacar apenas o profit factor: como no caso do PF de 5.56 (28 operacoes), o numero de operacoes e omitido e so o PF e enfatizado.
• Mostrar apenas o retorno anual: o retorno anual e uma forma conveniente de esconder o numero de operacoes.

Por isso, sempre que for analisar um backtest, procure o numero de operacoes. Se essa informacao nao estiver visivel, isso ja e, por si so, um sinal de alerta.

Verifique voce mesmo

Nosso EA gratuito (rompimento de Donchian em candle fechado) tem codigo-fonte aberto, foi validado com ticks reais e acumula 631 operacoes registradas em USDJPY H1. Ao rodar o backtest, voce pode conferir com seus proprios olhos o numero de operacoes, o profit factor e o resultado ano a ano. Ele serve como exemplo pratico de como um EA "com muitas operacoes, que atravessou multiplas fases de mercado" se comporta do ponto de vista estatistico.

Detalhes do Donchian Trend Engine (EA gratuito)

Nossos produtos pagos seguem o mesmo criterio: divulgamos publicamente o numero de operacoes, periodo de validacao e dados reais de todos os produtos. Produtos com apenas algumas dezenas de operacoes registradas nao entram no nosso catalogo principal, mesmo que o PF seja alto.

Resumo

• A confiabilidade de um backtest e definida pelo numero de operacoes (tamanho da amostra)
• Um PF de 1.50 com 631 operacoes e mais confiavel do que um PF de 5.56 com apenas 28
• A referencia e ter mais de 500 operacoes, atravessando multiplos regimes de mercado
• Juros compostos, PF isolado e retorno anual sao usados para disfarcar um numero baixo de operacoes
• Desconfie de qualquer backtest que nao informe o numero de operacoes

Artigos relacionados: Como ler um relatorio de backtest do MT5 · Por que o mesmo EA gera resultados opostos com ticks reais e OHLC · Como identificar curve fitting