Backtest não reproduz? 5 pontos a verificar no EA

"O resultado publicado não bate com o backtest que eu rodei." Entre as dúvidas que recebemos sobre os EAs que distribuímos, essa é uma das mais frequentes.

Vou direto à conclusão: mesmo testando o mesmo EA no mesmo período, basta uma única diferença de ambiente para o resultado mudar. Na maioria dos casos, a causa não está no EA em si, mas nas condições de quem testa. A ordem em que vale a pena suspeitar é, em geral, estes 5 pontos:

1. Horário do servidor e fuso horário
2. Especificações do símbolo
3. Swap
4. Dados históricos
5. Modelo de teste (método de geração de ticks)

Porém, mesmo alinhando os 5 pontos, nem sempre o resultado será idêntico. Falo com franqueza sobre isso na seção "Limites", mais adiante.

Por que o "mesmo EA" pode dar resultados diferentes

O EA é uma máquina que decide com base nos preços e nas informações do símbolo que recebe. Se a entrada muda, por pouco que seja, o momento da entrada se desloca. Quando o primeiro trade muda, o capital, o lote e a situação das posições mudam em cadeia, e em testes de vários anos o resultado final pode parecer muito diferente.

Uma boa forma de pensar na reprodutibilidade é esta: uma pequena diferença em um único ponto vai sendo amplificada com o tempo.

Os 5 pontos a verificar

1. Horário do servidor e fuso horário

O horário do MT5 não é o relógio do seu computador, e sim o horário do servidor da corretora. Ele varia de corretora para corretora: algumas mudam com o horário de verão, outras não.

Os mais afetados são EAs como estes:

• EAs com filtro de horário, como "somente sessão de Tóquio" ou "excluir a sessão de Nova York"
• EAs que usam como referência a abertura, a máxima e a mínima do candle diário (o horário de fechamento do dia muda de corretora para corretora)
• EAs com tratamento especial na abertura da semana ou antes do fechamento de sexta-feira

Em corretoras que formam um candle diário curto no domingo, a própria quantidade de candles diários muda. Para um EA de rompimento baseado em candles diários, só isso já pode produzir um resultado completamente diferente.

2. Especificações do símbolo

Mesmo com o nome "XAUUSD", o conteúdo não é necessariamente o mesmo. Na janela de especificações, confira estes itens:

• Número de casas decimais e tamanho do ponto
• Tamanho do contrato
• Lote mínimo e passo do lote
• Stop level (distância mínima para posicionar ordens pendentes e stops)
• Método de cálculo da margem

Se o número de casas decimais for diferente, um stop loss definido em "X pontos" pode, na prática, ter uma diferença de 10 vezes. Em corretoras com stop level amplo, uma ordem com stop curto pode simplesmente não ser aceita.

3. Swap

O testador do MT5 aplica a todo o período o valor de swap da configuração do símbolo no momento em que o teste é executado. Não é a evolução real do swap no passado. Por isso, mesmo na mesma corretora, o resultado pode mudar se o teste for feito em outro dia.

• Quanto maior o tempo de permanência das posições, maior o impacto
• O dia da semana em que se cobra o swap de 3 dias varia conforme a corretora
• Em contas sem swap (swap-free), pode haver outra taxa em seu lugar

Em EAs que mantêm posições por alguns dias, a diferença de swap aparece claramente na diferença de lucro e prejuízo.

4. Dados históricos

Os dados de preço usados pelo testador são baixados do servidor da corretora à qual você está conectado. Cada corretora tem início de dados, lacunas e densidade de ticks diferentes.

• Os dados não estão completos no início do período de teste
• O download ficou incompleto e o resultado muda no segundo teste
• Mesmo na mesma corretora, uma atualização de dados no servidor pode alterar o resultado depois

Vale sempre conferir na aba Diário se há registros de "sincronização de dados" ou de "lacunas no histórico".

5. Modelo de teste

O resultado muda completamente, mesmo com o mesmo EA, conforme você escolhe "Somente preços de abertura", "OHLC de 1 minuto", "Todos os ticks" ou "Todos os ticks com base em ticks reais". Quanto mais próximos estiverem o stop loss e o take profit, mais o EA é sensível à forma como os ticks são gerados.

Verifique também estes dois itens:

• Configuração de spread: ao escolher "spread atual", o spread fica fixado no valor da hora em que você rodou o teste. Se rodar no fim de semana ou de madrugada, você pode acabar testando com um spread amplo
• Configuração de atraso de execução: com ou sem atraso, os EAs de curto prazo apresentam resultados diferentes

Checklist de reprodutibilidade

Ao comparar com o resultado publicado, preencher a tabela abaixo de cima para baixo facilita isolar a causa.

O último item, "parâmetros de entrada", costuma passar despercebido. Confira sempre se algum valor alterado no teste anterior não ficou salvo.

Se você tem dúvidas sobre a configuração básica do MT5, o caminho mais rápido é rever o passo a passo em Configuração do MT5.

Limites e ressalvas

Aqui vem a parte incômoda.

• Mesmo alinhando os 5 pontos, com dados de outra corretora o resultado pode não ser idêntico. Isso acontece porque os próprios ticks diferem de corretora para corretora, e quem testa não consegue resolver isso
• Os números de backtest que publicamos também foram medidos com dados de uma corretora específica, em um momento específico. Não garantimos que o seu ambiente produza os mesmos números
• Em alguns casos, não é possível separar com precisão qual diferença pesa quanto. Quando surgir uma diferença, o único método é alterar um item por vez e refazer o teste
• Mesmo que o backtest bata, ele não passa de uma validação com dados passados. Não promete resultados futuros

Por outro lado, um EA cujo resultado não desmorona ao trocar de corretora é mais confiável. Testar em várias corretoras e comparar dá trabalho, mas é um método de verificação eficaz. As diferenças de especificações entre as corretoras estão reunidas em Comparação de corretoras.

Resumo

• Mesmo EA e mesmo período podem dar resultados diferentes por causa do ambiente. A causa costuma estar nas condições do teste, não no EA em si
• A ordem de suspeita: "horário do servidor, especificações do símbolo, swap, histórico e modelo de teste"
• Atenção: o swap usa o "valor do momento do teste" em todo o período
• Também passam facilmente despercebidos: spread, atraso e parâmetros de entrada que sobraram de testes anteriores
• Mesmo alinhando tudo, com corretoras diferentes o resultado pode não ser idêntico
• Saber se o EA resiste bem à troca de corretora é um critério útil na hora de escolhê-lo

Mais dicas de validação estão reunidas em Conhecimento sobre EA e MT5.