Qualidade do histórico no MT5: ticks reais e seus limites

Começo pela conclusão. A qualidade do histórico no MT5 é uma estimativa de quão próximos de ticks reais são os dados usados no teste. Não é um número que indica se o EA continuará ganhando no futuro. 99% significa que os dados estão bem completos, não que a estratégia é boa. Por outro lado, com 5%, você deve assumir que boa parte da curva de resultado do relatório foi desenhada sobre "ticks plausíveis" que o MT5 gerou a partir de dados de candles.

Nós, que distribuímos EAs, lemos relatórios quase todos os dias. Neste artigo organizo o que esse número mostra e a partir de onde ele deixa de ser suficiente.

O que a qualidade do histórico mede

Ela não se separa do "modelo" do testador

O Strategy Tester do MT5 oferece os seguintes modelos para reproduzir o movimento dos preços:

• Todos os ticks com base em ticks reais
• Todos os ticks (gerados a partir de candles de 1 minuto)
• OHLC de 1 minuto
• Apenas preços de abertura

A qualidade do histórico tem mais significado quando se escolhe o primeiro, o modelo de ticks reais. Nele, o teste usa os ticks reais armazenados no servidor da corretora. Nos trechos sem ticks reais, porém, o MT5 gera ticks a partir dos candles de 1 minuto para preencher a lacuna. Pelo nosso entendimento, a qualidade do histórico é uma estimativa da "proporção do período testado que pôde ser reproduzida com ticks reais".

A diferença entre 99% e 5%

Valores baixos como 5% aparecem com frequência quando o teste cobre um período longo e a corretora não guarda ticks reais antigos. Os anos antigos usam ticks gerados a partir de candles de 1 minuto, e só o período mais recente tem ticks reais. Como a curva do relatório parece uma linha contínua, não dá para ver onde fica a fronteira.

O que muda com ticks gerados

Ticks criados a partir de candles de 1 minuto preenchem por estimativa a "ordem" entre máxima e mínima dentro do minuto e o "movimento intermediário". Por isso, os seguintes tipos de EA tendem a ter resultados distorcidos:

• Estilo scalping, com take profit e stop loss de poucos pips
• Configurações em que ordens limit e stop podem ser ambas executadas dentro de um mesmo minuto
• EAs com filtros para evitar momentos de alargamento do spread

Por outro lado, os seguidores de tendência em H1 ou H4, que mantêm posições por dezenas de horas, tendem a sofrer um impacto relativamente menor do movimento interno do minuto. Por exemplo, o nosso MEGAMAX DONCHIAN (USDJPY H1) tem tempo médio de posição de 32:58:21 e o BITCOIN COMET (BTCUSD H4), de 63:51:39. Ainda assim, não dá para afirmar que "não há impacto". Por isso, em vez de confiar no número de qualidade, damos mais importância a trocar o modelo e comparar os resultados.

Como conferir por conta própria

Ao escolher um EA, ou ao revalidar localmente um EA distribuído, siga esta ordem. As operações básicas do MT5 estão reunidas em Configuração do MT5.

1. Execute com o modelo "Todos os ticks com base em ticks reais"
2. Verifique a qualidade do histórico no relatório (veja também se o valor muda ao encurtar o período do teste)
3. Execute o mesmo período também com "OHLC de 1 minuto" e compare PF e drawdown máximo
   • Se houver grande diferença, o EA depende fortemente do movimento dentro do minuto
4. Divida o período do teste em primeira e segunda metade
   • Veja se o desempenho não desaba justamente na segunda metade, onde há ticks reais
5. Confira a configuração de spread
   • O modelo de ticks reais usa o spread registrado. Não confunda com resultados de spread fixo
6. Verifique no log de operações (histórico de operações) se há avisos de falta de dados

A comparação do passo 3 é especialmente eficaz. Mesmo com relatório de qualidade 99%, achamos que um EA cujo resultado se inverte no OHLC tende a quebrar quando as execuções reais se desviam.

Os limites da qualidade do histórico

A partir daqui, os pontos que o número sozinho não permite julgar. Incluo também as partes incômodas.

• Mesmo 99% são apenas "os ticks daquela corretora". Corretoras diferentes têm alargamento de spread e frequência de cotações diferentes. Um relatório de 99% na corretora A não garante o desempenho em uma conta da corretora B. Para as diferenças entre corretoras, consulte também a comparação de corretoras.
• Slippage e rejeição de ordens não são reproduzidos. Mesmo com ticks reais, o testador assume que a ordem foi executada "naquele preço". O deslizamento em divulgações de indicadores, por exemplo, não entra.
• Qualidade alta com período curto tem pouco valor. Um teste de 99% só do último ano não é necessariamente mais confiável do que um teste longo de qualidade baixa, porque inclui apenas uma fase do mercado.
• O overfitting ocorre independentemente da qualidade. Por mais precisos que sejam os dados, se os parâmetros forem ajustados àquele período, o resultado parecerá bom.
• O "desempenho real" dos trechos de baixa qualidade é desconhecido. Se o resultado sobre ticks gerados foi melhor ou pior que o real, há poucos meios de verificar depois. Nós também não sabemos.

Alguns dos nossos EAs têm validações de longo prazo publicadas. Por exemplo, o período do GOLD NEURON é 2004.01.01 - 2026.09.01. Quanto dos ticks dos trechos antigos são dados reais depende do intervalo armazenado pela corretora, então não leia um período longo como prova de alta qualidade. Os números de cada EA podem ser vistos juntos no ranking de resultados medidos.

Resumo

• A qualidade do histórico é uma estimativa de quanto foi reproduzido com ticks reais, não um indicador de que um EA é melhor que outro
• Valores baixos costumam significar que, em testes longos, faltam ticks reais antigos e o espaço foi preenchido com ticks gerados a partir de candles de 1 minuto
• Quanto mais curto o prazo das operações do EA, mais ele sofre o efeito dos ticks gerados
• Mais prático do que o número de qualidade é verificar se o resultado não muda muito entre ticks reais e OHLC
• Mesmo com 99%, não há garantia de desempenho em outra corretora, de slippage nem do mercado futuro

Continuaremos abordando como ler backtests em Conhecimento sobre EA e MT5.