Análise anual do EA: detectar dependência de um ano bom

Conclusão: os números do período total não revelam o "ano de sorte"

A curva de lucro do backtest sobe de forma consistente e o PF é alto. Ainda assim, não é raro que a maior parte do lucro tenha vindo de um único ano de grande movimento, enquanto nos demais o resultado ficou de lado ou negativo. Os valores agregados do período total diluem essa distorção na média.

Por isso, a primeira coisa que fazemos ao avaliar um EA é separar o resultado por ano, a chamada "decomposição anual". A pergunta é: se retirarmos o melhor ano, o resultado se sustenta? Para nós, esta é a verificação mais simples e mais eficaz para medir a robustez.

Por que um único ano bom pode construir o resultado inteiro

O mercado tem "regimes"

O movimento de câmbio e de ouro alterna entre períodos de tendência forte e prolongada, períodos de range estreito e períodos em que a volatilidade dispara. São os "regimes de mercado". Todo EA tem regimes em que vai bem e regimes em que vai mal.

Os EAs que seguem tendência costumam ganhar de uma vez nos anos em que surge uma grande tendência e acumular pequenas perdas nos anos de range. Acreditamos que os sistemas de breakout com taxa de acerto mais baixa mostram essa tendência com ainda mais frequência.

Os juros compostos ampliam a distorção

Em backtests com reinvestimento, o efeito dos anos de grandes ganhos no período final se infla em valor monetário. Quanto maior o retorno acumulado, mais é preciso verificar qual ano o produziu.

A otimização pode se ajustar a um ano específico

Ao otimizar parâmetros, tende-se a escolher configurações ajustadas ao trecho de maior movimento do período testado. Se o mercado não repetir esse cenário, o resultado também não se repete.

Passo a passo prático da decomposição anual

Depois de rodar o backtest no Strategy Tester do MT5, verificamos nesta ordem:

1. Exportar o histórico de operações do relatório: na aba "Backtest" dos resultados do testador, clique com o botão direito e salve o relatório. A lista de operações traz a data de fechamento e o resultado de cada uma.
2. Somar o resultado por ano de fechamento: crie uma coluna de ano na planilha e faça a soma. Para evitar o efeito dos juros compostos, recomendamos rodar novamente com lote fixo.
3. Calcular também o PF e o número de operações de cada ano: além do valor do resultado, coloque lado a lado o lucro bruto ÷ prejuízo bruto e a quantidade de operações do ano.
4. Recalcular o total excluindo o maior ano: é aqui que está o ponto central, ver se o resultado desmorona ou não.
5. Olhar o que aconteceu nos anos negativos: a avaliação muda muito conforme a perda tenha sido pequena ou tenha gerado um grande drawdown.

Referência para o julgamento

Os valores de referência são apenas indicativos; nós também não decidimos aprovação ou reprovação só com isto.

Aplicando aos nossos EAs

Muitos dos nossos EAs são validados em períodos longos. O GOLD NEURON (XAUUSD M30), por exemplo, tem 22.5 anos de validação. Quanto mais longo o período, mais regimes ele contém, e maior é o significado da decomposição anual.

Por outro lado, os EAs seguidores de tendência com baixa taxa de acerto têm uma estrutura em que os anos de lucro tendem a ser desiguais. O MEGAMAX DONCHIAN (USDJPY H1) tem taxa de acerto de 34.98% e sequência máxima de perdas de 11. O DONCHIAN ENGINE (USDJPY H1) tem taxa de acerto de 34.5% e sequência máxima de perdas de 11. Em um EA com esse perfil, não podemos descartar a possibilidade de anos seguidos sem lucro. Mesmo que o período total de validação seja positivo, se o ano em que você começar a usar cair em um regime desfavorável, é perfeitamente possível que o resultado fique parado por um bom tempo.

Observação: este artigo não traz a abertura anual de cada EA. Os valores medidos de todos os EAs no período total estão reunidos no ranking de resultados medidos.

Limites e cuidados

• O corte por "ano" não tem significado de mercado: a troca de regime acontece no meio do ano. Olhar por trimestre ou semestre também pode mudar a forma como a distorção aparece.
• Não serve bem para EAs com poucas operações: se há apenas algumas operações por ano, o PF anual é decidido quase por acaso.
• A dispersão de regimes no passado não garante o futuro: se vier um tipo de mercado que não existiu no período testado, até um EA estável ano a ano pode desmoronar.
• O forward test em conta demo tem período curto: também o divulgamos, mas o tempo desde o início ainda é curto e não permite uma avaliação em escala anual. Evite julgar a resistência a regimes a partir de resultados de curto prazo.

Outros pontos de vista sobre validação estão reunidos em Conhecimento sobre EA e MT5.

Resumo

• O PF e o retorno acumulado do período total diluem na média o ano de sorte de um único ano
• A decomposição anual consiste em verificar se o resultado se sustenta mesmo sem o melhor ano
• O procedimento: exportar o histórico de operações → somar resultado, PF e número de operações por ano → recalcular sem o maior ano → verificar como se perdeu nos anos negativos
• EAs seguidores de tendência com baixa taxa de acerto tendem a ter anos de lucro desiguais, e os nossos EAs não são exceção
• O método tem limites: o corte arbitrário por ano, o baixo número de operações e os regimes desconhecidos