Quantas operações para julgar um robô

Uma estratégia fez 20 operações e acertou 14. Setenta por cento. Boa? A resposta honesta é: não dá para saber, e dá para calcular o quanto não dá para saber.

A margem de erro

A taxa de acerto observada em N operações é uma estimativa da taxa real, e a estimativa tem uma margem de erro que depende de N. Para uma taxa perto de 50%, a margem (um desvio padrão) é aproximadamente:

margem ≈ raiz de (p × (1 − p) / N)

| Operações | Margem de erro (1 desvio) | Faixa provável para 55% observado | |---|---|---| | 20 | ±11 pontos | 44% a 66% | | 50 | ±7 pontos | 48% a 62% | | 100 | ±5 pontos | 50% a 60% | | 400 | ±2,5 pontos | 52% a 58% | | 1.000 | ±1,6 ponto | 53% a 57% |

Com 20 operações, uma taxa observada de 55% é compatível com uma estratégia que acerta 44% (perde) e com uma que acerta 66% (ganha muito). Os 14 acertos em 20 do começo do texto são compatíveis com uma taxa real de 60%, e também com 80%. Não é que "20 é pouco" por gosto; é que 20 não separa uma estratégia boa de uma ruim.

E isso é só a taxa de acerto. O payoff e o fator de lucro dependem também do tamanho das operações, que varia mais que a frequência; a margem de erro deles com poucas operações é ainda maior. Os três estão em Fator de lucro, payoff e taxa de acerto.

O tempo importa tanto quanto o número

Mil operações em um mês valem menos que 300 em três anos. O número de operações mede a estatística; o tempo mede se a estratégia viu mercados diferentes: um ano de tendência, um lateral, um de crise. Uma estratégia de scalping que fez 1.000 operações em um mês lateral não foi testada em tendência.

A regra prática que usamos: centenas de operações e anos de mercado. As duas condições. Por isso o histórico de cada uma das nossas estratégias na OnTick começa anos atrás, e não no mês em que ela ficou pronta. A ficha mostra desde quando, e a origem (backtest, e a data em que passou a rodar).

Quantas são suficientes

Não há um número mágico, mas há uma escada:

• Menos de 30: nada. Nem para descartar, nem para aprovar.
• 30 a 100: dá para ver se a estratégia é obviamente ruim (taxa de acerto muito baixa com payoff baixo). Não dá para aprovar.
• 100 a 300: a taxa de acerto começa a ter forma; o payoff ainda balança. Dá para comparar duas versões da mesma estratégia se a diferença for grande.
• 300 a 1.000, em mais de um tipo de mercado: o que se pede para colocar dinheiro.
• Acima de 1.000, em vários anos: o que se pede para confiar no número da maior queda.

Os erros de amostra

Julgar o mês. Vinte operações. Voltamos à primeira linha da tabela. É o erro mais comum de quem assina uma estratégia, e explicamos o remédio em Day trade com robô quando a meta é o longo prazo.

Escolher o período que confirma. Testar de 2020 a 2022 porque "foi um mercado normal". O período escolhido pelo resultado não é uma amostra; é uma seleção.

Muitos parâmetros para poucas operações. Seis parâmetros otimizados em 80 operações produzem um resultado sem nenhum conteúdo, e isso está em Otimização de parâmetros e overfitting.

Contar as operações do backtest como se fossem as da conta. O backtest tem mil operações que a regra "faria"; a conta real tem as que ela fez, com o custo e o deslize reais. As duas populações são diferentes, e a diferença está em Backtest, conta demo e conta real.

O que fazer com pouca amostra

Se a estratégia é nova e só tem 50 operações reais: use o backtest longo como referência e trate as 50 como uma pergunta, não como uma resposta. A pergunta é: as 50 estão dentro do que o backtest mostrava? Taxa de acerto, tamanho médio, maior sequência de perdas. Se estão, siga acumulando. Se estão fora (muito fora, além da margem de erro), algo mudou, e a resposta está na execução, não na estatística.

Uma estratégia não é boa porque acertou as últimas dez. É boa porque, em centenas de operações e anos de mercado, a conta fechou a favor com uma queda que cabe. Tudo o que é menos do que isso é uma história curta.