Desvio padrão e regressão linear no relatório do backtest

O relatório de um backtest tem duas colunas de números. A primeira, todo mundo lê: lucro total, taxa de acerto, perda máxima. A segunda, quase ninguém: desvio padrão, correlação de regressão linear, erro padrão. É uma pena, porque a segunda coluna é a que responde à pergunta que importa: esse resultado é regular ou é sorte concentrada?

Desvio padrão: quanto cada operação foge da média

Pegue o resultado de todas as operações e calcule a média. O desvio padrão mede o quanto, em média, cada operação se afasta dessa média. Desvio pequeno: as operações são parecidas entre si, ganhos e perdas de tamanho previsível. Desvio grande: o resultado vem de poucas operações enormes no meio de muitas pequenas.

Duas estratégias com o mesmo lucro total e o mesmo número de operações podem ter desvios muito diferentes. A de desvio pequeno é mais fácil de viver: cada dia parece com o anterior. A de desvio grande depende de estar ligada no dia em que a operação gigante acontece, e de aguentar todas as pequenas perdas até lá.

O mesmo raciocínio vale para o resultado diário ou mensal: o desvio dos meses diz o quanto um mês pode ser diferente do outro, o que é outra forma de descrever a perda máxima, que explicamos em Drawdown: como ler a perda máxima de um robô antes de ligar.

Índice de Sharpe: retorno por unidade de desvio

O relatório costuma trazer o Sharpe, que é o retorno médio dividido pelo desvio padrão (descontada a taxa livre de risco). É um jeito de comparar estratégias de tamanhos diferentes: quanto de retorno se ganha por unidade de oscilação. Duas estratégias com o mesmo lucro, a de menor desvio tem Sharpe maior, e é, em geral, a melhor de carregar.

Regressão linear: a reta que a curva de capital deveria ser

Desenhe a curva de capital (o acumulado, operação a operação) e trace a reta que melhor se ajusta a ela. Uma estratégia perfeitamente regular teria a curva em cima da reta: ganha o mesmo tanto a cada operação. Nenhuma é assim, e as duas medidas de regressão dizem o quanto ela se afasta disso:

• Correlação LR (entre 0 e 1): o quanto a curva parece uma reta. Perto de 1, o crescimento é regular; longe, a curva tem degraus, patamares, quedas. Duas estratégias com a mesma reta final podem ter correlações muito diferentes, e a de correlação alta é a que cresceu de forma parecida o tempo todo.
• Erro padrão LR (em dinheiro): o quanto a curva se afasta da reta, em média. É a "espessura" da curva em torno da tendência dela. Quanto maior, mais a estratégia oscila em torno do próprio crescimento.

O que fazer com esses números

1. Compare pelo desvio, não só pelo lucro. Entre duas estratégias parecidas em resultado, a de menor desvio (e maior Sharpe) é a que você vai conseguir manter ligada.
2. Desconfie de correlação LR baixa com lucro alto. Significa que o lucro veio em poucos trechos. Se esses trechos foram um ano específico, a estratégia pode ter acertado uma vez; o walk-forward, que explicamos em Backtest, forward test e walk-forward, é o teste que confirma ou desmente.
3. Use o erro padrão para calibrar a expectativa. Se a reta diz "R$ 1.000 por mês" e o erro padrão é R$ 3.000, meses de -2.000 e de +4.000 fazem parte, e não são sinal de que a estratégia quebrou.
4. Não otimize pelo desvio. Reduzir o desvio no backtest ajustando parâmetros é decorar o passado como qualquer outra otimização.

O que eles não dizem

Nenhuma dessas medidas prevê o futuro; descrevem a regularidade do passado. Uma estratégia de correlação 0,95 pode mudar de regime amanhã. O que elas dão é uma expectativa calibrada: o quanto de oscilação é normal, para que a oscilação normal não vire decisão de desligar.

Explicamos cada linha do relatório, inclusive estas, em Desmistificando o simulador de estratégias do MetaTrader 5. O desvio padrão também existe como bloco de sinal no Centurion, medido sobre o preço, com outro uso: filtrar volatilidade, o que é assunto das Bandas de Bollinger, em Bandas de Bollinger: o que medem.