Viés do sobrevivente: você só vê o robô que deu certo

Na Segunda Guerra Mundial, os militares americanos estudaram os aviões que voltavam das missões com marcas de tiro, para decidir onde reforçar a blindagem. A ideia inicial era reforçar onde havia mais buracos. O estatístico Abraham Wald apontou o problema: aqueles eram os aviões que tinham voltado. Os buracos mostravam onde um avião podia ser atingido e ainda assim voltar. A blindagem tinha de ir onde os aviões que voltavam não tinham buracos, porque os atingidos ali não voltaram para ser contados.

É o viés do sobrevivente: tirar conclusões só do que sobreviveu, esquecendo o que ficou pelo caminho. No mercado, ele está em toda parte.

Onde ele aparece

O trader que posta. Quem ganhou mostra; quem perdeu some. O feed é uma coleção de sobreviventes, e por isso parece que muita gente ganha. O estudo da FGV sobre o day trade de mini-índice olhou todo mundo, não só quem posta: das pessoas que persistiram por mais de 300 pregões, 97% perderam dinheiro. Está em Day trade vale a pena?.

O robô à venda. Quem vende robôs pode lançar dez e continuar vendendo os dois que foram bem. O histórico que você vê é o de quem sobreviveu à seleção, e não conta nada sobre os oito que saíram de cena. A pergunta certa é: quantas estratégias existiam, e o que aconteceu com as outras?

O fundo com histórico bonito. Fundos que vão mal fecham ou são incorporados, e a lista dos que existem hoje só tem os que sobreviveram. A média do setor calculada com eles parece melhor do que foi.

O backtest que você escolheu. Se você testou quinze variações e ficou com a melhor, a melhor é uma sobrevivente. Parte do resultado dela é a seleção. Está em Otimização de parâmetros e overfitting.

Os livros de quem ficou rico. A história de quem arriscou tudo e deu certo é contada; a de quem arriscou tudo e quebrou, não. A mesma estratégia, com resultado diferente, e só um lado vira livro.

No seu próprio histórico

O viés também age dentro de casa. Você lembra das estratégias que manteve e esquece as que abandonou; lembra da operação que deu certo porque ela virou história, e as que deram errado somem da memória. Quem soma só o que ficou acha que escolhe bem. A correção é a mesma do mercado: o registro de tudo o que foi tentado, com o resultado de cada uma, inclusive as que você desligou.

No backtest de ações: as empresas que não existem mais

Um dos erros mais comuns em testes de estratégias com ações é testar só com as empresas que estão na bolsa hoje. As que quebraram, foram compradas ou saíram da bolsa no caminho desaparecem da base, e junto com elas as perdas que uma estratégia teria tido com elas. O resultado do teste fica melhor que a realidade, sem ninguém ter errado nenhuma conta.

Uma estratégia que "sempre comprou as ações que caíram muito" parece ótima quando testada só com as sobreviventes, porque todas as que caíram muito e voltaram estão lá, e as que caíram muito e sumiram não estão. A base de dados precisa incluir as empresas que deixaram de existir.

No mini-índice, esse problema não aparece do mesmo jeito: o contrato é um só, rolado a cada vencimento. O cuidado ali é outro, a emenda entre contratos, e está em Vencimento e rolagem do mini-índice.

As perguntas que revelam o que sumiu

1. Quantos começaram? Quantas estratégias, contas, pessoas, fundos existiam no início do período que você está olhando?
2. O que aconteceu com os que não estão aqui? Foram desligados, fechados, apagados?
3. Esse histórico começou antes ou depois do sucesso? Um histórico publicado desde o primeiro dia vale muito mais que um histórico montado depois, quando já se sabia o resultado.
4. Posso ver os que não deram certo? Quem mostra só os vencedores está vendendo; quem mostra tudo, com as fases ruins, está informando.

Nas nossas estratégias na OnTick, cada ficha mostra o histórico com a maior queda, o tempo de recuperação e o resultado de cada ano, e a lista inclui as estratégias que estão num momento ruim, não só as que estão bem. O que perguntar antes de comprar qualquer robô está em Como comprar um robô de investimento sem se arrepender. O mapa dos outros vieses está em Psicologia do trader.