Números selecionados

A janela escolhida fabrica a conclusão

O mesmo investimento pode ser apresentado como excelente ou como desastroso sem que nenhum número seja falsificado. Basta escolher a data de início.

Um exercício ilustrativo, com valores inventados para a conta ficar visível. Considere um ativo hipotético que valia R$ 100, caiu até R$ 50 e depois subiu para R$ 80. Três formas honestas de descrever exatamente a mesma série:

Nenhuma das três linhas é mentira. Todas descrevem o mesmo ativo, no mesmo período total. A conclusão que cada uma sugere, no entanto, é completamente diferente — e quem escolhe a janela escolhe a conclusão, muitas vezes sem perceber que está fazendo isso.

Duas consequências práticas. Primeira: um resultado só significa alguma coisa junto do período a que se refere, e um período escolhido por quem está vendendo foi escolhido depois de os resultados serem conhecidos. Segunda: quando a janela apresentada é incomum — começando em uma data específica sem motivo declarado, ou com uma duração estranha — vale perguntar como ficaria o mesmo número com um começo um pouco antes ou um pouco depois. Se a conclusão muda muito, ela era da janela, não do investimento.

Viés de sobrevivência: só se vê quem restou

Este é o erro mais difícil de perceber, porque não há nada errado no que está sendo mostrado. O problema é o que não está lá para ser mostrado.

Um exercício ilustrativo: imagine que cem iniciativas hipotéticas de um mesmo tipo tenham começado há dez anos, e que hoje sessenta continuem existindo. Qualquer levantamento feito hoje sobre "as iniciativas desse tipo" vai descrever essas sessenta — porque as outras quarenta não existem mais para serem incluídas. O resultado médio observado descreve os sobreviventes, não o conjunto de quem tentou.

Isso não depende de ninguém esconder nada. Quem quebrou fecha, sai das listas, apaga o site, deixa de responder a pesquisas. O desaparecimento é automático, e por isso o viés é automático também. Ele aparece em rankings que só incluem quem está ativo, em históricos de estratégias que só continuaram sendo publicadas enquanto funcionavam, e em qualquer comparação feita sobre um grupo definido pelo fato de ainda existir.

A pergunta que desfaz o efeito é sempre a mesma: quantos começaram? Não "como estão os que estão aí", mas quantos entraram no começo do período e o que aconteceu com todos eles. Sem esse denominador, um resultado médio alto pode ser inteiramente explicado por quem saiu da amostra.

Um caso não é evidência

Um resultado individual divulgado — um extrato, uma captura de tela, o relato de alguém que multiplicou o patrimônio — não permite concluir praticamente nada sobre um método.

O motivo é aritmético. Se um número grande de pessoas tenta qualquer coisa com resultado incerto, alguns terão resultados excelentes por puro acaso, sem que exista habilidade alguma envolvida. Esses casos existem e podem ser mostrados. Um método sem nenhuma eficácia produz exemplos de sucesso do mesmo jeito, desde que tenha sido tentado por gente suficiente.

Por isso um caso isolado não distingue as duas explicações possíveis — método que funciona e sorte dentro de uma amostra grande — e é justamente essa distinção que interessa a quem está decidindo. A pergunta útil é: quantas pessoas fizeram exatamente isso, e o que aconteceu com todas elas? A resposta interessante não é o melhor resultado; é a distribuição inteira, incluindo os piores.

Há ainda um ponto sobre a origem desses casos: eles chegam até você porque foram selecionados para chegar. Ninguém publica o extrato do resultado ruim como propaganda. A amostra que você vê não é uma amostra do que aconteceu, é uma amostra do que servia para ser mostrado.

Backtest: uma regra testada onde ela nasceu

Um teste retrospectivo — aplicar uma regra de decisão aos dados do passado para ver como ela teria se saído — é uma ferramenta legítima e amplamente usada. E também é a mais fácil de interpretar errado.

O problema aparece quando a regra é construída olhando para os mesmos dados em que é testada. Nesse caso ela acerta por construção: qualquer conjunto de dados passados contém padrões que se encaixam em alguma regra específica, e testar várias regras até uma delas funcionar bem naquele período produz um resultado ótimo mesmo quando não há nada de real por trás. Quanto mais ajustes e condições a regra tem, mais fácil isso fica.

Nada disso é necessariamente fraude. É um erro metodológico comum, cometido com boa-fé o tempo todo. Mas o efeito prático é o mesmo: um gráfico impressionante que não é evidência sobre o futuro, porque nunca foi testado fora do período onde foi criado.

As perguntas que separam um teste informativo de um exercício circular: quando a regra foi definida, e em relação a que dados? ela foi testada em um período que não participou da construção? o teste inclui custos, impostos e a possibilidade de não conseguir negociar ao preço suposto? quantas variações foram testadas antes de esta ser apresentada?

Como pedir o denominador

Todas as quatro seções apontam para a mesma lacuna: o material mostra um numerador — o resultado bom — e omite o denominador — o conjunto de onde ele saiu.

Uma frase que serve para praticamente qualquer situação, e que você pode usar sem precisar entender o instrumento:

"Esse resultado é de quantos casos, em que período, e o que aconteceu com os que não estão aqui?"

Ela pede três coisas ao mesmo tempo: o tamanho da amostra, a janela e o destino dos ausentes. Uma resposta completa não torna a oferta boa — apenas torna possível avaliá-la. Uma resposta que se desvia, que troca o dado por mais um caso de sucesso ou que trata a pergunta como desconfiança pessoal já informou o suficiente sobre o quanto aquele número foi selecionado.

Resumo

• A escolha da data de início muda a conclusão sobre exatamente a mesma série de preços, sem que nenhum número precise ser falso.
• Viés de sobrevivência: levantamentos feitos hoje descrevem quem restou, e quem desapareceu sai da amostra automaticamente — a pergunta que corrige é "quantos começaram?".
• Um resultado individual não distingue método eficaz de sorte dentro de uma amostra grande; o que informa é a distribuição inteira, não o melhor caso.
• Uma regra construída e testada no mesmo período acerta por construção; isso não é necessariamente fraude, mas também não é evidência.
• A pergunta que funciona em todos esses casos pede o denominador: quantos casos, em que período, e o que aconteceu com os que não aparecem.