Validar um backtest
Uma curva de equity bonita não prova nada: consegue-se testando combinações até que uma saia. O que separa um backtest de amador de um profissional não é o resultado, é o que se fez para não se enganar a si próprio. Este módulo são as seis ferramentas dessa segunda parte, e os três ecrãs onde já estão implementadas.
Pela equipa da TradingCalculator.Pro · Atualizado em · Sobre nós
Comece 7 dias grátis →O que vai aprender
Os quatro vieses que fabricam vantagem falsa
Look-ahead: usar informação que naquele momento não existia — o fecho do dia para decidir a meio da sessão. Sobrevivência: testar só nos ativos que ainda cotam, ignorando os que faliram. Data snooping: testar mil combinações e ficar com a melhor, que o é por acaso. Sobreajuste: acrescentar regras até o passado encaixar na perfeição, ruído incluído. Os quatro produzem resultados excelentes e nenhum sobrevive ao mercado.
Dentro e fora da amostra
Reserva-se uma fatia do histórico — os últimos 30 %, por exemplo — e a busca de parâmetros nunca lhe toca. Escolhido o melhor conjunto de regras, avalia-se ali UMA única vez. Se olhares para essa fatia e voltares a ajustar, já não é fora da amostra: passou a ser treino. Um resultado que só existe dentro da amostra é uma descrição do passado, não uma previsão.
Walk-forward: como se teria operado de verdade
Um único conjunto de parâmetros ajustado a toda a história usa informação do futuro: em janeiro não sabias que média móvel ia funcionar em dezembro. O walk-forward reotimiza por janelas — treinar na primeira, operar a seguinte, avançar — que é como teria sido em direto. O número que importa é a eficiência: que parte da vantagem de treino sobrevive aplicada para a frente. Abaixo de 0,5 é a assinatura clássica do sobreajuste.
Monte Carlo sobre a ORDEM das operações
O teu backtest mostrou-te UMA sequência de operações, e o drawdown que viste depende da ordem em que saíram. Baralhar essas mesmas operações milhares de vezes dá-te a distribuição de drawdowns que aquele sistema poderia ter produzido. Olha para o percentil 95, não para a média: é o que responde «quanto tenho de estar disposto a aguentar?». É quase sempre bastante pior do que o da única sequência que viveste.
Quantas operações fazem falta
Menos de 30 operações não dizem nada. Cem é o mínimo para decidir, duzentas convencem, quinhentas dão significância forte. E há um desconto que quase ninguém aplica: as operações CORRELACIONADAS — várias na mesma tendência, no mesmo dia, no mesmo setor — contam menos que uma amostra independente. Trezentas operações muito correlacionadas informam menos que oitenta que não o estejam. Com amostras pequenas, um erro de cinco pontos no acerto estimado pode triplicar a fração de Kelly resultante.
Descontar por quanto procuraste
Testa quarenta e sete combinações sobre dados completamente aleatórios e a melhor parecerá boa. Isso é aritmética, não perícia. O Sharpe deflacionado calcula que resultado teria produzido por pura sorte uma busca do mesmo tamanho sobre um sistema SEM vantagem alguma, e exige que o teu o supere. É o que separa «o meu backtest fez 40 %» de «o meu backtest fez 40 % e isso é mais do que a sorte me teria dado». Com menos de vinte combinações testadas a própria correção é imprecisa: superá-la aí é indício, não prova.
Porque uma vantagem publicada deixa de funcionar
O caso mais limpo é o «pre-FOMC drift»: um estudo de 2015 documentou que boa parte do prémio das ações norte-americanas se ganhava nas vinte e quatro horas anteriores aos anúncios da Fed. Estudos posteriores, alargando a amostra, encontram-no praticamente desaparecido depois de 2015. Não é que a descoberta fosse falsa: publicá-la arbitrou-a. Por isso uma vantagem histórica nunca garante uma futura, e por isso convém vigiar a que estás a operar — a analítica do diário calcula se a queda recente do teu sistema vai além do que o acaso explica.
