Valider un backtest

Ce que vous apprendrez

Les quatre biais qui fabriquent un faux avantage

Look-ahead : utiliser une information qui n'existait pas encore — la clôture du jour pour décider en pleine séance. Survivance : tester seulement sur les actifs encore cotés, en ignorant ceux qui ont fait faillite. Data snooping : essayer mille combinaisons et garder la meilleure, qui l'est par hasard. Surajustement : ajouter des règles jusqu'à ce que le passé colle parfaitement, bruit compris. Les quatre produisent d'excellents résultats et aucun ne survit au marché.

Dans et hors échantillon

On met de côté une tranche d'historique — les 30 derniers pour cent, par exemple — et la recherche de paramètres n'y touche jamais. Une fois le meilleur jeu de règles choisi, on évalue là UNE seule fois. Si l'on regarde cette tranche et qu'on réajuste, ce n'est plus du hors échantillon : c'est devenu de l'entraînement. Un résultat qui n'existe qu'en échantillon est une description du passé, pas une prédiction.

Walk-forward : comment ç'aurait été tradé pour de vrai

Un seul jeu de paramètres ajusté à toute l'histoire utilise de l'information du futur : en janvier vous ne saviez pas quelle moyenne mobile marcherait en décembre. Le walk-forward réoptimise par fenêtres — entraîner sur la première, trader la suivante, avancer — ce qui correspond au réel. Le chiffre qui compte est l'efficacité : quelle part de l'avantage d'entraînement survit vers l'avant. Sous 0,5, c'est la signature classique du surajustement.

Monte-Carlo sur l'ORDRE des opérations

Votre backtest vous a montré UNE séquence d'opérations, et le drawdown observé dépend de l'ordre où elles sont tombées. Rebattre ces mêmes opérations des milliers de fois donne la distribution des drawdowns que ce système aurait pu produire. Regardez le 95e percentile, pas la moyenne : c'est lui qui répond « combien dois-je être prêt à encaisser ? ». Il est presque toujours bien pire que celui de la seule séquence vécue.

Combien d'opérations il faut

Moins de 30 opérations ne disent rien. Cent est le minimum pour décider, deux cents convainquent, cinq cents donnent une forte significativité. Et il y a une décote que presque personne n'applique : les opérations CORRÉLÉES — plusieurs dans la même tendance, le même jour, le même secteur — comptent moins qu'un échantillon indépendant. Trois cents opérations très corrélées informent moins que quatre-vingts qui ne le sont pas. Sur petits échantillons, une erreur de cinq points sur le taux de réussite estimé peut tripler la fraction de Kelly obtenue.

Décoter selon l'intensité de la recherche

Testez quarante-sept combinaisons sur des données parfaitement aléatoires et la meilleure aura l'air bonne. C'est de l'arithmétique, pas du talent. Le Sharpe déflaté calcule ce qu'une recherche de même ampleur aurait produit par pure chance sur un système SANS avantage, et exige que le vôtre le dépasse. C'est ce qui sépare « mon backtest a fait 40 % » de « mon backtest a fait 40 % et c'est plus que ce que le hasard m'aurait donné ». En dessous de vingt combinaisons, la correction est elle-même imprécise : la passer là est un indice, pas une preuve.

Pourquoi un avantage publié cesse de marcher

Le cas le plus net est le « pre-FOMC drift » : une étude de 2015 a documenté qu'une bonne part de la prime des actions américaines se gagnait dans les vingt-quatre heures précédant les annonces de la Fed. Des études postérieures, sur échantillon élargi, le trouvent pratiquement disparu après 2015. Ce n'est pas que le résultat était faux : le publier l'a arbitré. C'est pourquoi un avantage historique ne garantit jamais un avantage futur, et pourquoi il faut surveiller celui qu'on trade — l'analytique du journal calcule si la baisse récente de votre système dépasse ce que le hasard explique.