Einen Backtest validieren

Was du lernst

Die vier Verzerrungen, die falschen Vorteil erzeugen

Look-ahead: Informationen nutzen, die es damals nicht gab — der Tagesschluss, um mitten in der Sitzung zu entscheiden. Survivorship: nur auf noch notierten Werten testen und die Pleitegegangenen ignorieren. Data Snooping: tausend Kombinationen probieren und die beste behalten, die es per Zufall ist. Overfitting: Regeln hinzufügen, bis die Vergangenheit perfekt passt — samt Rauschen. Alle vier liefern hervorragende Ergebnisse, und keine überlebt den Markt.

In-Sample und Out-of-Sample

Man legt ein Stück Historie beiseite — etwa die letzten 30 % — und die Parametersuche rührt es nie an. Ist das beste Regelwerk gewählt, wird dort EINMAL ausgewertet. Wer hineinschaut und nachjustiert, hat kein Out-of-Sample mehr: es ist Teil des Trainings geworden. Ein Ergebnis, das nur In-Sample existiert, ist eine Beschreibung der Vergangenheit, keine Prognose.

Walk-Forward: wie tatsächlich gehandelt worden wäre

Ein einziger, auf die gesamte Historie angepasster Parametersatz nutzt Zukunftswissen: Im Januar wusstest du nicht, welcher gleitende Durchschnitt im Dezember funktionieren würde. Walk-Forward optimiert in Fenstern nach — im ersten trainieren, im nächsten handeln, weiterrücken — so wäre es live gelaufen. Entscheidend ist die Effizienz: wie viel des Trainingsvorteils die Vorwärtsanwendung überlebt. Unter 0,5 ist die klassische Overfitting-Signatur.

Monte Carlo über die REIHENFOLGE der Trades

Dein Backtest zeigte EINE Abfolge von Trades, und der gesehene Drawdown hängt von ihrer Reihenfolge ab. Diese Trades tausendfach neu zu mischen ergibt die Verteilung der Drawdowns, die das System hätte erzeugen können. Schau auf das 95. Perzentil, nicht auf den Mittelwert: das beantwortet „wie viel muss ich aushalten können?". Es ist fast immer deutlich schlechter als die eine Abfolge, die du erlebt hast.

Wie viele Trades es braucht

Weniger als 30 Trades sagen nichts. Hundert ist das Minimum für eine Entscheidung, zweihundert überzeugt, fünfhundert gibt starke Signifikanz. Und es gibt einen Abschlag, den fast niemand anwendet: KORRELIERTE Trades — mehrere im selben Trend, am selben Tag, in derselben Branche — zählen weniger als eine unabhängige Stichprobe. Dreihundert stark korrelierte Trades sagen weniger aus als achtzig unkorrelierte. Bei kleinen Stichproben kann ein Fehler von fünf Punkten in der geschätzten Trefferquote die resultierende Kelly-Fraktion verdreifachen.

Für die Suchintensität abziehen

Teste siebenundvierzig Kombinationen auf völlig zufälligen Daten, und die beste sieht gut aus. Das ist Arithmetik, kein Können. Der deflationierte Sharpe berechnet, was eine gleich große Suche auf einem System OHNE Vorteil allein durch Zufall ergeben hätte, und verlangt, dass deiner das übertrifft. Das trennt „mein Backtest machte 40 %" von „mein Backtest machte 40 % und das ist mehr, als der Zufall gegeben hätte". Unter zwanzig getesteten Kombinationen ist die Korrektur selbst ungenau: sie dort zu bestehen ist ein Hinweis, kein Beweis.

Warum ein veröffentlichter Vorteil aufhört zu funktionieren

Der sauberste Fall ist der „Pre-FOMC-Drift": Eine Studie von 2015 dokumentierte, dass ein großer Teil der US-Aktienprämie in den vierundzwanzig Stunden vor Fed-Ankündigungen verdient wurde. Spätere Studien mit erweiterter Stichprobe finden ihn nach 2015 praktisch verschwunden. Nicht, dass der Befund falsch gewesen wäre — die Veröffentlichung hat ihn wegarbitriert. Deshalb garantiert ein historischer Vorteil nie einen künftigen, und deshalb lohnt es, den eigenen zu überwachen: Die Journal-Analytik berechnet, ob der jüngste Rückgang deines Systems über das hinausgeht, was der Zufall erklärt.