Validare un backtest

Cosa imparerai

I quattro bias che fabbricano un falso vantaggio

Look-ahead: usare informazioni che allora non esistevano — la chiusura del giorno per decidere a metà seduta. Sopravvivenza: testare solo sugli asset ancora quotati, ignorando quelli falliti. Data snooping: provare mille combinazioni e tenere la migliore, che lo è per caso. Overfitting: aggiungere regole finché il passato combacia alla perfezione, rumore compreso. Tutti e quattro producono risultati eccellenti e nessuno sopravvive al mercato.

Dentro e fuori campione

Si mette da parte una fetta di storico — l'ultimo 30 %, per dire — e la ricerca dei parametri non la tocca mai. Scelto il miglior set di regole, si valuta lì UNA sola volta. Se guardi quella fetta e ritocchi, non è più fuori campione: è diventata addestramento. Un risultato che esiste solo dentro campione è una descrizione del passato, non una previsione.

Walk-forward: come si sarebbe operato davvero

Un solo set di parametri adattato a tutta la storia usa informazioni dal futuro: a gennaio non sapevi quale media mobile avrebbe funzionato a dicembre. Il walk-forward riottimizza a finestre — allenare sulla prima, operare la successiva, avanzare — che è come sarebbe andata dal vivo. Il numero che conta è l'efficienza: quanta parte del vantaggio di addestramento sopravvive applicata in avanti. Sotto 0,5 è la firma classica dell'overfitting.

Monte Carlo sull'ORDINE delle operazioni

Il tuo backtest ti ha mostrato UNA sequenza di operazioni, e il drawdown che hai visto dipende dall'ordine in cui sono arrivate. Rimescolare quelle stesse operazioni migliaia di volte dà la distribuzione dei drawdown che quel sistema avrebbe potuto produrre. Guarda il 95° percentile, non la media: è quello che risponde «quanto devo essere disposto a sopportare?». È quasi sempre parecchio peggiore di quello dell'unica sequenza che hai vissuto.

Quante operazioni servono

Meno di 30 operazioni non dicono nulla. Cento è il minimo per decidere, duecento convincono, cinquecento danno significatività forte. E c'è uno sconto che quasi nessuno applica: le operazioni CORRELATE — più d'una nello stesso trend, nello stesso giorno, nello stesso settore — pesano meno di un campione indipendente. Trecento operazioni molto correlate informano meno di ottanta che non lo siano. Su campioni piccoli, un errore di cinque punti nella percentuale stimata può triplicare la frazione di Kelly che ne esce.

Scontare per quanto hai cercato

Prova quarantasette combinazioni su dati del tutto casuali e la migliore sembrerà buona. È aritmetica, non abilità. Lo Sharpe deflazionato calcola cosa avrebbe prodotto per pura fortuna una ricerca della stessa ampiezza su un sistema SENZA alcun vantaggio, ed esige che il tuo lo superi. È ciò che separa «il mio backtest ha fatto il 40 %» da «il mio backtest ha fatto il 40 % ed è più di quanto avrebbe dato la fortuna». Sotto le venti combinazioni provate la correzione è essa stessa imprecisa: superarla lì è un indizio, non una prova.

Perché un vantaggio pubblicato smette di funzionare

Il caso più pulito è il «pre-FOMC drift»: uno studio del 2015 documentò che buona parte del premio azionario statunitense si guadagnava nelle ventiquattro ore precedenti agli annunci della Fed. Studi successivi, allargando il campione, lo trovano praticamente sparito dopo il 2015. Non che il risultato fosse falso: pubblicarlo lo ha arbitrato via. Per questo un vantaggio storico non garantisce mai quello futuro, e per questo conviene sorvegliare quello che stai operando — l'analitica del diario calcola se il calo recente del tuo sistema va oltre ciò che spiega il caso.