Se usi la piattaforma Strategy LAB ti sarà capitato di imbatterti nel P-Value, in T-Test, o di sentir parlare di significatività o di ipotesi nulla (qui sotto ti ho allegato un paio di esempi presi dal modulo Strategy Builder e dal modulo Data Analyzer)... si tratta di quelle nozioni base di statistica che sono importanti per ragionare in termini di probabilità, come sarebbe corretto fare quando si parla di Trading (...le "certezze" è meglio lasciare ai maghi, o ai cialtroni).

Hai codificato e testato una strategia su una porzione di dati In Sample, poi l'hai osservata sulla posizione Out Of Sample e hai visto che continua a salire: basta questo per affermare di avere individuato qualcosa che funziona davvero e poter escludere che quel risultato sia invece dovuto al caso?

In questo simpatico articolo, lasciamo a Carlo Scoccia il compito di introdurvi il concetto di P-Value: la premessa è che è stato scritto parlando ai "non addetti ai lavori" (quindi gli statistici ci perdoneranno se non abbiamo preferito al rigore di un manuale di statistica, una trattazione più leggera e comprensibile a tutti). Buona lettura!



Se ancora non vi fosse chiaro, cari amici, fareste bene a prendere in seria considerazione il fatto che il mondo in cui viviamo NON E’ basato sulle certezze, ma sulle PROBABILITA’. Fastidioso, ma vero 🙂

Quando diciamo: "sono certo che …" che cosa intendiamo dire realmente ?

Forse che "sono certo al di là di ogni ragionevole dubbio…". Cosi’ andrebbe gia’ meglio, no ?

Questo periodo di Covid ci ha messo di fronte a milioni di persone che sono ASSOLUTAMENTE CERTE delle loro idee: buon per loro... peccato che si perdano la parte interessante della storia.

Un esempio su tutti: siete un giudice e dovete decidere se un imputato e’ colpevole oppure no. Per aiutarvi in questo compito cruciale avete degli INDIZI. Ma resta il fatto che con la vostra decisione cambierete la vita di un individuo.

Pensate che riuscireste a giungere ad un giudizio CERTO ? Vi ricordo che capita anche che un reo confesso sia poi dimostrato innocente. Inizia a venirvi qualche dubbio ?

Ma entriamo nel merito del p-value.

Innanzitutto un disclaimer: il linguaggio che usero’ e’ assolutamente NON rigoroso. Lo so. La perdita del rigore spero vada a favore della comprensibilita’, il che mi sembra comunque una ottima causa.

Nella nostra vita spesso abbiamo a che fare con delle IPOTESI, cioe’ delle IDEE che modellano la realta’ e ne descrivono il comportamento, individuando dei legami tra le cose o tra i fatti. Se si vuole DIMOSTRARE qualcosa, la prima cosa da fare e’ DESCRIVERE lo stato di fatto, cioe’ la situazione in cui si ipotizza che quel qualcosa non ci sia.

Esempio: la popolazione che NON assume vitamina C in modo sistematico, soffrira’ in qualche misura di raffreddore.

Questo e’ lo stato di fatto, cioe’ quello che chiameremo nel nostro esempio IPOTESI NULLA (H0).

Altra ipotesi: se prendo 1 grammo di Vitamina C ogni giorno allora mi ammalo meno di raffreddore.

Ho formulato una IPOTESI ALTERNATIVA (H1) cioe’ qualcosa che mi piacerebbe dimostrare.

Bene: adesso raccolgo un sacco di dati da persone che NON assumono Vitamina C in modo sistematico e ne misuro il tasso di malattia da raffreddore. Diciamo che trovo che questo tasso e’ il 40%.

Poi raccolgo un sacco di dati da persone che invece assumono la Vitamina C in modo sistematico ed anche qui misuro il tasso di malattia da raffreddore.

Osservo che i secondi si ammalano meno di raffreddore.

Posso concludere che quindi l’assunzione di Vitamina C e’ un sistema efficace per prevenire il raffreddore ?

NO, NO e NO !!!

Perche’ ti scaldi tanto, direte voi ?!?

Perche’ ci sono almeno 2 considerazioni vitali da fare in questo caso:

1. Nella vita non esistono certezze (neppure nel Trading!). Quindi, eventualmente, l’esito del nostro esperimento dovrebbe avere un enunciato del tipo "Assumendo 1 grammo al giorno di Vitamina C si riduce la probabilità di ammalarsi di raffreddore del 75%", e non "La Vitamina C non fa ammalare di raffreddore". Numeri, numeri, numeri.

2. Sto osservando un CAMPIONE statistico, e non l’UNIVERSO. Nel momento in cui osservo un campione statistico sono istantaneamente soggetto ad un errore legato a COME sono stati presi i dati che osservo e dai quali cerco di inferire una regola assoluta. Chi mi dice infatti che il mio campione non sia CASUALMENTE composto da eventi che vanno CASUALMENTE nella direzione di cio’ che voglio dimostrare? In pratica che i risultati che osservo sono corrotti dal rumore statistico (o, peggio, da una manipolazione umana …) e che la mia ipotesi invece è, e resta, non dimostrata?

Qui ci viene in aiuto il p-Value.

Il p-Value e’ un numero, che puo’ essere espresso in termini percentuali (ricordiamo che un numero decimale, ad esempio 0.05, puo’ essere anche espresso come 5%) che ci racconta di quanto e’ probabile, quando la mia osservazione non sia coerente con lo stato di fatto (l’ipotesi NULLA o H0, ricordate ?), che questo sia dovuto al CASO invece che ad un reale legame.

"Quanto è probabile che quel risultato sia dovuto al CASO invece che ad un legame vero".

Lo so, non è intuitivo capire, quindi lo ripeto in un altro modo.

Ho una IPOTESI NULLA (H0) che mi racconta qualcosa di una qualche popolazione.

Ho una IPOTESI ALTERNATIVA (H1) che mi racconta qualcosa di una popolazione diversa da quella descritta in H0.

Faccio delle osservazioni statistiche basate su un campione di casi per ciascuna delle popolazioni ed osservo effettivamente una differenza tra le popolazioni.

Cosa ne deduco? Come faccio a sintetizzare qualcosa da queste osservazioni ?

Beh, calcolo il p-Value di questa osservazione (ci sono vari metodi, ad esempio il chi-quadro, o il t di Student, ma non entro nel merito: nelle piattaforme di cui di accennavo sopra, lo troverai già calcolato, e dovrai semplicemente leggere quel risultato e trarre le tu conclusioni): mi verra’ fuori un numero, ad esempio 0.05 (cioe’ il 5%).

Il processo e’ descritto in questo sketch:

Decido (devo averlo fatto a priori) un LIVELLO DI SIGNIFICATIVITA’ (ad esempio 0.05 o 5%) e confronto il mio p-value con questo livello. Il livello di significativita’ che ho fissato a priori decide la SOGLIA sotto la quale posso assumere che i risultati osservati nel campione sono cosi’ poco dovuti al caso, da decidere di RIGETTARE l’ipotesi nulla (H0) e quindi considerare ‘probabile’ quella alternativa (H1).

Piu’ basso e’ il livello di significativa più e’ severo il mio test, nel senso che sono disposto ad accettare l’ipotesi alternativa H1 solamente se i risultati campionari raccolti che sembrano coerenti con H1 sia estremamente improbabile che siano dovuti solo al caso (e non ad una effettiva differenza tra le popolazioni).

Valori normalmente usati per la soglia di significativita’ sono:

• 0.05 (5%): Se il p-value e’ MINORE di 0.05 il test e’ STATISTICAMENTE SIGNIFICATIVO

• 0.01 (1%): Se il p-value e’ MINORE di 0.01 il test e’ MOLTO SIGNIFICATIVO

• 0.001 (0.1%): Se il p-value e’ MINORE di 0.001 il test e’ ESTREMAMENTE SIGNIFICATIVO

Nel caso del disegno di sopra, poiche’ il valore calcolato del p-value e’ 0.037, SE ho fissato il mio livello di significativita’ a 0.05 e siccome 0.037 < 0.05 ALLORA si dice che sono in grado di rigettare l’ipotesi nulla (H0) perche’ i risultati ottenuti dai campioni delle due popolazioni hanno delle differenze statisticamente significative e che c’e’ una probabilita’ inferiore a questa soglia del 5% che queste differenze siano dovute al caso.

Due osservazioni finali sul p-value:

1. Dovrebbe esservi evidente che fissare la soglia di significatività e’ un arbitrio dello scienziato. Nel caso precedente se assumo il livello di significativita’ pari a 0.05 allora sono disposto a rigettare l’Ipotesi Nulla. Ma se lo avessi fissato a 0.01 allora non l’avrei rigettata. Torna evidente cio’ che spiegavo all’inizio: la realta’ non e’ fatta di certezze ma di probabilita’, e definire QUALE livello di probabilita’ ci faccia decidere per una 'etichetta' o per un’altra e’ e resta un arbitrio.

2. Nel corso dello scorso decennio sono state sollevate molte obiezioni sulla REALE significativita’ del p-value e su quanto questo valore possa essere manipolato dallo scienziato in vari modi. Una spiegazione piu’ estesa di questo punto si trova in uno scritto del CICAP (Vita di P : La proposta di cambiare il valore di riferimento più famoso della ricerca scientifica e le sue motivazioni). Vi invito a leggerlo perche’ spiega come il "Metodo Scientifico" sia anche esso sottoposto ad un meta-processo critico all’interno della comunità scientifica stessa. E questo e’ davvero un gran bene.

IN CONCLUSIONE:

a. La vita e’ fatta di probabilita’, non di certezze. Vi sorprende ?

b. Il p-value ci da’ in qualche modo una misura probabilistica dei legami tra le cose.

c. Il p-value e’ (purtroppo) manipolabile da chi lo calcola. Quindi occhi aperti!

Alla prossima!

Carlo Scoccia



“il vero ostacolo non è ciò che sai, ma ciò che credi di sapere”

Hai imparato a codificare qualche trading system, li hai aggregati in un portafoglio, hai noleggiato una VPS e capito come automatizzare queste strategie, quindi sei convinto di sapere già tutto… ma sono queste (finte) certezze che hai, il vero ostacolo che ti separa da una maggiore consapevolezza di ciò che stai facendo.

Ma se hai letto questo articolo, probabilmente da oggi guarderai diversamente quell’equity line che continua a salire anche nella porzione Out Of Sample.

Si chiama effetto Dunning-Kruger, e chiunque di noi c’è passato: quando ti sembra di avere capito tutto, ma poi ti rendi conto che le cose sono un pò più complicate di come te le eri immaginate… ora bisogna soltanto "accettarlo", e rimboccarsi le maniche per far crescere le proprie competenze.


Una delle difficoltà di chi inizia a scrivere Trading System è quella di avere una visione molto "limitata" del quadro d’insieme.

Si pensa che basti avere qualche trading system che ha funzionato in passato per “essere a posto” ma ben presto si scopre che non é così...

Se qualcosa ha funzionato in passato non è detto che continuerà a funzionare in futuro: per questa ragione è necessario effettuare dei test un po’ po sofisticati su quella strategia (Validazione), per scartare ciò che probabilmente è stato un buon risultato sul passato grazie ad un uso non corretto delle ottimizzazioni (Overfitting)

Le strategie devono essere sostenibili (Money Management), perché se non vengono dimensionate correttamente il rischio di bruciare il proprio account è concreto.

E al contrario di quello che succede nei backtest, talvolta le strategie, nel mondo reale, smettono di funzionare: per questo è così importante impiegare logiche di Equity Control che ci portino a staccare ciò che non funziona più, ma soprattutto a riattaccare tempestivamente ciò che ha ripreso a funzionare bene. L'articolo che stai per leggere, parla proprio di questo.

E per la stessa ragione è importante ragionare in termini di Portafogli di Trading Systems, individuando (e testando) dei criteri che ci indichino quali strategie seguire e quali lasciare “in panchina” fino alla prossima rotazione.

Questo è il “quadro d’insieme”, ed è quello che fa la differenza sul risultato finale, ed è quello che cerchiamo di darti nei percorsi di QTLab sul Trading Sistematico (che puoi approfondire cliccando qui).

Lo stesso "quadro d'insieme" intorno a cui ruota il percorso più completo e approfondito che potrai mai trovare per diventare un trader sistematico: la Trading System Academy (👈 clicca qui per sapere di più).

Si tratta di 8 giornate di formazione Live, centinaia di ore di Webinar, sessioni Live dopo corso e Coaching Class, tutto il materiale didattico e i tutorial per imparare ad usare le piattaforme più innovative.

E non si tratta delle “solite cose” che hai già sentito in qualche corso sui Trading System!

(...sfoglia anche soltanto i programmi di giornate come “Trading Automatico” oppure di “Portafogli di Trading Systems” per capire meglio che cosa intendo).

Vuoi approfondire meglio questi concetti, applicandoli al Trading Sistematico?

...perchè a noi non basta vedere che un trading system che hai costruito su un periodo In Sample, continua a funzionare anche sul periodo Out Of Sample.

Vogliamo poter escludere che questo risultato sia dovuto al caso, e che quel pattern o quel set di regole su cui hai costruito la tua strategia, sia realmente qualcosa su cui puoi fare affidamento.

Una nuova edizione della Trading System Academy di QTLab è in partenza: 👉clicca qui per esaminare il programma dettagliato (...e per salire a bordo con una riduzione del 50%!)

Buon Trading!