7. Verifica della VEROSIMIGLIANZA di una legge di distribuzione. Il TEST CHI QUADRO.
Poniamoci il problema (vedi punto B di §2) di valutare la conformità tra una distribuzione sperimentale e una teorica.
Per valutare la discordanza tra un valore sperimentale Us e un valore teorico U uso la differenza (o errore o scarto o deviazione) UsU.
Come valutare la discordanza tra gli esiti di n prove, classificati in nc classi, e una certa legge di distribuzione?
Supponiamo di voler confrontare con la distribuzione Pr(U=2)=1/36, Pr(U=3)=2/36, gli esiti del lancio di una coppia di dadi ripetuto n volte. Indichiamo con FreqOss1, , FreqOss11 le frequenze assolute osservate (FreqOss1 + FreqOss11= n) e con FreqAtt1, , FreqAtt11 le frequenze assolute attese, cioè i valori che si otterrebbero da FrequenzaAssoluta = n · FrequenzaRelativa mettendo Probabilità al posto di FrequenzaRelativa: FreqAtt1 = n·1/36, FreqAtt2 = n·2/36, (i file DadiTeo scheda 2,§6 e MoneTeo scheda 3,§4 contenevano frequenze attese).
|
Una idea è prendere X = Σ(FreqOssiFreqAtti)2: l'elevamento al quadrato fa sì che differenze positive (zone punteggiate nella figura a lato) e quelle negative (zone tratteggiate) non si compensino. A parità di valore, uno scarto da una frequenza attesa bassa deve però essere pesato di più di uno da una frequenza attesa alta: la deformazione dall'istogramma teorico è maggiore se si è in un punto in cui il grafico è basso. Per migliorare la valutazione della difformità considero gli scarti quadratici relativi: |
X = Σ(FreqOssi-FreqAtti)2 / FreqAtti |
Nel caso di un'altra variabile casuale U le frequenze attese in ciascuna delle nc classi (intervallini o altri insiemi) Ii in cui ho classificato gli n dati saranno calcolate analogamente:
FreqAtti = n·pi, dove pi=Pr(UIi), i=1,
,nc.
Se U è continua Pr(UIi) sarà calcolato integrando su Ii la funzione densità.
X è una variabile aleatoria (ogni volta che effettuo n prove X assume un valore casuale) che, oltre che dal fenomeno studiato, dipende dal numero delle prove n, dalle classi I1, , Inc scelte e dai valori Pr(UIi), cioè dalla legge di distribuzione teorica L di cui si vuole valutare la verosimiglianza.
Nel caso di fenomeni che seguano realmente la legge L, X avrà una certa distribuzione teorica. Se confronto il valore X* di X che ottengo per un particolare fenomeno con tale distribuzione teorica, posso valutarne la "normalità": se X* è anormale posso ritenere non verosimile che il fenomeno si manifesti secondo la legge L.
Indichiamo con χ2(L, I1, , Inc, n) la distribuzione teorica di X e indichiamo con χ2 ("chi quadro") X o X*, a seconda dei casi, lasciando al contesto il superamento dell'ambiguità. |
|
Consideriamo ad esempio un dado di cui si sono effettuati 50 lanci ottenendo 9 uno, 11 due, 5 tre, 8 quattro, 10 cinque e 7 sei e, per valutare la discordanza dalla distribuzione uniforme (distribuzione corrispondente ai dadi equi), calcoliamo il relativo χ2. Poniamoci, poi, il problema di individuare la distribuzione χ2 teorica nel caso in cui il dado sia realmente equo, in modo da poter confrontare con essa il χ2 trovato e valutare la verosimiglianza dell'equità del nostro dado.
Effettuiamo il calcolo mediante il programma TESTCHI2.bas (la versione a cui accedi cliccando, a differenza di quella sottostante, consente anche di usare file invece che DATA-READ):
' Calcolo di CHI-QUADRO per 50 lanci di un dado per cui si sono ottenuti 9 uno,
' 11 due, 5 tre, 8 quattro, 10 cinque, 7 sei (confronto con distribuz. uniforme).
' Modifcando nc (n.classi), n (n.prove), il DATA e la definiz.delle Pr(i) si puo`
' calcolare il chi-quadro relativo ad altri esperimenti e ad altre distribuzioni
nc=6 : n=50
DIM FrOss(nc), Pr(nc) ' freq. assoluta osservata, probabilita`
FOR i = 1 TO nc : READ FrOss(i) : NEXT
DATA 9, 11, 5, 8, 10, 7
FOR i = 1 TO nc : Pr(i)=1/6 : NEXT
FOR i=1 TO nc
FrAtt=n*Pr(i) : chi2=chi2+(FrOss(i)-FrAtt)^2/FrAtt
NEXT
PRINT "chi quadro ="; chi2
Come uscita si ottiene 2.8.
Facciamo un altro esempio.
12 |
Effettuato questo calcolo, che cosa possiamo concludere sulla equità del dado? Poi, che cosa sulla verosimiglianza di quanto raccontato dall'amico?
Prima di affrontare tali questioni per la moneta, ritorniamo al dado. Come preannunciato, studiamo la distribuzione teorica χ2(L, {1}, , {6}, n) con L distribuzione uniforme in {1, , 6}, n=50, cioè come si distribuirebbe il valore di χ2 se il dado fosse equo.
Realizziamo questo studio sperimentalmente, con FA_RND, mettendo nel sottoprogramma Prova le seguenti istruzioni, registrate come SperChi2.bas:
nc=6 : FrAtt=50/nc ' n=50, Pr=1/nc, FrAtt=n*Pr DIM FrOss(nc) 'frequenza assoluta osservata FOR h=1 TO 50 ' eseguo 50 lanci e metto in FrOss(k) k=INT(RND*nc+1): FrOss(k)=FrOss(k)+1 ' numero delle volte che esce k NEXT U=0 : FOR i=1 TO nc : U=U+(FrOss(i)-FrAtt)^2 : NEXT U=U/FrAtt ERASE FrOss
Non effettuiamo questa simulazione: è già registrato un file (CHI2.stf) ottenuto in questo modo, generando 5000 valori. Analizzalo con STAT e verifica se ottieni un esito simile al seguente. 5000 dati in 5000 righe min,max: 0.16,22.72 media: 4.94185615 mediana: 4.24 5% :1.12 25% :2.8 50% :4.24 95% :10.72 75% :6.4 percentili moda: [4,5) freq.rel.modale: 16.06% |
|
Posso osservare dall'istogramma che 2.8 è un valore abbastanza centrale. Calcolando anche i percentili trovo che 2.8 è il 25° percentile, cioè il limite sinistro del 50% centrale dei dati. Quindi posso ritenere plausibile (cioè non rifiutare) l'ipotesi che il dado sia equo. Se avessi ottenuto un valore verso la coda sinistra o quella destra avrei invece dovuto avere dubbi su tale ipotesi; in tal caso, prima di scartare l'ipotesi, sarebbe stato opportuno, se possibile, ripetere i lanci, ricalcolare χ2 e valutare la posizione del nuovo valore rispetto all'istogramma sopra riprodotto (o rispetto ai percentili).
Nel caso di un'altra legge di distribuzione L, altre classi o un altro numero n di prove, ad esempio nel caso dell'esempio iniziale o del quesito 12, si può procedere analogamente: studiare sperimentalmente con una simulazione la distribuzione di χ2(L, I1, , Inc, n) e confrontare con essa il valore calcolato di χ2.
Questo è il procedimento più "sicuro", ma non è usato praticamente, da una parte poiché, un tempo, prima della diffusione dei computer, non era possibile realizzare simulazioni, dall'altra poiché si preferisce (forse anche perché più consono al diffuso malcostume di usare acriticamente "ricette") utilizzare un procedimento standard di tipo generale, che ha il seguente retroterra teorico:
si può dimostrare (ma anche congetturare e/o confermare sperimentalmente, con delle simulazioni, ad es. con FA_RND) che, per n sufficientemente grande, la legge di distribuzione teorica di χ2(L, I1, , Inc, n) è praticamente indipendente dalla legge di distribuzione L:
|
per n tendente all'infinito χ2(L, I1, , Inc, n) tende a una legge χ2(r) che dipende solo dal numero r dei gradi di libertà, cioè dalla quantità delle frequenze sperimentali che devo conoscere direttamente. |
|
Spieghiamo meglio il concetto di "grado di libertà" con alcuni esempi.
Nel caso del dado sopra considerato, sappiamo che le frequenze FrOss1, FrOss2, , FrOss6 devono avere come somma n: questa connessione fa sì che note 5 frequenze la rimanente sia determinata automaticamente. Questa connessione è presente in tutti i casi. Quindi i gradi di libertà sono in ogni caso al più nc1 (nc = numero delle classi).
Nel caso dei 2000 dati registrati in T-Zombie, rappresentati graficamente nel §5, se FrOss1,
, FrOss16 sono le frequenze osservate nei 16 intervalli [0,5), [5,10),
e voglio operare il confronto con la densità esponenziale
[Pr(UI1), Pr(UI2),
in questo caso sono gli integrali tra 0 e 5, tra 5 e 10,
della densità, cioè F(5)
Se, invece, come w avessi scelto un valore stabilito a priori, non dipendente dai dati sperimentali, non avrei avuto la connessione ΣxiFrOssi/2000=M, e i gradi di libertà sarebbero stati 15.
La densità di χ2(r) non è facile da descrivere analiticamente e non è integrabile elementarmente (si può dimostrare che χ2(r) equivale alla somma dei quadrati di r variabili indipendenti distribuite normalmente con media 0 e s.q.m. 1). Possiamo, tuttavia, stimare i percentili di tale legge simulando e calcolando i percentili di una particolare χ2(L, I1, , Inc, n). È ciò che fa il programma TABCHI2.bas, che assume come L la legge di distribuzione uniforme di una variabile discreta: esso contiene un sottoprogramma simile a SPER-CHI2.BAS per generare i dati e un sottoprogramma per ordinarli; dai dati ordinati estrae poi i vari percentili:
Il programma studia sperimentalmente il CHI^2 teorico di una distribuzione uniforme discreta relativo a N PROVE: stampa il valore K del P-esimo percentile in corrispondenza di diversi valori di P (cioe' K delimita il primo P% dei valori ordinati ottenuti sperimental- te; ossia: FreqRel(chi^2 < K) <= P% e FreqRel(chi^2 > K) <= (100-P)% ) All'aumentare di N si ottengono approssimazioni man mano migliori dei per- centili del CHI^2 limite, che non dipende dalla legge di distribuzione. Il confronto con i percentili ti permette di valutare la normalita` del valore chi^2 che ottieni realizzando uno specifico test. Per una stima accettabile dei percentili teorici, possono bastare 500 esperimenti. Per una stima riferita al chi^2 limite (N infinito), o a un numero di PROVE molto grande, puo` bastare N=200 (per stimare percentili con valori molto minori di 0 puo` essere necessario aumentare N). Per arrestare il programma introduci un grado di liberta' negativo.
Ecco un esempio d'uso riferito ai 50 lanci del dado equo, di cui ci siamo occupati sopra. Scegliamo N=50, in quanto il programma simula proprio il χ2 relativo alla distribuzione uniforme (per altre distribuzioni è meglio prendere N maggiore, anche se le prove fossero solo una cinquantina, in modo da approssimare il χ2 limite). Si vede che già con 500 esperimenti si hanno valori abbastanza stabilizzati (con 2000 o più esperimenti non vi sono sostanziali modifiche).
n. GRADI di liberta`? 5 n. PROVE? 50 n. esperimenti? 500 Fr(chi2<K) 2.5% 5% 10% 20% 30% 50% 70% 80% 90% 95% 97.5% K 0.9 1.4 1.8 2.6 3.3 4.5 6.3 7.6 9.3 10.7 12.0 n. GRADI di liberta`? 5 n. PROVE? 50 n. esperimenti? 2000 Fr(chi2<K) 2.5% 5% 10% 20% 30% 50% 70% 80% 90% 95% 97.5% K 0.9 1.1 1.6 2.3 3.0 4.5 6.2 7.4 9.0 11.0 13.1 n. GRADI di liberta`? 5 n. PROVE? 50 n. esperimenti? 4000 Fr(chi2<K) 2.5% 5% 10% 20% 30% 50% 70% 80% 90% 95% 97.5% K 0.9 1.1 1.6 2.3 3.0 4.2 5.9 7.4 9.3 11.2 12.6
Ecco una tabulazione per vari gradi di libertà: [puoi accedere a un programma eseguibile che calcola direttamente questa tabulazione cliccando QUI]
grado di percentili libertà 2.5% 5% 10% 20% 30% 50% 70% 80% 90% 95% 97.5% 1 .001 .004 .02 .06 0.1 0.5 1.0 1.6 2.7 3.8 5.0 2 0.05 0.1 0.2 0.4 0.7 1.4 2.4 3.2 4.6 6.0 7.4 3 0.2 0.4 0.6 1.0 1.4 2.4 3.7 4.6 6.3 7.8 9.4 4 0.5 0.7 1.1 1.6 2.2 3.4 4.9 6.0 7.8 9.5 11.1 5 0.8 1.1 1.6 2.3 3.0 4.4 6.1 7.3 9.2 11.1 12.8 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 6 1.2 1.6 2.2 3.1 3.8 5.4 7.2 8.6 10.6 12.6 14.4 7 1.7 2.2 2.8 3.8 4.7 6.3 8.4 9.8 12.0 14.1 16.0 8 2.2 2.7 3.5 4.6 5.5 7.3 9.5 11.0 13.4 15.5 17.5 9 2.7 3.3 4.2 5.4 6.4 8.3 10.7 12.2 14.7 16.9 19.0 10 3.2 3.9 4.9 6.2 7.3 9.3 11.8 13.4 16.0 18.3 20.5 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 11 3.8 4.6 5.6 7.0 8.1 10.3 12.9 14.6 17.3 19.7 21.9 12 4.4 5.2 6.3 7.8 9.0 11.3 14.0 15.8 18.5 21.0 23.3 13 5.0 5.9 7.0 8.6 9.9 12.3 15.1 17.0 19.8 22.4 24.7 14 5.6 6.6 7.8 9.5 10.8 13.3 16.2 18.2 21.1 23.7 26.1 15 6.3 7.3 8.5 10.3 11.7 14.3 17.3 19.3 22.3 25.0 27.5 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 16 6.9 8.0 9.3 11.2 12.6 15.3 18.4 20.5 23.5 26.3 28.8 17 7.6 8.7 10.1 12.0 13.5 16.3 19.5 21.6 24.8 27.6 30.2 18 8.2 9.4 10.9 12.9 14.4 17.3 20.6 22.8 26.0 28.9 31.5 19 8.9 10.1 11.7 13.7 15.4 18.3 21.7 23.9 27.2 30,1 32.9 20 9.6 10.9 12.4 14.6 16.3 19.3 22.8 25.0 28.4 31.4 34.2 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 25 13.1 14.6 16.5 18.9 20.9 24.3 28.2 30.7 34.4 37.7 40.6 30 16.8 18.5 20.6 23.4 25.5 29.3 33.5 36.2 40.3 43.8 47.0 35 20.6 22.5 24.8 27.8 30.2 34.3 38.9 41.8 46.1 49.8 53.2 40 24.4 26.5 29.1 32.3 34.9 39.3 44.2 47.3 51.8 55.8 59.3 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 60 40.5 43.2 46.5 50.6 53.8 59.3 65.2 69.0 74.4 79.1 83.3 80 57.1 60.4 64.3 69.2 72.9 79.3 86.1 90.4 96.6 101.9 106.6 100 74.2 77.9 82.4 87.9 92.1 99.3 106.9 111.7 118.5 123.3 129.6 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 200 163 168 175 183 189 199.3 210 217 226 234 241
Tornando al nostro dado, se come χ2 invece di 2.8 (che è intorno al 25° percentile di χ2(5), quindi è abbastanza "normale") avessimo ottenuto 13 avremmo dovuto manifestare qualche dubbio sul fatto che il dado sia equo: c'è una discordanza molto alta rispetto alla legge uniforme; il valore è oltre il 95° percentile.
Ma anche se avessimo ottenuto una discordanza molto bassa, ad esempio χ2<1, avremmo dovuto avere dei dubbi sulla equità del dado o sulla attendibilità dei dati fornitici: è improbabile (la probabilità è inferiore al 5%: il 5° percentile è 1.1) che si ottenga un valore inferiore a 1.
14 |
Nel caso del nostro dado abbiamo usato il "test χ2" in una situazione in cui avevamo a disposizione 50 prove. La cosa era lecita poiché abbiamo operato il confronto con la distribuzione χ2 relativa alla legge di distribuzione uniforme. Nel caso di altre leggi di distribuzioni usiamo, come approssimazione, la distribuzione del χ2 limite; quindi occorre prestare qualche attenzione: affinché questa approssimazione sia buona occorre che le prove siano numerose (diciamo, almeno un centinaio); occorre, inoltre, che in ogni classe cadano abbastanza valori (diciamo, almeno 5); se in qualche classe cadono poche osservazioni è opportuno unire questa classe ad un'altra.
15 |
intervallo [20,30) [30,40) [40,50) [50,60) [60,70) [70,80) [80,90) [90,100) frequenza 21 72 66 38 51 56 64 32
Si verifichi la conformità della distribuzione uniforme (avente media e varianza uguali alla media e alla varianza sperimentali) con la distribuzione sperimentale [esercizio tratto dal manuale di Ventsel]
<<< Paragrafo precedente | Paragrafo successivo >>> |