>>>>>

Scheda 6 - Problemi tipici della statistica matematica

7. Verifica della VEROSIMIGLIANZA di una legge di distribuzione. Il TEST CHI QUADRO.

    Poniamoci il problema (vedi punto B di §2) di valutare la conformità tra una distribuzione sperimentale e una teorica.

    Per valutare la discordanza tra un valore sperimentale Us e un valore teorico U uso la differenza (o errore o scarto o deviazione) Us–U.

    Come valutare la discordanza tra gli esiti di n prove, classificati in nc classi, e una certa legge di distribuzione?

    Supponiamo di voler confrontare con la distribuzione Pr(U=2)=1/36, Pr(U=3)=2/36, … gli esiti del lancio di una coppia di dadi ripetuto n volte. Indichiamo con FreqOss1, …, FreqOss11 le frequenze assolute osservate (FreqOss1 + FreqOss11= n) e con FreqAtt1, …, FreqAtt11 le frequenze assolute attese, cioè i valori che si otterrebbero da  FrequenzaAssoluta = n · FrequenzaRelativa  mettendo Probabilità al posto di FrequenzaRelativa:  FreqAtt1 = n·1/36, FreqAtt2 = n·2/36, … (i file DadiTeo – scheda 2,§6 – e MoneTeo – scheda 3,§4 – contenevano frequenze attese).

 
   

Una idea è prendere X = Σ(FreqOssi–FreqAtti)2: l'elevamento al quadrato fa sì che differenze positive (zone punteggiate nella figura a lato) e quelle negative (zone tratteggiate) non si compensino.

    A parità di valore, uno scarto da una frequenza attesa bassa deve però essere pesato di più di uno da una frequenza attesa alta: la deformazione dall'istogramma teorico è maggiore se si è in un punto in cui il grafico è basso. Per migliorare la valutazione della difformità considero gli scarti quadratici relativi:

X = Σ(FreqOssi-FreqAtti)2 / FreqAtti

    Nel caso di un'altra variabile casuale U le frequenze attese in ciascuna delle nc classi (intervallini o altri insiemi) Ii in cui ho classificato gli n dati saranno calcolate analogamente:
        FreqAtti = n·pi, dove pi=Pr(UIi), i=1,…,nc.
Se U è continua Pr(UIi) sarà calcolato integrando su Ii la funzione densità.

    X è una variabile aleatoria (ogni volta che effettuo n prove X assume un valore casuale) che, oltre che dal fenomeno studiato, dipende dal numero delle prove n, dalle classi I1, …, Inc scelte e dai valori Pr(UIi), cioè dalla legge di distribuzione teorica L di cui si vuole valutare la verosimiglianza.

    Nel caso di fenomeni che seguano realmente la legge L, X avrà una certa distribuzione teorica. Se confronto il valore X* di X che ottengo per un particolare fenomeno con tale distribuzione teorica, posso valutarne la "normalità": se X* è anormale posso ritenere non verosimile che il fenomeno si manifesti secondo la legge L.

    Indichiamo con χ2(L, I1,…, Inc, n) la distribuzione teorica di X e indichiamo con χ2 ("chi quadro") X o X*, a seconda dei casi, lasciando al contesto il superamento dell'ambiguità.  
χ2
nc
Σ
i=1
(FreqOssi - FreqAtti)2
—————————
FreqAtti

    Consideriamo ad esempio un dado di cui si sono effettuati 50 lanci ottenendo 9 uno, 11 due, 5 tre, 8 quattro, 10 cinque e 7 sei e, per valutare la discordanza dalla distribuzione uniforme (distribuzione corrispondente ai dadi equi), calcoliamo il relativo χ2. Poniamoci, poi, il problema di individuare la distribuzione χ2 teorica nel caso in cui il dado sia realmente equo, in modo da poter confrontare con essa il χ2 trovato e valutare la verosimiglianza dell'equità del nostro dado.

    Effettuiamo il calcolo mediante il programma TESTCHI2.bas (la versione a cui accedi cliccando, a differenza di quella sottostante, consente anche di usare file invece che DATA-READ):

' Calcolo di CHI-QUADRO per 50 lanci di un dado per cui si sono ottenuti 9 uno,
' 11 due, 5 tre, 8 quattro, 10 cinque, 7 sei (confronto con distribuz. uniforme).
' Modifcando nc (n.classi), n (n.prove), il DATA e la definiz.delle Pr(i) si puo`
' calcolare il chi-quadro relativo ad altri esperimenti e ad altre distribuzioni
nc=6 : n=50
DIM FrOss(nc), Pr(nc)   ' freq. assoluta osservata, probabilita`
FOR i = 1 TO nc : READ FrOss(i) : NEXT
DATA 9, 11, 5, 8, 10, 7
FOR i = 1 TO nc : Pr(i)=1/6 : NEXT
FOR i=1 TO nc
    FrAtt=n*Pr(i) : chi2=chi2+(FrOss(i)-FrAtt)^2/FrAtt
NEXT
PRINT "chi quadro ="; chi2

   Come uscita si ottiene 2.8.

    Facciamo un altro esempio.

12

 Un amico mi dice: "Questa moneta è equa. Infatti su 1000 lanci ho ottenuto 499 "testa" e 501 "croce"". Per affrontare la questione, modifica e usa TESTCHI2.BAS per calcolare il χ2 di confronto tra tale esperimento e la distribuzione uniforme.

    Effettuato questo calcolo, che cosa possiamo concludere sulla equità del dado? Poi, che cosa sulla verosimiglianza di quanto raccontato dall'amico?

    Prima di affrontare tali questioni per la moneta, ritorniamo al dado. Come preannunciato, studiamo la distribuzione teorica χ2(L, {1},…, {6}, n) con L distribuzione uniforme in {1, …, 6}, n=50, cioè come si distribuirebbe il valore di χ2 se il dado fosse equo.

    Realizziamo questo studio sperimentalmente, con FA_RND, mettendo nel sottoprogramma Prova le seguenti istruzioni, registrate come SperChi2.bas:

nc=6 : FrAtt=50/nc  ' n=50, Pr=1/nc, FrAtt=n*Pr
DIM FrOss(nc)  'frequenza assoluta osservata
FOR h=1 TO 50                         ' eseguo 50 lanci e metto in FrOss(k)
k=INT(RND*nc+1): FrOss(k)=FrOss(k)+1  ' numero delle volte che esce k
NEXT
U=0 : FOR i=1 TO nc : U=U+(FrOss(i)-FrAtt)^2 : NEXT
U=U/FrAtt
ERASE FrOss

13

 Non effettuiamo questa simulazione: è già registrato un file (CHI2.stf) ottenuto in questo modo, generando 5000 valori. Analizzalo con STAT e verifica se ottieni un esito simile al seguente.

5000 dati in 5000 righe  min,max: 0.16,22.72
media: 4.94185615  mediana: 4.24
5% :1.12    25% :2.8    50% :4.24
95% :10.72   75% :6.4    percentili
moda: [4,5) freq.rel.modale: 16.06%

   

    Posso osservare dall'istogramma che 2.8 è un valore abbastanza centrale. Calcolando anche i percentili trovo che 2.8 è il 25° percentile, cioè il limite sinistro del 50% centrale dei dati. Quindi posso ritenere plausibile (cioè non rifiutare) l'ipotesi che il dado sia equo. Se avessi ottenuto un valore verso la coda sinistra o quella destra avrei invece dovuto avere dubbi su tale ipotesi; in tal caso, prima di scartare l'ipotesi, sarebbe stato opportuno, se possibile, ripetere i lanci, ricalcolare χ2 e valutare la posizione del nuovo valore rispetto all'istogramma sopra riprodotto (o rispetto ai percentili).

    Nel caso di un'altra legge di distribuzione L, altre classi o un altro numero n di prove, ad esempio nel caso dell'esempio iniziale o del quesito 12, si può procedere analogamente: studiare sperimentalmente con una simulazione la distribuzione di χ2(L, I1,…, Inc, n) e confrontare con essa il valore calcolato di χ2.

    Questo è il procedimento più "sicuro", ma non è usato praticamente, da una parte poiché, un tempo, prima della diffusione dei computer, non era possibile realizzare simulazioni, dall'altra poiché si preferisce (forse anche perché più consono al diffuso malcostume di usare acriticamente "ricette") utilizzare un procedimento standard di tipo generale, che ha il seguente retroterra teorico:

si può dimostrare (ma anche congetturare e/o confermare sperimentalmente, con delle simulazioni, ad es. con FA_RND) che, per n sufficientemente grande, la legge di distribuzione teorica di χ2(L, I1,…, Inc, n) è praticamente indipendente dalla legge di distribuzione L:


|
|
|

per n tendente all'infinito χ2(L, I1,…, Inc, n) tende a una legge χ2(r) che dipende solo dal numero r dei gradi di libertà, cioè dalla quantità delle frequenze sperimentali che devo conoscere direttamente.

|
|
|
|

    Spieghiamo meglio il concetto di "grado di libertà" con alcuni esempi.

    Nel caso del dado sopra considerato, sappiamo che le frequenze FrOss1, FrOss2,…, FrOss6 devono avere come somma n: questa connessione fa sì che note 5 frequenze la rimanente sia determinata automaticamente. Questa connessione è presente in tutti i casi. Quindi i gradi di libertà sono in ogni caso al più nc–1 (nc = numero delle classi).

    Nel caso dei 2000 dati registrati in T-Zombie, rappresentati graficamente nel §5, se FrOss1,…, FrOss16 sono le frequenze osservate nei 16 intervalli [0,5), [5,10), … e voglio operare il confronto con la densità esponenziale x w·e-wx con w pari al reciproco della media sperimentale M (=10.19…), come connessione imposta, ulteriore rispetto a ΣFrOssi=2000, ho che ΣxiFrOssi/2000=M  (xi centro dell'intervallo i-esimo: x1=2.5, x2=7.5, …). I gradi di libertà sono 14. Note 14 tra le FrOssi, ad es. FrOss1, FrOss2, …, FrOss14, potrei determinare FrOss15 e FrOss16 risolvendo il sistema (avente FrOss15 e FrOss16 come incognite):  ΣFrOssi = 2000  AND  ΣxiFrOssi/2000 = M.

[Pr(UI1), Pr(UI2), … in questo caso sono gli integrali tra 0 e 5, tra 5 e 10, … della densità, cioè F(5)–F(0), F(10)–F(5), … dove F: x 1–e-wx è la ripartizione cumulata]

    Se, invece, come w avessi scelto un valore stabilito a priori, non dipendente dai dati sperimentali, non avrei avuto la connessione ΣxiFrOssi/2000=M, e i gradi di libertà sarebbero stati 15.

    La densità di χ2(r) non è facile da descrivere analiticamente e non è integrabile elementarmente (si può dimostrare che χ2(r) equivale alla somma dei quadrati di r variabili indipendenti distribuite normalmente con media 0 e s.q.m. 1). Possiamo, tuttavia, stimare i percentili di tale legge simulando e calcolando i percentili di una particolare χ2(L, I1,…, Inc, n). È ciò che fa il programma TABCHI2.bas, che assume come L la legge di distribuzione uniforme di una variabile discreta: esso contiene un sottoprogramma simile a SPER-CHI2.BAS per generare i dati e un sottoprogramma per ordinarli; dai dati ordinati estrae poi i vari percentili:

   Il programma studia sperimentalmente il CHI^2 teorico di una distribuzione
 uniforme discreta relativo a N PROVE:
 stampa il valore K del P-esimo percentile in corrispondenza di diversi valori
 di P (cioe' K delimita il primo P% dei valori ordinati ottenuti sperimental-
 te; ossia: FreqRel(chi^2 < K) <= P%  e FreqRel(chi^2 > K) <= (100-P)%  )
   All'aumentare di N si ottengono approssimazioni man mano migliori dei per-
 centili del CHI^2 limite, che non dipende dalla legge di distribuzione.
   Il confronto con i percentili ti permette di valutare la normalita` del
 valore chi^2 che ottieni realizzando uno specifico test.

   Per una stima accettabile dei percentili teorici, possono bastare 500
 esperimenti.
   Per una stima riferita al chi^2 limite (N infinito), o a un numero di PROVE
 molto grande, puo` bastare N=200 (per stimare percentili con valori molto
 minori di 0 puo` essere necessario aumentare N).

 Per arrestare il programma introduci un grado di liberta' negativo.

    Ecco un esempio d'uso riferito ai 50 lanci del dado equo, di cui ci siamo occupati sopra. Scegliamo N=50, in quanto il programma simula proprio il χ2 relativo alla distribuzione uniforme (per altre distribuzioni è meglio prendere N maggiore, anche se le prove fossero solo una cinquantina, in modo da approssimare il χ2 limite). Si vede che già con 500 esperimenti si hanno valori abbastanza stabilizzati (con 2000 o più esperimenti non vi sono sostanziali modifiche).

n. GRADI di liberta`? 5  n. PROVE? 50  n. esperimenti? 500
Fr(chi2<K)   2.5%  5%    10%   20%   30%   50%   70%   80%   90%   95%   97.5%
     K       0.9   1.4   1.8   2.6   3.3   4.5   6.3   7.6   9.3  10.7  12.0

n. GRADI di liberta`? 5  n. PROVE? 50  n. esperimenti? 2000
Fr(chi2<K)   2.5%  5%    10%   20%   30%   50%   70%   80%   90%   95%   97.5%
     K       0.9   1.1   1.6   2.3   3.0   4.5   6.2   7.4   9.0  11.0  13.1

n. GRADI di liberta`? 5  n. PROVE? 50  n. esperimenti? 4000
Fr(chi2<K)   2.5%  5%    10%   20%   30%   50%   70%   80%   90%   95%   97.5%
     K       0.9   1.1   1.6   2.3   3.0   4.2   5.9   7.4   9.3  11.2  12.6

Ecco una tabulazione per vari gradi di libertà:  [puoi accedere a un programma eseguibile che calcola direttamente questa tabulazione cliccando QUI]


grado di                          percentili
libertà   2.5%   5%   10%   20%   30%   50%   70%   80%   90%   95%   97.5%

1        .001   .004  .02   .06   0.1   0.5   1.0   1.6   2.7   3.8   5.0
2        0.05   0.1   0.2   0.4   0.7   1.4   2.4   3.2   4.6   6.0   7.4
3        0.2    0.4   0.6   1.0   1.4   2.4   3.7   4.6   6.3   7.8   9.4
4        0.5    0.7   1.1   1.6   2.2   3.4   4.9   6.0   7.8   9.5  11.1
5        0.8    1.1   1.6   2.3   3.0   4.4   6.1   7.3   9.2  11.1  12.8
- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
6        1.2    1.6   2.2   3.1   3.8   5.4   7.2   8.6  10.6  12.6  14.4
7        1.7    2.2   2.8   3.8   4.7   6.3   8.4   9.8  12.0  14.1  16.0
8        2.2    2.7   3.5   4.6   5.5   7.3   9.5  11.0  13.4  15.5  17.5
9        2.7    3.3   4.2   5.4   6.4   8.3  10.7  12.2  14.7  16.9  19.0
10       3.2    3.9   4.9   6.2   7.3   9.3  11.8  13.4  16.0  18.3  20.5
- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
11       3.8    4.6   5.6   7.0   8.1  10.3  12.9  14.6  17.3  19.7  21.9
12       4.4    5.2   6.3   7.8   9.0  11.3  14.0  15.8  18.5  21.0  23.3
13       5.0    5.9   7.0   8.6   9.9  12.3  15.1  17.0  19.8  22.4  24.7
14       5.6    6.6   7.8   9.5  10.8  13.3  16.2  18.2  21.1  23.7  26.1
15       6.3    7.3   8.5  10.3  11.7  14.3  17.3  19.3  22.3  25.0  27.5
- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
16       6.9    8.0   9.3  11.2  12.6  15.3  18.4  20.5  23.5  26.3  28.8
17       7.6    8.7  10.1  12.0  13.5  16.3  19.5  21.6  24.8  27.6  30.2
18       8.2    9.4  10.9  12.9  14.4  17.3  20.6  22.8  26.0  28.9  31.5
19       8.9   10.1  11.7  13.7  15.4  18.3  21.7  23.9  27.2  30,1  32.9
20       9.6   10.9  12.4  14.6  16.3  19.3  22.8  25.0  28.4  31.4  34.2
- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
25      13.1   14.6  16.5  18.9  20.9  24.3  28.2  30.7  34.4  37.7  40.6
30      16.8   18.5  20.6  23.4  25.5  29.3  33.5  36.2  40.3  43.8  47.0
35      20.6   22.5  24.8  27.8  30.2  34.3  38.9  41.8  46.1  49.8  53.2
40      24.4   26.5  29.1  32.3  34.9  39.3  44.2  47.3  51.8  55.8  59.3
- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
60      40.5   43.2  46.5  50.6  53.8  59.3  65.2  69.0  74.4  79.1  83.3
80      57.1   60.4  64.3  69.2  72.9  79.3  86.1  90.4  96.6 101.9 106.6
100     74.2   77.9  82.4  87.9  92.1  99.3 106.9 111.7 118.5 123.3 129.6
- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
200    163    168   175   183   189   199.3 210   217   226   234   241

    Tornando al nostro dado, se come χ2 invece di 2.8 (che è intorno al 25° percentile di χ2(5), quindi è abbastanza "normale") avessimo ottenuto 13 avremmo dovuto manifestare qualche dubbio sul fatto che il dado sia equo: c'è una discordanza molto alta rispetto alla legge uniforme; il valore è oltre il 95° percentile.

    Ma anche se avessimo ottenuto una discordanza molto bassa, ad esempio χ2<1, avremmo dovuto avere dei dubbi sulla equità del dado o sulla attendibilità dei dati fornitici: è improbabile (la probabilità è inferiore al 5%: il 5° percentile è 1.1) che si ottenga un valore inferiore a 1.

14

 Discuti quanto ottenuto nel quesito 12.

    Nel caso del nostro dado abbiamo usato il "test χ2" in una situazione in cui avevamo a disposizione 50 prove. La cosa era lecita poiché abbiamo operato il confronto con la distribuzione χ2 relativa alla legge di distribuzione uniforme. Nel caso di altre leggi di distribuzioni usiamo, come approssimazione, la distribuzione del χ2 limite; quindi occorre prestare qualche attenzione: affinché questa approssimazione sia buona occorre che le prove siano numerose (diciamo, almeno un centinaio); occorre, inoltre, che in ogni classe cadano abbastanza valori (diciamo, almeno 5); se in qualche classe cadono poche osservazioni è opportuno unire questa classe ad un'altra.

15

 Per studiare la legge di distribuzione dell'errore delle misure rilevate mediante un radioaltimetro si effettuano 400 misure, ottenendo i seguenti risultati:

intervallo  [20,30) [30,40) [40,50) [50,60) [60,70) [70,80) [80,90) [90,100)
frequenza     21      72      66      38      51      56      64      32

Si verifichi la conformità della distribuzione uniforme (avente media e varianza uguali alla media e alla varianza sperimentali) con la distribuzione sperimentale [esercizio tratto dal manuale di Ventsel]

<<<     Paragrafo precedente Paragrafo successivo     >>>