NOTA: questo articolo è apparso originariamente su JMPer Cable, numero 15, estate 2004.
John Sall, vicepresidente esecutivo, SAS Institute Inc. @John_Sall
Bradley Jones, Sviluppo JMP @bradleyjones
Ogni procedura statistica implica ipotesi. Ci viene insegnato a temere la violazione di questi presupposti. Ad esempio, le procedure standard per confrontare le medie, i due campioni T- prova, l'accoppiato T -test e ANOVA includono tutti il presupposto che l'errore residuo sia distribuito normalmente. Se l'errore è distribuito normalmente e tutte le altre ipotesi sono valide, allora tutte le statistiche dei test hanno le loro distribuzioni dichiarate e gli intervalli di confidenza e i test di ipotesi possono essere attendibili. Disponiamo anche di una ricca fonte di strumenti analitici per verificare le nostre ipotesi, come le funzionalità della piattaforma di distribuzione che testano e rappresentano graficamente la distribuzione normale. Cosa succede se i residui non sono distribuiti normalmente? Quanto dovrebbe preoccuparsi un professionista se i residui sono normali? Pochi articoli, e meno libri, entrano nei dettagli su quanto preoccuparsi riguardo al presupposto della normalità.
Avere residui normalmente distribuiti è un problema di cui probabilmente non dobbiamo preoccuparci molto perché:
- In campioni di grandi dimensioni è facile rilevare la non normalità, ma non ha importanza.
- In campioni piccoli, la non normalità può avere importanza, ma non è possibile rilevarla.
Con campioni di grandi dimensioni, il teorema del limite centrale afferma che anche se i dati non sono normali, le statistiche di tipo medio si avvicinano alle distribuzioni normali all’aumentare della dimensione del campione. Con campioni piccoli, la statistica del test non è necessariamente normale, ma non abbiamo un campione abbastanza grande per dirlo.
Gli sviluppatori JMP ricevono frequenti richieste di implementare un test per la normalità residua come caratteristica di comodità per le nostre piattaforme di adattamento. Ma ciò sarebbe utile solo se esistessero dimensioni del campione per le quali la non normalità potesse essere rilevata e importante. Indaghiamo, utilizzando la simulazione.
Per la nostra simulazione confrontiamo le medie di due gruppi utilizzando due diverse distribuzioni di errore non normali: una doppia esponenziale e una normale contaminata dallo spostamento. Il doppio esponenziale è simmetrico, ma leptocurtotico, cioè , molto più appuntiti e con code molto più pesanti rispetto alla distribuzione normale. Lo spostamento normale contaminato è una distribuzione normale distorta a destra aggiungendo uno spostamento di tre deviazioni standard in un 5% dei campioni selezionato casualmente.
Il doppio esponenziale è simulato da questa formula JMP:
if(randomUniform()>0.5,1,-1)*log(randomUniform())
La distribuzione contaminata da turni utilizza questa formula JMP:
10+5*(randomNormal() + (randomUniform()<0.05)*3)
Questi sono pensati per essere caratteristici della non normalità forte, ma non estrema, che potresti vedere nei dati reali.
La Figura 1 mostra 10.000 punti del doppio esponenziale simulato e la Figura 2 mostra le distribuzioni contaminate dallo spostamento. La linea diagonale rossa continua è un riferimento per come apparirebbero i dati se si adattassero a una distribuzione normale. Si noti che i dati cadono sotto la linea per i quantili piccoli e sopra la linea per i quantili grandi. La sua è caratteristica delle distribuzioni leptocurtotiche. Hanno molta massa di probabilità nel mezzo con code lunghe ma scarsamente popolate.
I dati nel grafico dei quantili normali per la distribuzione contaminata dallo spostamento (Figura 2) cadono al di sopra della linea diagonale rossa continua per i quantili grandi. Questo è caratteristico delle distribuzioni asimmetriche a destra. Se i dati fossero stati distribuiti normalmente, la parte superiore dell'istogramma sarebbe terminata intorno a 30 invece di continuare poco dopo 40.
Fig. 1: Distribution results for the double-exponential distribution.Fig. 1: Distribution results for the double-exponential distribution.Fig. 1: Distribution results for the double-exponential distribution.Fig. 1: Distribution results for the double-exponential distribution.Fig. 1: Risultati della distribuzione per la distribuzione doppia esponenziale.
Fig. 2: Distribution results for the shift-contaminate distributions.Fig. 2: Distribution results for the shift-contaminate distributions.Fig. 2: Distribution results for the shift-contaminate distributions.Fig. 2: Distribution results for the shift-contaminate distributions.Fig. 2: Risultati della distribuzione per le distribuzioni di spostamento-contaminazione.
È stato eseguito uno script JSL che ha generato 10.000 campioni Monte Carlo con 10 osservazioni per queste due distribuzioni non normali.Lo script (MonteCarlo.jsl) è allegato. (NOTA: l'esecuzione dello script richiede del tempo.) Ogni campione è stato diviso in due gruppi di uguali dimensioni. In base alla progettazione, non vi è alcuna differenza tra le medie dei due gruppi. Abbiamo anche generato 10.000 campioni per la distribuzione normale standard come controllo. Per ciascun campione è stata eseguita un'analisi unidirezionale per testare la differenza delle medie e una distribuzione per testare la normalità dei residui. Abbiamo ripetuto l'intera procedura per campioni di dimensione 20, 30, 50, 70 e 100.
Test per medie uguali quando non c'è differenza nelle medie della popolazione
Per prima cosa, diamo un’occhiata ai lotti dei nostri 10.000 P -valori per le distribuzioni non normali. Ricordare che la nostra procedura è progettata in modo tale che non vi sia alcuna vera differenza nelle medie per ciascun campione. A causa della variazione casuale, il P -i valori per le nostre 10.000 analisi unidirezionali dovrebbero essere distribuiti uniformemente tra zero e uno. La funzione di distribuzione uniforme è la linea diagonale F(x) = x.
Per produrre i grafici nelle Figure 3a e 3b, abbiamo prima ordinato i 10.000 P -valori. IL sì -asse è la proporzione dei 10.000 P -valori inferiori o uguali ad una data probabilità di significatività. IL X -l'asse mostra le probabilità di significatività ( P valori). Ciascuna dimensione del campione viene visualizzata in un colore diverso.
Fig. 3a: Probability plot of p-values for the double-exponential distribution.Fig. 3a: Probability plot of p-values for the double-exponential distribution.Fig. 3a: Probability plot of p-values for the double-exponential distribution.Fig. 3a: Probability plot of p-values for the double-exponential distribution.Fig. 3a: Grafico delle probabilità dei valori p per la distribuzione doppia esponenziale.
Fig 3b: Probability plot of p-values for the shift-contaminated distribution.Fig 3b: Probability plot of p-values for the shift-contaminated distribution.Fig 3b: Probability plot of p-values for the shift-contaminated distribution.Fig 3b: Probability plot of p-values for the shift-contaminated distribution.Fig 3b: grafico delle probabilità dei valori p per la distribuzione contaminata dallo spostamento.
Per entrambi i grafici e per tutte le dimensioni del campione, le distribuzioni di P -i valori sembrano vicini alla linea diagonale della funzione di distribuzione cumulativa uniforme. Come speravamo, né il cambiamento della distribuzione né quello della dimensione del campione hanno molto effetto sull’accuratezza della probabilità di significatività del test ANOVA a parità di medie.
Diamo un'occhiata più da vicino alla scala bassa vicino a 0,05 dove giudichiamo la significatività. I grafici nelle Figure 4a e 4b ingrandiscono l'area.
Fig. 4a: Expanded-scale view of p-value probability plot for non-normal double-exponential distribution.Fig. 4a: Expanded-scale view of p-value probability plot for non-normal double-exponential distribution.Fig. 4a: Expanded-scale view of p-value probability plot for non-normal double-exponential distribution.Fig. 4a: Expanded-scale view of p-value probability plot for non-normal double-exponential distribution.Fig. 4a: Vista su scala estesa del grafico della probabilità del valore p per una distribuzione doppia esponenziale non normale.
Fig. 4b: Expanded-scale view of p-value probability plot for non-normal shift-contaminated distribution.Fig. 4b: Expanded-scale view of p-value probability plot for non-normal shift-contaminated distribution.Fig. 4b: Expanded-scale view of p-value probability plot for non-normal shift-contaminated distribution.Fig. 4b: Expanded-scale view of p-value probability plot for non-normal shift-contaminated distribution. Fig. 4b: Vista su scala estesa del grafico della probabilità del valore p per una distribuzione contaminata da spostamenti non normali.
Si noti che la linea diagonale rossa corrispondente al test di uguaglianza delle medie per due gruppi con cinque osservazioni si allontana leggermente al di sotto della linea y = x. Cosa significa questo?
Sappiamo che se scegliamo una probabilità di significatività pari a 0,05, rifiuteremo l'ipotesi che le nostre medie siano uguali nel 5% dei nostri esperimenti a causa dei capricci del caso, anche se le medie sono veramente uguali. Cioè, il 5% delle volte commetteremo un errore di tipo I: rifiuteremo l’ipotesi che le medie siano uguali quando l’ipotesi è vera.
Questo tasso di errore di tipo I del 5% è integrato e ciò che ci aspettiamo se scegliamo una probabilità di significatività di 0,05. Se sembrano troppi errori, è necessario scegliere una probabilità di significatività inferiore.
Quando la linea diagonale rossa attraversa la linea tratteggiata verticale x = 0,05, è sì -il valore è 0,043. Ciò significa che invece di rifiutare l’ipotesi che le nostre medie siano uguali il 5% delle volte, abbiamo rifiutato solo il 4,3% delle volte. Lo chiamiamo risultato conservativo perché stiamo commettendo meno errori di tipo I di quanto ci aspettiamo. Se stai per perdere, è meglio perdere in modo conservativo.
D'altra parte, supponiamo che una linea abbia attraversato la linea tratteggiata verticale a 0,05 con un valore CumProb di 0,06. Quindi, invece di vedere il 5% di errori di Tipo I previsti, vedremmo effettivamente il 6% di errori di Tipo I. Definiamo un test di questo tipo troppo liberale perché il tasso di errore reale è maggiore del previsto.
È rassicurante che nell’unico caso in cui le linee si discostano dalla linea dei 45 gradi, si sia dalla parte conservatrice. Il caso contaminato dal turno ha anche il N =10 caso spostato sul lato conservativo, ma non tanto quanto sul doppio esponenziale.
La Figura 5 mostra la simulazione Monte Carlo con una curva normale pura per mostrare la variazione casuale naturale nello studio Monte Carlo.
Fig. 5: Expanded-scale view of p-value probability plot for the standard normal distribtuion.Fig. 5: Expanded-scale view of p-value probability plot for the standard normal distribtuion.Fig. 5: Expanded-scale view of p-value probability plot for the standard normal distribtuion.Fig. 5: Expanded-scale view of p-value probability plot for the standard normal distribtuion.Fig. 5: Vista su scala estesa del grafico della probabilità del valore p per la distribuzione normale standard.
Testare la non normalità
La domanda successiva è se possiamo rilevare che gli errori non sono normali. Iniziamo calcolando i residui di ciascuna analisi unidirezionale effettuata in precedenza. Utilizzando la piattaforma di distribuzione, testiamo la normalità di questi residui. Pertanto, per ciascuna distribuzione e dimensione del campione eseguiamo 10.000 test di Shapiro-Wilks per la normalità. I grafici nella Figura 6 mostrano la percentuale cumulativa dei risultati del test di normalità in funzione della probabilità di significatività nel test di Shapiro-Wilks.
Fig. 6: Power plots of Shapiro-Wilkes tests for non-normal distributions.Fig. 6: Power plots of Shapiro-Wilkes tests for non-normal distributions.Fig. 6: Power plots of Shapiro-Wilkes tests for non-normal distributions.Fig. 6: Power plots of Shapiro-Wilkes tests for non-normal distributions.Fig. 6: Diagrammi di potenza dei test di Shapiro-Wilkes per distribuzioni non normali.
Cosa ci dicono queste trame? Innanzitutto sappiamo che sia nel caso doppio esponenziale che nel caso normale contaminato da spostamento, la distribuzione dei residui non è normale. Vogliamo sapere quanto è probabile che il nostro test rilevi questa nonnormalità. In altre parole, vogliamo sapere quanto è potente il nostro test.
Un test perfettamente potente avrebbe un grafico che somigliasse alla lettera greca gamma, Γ.Al contrario, un test senza potenza avrebbe un grafico che assomiglia ad una linea diagonale.
Per i residui distribuiti in modo esponenziale doppio, possiamo vedere che il grafico per il campione di 100 osservazioni sale rapidamente all'estrema sinistra, come desiderato. Sfortunatamente, la somiglianza del grafico con Γ peggiora al diminuire della dimensione del campione. Quando la dimensione del campione è 10, la funzione assomiglia molto di più alla linea diagonale (nessuna potenza di rilevamento).
Per i residui distribuiti normali contaminati dallo spostamento, il potere di rilevamento del test di Shapiro-Wilks è peggiore per ogni dimensione del campione.
Quando i residui sono realmente normali, come illustrato nella Figura 7, vediamo una linea diagonale per ogni dimensione del campione. Questo è ciò che vogliamo. Non vogliamo rilevare una non-normalità inesistente. In questo caso, la “potenza” del test è la probabilità di un errore di tipo I. È impossibile che un test sia meno potente di questo.
Fig. 7: Power plot of Shapiro-Wilkes test for the standard normal distribution.Fig. 7: Power plot of Shapiro-Wilkes test for the standard normal distribution.Fig. 7: Power plot of Shapiro-Wilkes test for the standard normal distribution.Fig. 7: Power plot of Shapiro-Wilkes test for the standard normal distribution.Fig. 7: Grafico della potenza del test di Shapiro-Wilkes per la distribuzione normale standard.
Ora espandiamo il file P -value in modo da poter esaminare la potenza ad alpha=0,05, come mostrato nelle Figure 8a e 8b. La curva inferiore (dimensione del campione N = 10) nella Figura 8 attraversa la linea della griglia verticale x=0,05 in corrispondenza del valore 0,10. Ciò significa che se la probabilità di significatività di Shapiro-Wilks è 0,05, hai una probabilità del 10% di rilevare il fatto che i residui non sono normali. Diciamo che la potenza del test di Shapiro-Wilks è del 10%. Questo non è impressionante.
Fig. 8a: Expanded-scale power plots for double-exponential non-normal distribution.Fig. 8a: Expanded-scale power plots for double-exponential non-normal distribution.Fig. 8a: Expanded-scale power plots for double-exponential non-normal distribution.Fig. 8a: Expanded-scale power plots for double-exponential non-normal distribution.Fig. 8a: Grafici di potenza su scala estesa per una distribuzione non normale doppia esponenziale.
Fig. 8b: Expanded-scale power plot for shift-contaminated non-normal distribution.Fig. 8b: Expanded-scale power plot for shift-contaminated non-normal distribution.Fig. 8b: Expanded-scale power plot for shift-contaminated non-normal distribution.Fig. 8b: Expanded-scale power plot for shift-contaminated non-normal distribution.Fig. 8b: Grafico di potenza su scala estesa per una distribuzione non normale contaminata da spostamenti.
Un altro modo per dirlo è che la probabilità di un errore di tipo II è del 90%. Cioè, il 90% delle volte il test di Shapiro-Wilks (data questa distribuzione degli errori e questo livello di significatività) non riuscirà erroneamente a rifiutare l'ipotesi dei residui normali.
Al contrario, la curva superiore sopra (dimensione del campione N = 100) attraversa la linea verticale della griglia x=0,05 al valore 0,78. Quindi, la potenza di questo test è quasi dell’80%.
Le curve di potenza hanno una forma simile per i residui normali contaminati dallo spostamento, ma la potenza risultante è ancora inferiore. Ad esempio, la curva superiore (dimensione del campione n = 100) attraversa la linea 0,05 a circa 0,63 (la potenza è 63%).
Quindi vediamo che per un piccolo numero di osservazioni non è possibile rilevare la non normalità. Per un gran numero di osservazioni non ti interessa se gli errori non sono normali perché il nostro tasso di errore simulato di tipo I corrisponde al tasso previsto per campioni di grandi dimensioni.
Questo studio tenderebbe a sostenere la mancata implementazione di un test di normalità nelle piattaforme di adattamento. Includere questa funzionalità incoraggerebbe solo le persone a preoccuparsi di qualcosa che non possono vedere o che non ha importanza.
Inserire caratteristiche grafiche e diagnostiche per la distribuzione dei residui è una questione diversa. Invece di eseguire test, stai cercando anomalie grafiche, come valori anomali o uno schema che potrebbe essere un indizio su qualche struttura nascosta della modalità. Valori anomali e modelli sono spesso l’indizio principale di una scoperta importante.
Uno dei comandamenti di W. Edwards Deming era "Scacciare la paura", ma come statistici di solito facciamo il contrario, instillando paure irrazionali nei nostri clienti e studenti. Con questo studio, che potete facilmente riprodurre, spero che ora siate abbastanza coraggiosi da combattere la “leptocurtosifobia”.
Non è bello avere una cosa in meno di cui preoccuparsi?
