NOTA: questo articolo è apparso originariamente su JMPer Cable, numero 15, estate 2004.
John Sall, vicepresidente esecutivo, SAS Institute Inc. @John_Sall
Bradley Jones, Sviluppo JMP @bradleyjones
Ogni procedura statistica implica ipotesi. Ci viene insegnato a temere la violazione di questi presupposti. Ad esempio, le procedure standard per il confronto delle medie, i due campioni t- prova, l'accoppiato t -test e ANOVA includono tutti l'ipotesi che l'errore residuo sia normalmente distribuito. Se l'errore è distribuito normalmente e tutte le altre ipotesi sono valide, tutte le statistiche del test hanno le distribuzioni dichiarate e gli intervalli di confidenza e i test di ipotesi possono essere attendibili. Abbiamo anche una ricca fonte di strumenti analitici per sondare le nostre ipotesi, come le funzionalità nella piattaforma di distribuzione che testano e rappresentano graficamente la distribuzione normale. Cosa succede se i residui non sono normalmente distribuiti? Quanto dovrebbe preoccuparsi un praticante se i residui sono normali? Pochi articoli, e meno libri, scendono nel dettaglio su quanto preoccuparsi del presupposto della normalità.
Avere residui normalmente distribuiti è un problema di cui probabilmente non dobbiamo preoccuparci molto perché:
- In campioni di grandi dimensioni, è facile rilevare la non normalità, ma non importa.
- In piccoli campioni, la non normalità può avere importanza, ma non puoi rilevarla.
Con campioni di grandi dimensioni, il teorema del limite centrale afferma che anche se i dati non sono normali, le statistiche di tipo medio si avvicinano alle distribuzioni normali all'aumentare della dimensione del campione. Con piccoli campioni, la statistica del test non è necessariamente normale, ma non abbiamo un campione abbastanza grande da dire.
Gli sviluppatori JMP ricevono frequenti richieste per implementare un test per la normalità residua come caratteristica di praticità per le nostre piattaforme di adattamento. Ma questo sarebbe utile solo se ci fossero dimensioni del campione per le quali la non normalità potrebbe essere rilevata e considerata. Indaghiamo, usando la simulazione.
Per la nostra simulazione confrontiamo le medie di due gruppi utilizzando due diverse distribuzioni di errore non normali: una doppia esponenziale e una normale contaminata dallo spostamento. Il doppio esponenziale è simmetrico, ma leptocurtico, cioè , molto più appuntito e con code molto più pesanti rispetto alla distribuzione normale. La normale contaminata dallo spostamento è una distribuzione normale inclinata verso destra aggiungendo uno spostamento di tre deviazioni standard in un 5% dei campioni selezionato casualmente.
Il doppio esponenziale è simulato da questa formula JMP:
if(randomUniform()>0.5,1,-1)*log(randomUniform())
La distribuzione contaminata dal turno utilizza questa formula JMP:
10+5*(randomNormal() + (randomUniform()<0.05)*3)
Questi sono pensati per essere caratteristici di una nonnormalità forte, ma non estrema, che potresti vedere nei dati reali.
La Figura 1 mostra 10.000 punti del doppio esponenziale simulato e la Figura 2 mostra le distribuzioni contaminate dallo spostamento. La linea diagonale rossa continua è un riferimento per come apparirebbero i dati se si adattassero a una distribuzione normale. Si noti che i dati cadono al di sotto della linea per i quantili piccoli e al di sopra della linea per i quantili grandi. Il suo è caratteristico delle distribuzioni leptocurtotiche. Hanno un sacco di massa di probabilità nel mezzo con code lunghe ma scarsamente popolate.
I dati nel normale grafico dei quantili per la distribuzione contaminata dallo spostamento (Figura 2) cadono al di sopra della linea diagonale rossa continua per i grandi quantili. Questo è caratteristico delle distribuzioni asimmetriche a destra. Se i dati fossero stati distribuiti normalmente, la parte superiore dell'istogramma sarebbe terminata intorno a 30 invece di continuare un po' oltre i 40.
Fig. 1: Distribution results for the double-exponential distribution.Fig. 1: Risultati della distribuzione per la distribuzione a doppio esponenziale.
Fig. 2: Distribution results for the shift-contaminate distributions.Fig. 2: Risultati della distribuzione per le distribuzioni di contaminazione del turno.
È stato eseguito uno script JSL che ha generato 10.000 campioni Monte Carlo con 10 osservazioni per queste due distribuzioni non normali.In allegato lo script (MonteCarlo.jsl). (NOTA: l'esecuzione dello script richiede un po' di tempo.) Ciascun campione è stato diviso in due gruppi di uguali dimensioni. In base alla progettazione, non vi è alcuna differenza tra i mezzi dei due gruppi. Abbiamo anche generato 10.000 campioni per la distribuzione normale standard come controllo. Per ogni campione, abbiamo eseguito un'analisi unidirezionale per verificare la differenza delle medie e una distribuzione per verificare la normalità dei residui. Abbiamo ripetuto l'intera procedura per campioni di dimensioni 20, 30, 50, 70 e 100.
Verifica la parità di mezzi quando non c'è differenza nei mezzi di popolazione
Per prima cosa, diamo un'occhiata alle trame dei nostri 10.000 p -valori per le distribuzioni non normali. Ricorda che la nostra procedura è progettata in modo che non ci sia una vera differenza nelle medie per ciascun campione. A causa della variazione casuale, il p -i valori per le nostre 10.000 analisi unidirezionali dovrebbero essere distribuiti uniformemente tra zero e uno. La funzione di distribuzione uniforme è la diagonale F(x) = x.
Per produrre i grafici nelle Figure 3a e 3b, abbiamo prima ordinato i 10.000 p -i valori. Il y -asse è la proporzione di 10.000 p -valori minori o uguali ad una data probabilità di significatività. Il X -asse mostra le probabilità di significatività ( p i valori). Ogni dimensione del campione è mostrata in un colore diverso.
Fig. 3a: Probability plot of p-values for the double-exponential distribution.Fig. 3a: Grafico di probabilità dei valori p per la distribuzione a doppio esponenziale.
Fig 3b: Probability plot of p-values for the shift-contaminated distribution.Fig 3b: Grafico di probabilità dei valori p per la distribuzione contaminata dallo spostamento.
Per entrambi i grafici e per tutte le dimensioni del campione, le distribuzioni di p -i valori sembrano vicini alla linea diagonale della funzione di distribuzione cumulativa uniforme. Come speravamo, né la modifica della distribuzione né la modifica della dimensione del campione hanno molto effetto sull'accuratezza della probabilità di significatività del test ANOVA per medie uguali.
Diamo un'occhiata più da vicino alla scala bassa vicino a 0,05 dove giudichiamo la significatività. I grafici nella Figura 4a e 4b ingrandiscono l'area.
Fig. 4a: Expanded-scale view of p-value probability plot for non-normal double-exponential distribution.Fig. 4a: Vista in scala espansa del diagramma di probabilità del valore p per una distribuzione non normale a doppio esponenziale.
Fig. 4b: Expanded-scale view of p-value probability plot for non-normal shift-contaminated distribution. Fig. 4b: Vista in scala espansa del diagramma di probabilità del valore p per una distribuzione contaminata da spostamento non normale.
Si noti che la linea diagonale rossa corrispondente al test di uguaglianza delle medie per due gruppi con cinque osservazioni si allontana leggermente al di sotto della linea y = x. Cosa significa questo?
Sappiamo che se scegliamo una probabilità di significatività di 0,05, rifiuteremo l'ipotesi che le nostre medie siano uguali nel 5% dei nostri esperimenti a causa dei capricci del caso anche se le medie sono veramente uguali. Cioè, il 5% delle volte commetteremo un errore di tipo I: rifiuteremo l'ipotesi che i mezzi siano uguali quando l'ipotesi è vera.
Questo tasso di errore di tipo I del 5% è integrato e ciò che ci aspettiamo se scegliamo una probabilità di significatività di 0,05. Se ti sembrano troppi errori, allora devi scegliere una probabilità di significatività minore.
Quando la linea diagonale rossa attraversa la linea tratteggiata verticale x = 0,05, è y -il valore è 0,043. Ciò significa che invece di rifiutare l'ipotesi che i nostri mezzi siano uguali il 5% delle volte, abbiamo rifiutato solo il 4,3% delle volte. Lo chiamiamo un risultato conservativo perché stiamo facendo meno errori di tipo I di quanto ci aspettiamo. Se hai intenzione di perdere, è meglio perdere in modo conservativo.
D'altra parte, supponiamo che una linea abbia attraversato la linea tratteggiata verticale a 0,05 con un valore CumProb di 0,06. Quindi, invece di vedere il 5% previsto di errori di tipo I, vedremmo effettivamente il 6% di errori di tipo I. Chiamiamo tale test troppo liberale perché il tasso di errore reale è maggiore del previsto.
È rassicurante che nell'unico caso in cui le linee deviano dalla linea dei 45 gradi, sia sul lato conservativo. La custodia contaminata dal turno ha anche il n =10 caso spostato sul lato conservativo, ma non tanto quanto il doppio esponenziale.
La Figura 5 mostra la simulazione Monte Carlo con una curva normale pura per mostrare la variazione casuale naturale nello studio Monte Carlo.
Fig. 5: Expanded-scale view of p-value probability plot for the standard normal distribtuion.Fig. 5: Visualizzazione in scala espansa del diagramma di probabilità del valore p per la distribuzione normale standard.
Test di non normalità
La prossima domanda è se possiamo rilevare che gli errori non sono normali. Iniziamo calcolando i residui di ciascuna analisi unidirezionale eseguita in precedenza. Utilizzando la piattaforma di distribuzione, testiamo la normalità di questi residui. Pertanto, per ogni distribuzione e dimensione del campione eseguiamo 10.000 test Shapiro-Wilks per la normalità. I grafici nella Figura 6 mostrano la percentuale cumulativa dei risultati del test di normalità in funzione della probabilità di significatività nel test di Shapiro-Wilks.
Fig. 6: Power plots of Shapiro-Wilkes tests for non-normal distributions.Fig. 6: Diagrammi di potenza dei test di Shapiro-Wilkes per distribuzioni non normali.
Cosa ci dicono queste trame? Innanzitutto, sappiamo che sia nel caso del doppio esponenziale che nel caso normale contaminato da shift, la distribuzione dei residui non è normale. Vogliamo sapere quanto è probabile che il nostro test rilevi questa non normalità. In altre parole, vogliamo sapere quanto è potente il nostro test.
Un test perfettamente potente avrebbe un grafico che assomigliava alla lettera greca gamma, Γ.Al contrario, un test senza potenza avrebbe un grafico che assomiglia a una linea diagonale.
Per i residui a doppia distribuzione esponenziale, possiamo vedere che il grafico per il campione di 100 osservazioni sale rapidamente all'estrema sinistra, come desiderato. Sfortunatamente, la somiglianza del grafico con Γ si deteriora man mano che la dimensione del campione diminuisce. Quando la dimensione del campione è 10, la funzione è molto più simile alla linea diagonale (nessuna potenza di rilevamento).
Per i residui distribuiti normali contaminati da shift, la potenza di rilevamento del test Shapiro-Wilks è peggiore per ogni dimensione del campione.
Quando i residui sono realmente normali, come illustrato nella Figura 7, vediamo una linea diagonale per ogni dimensione del campione. Questo è ciò che vogliamo. Non vogliamo rilevare una non-normalità inesistente. Qui, la "potenza" del test è la probabilità di un errore di tipo I. È impossibile che un test sia meno potente di questo.
Fig. 7: Power plot of Shapiro-Wilkes test for the standard normal distribution.Fig. 7: Grafico di potenza del test Shapiro-Wilkes per la distribuzione normale standard.
Ora espandiamo il p -value area in modo da poter esaminare la potenza a alpha=0,05, come mostrato nelle Figure 8a e 8b. La curva inferiore (dimensione del campione n = 10) nella Figura 8 attraversa la linea della griglia verticale x=0,05 al valore 0,10. Ciò significa che se la probabilità di significatività di Shapiro-Wilks è 0,05, hai una probabilità del 10% di rilevare il fatto che i residui non sono normali. Diciamo che la potenza del test Shapiro-Wilks è del 10%. Questo non è impressionante.
Fig. 8a: Expanded-scale power plots for double-exponential non-normal distribution.Fig. 8a: Grafici di potenza su scala espansa per distribuzione non normale a doppio esponenziale.
Fig. 8b: Expanded-scale power plot for shift-contaminated non-normal distribution.Fig. 8b: Grafico di potenza su scala espansa per la distribuzione non normale contaminata da shift.
Un altro modo per dirlo è che la probabilità di un errore di tipo II è del 90%. Cioè, il 90% delle volte il test di Shapiro-Wilks (data questa distribuzione dell'errore e livello di significatività) non riuscirà erroneamente a rifiutare l'ipotesi di residui normali.
Al contrario, la curva superiore sopra (dimensione del campione n = 100) attraversa la linea verticale della griglia x=0,05 al valore 0,78. Quindi, la potenza di questo test è quasi dell'80%.
Le curve di potenza hanno una forma simile per i residui normali contaminati dallo spostamento, ma la potenza risultante è ancora inferiore. Ad esempio, la curva superiore (dimensione del campione n = 100) attraversa la linea 0,05 a circa 0,63 (la potenza è 63%).
Quindi, vediamo che per un piccolo numero di osservazioni non è possibile rilevare la non normalità. Per un gran numero di osservazioni non ti interessa se gli errori non sono normali perché il nostro tasso di errore di Tipo I simulato corrispondeva al tasso previsto per campioni di grandi dimensioni.
Questo studio tenderebbe a supportare la mancata implementazione di un test di normalità nelle piattaforme di montaggio. Includere questa funzione incoraggerebbe solo le persone a preoccuparsi di qualcosa che non possono vedere o che non ha importanza.
Diverso è il compito di inserire caratteristiche grafiche e diagnostiche per la distribuzione residua. Invece di testare, stai cercando anomalie grafiche, come valori anomali o un modello che potrebbe essere un indizio di una struttura nascosta della modalità. I valori anomali e gli schemi sono spesso l'indizio principale per una scoperta importante.
Uno dei comandamenti di W. Edwards Deming era "Scacciare la paura", ma come statistici di solito facciamo il contrario, instillando paure irrazionali nei nostri clienti e studenti. Con questo studio, che puoi facilmente duplicare, spero che ora tu sia abbastanza coraggioso da combattere la "leptocurtosifobia".
Non è bello avere una cosa in meno di cui preoccuparsi?
