Non è normale, o sì?
In diverse discussioni recenti sull'uso dei test parametrici è emersa la questione se i dati siano distribuiti normalmente (o superino un test di bontà di adattamento per normalità). In ciascuno dei casi la dimensione del campione era relativamente bassa (<30) e la conclusione è stata che i dati non provenivano da una popolazione distribuita normalmente. I passaggi successivi hanno comportato alcuni passaggi di trasformazione contorti che hanno complicato eccessivamente l'analisi.
Ho iniziato a chiedermi quali fossero le probabilità di fallire un test di bontà di adattamento quando la popolazione sottostante era effettivamente distribuita normalmente, o qual era il tasso di errore di tipo I. D'altra parte, se la popolazione fosse stata solo un po' distorta, non normale, con quale frequenza avrebbe superato un test di bontà di adattamento?
Per iniziare ho generato set di 10 campioni da una popolazione distribuita normalmente e da una popolazione distribuita gamma usando alcune funzioni casuali come formule in una tabella dati. Normale casuale (20,4) e Gamma casuale (20). Le statistiche della popolazione mostrano chiaramente che la distribuzione normale è normale e la distribuzione gamma fallisce un test di normalità (figura 1).
Figura 1. Confronti di distribuzione di popolazioni da una distribuzione normale o gamma. La dimensione del campione è 10.000. Con una dimensione del campione ampia, le code della popolazione distribuita gamma (pannello di sinistra) escono chiaramente dagli intervalli di confidenza del 95% (linee tratteggiate rosse) della linea di regressione di probabilità normale nel grafico dei quantili normali.
I grandi set di dati (n=100.000) sono stati divisi in gruppi di 10 e ogni sottogruppo (n=10.000) è stato testato per la normalità utilizzando gli stessi test utilizzati per il set di dati nella figura 1. I piccoli valori di probabilità rifiutano l'ipotesi nulla che i dati provengano da una distribuzione normale, quindi è stato utilizzato un cut-off di 0,05 per determinare se il sottogruppo ha superato il test di bontà di adattamento. I risultati tabulati sono presentati nella figura 2. Sia il test di bontà di adattamento Anderson-Darling che quello Shapiro-Wilk hanno segnalato una proporzione simile di gruppi campione. I gruppi della popolazione normale hanno fallito circa il 5% delle volte e i gruppi della popolazione distribuita gamma hanno superato circa il 94% (fallito circa il 6%) delle volte.
Figura 2. Percentuale di campioni che non superano i test di bontà di adattamento. I gruppi campione (n=10) con una probabilità di provenire da una distribuzione normale <= 0,05 sono etichettati con "1" e i gruppi che superano sono etichettati con "0".
Sono rimasto un po' sorpreso dal tasso di errore di tipo 1 per i campioni della distribuzione normale (forse non avrei dovuto esserlo...). Ciò significa che con una piccola dimensione del campione, circa 1 su 20 volte, i dati da una popolazione sottostante distribuita normalmente non supereranno un test di bontà di adattamento. I campioni da una popolazione leggermente distorta avevano un tasso di rilevamento simile.
Ovviamente il problema è la piccola dimensione del campione? Il passo successivo è stato quello di eseguire gli stessi gruppi di test con dimensioni del campione sempre più grandi. Di sicuro il tasso di falsi positivi diminuirà drasticamente con un campione un po' più grande. Il passo successivo è stato quello di testare sottogruppi di 30, con scarso effetto, seguiti da sottogruppi di 100, 300 e 1000. Ora, solo per mantenere le cose in pareggio, volevo n=10.000 per il numero di sottogruppi; tuttavia, le tabelle hanno iniziato a diventare grandi e l'analisi ha iniziato a rallentare, quindi mi sono fermato con la dimensione del campione di 1000. Principalmente perché non sono così paziente e la tendenza stava diventando ovvia. Nel mio filone scientifico, una dimensione del campione di 3 era il minimo, 10 era molto e 30 stava diventando semplicemente ridicolo. A quanto pare il numero giusto è probabilmente molto più alto per valutare davvero la bontà di adattamento in modo affidabile. La figura 3 include la percentuale di campioni che non superano i test di bontà di adattamento per le dimensioni del campione che ho utilizzato.
Figura 3. Proporzione di campioni non normali. La proporzione di campioni non normali per ogni dimensione del campione è tracciata sia per il test Anderson-Darling che per quello Shapiro-Wilk. I campioni provenivano da una popolazione con una distribuzione normale.
Dai dati e dall'analisi di queste simulazioni sono più cauto nell'accettare i risultati di un test di bontà di adattamento senza esaminare attentamente i dati. Sarei estremamente esitante ad aggiungere una statistica di bontà di adattamento ai criteri di accettazione o una SOP per la gestione dei dati. Correre con le statistiche alla cieca è quasi sicuro come correre con le forbici? Immagino che questo sollevi la domanda su come valutare meglio le ipotesi di normalità per i test parametrici. Forse è un buon argomento per un futuro post del blog.
Se vuoi migliorare il metodo che ho usato per contestare il tasso di falsi positivi di un test di normalità, o vuoi semplicemente provare a riprodurre i miei risultati, ho incluso lo script che ho usato per generare i dati qui sotto. Nello script ci sono note su dove cambiare i valori per la dimensione della tabella e la dimensione del campione.
Names Default To Here( 1 );
dt = New Table( "Source Data",
Add Rows( 10000 ), //Change row number when using larger sample sizes
New Column( "Normal", Numeric, "Continuous", Format( "Best", 12 ), Formula( Random Normal( 20, 4 ) ) ),
New Column( "Gamma", Numeric, "Continuous", Format( "Best", 12 ), Formula( Random Gamma( 20 ) ) ),
//Change the number of times the group column repeats for larger or smaller sample sizes
New Column( "group", Numeric, "Continuous", Format( "Best", 12 ), Formula( Sequence( 1, N Rows(), 1, 10 ) ) )
);
rpt = New Window( "Distribution",
dt << Distribution(
Continuous Distribution(
Column( :Normal ),
Quantiles( 0 ),
Summary Statistics( 0 ),
Process Capability( 0 ),
Fit Normal( Goodness of Fit( 1 ) )
),
Continuous Distribution(
Column( :Gamma ),
Quantiles( 0 ),
Summary Statistics( 0 ),
Process Capability( 0 ),
Fit Normal( Goodness of Fit( 1 ) )
),
By( :group )
)
);
Wait( 0 );
//Get tables from the report
dt1 = rpt["Distributions", "group=1", "Normal", "Fitted Normal Distribution", "Goodness-of-Fit Test", Table Box( 1 )] << Make Combined Data Table;
dt1 << set name( "AD" );
dt2 = rpt["Distributions", "group=1", "Normal", "Fitted Normal Distribution", "Goodness-of-Fit Test", Table Box( 2 )] << Make Combined Data Table;
dt2 << set name( "SW" );
rpt << Close Window;
//table formatting
dt1 << New Formula Column( Operation( Category( "Row" ), "Row" ), Columns( :Table ) );
dt2 << New Formula Column( Operation( Category( "Row" ), "Row" ), Columns( :Table ) );
dt1:Column 1 << Set Name( "Goodness of Fit Test" );
dt2:Column 1 << Set Name( "Goodness of Fit Test" );
Column( dt1, 7 ) << Set Name( "Fit" );
Column( dt2, 7 ) << Set Name( "Fit" );
Column( dt1, 8 ) << Set Name( "Prob" );
Column( dt2, 8 ) << Set Name( "Prob" );
dt3 = dt1 << Concatenate( dt2, Output Table( "Goodness of Fit Tests" ) );
Close( dt, nosave );Close( dt1, nosave );Close( dt2, nosave );
Sfida
Ho iniziato a chiedermi quali fossero le probabilità di fallire un test di bontà di adattamento quando la popolazione sottostante era effettivamente distribuita normalmente, o qual era il tasso di errore di tipo I. D'altra parte, se la popolazione fosse stata solo un po' distorta, non normale, con quale frequenza avrebbe superato un test di bontà di adattamento?
Un'altra considerazione interessante (in particolare se si esegue un'analisi della capacità del processo) è qual è la probabilità che la distribuzione normale non sia in cima alla lista quando si confrontano le distribuzioni basate su AICc.
Ultimamente, per rilassarmi, mi sono immerso in una rete di giochi online in stile retrò. Ho cliccato sul sito e mi sono imbattuto in questa piattaforma che unisce la semplicità delle criptovalute alle atmosfere classiche dei casinò. Offre di tutto, dalle slot machine ai jackpot, fino ai giochi con croupier dal vivo, e i prelievi più rapidi che abbia mai visto. Davvero, alcune scommesse vengono incassate in pochi minuti. Se mai voleste provarla, potete trovarla qui:
https://zh.slotsup.com/online-casinos/bitstarz
