Test di Shapiro-Wilk per campioni superiori a 2000?La pagina della Guida di JMP indica " Per le distribuzioni normali, il Shapiro -Wilk test per la normalità viene riportato anche quando la dimensione del campione è inferiore a 2000 e non ci sono parametri fissi. "
Ho un cliente che a volte ha campioni più grandi di 2000, ma le sue procedure interne gli dicono di usare il test di Shapiro-Wilk. Diverse fonti online menzionano 5000 osservazioni come limite massimo della dimensione del campione per questo test. Il mio cliente ha chiesto perché JMP limiti la disponibilità del test Shaipiro-Wilk a 2000 osservazioni. Sarebbe troppo lungo per il calcolo? O c'è qualche altra ragione?
Re: Test di Shapiro-Wilk per campioni superiori a 2000?Se ricordo bene, i valori p devono essere generati tramite simulazione o approssimazione. Potrebbe essere che abbiamo generato solo valori fino a N=2000.
Re: Test di Shapiro-Wilk per campioni superiori a 2000?Solo lo sviluppatore lo saprebbe.COME @DonMcCormack indica che il valore p è simulato per questo test. SAS limita anche la dimensione del campione <=2000; per n>2000 il test non è disponibile; Guarda i dettagli PROC UNIVARIATE: test di bontà di adattamento (sas.com)
Re: Test di Shapiro-Wilk per campioni superiori a 2000?Ecco un bel riferimento che descrive e confronta diversi tipi di test di normalità ( https://www.tandfonline.com/doi/pdf/10.1080/00949655.2010.520163 ).Abbiamo rimosso brevemente il test SW (penso nella v14 o 15.0), ma lo abbiamo riportato nella v15.1 per campioni di dimensioni inferiori a 2000. La mia domanda è: perché stanno testando la normalità con una dimensione del campione così ampia?Per le statistiche del campione, il teorema centrale funzionerà per loro e per l'analisi in cui la distribuzione effettiva è importante (stima degli intervalli di tolleranza, percentili, grafici di controllo, forse?). allora le statistiche empiriche dovrebbero andare bene.
Re: Test di Shapiro-Wilk per campioni superiori a 2000?Grazie @SamGardner Gli ho detto che con un campione così ampio il test sarebbe probabilmente significativo anche con il minimo scostamento dalla normalità. Se ne è reso conto e ha acconsentito, e io non ho più insistito. È uno statistico agli Abbott Laboratories. Userò le informazioni che hai fornito per ricontattarlo. Grazie @DonMcCormack E @jiancao anche per aver risposto.
Re: Test di Shapiro-Wilk per campioni superiori a 2000?IL articolo di wikipedia su questo test fornisce maggiori dettagli e background.Il motivo per cui è limitato a 2000 è perché la statistica del test utilizza coefficienti basati sul valore atteso e sull'inverso della matrice di covarianza delle statistiche dell'ordine di distribuzione normale standard.Questo è computazionalmente noioso e quando il metodo è stato proposto per la prima volta non era fattibile farlo per campioni di grandi dimensioni.Il SW è stato originariamente proposto per campioni di dimensioni fino a 50. Royston tra la fine degli anni '80 e l'inizio degli anni '90 ha escogitato un modo approssimativo per calcolare quei coefficienti o dimensioni dei campioni da n=3 a n=1999.Non sono riuscito a trovare nessun'altra ricerca che abbia esteso il test SW a campioni di dimensioni maggiori.
Ri: Test di Shapiro-Wilk per campioni superiori a 2000?Sto scavando un po' di più in questo per un altro cliente e volevo cogliere l'occasione per consolidare il mio pensiero e grazie ragazzi per averlo messo nella community. Per ribadire, secondo il documento SAS, viene utilizzata una trasformazione normalizzante sulla statistica del test W [Shapiro-Wilk] per determinare i valori p per il test (per una dimensione del campione, n ≥ 4).Le costanti usate in quella trasformazione di normalizzazione sono derivate dai risultati della simulazione che dipendono da n. Ma i valori p stessi non sono simulati per il test.Le costanti sono presenti fino a un n di 1.999; pertanto, il test non verrà calcolato in JMP o SAS per n ≥ 2000. Penso che saremmo potuti arrivare fino a 5000 e la mia ipotesi è che sia solo un precedente storico (che potrebbe provenire o meno da un riferimento a una pubblicazione).Perché limitarlo a una dimensione del campione "grande" però? (a parte i vincoli computazionali al momento in cui il metodo è stato sviluppato, come @SamGardner menzionato)
Per SW, non è correlato al tempo di calcolo (sebbene per AD lo sia). Credo che sia correlato al fatto che W viene calcolato utilizzando un calcolo di covarianza (sulla matrice delle normali statistiche di ordine come @SamGardner citato).La covarianza aumenta all'aumentare di n (o gdl) e ciò può falsare la stima della statistica del test (gonfiando il suo errore standard).2000 potrebbe essere stata una scelta arbitraria, ma l'idea nel limitare è che vogliamo minimizzare il rischio di inflazione di covarianza, quindi la statistica del test W (che è una funzione di n) è uno stimatore imparziale (su migliaia di campioni di dimensione n ).Questa è la mia opinione.
Concordare con le precauzioni sull'esecuzione di test di normalità su un campione così ampio.Certo, dipende dall'applicazione, ma nel mio prodotto med-device mfg. esperienza, non ho mai visto campioni di dimensioni così grandi provenire da un processo continuo (vale a dire uno con una sola fonte di variabilità).
(Diapositive per gentile concessione di JMP Education)
Di solito ha questo aspetto, dove puoi sostituire la parola "Batch" con Lot (e dove le dimensioni dei lotti erano in genere dell'ordine di diverse centinaia).
Re: Test di Shapiro-Wilk per campioni superiori a 2000?Il vincolo del tempo di calcolo è sul tempo necessario per utilizzare effettivamente la simulazione o l'integrazione numerica e le operazioni con le matrici per determinare i coefficienti SW.Ho provato un approccio di simulazione e il grafico del tempo di calcolo rispetto a n è mostrato qui.Anche i requisiti di memoria aumentano, almeno nell'ordine n ^ 2, quindi diventa semplicemente impossibile farlo.Inoltre, per ogni dimensione del campione n è necessario memorizzare un elenco di n coefficienti da utilizzare, quindi lo spazio di archiviazione totale necessario aumenta di n*(n+1)/2 che è anch'esso di ordine n^2.
Ma @PatrickGiuliano è corretto che con l'informatica moderna, questo potrebbe probabilmente essere esteso a campioni di dimensioni superiori a 2000, ma non in modo drammatico.
