Dati puramente casuali hanno una probabilità del 5% di essere significativi. Scegli i p-value più significativi da molti test di dati casuali e filtrerai i test significativi solo per caso.
Supponiamo di avere un processo che sappiamo essere stabile e coerente. Misuriamo molte risposte e abbiamo anche un ID lotto. La domanda è: Qualche risposta differisce in modo significativo tra i lotti? Quindi eseguiamo ANOVA su di essi, estraiamo i p-value, li ordiniamo e vediamo questo, dal più piccolo al più grande. Abbiamo 13 test che sono significativi, vale a dire, al di sotto della linea a 0,05. Con dati casuali, ci aspettiamo che il 5% circa sia significativo, che è 0,05 * 118 = 5,9, quindi abbiamo un po 'più di quanto ci aspettiamo.
Si noti la distribuzione dei valori di p - attraverso la frazione dei dati, seguono una linea retta da vicino a 0 a 1. Questa è la caratteristica di una distribuzione uniforme dei valori. Per i test indipendenti puramente casuali, i valori di p seguono una distribuzione uniforme. Sappiamo praticamente che non ci sono differenze reali qui, tuttavia 13 test sono significativi. Il nostro obiettivo principale è cercare grandi differenze, quindi vogliamo sempre ordinare e filtrare in base ai valori p. Ma abbiamo bisogno di qualcosa da regolare per guardare un sacco di test. In caso contrario, abbiamo un bias di selezione - bias di test multipli - un filtro di coincidenza.
Ora che abbiamo visto il modello dai dati in cui non ci sono differenze, vediamo come può apparire quando molti dei test sono veramente significativi. Qui, oltre il 60% dei dati sembra significativo.
Guardando il grafico a destra, sembra che tutti i valori sopra .05 seguano un po 'una linea retta verso 1, ma attorno a 0,10 o 0,05, la pendenza della linea sembra cambiare molto, e diventa molto densa vicino al fondo Osservando valori di p come questo - cercando un cambiamento di pendenza - risulta essere il soggetto di un articolo di Schweder e Spjotvoll (Biometrika 1982, p493-502) che ha iniziato i ricercatori a pensare all'intera popolazione di valori p . Il ragionamento era simile a una situazione analoga che Cuthbert Daniel aveva notato più di 20 anni prima quando si calcolavano le stime da un esperimento fattoriale: i piccoli valori vicino al centro sembravano seguire una normale linea quantile, ma gli effetti significativi svanivano da quella pendenza.
Bene, capita che ci sia una vasta letteratura sui molteplici pregiudizi nei test e metodi per regolare i test per renderli conto. Queste tecniche hanno funzionato bene quando c'erano solo pochi mezzi per confrontare o test da fare. Una procedura molto semplice consisteva nel chiedere semplicemente che i valori p fossero inferiori a alpha / m dove m è il numero di test e alfa è il livello di significatività. Nel 1961, OJ Dunn dimostrò (usando il Bonferroni disuguaglianza) che questo criterio ti ha dato una protezione generale per tutti i test.
Se osserviamo il primo set di p-value, il valore p più basso è 0,00055 e ci sono 118 test. Quindi il nostro criterio è 0,05 / 118 = 0,0004 e concludiamo che non c'è nulla di significativo.
Ma il Bonferroni è un criterio molto conservativo, che rende difficile per la maggior parte degli esperimenti che coinvolgono molti test per ottenere risultati, quindi sono stati sviluppati molti altri metodi.
Nel 1995, Benjamini e Hochberg (BH) cambiarono completamente il gioco. Invece di controllare se eventuali differenze fossero state dichiarate erroneamente significative, hanno cambiato i criteri per controllare la velocità con cui le dichiarazioni di significatività erano false. Se la tua tolleranza per la falsa scoperta era del 5%, dovevi solo assicurarti che il numero previsto di false scoperte fosse solo il 5% di quelle che hai dichiarato significative. Sono stati in grado di costruire un metodo molto semplice per controllare il tasso di false scoperte. Ordinate i vostri valori p da alto a basso. Per il valore p più alto, è possibile utilizzare l'alfa del tasso di falsi risultati (FDR), ad esempio, 0,05 come criterio. Per ogni valore p successivo più alto, il criterio si riduce leggermente, sottraendo alfa / m, formando una rampa. Nella parte inferiore della rampa si trova il criterio per il più piccolo valore p, che è alfa / m, il criterio di Bonferroni. Qualsiasi valore p che rientra in tale rampa viene dichiarato significativo e BH ha dimostrato che per i test indipendenti, si controlla per il tasso di falsi scoperti con questo metodo.
Sulla sinistra ci sono i dati da lotto a lotto, e la rampa Benjamini-Hochberg è indicata dalla linea rossa, che inizia da 0,05 a destra, in basso a 0,05 / 118, e nessuno dei valori p rossi riesce a scendere sotto la rampa. Sulla destra ci sono i dati di modifica dell'ingegneria; i punti rossi si immergono sotto la rampa in modo tale che oltre il 60% delle risposte siano significativamente differenti.
È anche possibile trasformare il valore p in modo tale che il nuovo valore p aggiustato da FDR abbia la proprietà di scoperta falsa rispetto alla frequenza di scoperta falsa, ad es., 05. I valori p regolati con FDR sono indicati dai marker blu, che si immergono sotto la linea blu a 0,05 per lo stesso test che il marker rosso immerge sotto la linea rossa. Si noti che quando i valori p sembrano distribuiti uniformemente nella parte sinistra, i valori p regolati con FDR vengono regolati molto verso l'alto. Ma quando i valori p scendono rapidamente da destra a sinistra, la regolazione FDR è molto inferiore.
Cosa succede se i test non sono indipendenti? Nella maggior parte dei casi, in particolare quando esiste una correlazione positiva tra i test, risulta che la regolazione BH FDR è conservativa, fornendo la protezione desiderata. Da allora, l'idea del tasso di false scoperte è cresciuta in una ricca letteratura, inclusi miglioramenti che valeva la pena di fare in alcuni casi.
Nell'era delle Big Statistics quando conduci centinaia, migliaia o addirittura milioni di test, i valori p regolati con FDR dovrebbero essere la nuova best practice standard. Non filtrerai solo le coincidenze; saprai che la maggior parte di ciò che catturerai sarà effetti reali.
Puoi ottenere il Componente aggiuntivo PValue False Discovery Rate da JMP File Exchange. (Il download richiede un profilo SAS gratuito.) Anche le regolazioni FDR sono standard Piattaforma di Screening delle risposte e adatta personalità in JMP 11 .
Nota: Questo fa parte di a Grandi statistiche serie di post sul blog di John Sall. Leggi tutti i suoi Messaggi di statistiche grandi .
