La prima riga del romanzo classico di Leo Tolstoy, Anna Karenina, inizia:
"Le famiglie felici sono tutte uguali; ogni famiglia infelice è infelice a modo suo ".
Questa è una linea molto memorabile. Ma guardando il Voce di Wikipedia per il principio di Anna Karenina , Ho visto questa versione per i test di significatività statistica:
"... ci sono molti modi in cui un set di dati può violare l'ipotesi nulla e solo uno in cui tutte le ipotesi sono soddisfatte."
Quando facciamo un test di ipotesi che due mezzi sono gli stessi, il caso noioso è dove sono gli stessi, cioè, dove non rifiutiamo l'ipotesi nulla. Il caso interessante è dove i mezzi sono diversi, anche se forse non abbastanza interessanti da meritare un romanzo di Tolstoj. La differenza può essere sufficiente per essere significativa. La differenza può essere molte volte la differenza che sarebbe significativa. Possono essere diversi in una direzione o nell'altra. Quando abbiamo più di due mezzi, ci sono molte combinazioni di differenze che sono di interesse. Stiamo cercando qualcosa di interessante - qualcosa di diverso - nelle statistiche.
Considera un processo di produzione in cui desideri cercare le differenze. Supponiamo che tu abbia cambiato fornitore per un ingrediente e vuoi assicurarti che il processo o il prodotto non cambi o cambi nella giusta direzione. Supponiamo che tu faccia un cambiamento tecnico nel modo in cui il prodotto è fatto e vuoi assicurarti che non peggiori. Hai centinaia di variabili da guardare e vuoi testare centinaia di ipotesi. Vuoi vedere dove sono le maggiori differenze.
Diamo un'occhiata ad alcuni dati sui semiconduttori. Vogliamo tenere d'occhio le 387 variabili di processo e siamo preoccupati per un cambiamento tecnico, descritto nella colonna "Processo" come Vecchio o Nuovo. Posso facilmente eseguire un adattamento Y per X per tutte le risposte rispetto a Processo. Quindi faccio un control-click su ANOVA per ottenere tutti i test. Il control-click trasmette il comando a tutte le 387 analisi. Ecco una foto di uno dei 387 rapporti:
Ora ho lo stesso problema descritto nel post del mio blog precedente: ci sono 387 report da esaminare. Voglio solo vedere il valore p ANOVA, "Prob> F", la probabilità di ottenere una statistica F ancora maggiore di quella che ho ottenuto, dato che i mezzi sono uguali. Bene, JMP può raccogliere questi p-value. Faccio clic con il pulsante destro del mouse sul valore e scelgo la voce di menu "Crea tabella dati combinati", che risulta in questo modo:
La tabella ha tre righe per risposta, ma le righe che voglio eliminare hanno tutti valori mancanti per il valore p. Quindi posso usare Seleziona celle corrispondenti per selezionarle, cancellarle e poi ordinarle in ordine crescente con un altro comando clic destro nella colonna del valore p.
Hey! Sembra che molti dei miei valori di p siano significativi. Qualcosa è cambiato davvero quando ho cambiato il processo. Ecco la distribuzione dei valori di p:
Osservando la trama del CDF, vedo che quasi il 60 percento dei valori p è molto piccolo. L'altro 40% dei valori p sembra distribuito in modo abbastanza uniforme da 0 a 1. Guarda tutti i valori p in ordine, da piccoli a grandi:
Ricorda il principio di Anna Karenina ora. Quando i mezzi sono gli stessi, cioè, l'ipotesi nulla non viene rifiutata, è tutta la stessa noiosità. Ma quando i mezzi sono diversi, l'ipotesi nulla viene respinta e i mezzi possono essere diversi in molti modi, in molte grandezze. Visivamente, voglio che l'uniformità assomigli all'identità, e voglio che le differenze significative sembrino diverse e interessanti.
In una trama di valore p, abbiamo il contrario: per tutti i test non interessanti in cui i mezzi sono gli stessi, i valori di p sono facilmente distinguibili. Per tutti i test interessanti in cui i mezzi sono tutti diversi in modi interessanti, hanno tutti valori vicini allo zero in cui non posso distinguere l'uno dall'altro. I valori P violano il principio visivo di Anna Karenina - non puoi vedere l'interessante, ma puoi vedere noioso. È come se Tolstoy avesse scritto molti capitoli sui noiosi personaggi periferici, e solo poche righe sui personaggi principali del romanzo. Dobbiamo sistemare questo.
Il modo ovvio per ottenere dettagli per valori positivi molto piccoli è passare alla scala del registro. Si scopre che devo scegliere un'origine molto piccola per ottenere la maggior parte di questi valori p.
Piuttosto che usare solo una scala di log, perché non calcolare solo log10 (pvalue) e tracciarlo? In effetti, vorremmo avere i valori più significativi in alto, non in basso, quindi invertiamo i segni e la trama -log10 (valore-valore). E poiché vogliamo fare molto questo, abbiamo bisogno di inventare un nome breve per questo, quindi chiamiamolo LogWorth.
Il nome LogWorth è stato utilizzato a partire dal 1995 da Padraic Neville nel contesto specifico dei criteri dell'albero decisionale. È molto più facile dire "LogWorth" che dire "log-to-the-base-10 negativo del valore p".
Quindi ora siamo entrati in accordo con il principio di Anna Karenina. Gli insiemi di mezzi significativamente differenti sono diversi nella trama del significato. I mezzi che sono noiosamente uguali sono gli stessi nella trama.
Ma abbiamo rinunciato ad una prospettiva? Comprenderemo LogWorth e le probabilità? Sono ottimista sul fatto che possiamo. Ecco i nuovi goal di significato da imparare:
PValue = .01 -> LogWorth = 2PValue = .05 -> LogWorth = 1.3
PValue = .10 -> LogWorth = 1
Nella trama sopra, ho anche una linea di riferimento rossa a 2. Inoltre, siamo a nostro agio a parlare di informazioni sulla scala delle probabilità di log, come potete immaginare con frasi come "rari come tre 10 di fila nei lanci di dadi a 10 lati", che è (1/10) 3 or.001.
La teoria dell'informazione è molto comoda con la scala di log, dove è possibile aggiungere invece di moltiplicare. La terminologia delle unità è stata calcolata. Il log negativo alla base 2 della probabilità nella teoria dell'informazione è chiamato bit; se usi la base 10, si chiama decits. Quindi possiamo vedere che l'asse LogWorth è misurato in decits di rarità, o quanti rotoli di dado decaedro. (Per diversi termini alternativi, vedere il Unità di informazione voce in Wikipedia.)
La scala di registro è particolarmente importante quando si gestiscono test estremamente significativi, che si verificano sempre con insiemi di dati di grandi dimensioni. Vuoi comunque tracciare e classificare il significato. Ma il sistema in virgola mobile dei nostri computer può rappresentare solo valori fino a circa 10 ^ -323. Nei nostri dati, dei 387 test che abbiamo eseguito, 38 dei test hanno valori p inferiori a 10 ^ -323, rappresentabili solo come zero e quindi non distinguibili. Usiamo quindi routine di probabilità di log ogni volta che calcoliamo le significanze, in modo che possiamo continuare a rappresentare il significato. Il test più significativo in questi dati ha un LogWorth di 4638.1808456. Questo è un valore molto distinto, tanto da distorcere una trama dei LogWorths - in alcuni casi potremmo aver bisogno di usare un'altra trasformazione log. In realtà, metteremo un limite al LogWorth - nell'interesse di vedere più dettagli nel resto dei dati, e scusarci per aver violato il principio visivo Anna Karenina per alcuni valori.
A proposito, LogWorths ha iniziato a visualizzare la piattaforma Partition al momento della sua introduzione, e ora la piattaforma di Screening delle risposte e la relativa personalità adatta la usano dappertutto.
Nota: Questo fa parte di a Grandi statistiche serie di post sul blog di John Sall. Leggi tutti i suoi Messaggi di statistiche grandi .
