Quando si dispone di milioni di osservazioni di dati reali e si adatta in modo semplice a due variabili, se non si ottiene un test significativo, allora è una forte prova di frode. L'unico tipo di dati che è attendibilmente non significativo per tabelle di dati molto alte è rappresentato da dati simulati. Viviamo in un mondo con molte forze sottili che agiscono in molti modi complessi - quindi le cose sono generalmente diverse di poco, anche se non sono molto diverse.
Nell'era dei Big Data, quando abbiamo milioni di osservazioni, possiamo aspettarci che quasi tutti i test siano significativi. Ma nella maggior parte dei casi, non ci interessano piccole differenze. Quello che vogliamo sapere è se la differenza è più grande di quello che ci interessa.
Nell'industria, di solito abbiamo una buona idea di quali cambiamenti ci interessano - abbiamo limiti di specifiche, il limite inferiore delle specifiche (LSL) e il limite massimo delle specifiche (USL). Se la differenza è più grande di una parte di quella gamma di specifiche, diciamo il 10%, allora sappiamo che ci preoccupiamo di guardarlo. I dati di ingegneria di solito hanno limiti di specifiche che ci guidano su come essere sensibili ai cambiamenti.
Se non abbiamo limiti di specifiche, usiamo qualcosa di simile. Supponendo che la differenza media sia piccola rispetto alla variazione naturale e che il processo si comporti ragionevolmente con una capacità di 1, allora usiamo 6 * sigma come intervallo di specifiche. Usiamo IQR / (Q (.75) -Q (.25)) per stimare sigma, dove Q è il quantile normale, e quindi ci interessa circa il 10% di tale intervallo.
Se abbiamo in mente una differenza pratica, possiamo facilmente costruire un test di ipotesi che il valore assoluto della differenza reale sia inferiore alla differenza pratica. Questo test non sarà sempre significativo se si hanno milioni di osservazioni - piuttosto, tenderà ad essere molto significativo o contrario.
Ecco una foto di come funziona il test. Supponiamo che la differenza pratica che ti interessa è 2, e la differenza effettiva è 4. Costruisci una distribuzione t di Student in scala per l'errore standard della differenza attorno alla differenza pratica. Quindi calcoli la probabilità della coda oltre la differenza effettiva, che in questo caso è circa .3. Ma questa è solo una direzione. Devi anche considerare il negativo della differenza effettiva e misurare la probabilità in quella coda della stessa distribuzione. Ora hai un valore p per il test pratico di differenza. Questo è il test che dovresti fare per dirti quali cambiamenti ti interessano.
Tuttavia, quel test potrebbe essere l'opposto del test che vuoi davvero. Se vuoi essere sicuro che le differenze sono piccole, non ha senso usare la mancanza di prove che la differenza non sia grande. Vuoi davvero provare al contrario, per essere abbastanza sicuro che la differenza sia più piccola della differenza pratica.
Vengono chiamati test in quella direzione test di equivalenza . Sono utilizzati più spesso nei settori della medicina regolamentata e dei dispositivi medici per dimostrare che un cambiamento non influenza i risultati. I test di equivalenza dovrebbero essere insegnati agli studenti di statistica introduttiva in modo che comprendano che accettare un'ipotesi nulla non provi il nulla - significa solo che non si hanno prove sufficienti per rifiutarlo.
L'approccio standard ai test di equivalenza è il TOST - due t-test unilaterali. Si prova che la differenza è inferiore alla differenza pratica e anche si prova che la differenza è maggiore del negativo della differenza pratica. Pertanto, si dimostra che la differenza è inferiore in valore assoluto rispetto alla differenza.
Supponiamo che la differenza che ti interessa, la differenza pratica, è 4, e la differenza effettiva è 2. Per verificare che la differenza sia inferiore alla differenza pratica, si mette una distribuzione t di Student con i gradi di libertà appropriati e scalata dall'errore standard della differenza rispetto alla differenza pratica, 4. Si noti che l'area nella coda bassa alla differenza effettiva è di circa .01. Ora metti la distribuzione t dello studente sul negativo della differenza pratica, -4. Misurate l'area nella coda destra, che qui è molto, molto piccola. Quindi prendi il massimo dei due p-value, che qui risulta essere .01. Quindi, hai dimostrato l'equivalenza pratica al livello di significatività di .01.
Ora abbiamo entrambi gli strumenti. Quindi, quando confrontiamo i mezzi, con riferimento a una differenza pratica, abbiamo due valori di p e tre conclusioni possibili: Praticamente equivalente, Praticamente diverso e Praticamente inconcludente, se entrambi i valori di p non sono significativi.
Nei confronti dei mezzi di cui sopra, tutti i test sono estremamente significativi per testare che la media è zero; questi sono i valori p ombreggiati in blu. Ma solo tre delle risposte sono praticamente diverse, vale a dire, significativamente diverse rispetto alla differenza pratica. Questi sono i valori p ombreggiati in rosso. Sette delle risposte sono praticamente equivalenti, ovvero la differenza è significativamente inferiore alla differenza pratica in valore assoluto. Questi sono ombreggiati in verde. Due dei test sono inconcludenti: la differenza è significativamente diversa da zero, ma non significativamente diversa rispetto alla differenza pratica, e non significativamente inferiore alla differenza pratica (equivalente).
Ora puoi passare attraverso i confronti e identificare velocemente come ognuna delle tante risposte ha cambiato la sua media attraverso il fattore, anche se hai milioni di osservazioni.
Prove di differenza pratiche sono disponibili in JMP 11 nella piattaforma di Screening delle risposte, sono disponibili test di equivalenza e anche in Oneway e il nuovo Non lineare.
Nota: Questo fa parte di a Grandi statistiche serie di post sul blog di John Sall. Leggi tutti i suoi Messaggi di statistiche grandi .
Mike Clayton ha scritto:
Queste idee dovrebbero essere elaborate in formato webinar per le classi STEM delle scuole superiori.
Questi sono concetti importanti che devono essere illustrati (come hai fatto tu) e non sono ben illustrati in molti libri di testo. Dati ricchi come lo siamo oggi, i vecchi test di ipotesi sono molto meno utili a prima vista, ma hai salvato il valore p per i big data utilizzando limiti pratici e una visualizzazione e un tavolo nuovi (per me) (quando molte persone stanno ora attaccando i valori di p come pericolosi o inutili in molti modi).
Avvertenza: non sono uno statistico.
