Abbiamo tutti bisogno di un po’ più di fiducia, giusto? Beh...forse c'è un'area in cui dovremmo avere un po' *meno* fiducia. Ironicamente, quell'area è la nostra interpretazione di intervalli di confidenza.
Prima di tutto, parliamo del motivo per cui gli intervalli di confidenza sono utili. Quando facciamo statistiche inferenziali, lo facciamo perché non disponiamo di tutte le informazioni o i dati della nostra popolazione. Stiamo facendo ipotesi informate, ma non sempre avremo esattamente ragione. Come quando usiamo le statistiche per vedere se un campione di 200 studenti della tua università locale ha un QI più alto rispetto alla popolazione generale. Se misurassimo ogni singolo studente, non avremmo bisogno delle statistiche. Avremmo la verità su qual è il QI medio e se è superiore alla media della popolazione di 100.
Ad esempio, potresti supporre che la quantità media di birra versata nel tuo birrificio preferito sia di 15,7 once (con una deviazione standard di circa 0,51 once) in base alla tua misurazione attenta, se non eccessiva, del volume medio delle 10 birre consumate dai tuoi amici. la notte scorsa.
Il bar afferma che ne versa 16 once, quindi potresti sentirti un po' seccato per la perdita di 0,3 once della tua birra belga preferita.
Ma anche se 15,7 once è la tua ipotesi migliore, non è probabile che 15,7 sia la media *esatta* della popolazione per il volume della birra. Sarebbe più accurato dire che ottenere una media di 15,7 once ti rende abbastanza sicuro che la media della popolazione sia *vicina* a 15,7 once.
Questa incertezza – tutta la parte “vicina” – è qualcosa che spesso vogliamo rappresentare numericamente. Il modo in cui lo facciamo in un Frequentist, Test di significatività dell'ipotesi nulla (NHST) è con un intervallo di confidenza.
Un intervallo di confidenza consente di presentare a allineare di valori invece di una stima puntuale. Puoi pensare a questo intervallo come candidati ragionevoli per il nostro parametro di popolazione (qui, la media) in base ai dati. Questo intervallo è utile perché enfatizza l’incertezza intrinseca nelle nostre stime puntuali. Proprio come non ti aspetti necessariamente che i bambini nascano *nel* giorno previsto, ma piuttosto intorno ad essa.
Ma provare a fare inferenza con intervalli di confidenza? Può diventare un po’ complicato. Gli intervalli di confidenza vengono abbinati a un livello di confidenza, come 95% o 99%, anche se potresti calcolare un intervallo di confidenza del 90,273612% se ne avessi davvero voglia... anche se tutti probabilmente penserebbero che sei davvero strano. Ma una volta che hai il tuo intervallo di confidenza, cosa significa?
Distribuzioni campionarie
Prima di rispondere, voglio fare un piccolo passo indietro e parlare di quella struttura frequentista di cui ho parlato prima.
I frequentisti trattano il parametro della popolazione come un valore vero e incrollabile e i campioni di dati che raccogliamo come casuali.
Potremmo tracciare tutti i possibili mezzi campione possibili possibilmente ottieni calcolando il volume medio di 10 birre diverse versate nel tuo birrificio locale. Poiché tutto ciò che abbiamo sono i nostri dati campione, questa è la nostra migliore ipotesi su come potrebbe apparire quella distribuzione.
Questo è chiamato a distribuzione del campionamento , abbreviazione di distribuzione campionaria delle medie campionarie, che è un po' un boccone. E come ho già detto, è una distribuzione che ci dice quanto è probabile che otterremo ciascun valore medio se prendessimo un campione casuale di 10 birre da questo birrificio e calcolassimo la sua media.
Ed è un ottimo modo per rappresentare la nostra incertezza sul fatto che 15,7 once sia *esattamente* la media della popolazione. Sulla base dei dati in nostro possesso, 15,7 once è il valore più probabile ed è il punto più alto della nostra distribuzione. Ma è anche ragionevole che potremmo ottenere una media di 15,8. E' relativamente improbabile – ma possibile – che otterremo un volume medio di oltre 16 once.
Quindi, se questa distribuzione rappresenta il 100% dei possibili mezzi che ci aspettiamo di ottenere, possiamo coprire le nostre scommesse utilizzandola per creare un intervallo di valori ragionevoli.
Torniamo agli intervalli di confidenza
Diciamo che vogliamo essere *veramente* attenti. Vogliamo che la nostra gamma contenga il 99% dei valori nella nostra distribuzione. Potremmo calcolare dove si trova il 99% medio della densità di questa distribuzione.
Lo facciamo facendo affidamento sul fatto che la distribuzione campionaria avrà la forma di una distribuzione t con n (la dimensione del campione) meno 1 grado di libertà.
Se vogliamo il *centro* 99% della distribuzione, significa che vogliamo che l'1% della distribuzione sia al di fuori del nostro intervallo, ovvero lo 0,5% su entrambi i lati. Quindi possiamo scoprire dove si trovano lo 0,5 e il 99,5 percentile su questa distribuzione.
Una rapida ricerca o calcolo su Google ti dirà che un valore t di -3,249836 rappresenta lo 0,5° percentile e un valore t di 3,249836 rappresenta il 99,5° percentile. Quindi qualsiasi cosa tra questi due valori t rientra nel nostro intervallo di confidenza del 99%.
Ma in realtà non vogliamo valori t... vogliamo che il nostro intervallo sia espresso nelle nostre unità normali: once! Fortunatamente, possiamo convertirli rapidamente.
Un valore t è la distanza tra due medie (di solito una media osservata e una media di base), divisa per l'errore standard (che è semplicemente la nostra deviazione standard campionaria divisa per la radice quadrata di n).
Ad esempio, se volessimo conoscere il valore t per ottenere un campione di 10 birre con un volume medio di 16 once, se la media reale fosse di 15,7 once, possiamo calcolarlo.
Quindi, per convertire *da* un valore t *in* once, dobbiamo eseguire questo processo al contrario. Moltiplichiamo per l'errore standard e aggiungiamo nuovamente la media.
Ciò significa che il nostro intervallo di confidenza va da circa 15,18 a 16,22 once. 
OK, quindi abbiamo calcolato un intervallo di confidenza del 99% e sappiamo che è l'intervallo che contiene il 99% della densità della nostra distribuzione di campionamento... ma il passo successivo è *interpretare* quell'intervallo... che può essere un po' scaltro.
Interpretazione
Questo intervallo contiene *la maggior parte* dei valori che riteniamo ragionevoli in base ai dati che abbiamo osservato. Quindi *probabilmente* contiene la vera media della popolazione, giusto?
Beh, probabilmente. Il 99% in un intervallo di confidenza del 99% ti dice anche che se calcolassi un GRUPPO di diversi intervalli di confidenza del 99% utilizzando questa procedura esatta, circa il 99% di essi conterrà la vera media della popolazione.
Ma è abbastanza facile prendere questo fatto reale e confonderlo con l’idea sbagliata comune secondo cui un singolo intervallo di confidenza al 99% ha una probabilità del 99% di contenere la vera media della popolazione. Non è vero.
La “fiducia” che abbiamo è nel *processo* di calcolo degli intervalli di confidenza...non nel nostro specifico intervallo di confidenza.
Esempio
E gli intervalli di confidenza possono essere utilizzati anche per il processo decisionale. Diciamo che lavori in una fabbrica di birra. Forse lo stesso che fornisce le deliziose birre del tuo birrificio locale preferito. E hai una macchina in grado di misurare la percentuale di resine "morbide" e resine "dure" in un lotto di luppolo, la sostanza che conferisce alla birra il suo sapore distinto e ammuffito.
Vuoi che questo valore sia intorno all'8%, quindi per ogni nuova spedizione di luppolo, prendi alcuni campioni e registri la percentuale di resine "morbide". Quindi calcoli l'intervallo di confidenza del 95% per la percentuale di resina "morbida".
Finché l'intervallo di confidenza contiene l'8%, si presuppone che questo lotto vada bene, poiché l'8% è uno dei valori della popolazione che riteniamo "ragionevoli" in base al nostro campione. Quindi lo mandi alla fabbrica.
Se il tuo intervallo di confidenza *non* contiene l'8%, consideri questo lotto di luppolo scadente e lo invii a una fattoria per essere utilizzato nell'alimentazione degli animali.
Se *mai* ci fossero problemi con il luppolo e la reale percentuale di resine “morbide” fosse sempre dell'8%, il 95% delle volte, il tuo intervallo di confidenza conterrebbe l'8%.
E il 5% delle volte non lo farebbe. Questo 5% è ciò che chiameremmo a falso positivo – o errore di tipo I – dal momento che hai erroneamente contrassegnato un lotto di luppolo perfettamente buono come scadente. Ma la buona notizia è che hai il controllo sulla frequenza con cui ciò accade.
Questo tasso di falsi positivi sarà sempre pari al 100% meno il livello di confidenza. Quindi, come azienda, puoi decidere quanto spesso sei disposto a buttare via erroneamente luppoli buoni.
In sostanza, stai scambiando la perdita finanziaria di dare da mangiare alcuni lotti di buon luppolo ai maiali con la possibilità di catturare lotti di luppolo che sono *in realtà* cattivi.
Inferenza
Usare l'intervallo di confidenza per l'inferenza è abbastanza simile a fare un t-test sugli stessi dati.
Il nostro intervallo di confidenza del 99% per le once di birra versate nel tuo birrificio locale era compreso tra 15,18 e 16,22 once. Dato che 16 once – la media che il birrificio sostiene sia vera – rientra nel nostro intervallo di confidenza, non possiamo affermare di avere prove che stiano versando troppo poco. Riteniamo ancora che 16 once sia un valore relativamente "ragionevole" in base ai dati che abbiamo osservato.
E per "ragionevole" intendiamo che è entro 3,25 errori standard da 15,7 once.Il 3,25 deriva dalla ricerca del valore t critico per un intervallo di confidenza del 99%. Segna i limiti in cui si trova il 99% della distribuzione campionaria, lasciando solo lo 0,5% della distribuzione in entrambe le code.
Se un valore è inferiore a 3,25 errori standard da 15,7 once, lo consideriamo "ragionevole".
E si scopre che, se stiamo eseguendo un test t utilizzando il livello di confidenza alfa = 100% (ovvero p < 0,01), stiamo anche testando se due numeri differiscono di più di 3,25 errori standard. Ma questa volta, stiamo esaminando se la nostra media campionaria – 15,7 once – è distante più di 3,25 errori standard dalla nostra media ipotizzata – 16 once.Quando qualcosa dista più di 3,25 errori standard da 16 once (con n = 10), rifiutiamo l'ipotesi nulla. Se mancano meno di 3,25 errori standard, noi fallire rifiutare l’ipotesi nulla.
Poiché 16 once rientrano nel nostro intervallo di confidenza del 99%, sappiamo già che la distanza da 16 once è inferiore a 3,25 errori standard, e quindi una media di 15,7 once *non* sarebbe significativamente diversa da 16 once al livello p < 0,01.
In effetti, qualsiasi valore all'interno dell'intervallo di confidenza *non* sarebbe significativamente diverso dalla media del campione quando alfa = 100% - livello di confidenza.
Intervalli di confidenza in JMP
Creiamo un intervallo di confidenza per le altezze dei supereroi da un set di dati Kaggle (vedi anche tabella dati allegata).Puoi usare il Analizza>Distribuzioni menù dentro JMP. Selezionare Altezza e aggiungerlo a Y_colonne . Seleziona OK e cerca il triangolo rosso accanto alla variabile nella finestra che si apre. Selezionare Intervallo di confidenza dal menu e scegli il livello di confidenza desiderato. Boom! Hai un livello di confidenza! Per impostazione predefinita verrà visualizzato l'intervallo di confidenza del 95%, ma è possibile utilizzare il menu per selezionare altri livelli di intervallo di confidenza.
Puoi anche creare intervalli di confidenza per le stime dei parametri (come medie e pendenze di regressione) da Modello adatto piattaforma. Crea il tuo modello utilizzando la piattaforma Fit Model, come questo modello di regressione delle altezze e dei pesi dei supereroi, e scorri verso il basso fino a Stime dei parametri . Fare clic con il tasto destro sulla tabella e selezionare Inferiore al 95% E Superiore 95% . La tabella delle stime dei parametri ora include gli intervalli di confidenza!
Se vuoi essere ancora più efficiente, puoi anche tenere premuto Opzione + clic destro rivela il pannello delle impostazioni del tavolo e seleziona entrambe le caselle contemporaneamente.
Ora che sai qualcosa in più sugli intervalli di confidenza, spero che tu possa essere più fiducioso (oh, andiamo, sai che dovevo...) nella loro interpretazione. Buona analisi!
