Phillip Ramsey - Comunità di utenti di JMP @philramsey , Consulente e Professore, Università del New Hampshire
Questo articolo è originariamente apparso su JMPer Cable, numero 28, estate 2013.
Il bootstrap è una funzionalità importante offerta in JMPPro . L'implementazione del bootstrap è semplice e flessibile perché le distribuzioni bootstrap possono essere generate all'interno della maggior parte dei report statistici di JMP Pro. Questo articolo fornisce un breve tutorial sul bootstrap di base e descrive le applicazioni del bootstrap nei contesti di metodi inferenziali autonomi, pedagogia e come componente di altri metodi statistici.
Il bootstrap è una comune metafora in lingua inglese per un processo che è autosufficiente e continua senza bisogno di una forza motrice esterna. Bradley Efron (1979) ha adottato la metafora bootstrap per descrivere una nuova tecnica di ricampionamento che aveva sviluppato. Il suo lavoro è stato motivato da precedenti lavori sul jackknifing (Tukey, 1958).
Il bootstrap statistico sviluppato da Bradley Efron (1979) è un processo mediante il quale campioni indipendenti e casuali di dimensione N vengono estratti ripetutamente (forse migliaia di volte) con sostituzione da un set di dati originale di dimensione N. Sostituzione significa che qualsiasi singola osservazione nel set di dati originale può essere selezionata più volte o forse non tutta in un ricampionamento. Questo assicura che ogni campione di bootstrap differisca molto probabilmente in termini di appartenenza dai dati originali.
Calcolando le statistiche campionarie di interesse su ogni ricampionamento, vengono generate funzioni di distribuzione empiriche per queste statistiche. Le distribuzioni empiriche possono a loro volta essere utilizzate per stimare gli errori standard per queste statistiche e stimare gli intervalli di confidenza per i parametri teorici stimati dalle statistiche. Gli intervalli di confidenza bootstrap (ne esistono diverse versioni) hanno il vantaggio che il calcolo non richiede necessariamente l'uso di una formula parametrica o matematica specifica. Hall e Wilson (1991) mostrano che il bootstrap si adatta facilmente alla verifica di ipotesi.
Il modo più semplice per calcolare un intervallo di confidenza al 100% di bootstrap (1-α) per un parametro teorico consiste nell'utilizzare i percentili appropriati della distribuzione bootstrap per quella statistica campionaria, che stima il parametro teorico di interesse. Ad esempio, il 2,5° e il 97,5° percentile della distribuzione bootstrap di una media campionaria possono essere utilizzati per formare un intervallo di confidenza al 95% per la media teorica della distribuzione sottostante.
La ricerca Bootstrap ha rilevato che in alcuni casi gli intervalli di confidenza percentile bootstrap potrebbero essere sostanzialmente distorti in termini di copertura effettiva (Chernick, 2008). Esistono algoritmi di correzione del bias per gli intervalli di confidenza percentile. Tuttavia, al momento non sono disponibili in JMP Pro e ulteriori discussioni esulano dallo scopo di questo articolo. ( Aggiornato dicembre 2018: Gli algoritmi di correzione del bias sono ora inclusi in JMP Pro .)
Inferenza statistica basata sul bootstrap
L'esempio seguente mostra come utilizzare JMP Pro per il bootstrap per generare intervalli di confidenza percentile per i parametri teorici delle popolazioni target. L'esempio utilizza 20 letture di temperatura (Kelvin) originariamente da Cox e Snell (1981).
Supponiamo di voler trovare gli intervalli di confidenza per l'intervallo interquartile (IQR) del campione, ovvero la differenza tra il 25° e il 75° percentile della distribuzione campionaria. Il calcolo esatto degli intervalli di confidenza per l'IQR non è generalmente possibile.
Inizia utilizzando la piattaforma di distribuzione in JMP per generare una tabella di statistiche di riepilogo per il campione originale. L'intervallo interquartile non viene visualizzato per impostazione predefinita nella tabella Statistiche riassuntive, quindi utilizza il menu del triangolo rosso per richiederlo, come mostrato nella Figura 1. Inoltre, poiché il processo di bootstrap opera su tutte le statistiche mostrate nella tabella a cui si riferisce, deselezionare tutte le statistiche di riepilogo predefinite che non interessano in questo esempio. La tabella Riepilogo distribuzione visualizza quindi solo l'intervallo interquartile, come mostrato nella Figura 1.
Figure 1 Tailor Summary Statistics table to show only Interquartile RangeFigure 1 Tailor Summary Statistics table to show only Interquartile RangeFigure 1 Tailor Summary Statistics table to show only Interquartile RangeFigure 1 Tailor Summary Statistics table to show only Interquartile RangeFigura 1 Adattare la tabella delle statistiche di riepilogo per mostrare solo l'intervallo interquartile
Successivamente, posizionare il cursore nel corpo del report, fare clic con il pulsante destro del mouse e selezionare Bootstrap dal menu visualizzato (Figura 2). Nella finestra di dialogo Bootstrap, seleziona l'opzione Fractional Weights: questa opzione fornisce campioni bootstrap più uniformi Rubin (1981).
Figure 2 Choose the Bootstrap with sample size 200Figure 2 Choose the Bootstrap with sample size 200Figure 2 Choose the Bootstrap with sample size 200Figure 2 Choose the Bootstrap with sample size 200Figura 2 Scegli il Bootstrap con dimensione del campione 200
Questo esempio genera 200 campioni. Puoi inserire qualsiasi numero di campioni che desideri, ma tieni presente che ogni campione esegue nuovamente la piattaforma di distribuzione e calcola l'intervallo interquartile per quel campione. Quindi, il numero di campioni che scegli dipende dalle risorse computazionali che hai. Una richiesta di bootstrap di grandi dimensioni può richiedere un uso intensivo sia delle risorse che del tempo.
Quando il processo di bootstrap è completo, viene visualizzato un file JMP tabella con i risultati del campionamento. Queste sono colonne denominate BootID e Interquartile Range per la variabile Temperature. Il numero di righe è il numero di campioni richiesti più uno per il calcolo del campione originale. Utilizzare ora la piattaforma di distribuzione per esaminare le statistiche di riepilogo per l'intervallo interquartile avviato.
Le piattaforme JMP che dispongono dell'opzione bootstrap riconoscono la variabile BootID e visualizzano la tabella Bootstrap Confidence Limits, come mostrato nella Figura 3.
Figure 3 Distribution of bootstrapped Interquartile RangeFigure 3 Distribution of bootstrapped Interquartile RangeFigure 3 Distribution of bootstrapped Interquartile RangeFigure 3 Distribution of bootstrapped Interquartile RangeFigura 3 Distribuzione dell'intervallo interquartile bootstrapped L'intervallo interquartile calcolato nel campione originale è 28,25 (Figura 1). Si noti che l'intervallo interquartile calcolato per il campione bootstrap di 200 è 25,4 e che i limiti di confidenza bootstrap del 95%, presi dai quantili per il campione, sono 7 e 45, che includono la stima originale.
Il bootstrap nell'istruzione Il bootstrap sta iniziando ad essere adattato nell'educazione statistica (Lock, 2012) per far passare gli studenti dall'analisi esplorativa dei dati (EDA), dove vengono introdotte le statistiche campionarie, all'analisi dei dati di conferma (CDA), dove viene introdotta per la prima volta l'inferenza statistica formale.
Dall'esperienza dell'autore nell'insegnamento di corsi di laurea, laurea e Six Sigma in statistica, gli studenti hanno difficoltà a cogliere i concetti di distribuzione campionaria, errore standard e intervallo di confidenza o test di ipotesi). Cioè, lottano con le basi del pensiero statistico.
Sfortunatamente, anche il calcolo manuale degli errori standard e degli intervalli di confidenza parametrici, quando tali calcoli sono fattibili, fa ben poco per motivare la comprensione concettuale da parte degli studenti. Spesso gli studenti diventano esperti nel calcolo aritmetico senza sviluppare una reale comprensione concettuale delle inferenze da trarre da tale calcolo. Questo di solito si manifesta quando gli studenti calcolano correttamente gli intervalli di confidenza parametrici (ad esempio) e successivamente affermano interpretazioni errate o addirittura prive di senso di tali intervalli. Apparentemente gli studenti sono diventati esperti nel calcolo aritmetico senza la necessaria capacità di pensare statisticamente.
A partire dal rilascio di JMP Pro 10, abbiamo introdotto il bootstrap nei curricula sia per i corsi accademici che per quelli statistici Six Sigma. Piuttosto che iniziare il CDA con la tradizionale discussione delle distribuzioni di campionamento parametrico, degli errori standard e degli intervalli di confidenza, l'introduzione del bootstrapping motiva questi concetti.
Aneddoticamente, i risultati finora sono stati piuttosto incoraggianti in termini di studenti che hanno dimostrato una comprensione concettuale più profonda delle distribuzioni campionarie, degli intervalli di confidenza e della verifica delle ipotesi: gli studenti sembrano più abili nel pensiero statistico corretto.
I test di ipotesi bootstrap non sono direttamente disponibili in JMP Pro, tuttavia molti dei test di ipotesi più comuni possono essere facilmente eseguiti dai risultati bootstrap forniti da JMP Pro. Vedere Hall e Wilson (1991) per maggiori dettagli sulla verifica dell'ipotesi bootstrap.
Bootstrapping in altre piattaforme statistiche
Oltre ad essere utilizzati come metodi autonomi per l'inferenza statistica, i metodi di bootstrap sono sempre più incorporati in altri metodi statistici. Un buon esempio è la modellazione delle partizioni, in cui i concetti di bootstrap vengono utilizzati per far crescere un insieme casuale (o foresta) di singoli alberi decisionali. JMP Pro ha implementato questo concetto nella piattaforma di partizione con l'opzione Bootstrapped Forest.
Il bootstrap è stato anche incorporato nei metodi ANOVA, MANOVA, analisi discriminante e regressione. Molte delle piattaforme JMP Pro per queste analisi dispongono del bootstrap. Sfortunatamente, i test delle ipotesi di bootstrap in alcuni casi richiedono un errore standard di bootstrap per ciascuno dei campioni di bootstrap; non esiste un calcolo esatto per l'errore standard. L'errore standard di bootstrap per ciascun campione di bootstrap viene calcolato mediante l'uso di un doppio bootstrap (Chernick, 2008). Il doppio bootstrap non è attualmente supportato in JMP Pro.
Nel complesso, l'uso dei test di bootstrap e di randomizzazione nell'educazione statistica è in crescita ed è limitato solo dalla tecnologia a disposizione di studenti, insegnanti e formatori. Il suo utilizzo è inoltre coerente con le raccomandazioni del Rapporto GAISE (ASA, 2012) per l'educazione statistica. JMP Pro offre agli insegnanti una piattaforma piacevole e facile da usare per incorporare il bootstrap nei curricula dei corsi di statistica.
Riepilogo
In questo articolo, abbiamo discusso gli usi del bootstrap sia come forma di inferenza statistica, soprattutto dove gli errori standard e gli intervalli di confidenza non possono essere facilmente calcolati, sia come importante strumento pedagogico per l'educazione statistica. Con l'avvento di computer sempre più potenti, l'uso del bootstrap e dei metodi correlati crescerà senza dubbio. JMP Pro offre una funzionalità di bootstrap semplice e intuitiva che consente all'utente di JMP di incorporare il bootstrap nelle analisi statistiche e nei curricula per l'istruzione statistica.
Riferimenti
- Chernick, M. (2008). Metodi Bootstrap: una guida per professionisti e ricercatori, seconda edizione. Wiley e figli: New York, New York.
- Cox, DR e Snell, EJ (1981). Statistica applicata: principi ed esempi. Londra: Chapman e Hall.
- Efron, Bradley (1979). Metodi Bootstrap: un altro sguardo al coltello a serramanico, The Annals of Statistics, 7, 1-26.
- Associazione statistica americana (2012). Linee guida per la valutazione e l'istruzione nell'educazione statistica
- Sala, P. e Wilson S. (1991). Due linee guida per il test delle ipotesi Bootstrap. Biometria, 47, 757 – 762
- Serratura, ecc. al. (2012). Sbloccare il potere dei dati. Wiley e figli: New York, New York
- Rubino, DB (1981). Il Bootstrap Bayesiano, Gli Annali di Statistica, vol. 9, n. 1, 130 – 134.
- Tibshirani, et. al. (2008). Elementi di apprendimento statistico, seconda edizione. Casa editrice Springer.
- Turchia, JW (1958). Pregiudizio e fiducia in campioni non abbastanza grandi, The Annals of Mathematical Statistics. vol. 29, 2, pp. 614.
Philip J. Ramsey, PhD, possiede il North Haven Group, una società di consulenza statistica e di qualità che offre formazione e consulenza a servizio completo in tutti i livelli e fasi di Six Sigma, nonché una formazione completa nella progettazione di esperimenti e analisi predittiva. Ramsey è anche membro della facoltà del Dipartimento di Matematica e Statistica dell'Università del New Hampshire (UNH). È coautore di Sei Sigma visivo dalla SAS Press.
