Bradley Jones ha scritto:
Se i dati fossero normalmente distribuiti con una media di zero e una deviazione standard di uno, allora l'IQR sarebbe circa 1,35. La parte superiore del wisker sarebbe a 0.67 + 1.5 * 1.35 = 2.695. La probabilità di essere tra -2.695 e +2.695 è leggermente superiore al 99%. Quindi, per i dati normali la casella di intervallo più i baffi dovrebbe contenere circa il 99% delle osservazioni.
Ovviamente, Tukey non voleva assumere alcuna ipotesi distributiva. Per diverse distribuzioni l'esatta percentuale di osservazioni che ci si aspetterebbe di cadere all'interno dei baffi varierebbe un po '. Non ti preoccupare, Tukey. La "magia" 1.5 è una comoda regola empirica che, in effetti, sembra funzionare. A volte è utile una lingua sciolta che consente di evitare dettagli non importanti.
“La statistica è una scienza secondo me, e non è una branca della matematica più di quanto lo siano la fisica, la chimica e l'economia; perché se i suoi metodi falliscono la prova dell'esperienza, non la prova della logica - vengono scartati. " - John Wilder Tukey
"Box plot", "stem and leaf plot", ANOVA "e, sì, anche" bit "," software "e" aspirapolvere "sono termini coniati da questo mese statistico in primo piano - John Wilder Tukey - che stiamo onorando come parte della celebrazione del Anno internazionale della statistica . L'impatto di Tukey sulla scienza e sulla società è così ampio e significativo che qui evidenzierò solo alcune aree. Come nota a margine, l'influenza di Tukey su JMP è anche significativo e salverò un collegamento interessante per la fine di questo post del blog.
Molti riconoscono Tukey come il padre dell'analisi esplorativa dei dati, in parte per la creazione di molte tecniche visive efficaci come il diagramma a scatola e il diagramma a stelo e foglia, che sono standard nei corsi di statistica introduttivi oggi. Ha dato molti contributi duraturi in serie temporali, confronti multipli, ANOVA, statistiche affidabili e grafici interattivi e multivariati. Tukey si considerava un "generalista scientifico" e influenzò molti altri campi scientifici, tra cui informatica, matematica, ingegneria ed economia. È stato anche consulente per le politiche ambientali, di difesa e di istruzione ai più alti livelli del governo degli Stati Uniti. Ha collaborato con scienziati come Von Neumann, Feynman, Cooley e Morganstern, ed è stato consulente di dottorato di molti grandi statistici.
Tukey è nato il 16 giugno 1915 a New Bedford, Massachusetts, e da bambino ha studiato per lo più a casa. All'età di 18 anni, è entrato alla Brown University e ha conseguito la laurea e la laurea specialistica in chimica, conseguendo successivamente un dottorato di ricerca a Princeton. Subito dopo essere arrivato a Princeton, i suoi studi universitari si sono evoluti verso la matematica. Gli studi di Tukey si concentrarono principalmente sulla matematica pura e la sua tesi, "Sulla numerabilità in topologia", fu pubblicata come libro nel 1940; il matematico Paul Halmos include quel libro tra i libri influenti del periodo 1888-1988. Dopo aver conseguito il dottorato, Tukey è diventato insegnante di matematica a Princeton e due anni dopo assistente professore di matematica. A quel punto, gli Stati Uniti erano impegnati nella seconda guerra mondiale e, come molte altre importanti istituzioni accademiche dell'epoca, Princeton era coinvolta nella ricerca per sostenere lo sforzo bellico.
Il Fire Control Research Office sotto la direzione di Merrill Flood si trovava a Princeton e Tukey entrò a far parte dell'ufficio come consulente nel 1941. L'ufficio ha lavorato su problemi pratici di guerra, e questi hanno portato all'uso di statistiche e all'associazione con statistici come Charlie Winsor, a cui Tukey attribuisce la conversione dei suoi interessi in statistiche.
“Lui (Charlie Winsor) era orientato ai dati. Ricordo bene di essere passato accanto alla vecchia Fine Hall e sentire Charlie dire: "Beh, Sam Wilks forma ottimi statistici matematici, ed è sorprendente quanto presto diventino bravi statistici". Ma associarmi a Charlie e vivere in un ambiente ricco di dati in cui quello che stavamo facendo era cercare di dare un senso ai dati mi ha lasciato con un orientamento ai dati definitivo ". - Tukey
Tukey tornò a insegnare dopo la guerra e negli anni immediatamente successivi iniziò la transizione alla ricerca statistica e al servizio. All'interno del dipartimento di matematica, Tukey è entrato a far parte della sezione di statistica matematica, guidata dallo statistico matematico Samuel Wilks. Il seminario di Statistica Applicata iniziò nel 1946, introducendo molti concetti all'avanguardia alla comunità di laureati di Princeton. È diventato professore di matematica nel 1950, presidente del dipartimento di statistica appena formato nel 1966 ed è stato professore di statistica e cattedra di scienze Donner fino al suo ritiro da Princeton nel 1985.
"..La prima volta che ho frequentato un corso di statistica, ero lì per insegnarlo." - Tukey
Nel 1945, Tukey iniziò anche la sua associazione di 40 anni con i Bell Laboratories. L'attenzione e l'esperienza della società madre nelle comunicazioni e nella tecnologia hanno fornito preziose ricerche, in parte, a sostegno degli interessi della sicurezza nazionale. A partire dal 1960, Tukey è stato membro del President's Science Advisory Committee e nel corso della sua carriera ha prestato consulenza a cinque presidenti degli Stati Uniti. Questo lavoro ha comportato consulenza sulla politica ambientale ed educativa e, all'inizio degli anni '60, sulla politica sui test sulle armi nucleari. Fu in questa veste che fu fatta una delle sue scoperte più importanti.
Mentre prestava servizio nel comitato scientifico del presidente Kennedy con il fisico Richard Garwin, è stato discusso il problema del monitoraggio off-shore e della verifica di un possibile trattato di divieto dei test nucleari con la Russia. Garwin e Tukey hanno ideato una potenziale soluzione che prevedeva un metodo per monitorare l'attività sismica con sensori remoti e analizzare i loro segnali per distinguere un terremoto da un test nucleare. Da questa discussione e da ulteriori lavori di James Cooley dell'IBM, è stato sviluppato l'algoritmo Cooley -Tukey Fast Fourier Transform (FFT). L'algoritmo di Cooley-Tukey rappresentava una sostanziale semplificazione e un enorme miglioramento nei calcoli delle serie e degli integrali di Fourier.
"Se acceleri qualsiasi algoritmo non banale di un fattore di un milione circa, il mondo batterà un percorso verso la ricerca di applicazioni utili per esso." - da Ricette numeriche
Alcuni contributi importanti
Analisi esplorativa dei dati : Tukey ha sviluppato tecniche utili per visualizzare e riepilogare i dati, il riepilogo a 5 numeri, i box plot e il diagramma del gambo e della foglia. Il suo libro Dati esplorativi A n al ysis pubblicato nel 1977 ha introdotto molte di queste tecniche in un momento in cui l'educazione statistica elementare si concentrava principalmente sull'inferenza e sul test di ipotesi. “Poiché lo scopo dell'analisi esplorativa dei dati è apprendere ciò che sembra essere, non dovrebbe sorprendere che le immagini giochino un ruolo fondamentale nel farlo bene. Non c'è niente di meglio per farti pensare a domande che avevi dimenticato di fare (anche mentalmente) ", ha detto Tukey.
- Grafica multivariata interattiva : Nel 1972, Tukey trascorse quattro mesi al Linear Accelerator Center di Stanford. Ha lavorato con Jerome Freidman allo sviluppo di PRIM-9, che è stato il primo programma per computer che ha offerto grafica multivariata interattiva e dinamica. Caratteristiche come la rotazione e la mascheratura (spazzolatura) sono state sviluppate, insieme al concetto di Projection Pursuit in questo lavoro.
- Confronti multipli: Alcuni dei primi lavori di Tukey in statistica si concentravano sui confronti multipli. Il test Tukey-Kramer o il test Tukey HSD (Honestly Significant Difference) è uno standard utilizzato in ANOVA per confronti a coppie più di 60 anni dopo la sua introduzione.
- Statistiche affidabili: Secondo Peter J. Huber, Tukey è stato “il primo a riconoscere l'estrema sensibilità di alcune procedure statistiche convenzionali a deviazioni apparentemente minori dalle ipotesi…. Dal punto di vista di Tukey, la robustezza è un attributo della procedura statistica, tipicamente da ottenere ponderando o troncando le osservazioni. Questo dovrebbe essere contrastato dal punto di vista di George Box, secondo il quale i dati non dovrebbero essere manomessi e che il modello stesso dovrebbe essere robusto ".
“Un tempo gli statistici esploravano solo, poi hanno imparato a confermare esattamente, a confermare esattamente alcune cose, ciascuna in circostanze molto specifiche. Man mano che enfatizzavano la conferma esatta, le loro tecniche divennero inevitabilmente meno flessibili. La connessione delle tecniche più utilizzate con le intuizioni del passato è stata indebolita.Tutto ciò a cui una procedura di conferma non era esplicitamente allegata è stato condannato come 'mera statistica descrittiva', non importa quanto avessimo imparato da essa ". - Tukey
Tukey ha vinto molti premi, tra cui la National Medal of Science, il Samuel S. Wilks Award, la Shewhart Medal, la IEEE Medal of Honor e la Deming Medal. Morì il 26 luglio 2000 a New Brunswick, New Jersey. Ha fatto molti altri contributi che sono trattati in maggiore dettaglio altrove, e faccio riferimento ad alcune fonti di seguito. In particolare, il pezzo di David Brillinger fornisce molte intuizioni di prima mano sulla vita e sul lavoro di Tukey.
La connessione Anscombe
Il cognato di John Tukey era Francis J. Anscombe - le loro mogli erano sorelle. Anscombe era uno statistico britannico che si è unito a Tukey a Princeton per un po 'e ha condiviso molte opinioni simili per quanto riguarda l'analisi dei dati e l'uso della grafica. Anscombe lasciò Princeton per Yale e fu un pioniere nel campo emergente del calcolo statistico. Nel 1973, il Statistico americano ha pubblicato il suo articolo, "Graphics in Statistical Analysis". Il "quartetto" è stato introdotto in questo articolo per motivare il concetto che i grafici statistici spesso rivelano una comprensione che non è evidente dalla sola statistica e dovrebbe accompagnare l'analisi dei dati. Il "quartetto" (a destra) illustra chiaramente quattro grafici di dati molto diversi. Ma se guardassi solo i risultati statistici che sono identici, concluderesti che ogni analisi bivariata è la stessa.
Come ha affermato Anscombe, “Un computer dovrebbe eseguire calcoli e grafici. Entrambi i tipi di output dovrebbero essere studiati; ognuno contribuirà alla comprensione. "
Queste raccomandazioni hanno influenzato un giovane sviluppatore e motivato lo sviluppo di un nuovo e innovativo software di analisi dei dati lanciato alla fine degli anni '80. Il software era JMP e lo sviluppatore John Sall .
È possibile accedere alla tabella dati e allo script per il quartetto di Anscombe nella directory dei dati di esempio di JMP ( Guida> Dati di esempio> Visualizza un elenco alfabetico di tutte le tabelle di dati di esempio> Anscombe ).
Lettura consigliata
Anscombe, FJ, (1973) "Graphs in Statistical Analysis", Statistico americano 27, 17-21.
Brillinger, DR, (2002) "John W. Tukey: His Life and Professional Contributions", Annali di statistica , 30, 1535-1575.
Cleveland, WS, (1984-1994) The Collected Works of John W. Tukey, Volumes I-VIII , Wadsworth e Brooks-Cole.
Cooley, J. W, (1992) "How the FFT Gained Acceptance", IEEE SP rivista, gennaio 1992, 10-13.
Friedman, JH e Stuetzle, W. (2002) "John W. Tukey's Work on Interactive Graphs", Annali di statistica 30 1629-1639.
Stampa, WH, Teukolsky, SA, Vetterling, WT, Flannery, BP, (1986) Ricette numeriche: l'arte dell'informatica scientifica , Cambridge University Press.
Salmon, J. e Valente, D. (2013) "JMP® Extensibility Synergy with MATLAB: Case Studies Using the JMP® Interface to MATLAB," SAS Institute White Paper (in press).
Tukey, JW, (1977) Analisi esplorativa dei dati , Addison-Wesley, Boston.
Wikipedia, John Tukey, http://en.wikipedia.org/wiki/John_Tukey (visitato il 28 luglio 2013).
