Bradley Jones schrieb:
Wenn die Daten mit einem Mittelwert von Null und einer Standardabweichung von Eins normalverteilt wären, wäre der IQR etwa 1,35. Die Spitze des Wiskers würde bei 0,67 + 1,5 * 1,35 = 2,695 liegen. Die Wahrscheinlichkeit zwischen -2.695 und +2.695 zu liegen ist etwas größer als 99%. Für normale Daten sollte die Range-Box zusammen mit den Whiskern etwa 99% der Beobachtungen enthalten.
Natürlich wollte Tukey keine Verteilungsannahme machen. Bei verschiedenen Distributionen kann der genaue Prozentsatz der Beobachtungen, von denen Sie erwarten würden, dass er in die Whisker fällt, etwas variieren. Das machte Tukey keine Sorgen. Die "magische" 1.5 ist eine praktische Faustregel, die tatsächlich zu funktionieren scheint. Manchmal ist lockere Sprache hilfreich, um unwichtige Details zu vermeiden.
Mike Clayton schrieb:
Auf die Frage eines WARS eines Stat-Mentors, warum Tukey den magischen 1,5-Multiplikator in seiner Box und seinem Whisker-Plot verwendete, um den erwarteten Bereich der Rohdaten relativ zum IQR (Box) anzugeben und so Ausreißer hervorzuheben, sagte er, er habe einmal dieselbe Frage an Tukey gestellt und die Antwort war "es scheint zu funktionieren".
Wenn jemand diese Geschichte auch gehört hat oder einen anderen Standpunkt hat, kommentieren Sie dies bitte.
Wir Ingenieure erhielten häufig Geschichten wie Stat Gurus, um uns an Konzepte zu erinnern.
„Statistik ist meiner Meinung nach eine Wissenschaft, und sie ist nicht mehr ein Zweig der Mathematik als Physik, Chemie und Wirtschaft. denn wenn seine Methoden den Test der Erfahrung nicht bestehen - nicht den Test der Logik - - sie werden weggeworfen. " - John Wilder Tukey
"Box Plot", "Stem and Leaf Plot", ANOVA "und sogar" Bit "," Software "und" Staubsauger "sind Begriffe, die in diesem Monat geprägt wurden vorgestellter Statistiker - - John Wilder Tukey - wen wir im Rahmen der Feier des Internationales Jahr der Statistik . Tukeys Einfluss auf Wissenschaft und Gesellschaft ist so groß und bedeutsam, dass ich hier nur einige Bereiche hervorheben werde. Als Randnotiz, Tukeys Einfluss auf JMP ist auch wichtig, und ich werde eine interessante Verbindung für das Ende dieses Blog-Beitrags speichern.
Viele erkennen Tukey als den Vater der explorativen Datenanalyse an, unter anderem um viele effektive visuelle Techniken wie das Box-Plot und das Stamm- und Blatt-Plot zu erstellen, die heute in einführenden Statistikkursen Standard sind. Er leistete viele dauerhafte Beiträge in Zeitreihen, mehreren Vergleichen, ANOVA, robusten Statistiken sowie interaktiven und multivariaten Grafiken. Tukey betrachtete sich als "wissenschaftlicher Generalist" und beeinflusste viele andere wissenschaftliche Bereiche, darunter Informatik, Mathematik, Ingenieurwesen und Wirtschaft. Er war sogar als Berater für Umwelt-, Verteidigungs- und Bildungspolitik auf höchster Ebene der US-Regierung tätig. Er arbeitete mit Wissenschaftlern wie Von Neumann, Feynman, Cooley und Morganstern zusammen und war Doktorvater vieler großer Statistiker.
Tukey wurde am 16. Juni 1915 in New Bedford, Massachusetts, geboren und als Kind größtenteils zu Hause unterrichtet. Im Alter von 18 Jahren trat er in die Brown University ein und erwarb seinen BS und MS in Chemie. Anschließend promovierte er in Princeton. Bald nach seiner Ankunft in Princeton entwickelte sich sein Studium in Richtung Mathematik. Tukeys Studien konzentrierten sich hauptsächlich auf reine Mathematik, und seine These „Über Denumerierbarkeit in der Topologie“ wurde 1940 als Buch veröffentlicht. Der Mathematiker Paul Halmos zählt dieses Buch zu den einflussreichsten Büchern der Zeit von 1888 bis 1988. Nach seiner Promotion wurde Tukey Mathematiklehrer in Princeton und zwei Jahre später Assistenzprofessor für Mathematik. Bis dahin waren die USA in den Zweiten Weltkrieg verwickelt, und wie viele andere führende akademische Institutionen zu dieser Zeit war Princeton an der Forschung beteiligt, um die Kriegsanstrengungen zu unterstützen.
Das Fire Control Research Office unter der Leitung von Merrill Flood befand sich in Princeton, und Tukey trat 1941 als Berater in das Büro ein. Das Büro arbeitete an praktischen Problemen der Kriegsführung, und diese führten zur Verwendung von Statistiken und zur Zusammenarbeit mit Statistikern wie Charlie Winsor, dem Tukey die Umwandlung seiner Interessen in Statistiken zuschreibt.
„Er (Charlie Winsor) war datenorientiert. Ich erinnere mich noch gut daran, wie ich an der alten Feinhalle vorbeigegangen bin und Charlie sagen zu hören: "Nun, Sam Wilks bildet gute mathematische Statistiker aus, und es ist überraschend, wie schnell sie gute Statistiker werden." Die Zusammenarbeit mit Charlie und das Leben in einer datenreichen Umgebung, in der wir versucht haben, aus Daten einen Sinn zu machen, haben mir eine ultimative Datenorientierung verschafft. “ - Tukey
Tukey kehrte nach dem Krieg in die Lehre zurück und begann in den folgenden Jahren einen Übergang zur Statistikforschung und zum Statistikdienst. Innerhalb der mathematischen Abteilung trat Tukey der Abteilung für mathematische Statistik bei, die vom mathematischen Statistiker Samuel Wilks geleitet wurde. Das Seminar für Angewandte Statistik begann 1946 und stellte der Graduiertengemeinschaft in Princeton viele hochmoderne Konzepte vor. 1950 wurde er Professor für Mathematik, 1966 Vorsitzender der neu gebildeten Statistikabteilung und bis zu seiner Pensionierung 1985 in Princeton Professor für Statistik und Donner-Lehrstuhl für Naturwissenschaften.
"... als ich das erste Mal in einem Statistikkurs war, war ich dort, um es zu unterrichten." - Tukey
1945 begann Tukey auch seine 40-jährige Zusammenarbeit mit Bell Laboratories. Der Fokus und das Fachwissen der Muttergesellschaft in den Bereichen Kommunikation und Technologie lieferten wertvolle Forschungsergebnisse, teilweise zur Unterstützung der nationalen Sicherheitsinteressen. Ab 1960 war Tukey Mitglied des Wissenschaftsbeirats des Präsidenten und beriet im Laufe seiner Karriere fünf US-Präsidenten. Diese Arbeit umfasste die Beratung in Bezug auf Umwelt- und Bildungspolitik und in den frühen 1960er Jahren die Politik in Bezug auf Atomwaffentests. In dieser Eigenschaft wurde eine seiner wichtigsten Entdeckungen gemacht.
Während seiner Tätigkeit im Wissenschaftsbeirat von Präsident Kennedy mit dem Physiker Richard Garwin wurde das Problem der Offshore-Überwachung und Überprüfung eines möglichen Vertrags über das Verbot von Atomtests mit Russland erörtert. Garwin und Tukey entwickelten eine mögliche Lösung, die eine Methode zur Überwachung der seismischen Aktivität mit Fernsensoren und zur Analyse ihrer Signale umfasste, um ein Erdbeben von einem Atomtest zu unterscheiden. Aus dieser Diskussion und weiteren Arbeiten von James Cooley von IBM wurde der Cooley-Tukey-Fast-Fourier-Transform-Algorithmus (FFT) entwickelt. Der Cooley-Tukey-Algorithmus war eine wesentliche Vereinfachung und enorme Verbesserung der Berechnungen von Fourier-Reihen und Integralen.
"Wenn Sie einen nichttrivialen Algorithmus um den Faktor eine Million beschleunigen, schlägt die Welt einen Weg, um nützliche Anwendungen dafür zu finden." - aus numerischen Rezepten
Einige wichtige Beiträge
Explorative Datenanalyse : Tukey entwickelte nützliche Techniken zur Visualisierung und Zusammenfassung von Daten, der 5-Zahlen-Zusammenfassung, Box-Plots sowie Stamm- und Blattdiagrammen. Sein Buch Sondierungsdaten A. n al ysis Das 1977 veröffentlichte Buch führte viele dieser Techniken zu einer Zeit ein, als sich die statistische Grundbildung hauptsächlich auf Inferenz- und Hypothesentests konzentrierte. „Da das Ziel der explorativen Datenanalyse darin besteht, herauszufinden, was zu sein scheint, sollte es keine Überraschung sein, dass Bilder eine wichtige Rolle dabei spielen, es gut zu machen. Es gibt nichts Besseres, als Sie an Fragen zu denken, die Sie vergessen haben (auch mental) “, sagte Tukey.
- Interaktive multivariate Grafiken : 1972 verbrachte Tukey vier Monate im Linear Accelerator Center von Stanford. Er arbeitete mit Jerome Freidman an der Entwicklung von PRIM-9, dem ersten Computerprogramm, das interaktive und dynamische multivariate Grafiken anbot. In dieser Arbeit wurden Funktionen wie Rotation und Maskierung (Bürsten) zusammen mit dem Konzept der Projektionsverfolgung entwickelt.
- Mehrfachvergleiche: Einige von Tukeys frühesten statistischen Arbeiten konzentrierten sich auf Mehrfachvergleiche. Der Tukey-Kramer-Test oder der Tukey-HSD-Test (Honestly Significant Difference) ist ein Standard, der in ANOVA für paarweise Vergleiche mehr als 60 Jahre nach seiner Einführung verwendet wird.
- Robuste Statistik: Laut Peter J. Huber war Tukey „der erste, der die extreme Empfindlichkeit einiger herkömmlicher statistischer Verfahren gegenüber scheinbar geringfügigen Abweichungen von den Annahmen erkannte…. Nach Tukeys Ansicht ist Robustheit ein Attribut des statistischen Verfahrens, das typischerweise durch Gewichtung oder Trimmen der Beobachtungen erreicht wird. Dies sollte der Ansicht von George Box gegenübergestellt werden, der der Ansicht war, dass die Daten nicht manipuliert werden sollten und dass das Modell selbst robust sein sollte. “
„Früher haben Statistiker nur erforscht, dann haben sie gelernt, genau zu bestätigen - um ein paar Dinge genau zu bestätigen, jeweils unter ganz bestimmten Umständen. Da sie die genaue Bestätigung betonten, wurden ihre Techniken unweigerlich weniger flexibel. Die Verbindung der am häufigsten verwendeten Techniken mit früheren Erkenntnissen wurde geschwächt.Alles, was nicht ausdrücklich mit einem Bestätigungsverfahren verbunden war, wurde als „bloße beschreibende Statistik“ bezeichnet, egal wie viel wir daraus gelernt hatten. “ - Tukey
Tukey erhielt zahlreiche Auszeichnungen, darunter die National Medal of Science, die Samuel S. Wilks-Auszeichnung, die Shewhart-Medaille, die IEEE-Ehrenmedaille und die Deming-Medaille. Er starb am 26. Juli 2000 in New Brunswick, New Jersey. Er hat viele andere Beiträge geleistet, die an anderer Stelle ausführlicher behandelt werden, und ich verweise auf einige Quellen weiter unten. Insbesondere David Brillingers Stück bietet viele Einblicke aus erster Hand in Leben und Werk von Tukey.
Die Anscombe-Verbindung
John Tukeys Schwager war Francis J. Anscombe - ihre Frauen waren Schwestern. Anscombe war ein britischer Statistiker, der für eine Weile zu Tukey nach Princeton kam und viele ähnliche Ansichten hinsichtlich der Datenanalyse und der Verwendung von Grafiken teilte. Anscombe verließ Princeton nach Yale und war ein Pionier auf dem aufstrebenden Gebiet des statistischen Rechnens. Im Jahr 1973 wurde die Amerikanischer Statistiker veröffentlichte seinen Artikel "Graphics in Statistical Analysis". Das „Quartett“ wurde in diesem Artikel vorgestellt, um das Konzept zu motivieren, dass statistische Grafiken häufig ein Verständnis vermitteln, das nicht nur aus der Statistik hervorgeht und mit der Analyse von Daten einhergehen sollte. Das „Quartett“ (rechts) zeigt deutlich vier sehr unterschiedliche Datengraphen. Wenn Sie sich jedoch nur die statistischen Ergebnisse ansehen, die identisch sind, würden Sie zu dem Schluss kommen, dass jede bivariate Analyse dieselbe ist.
Wie Anscombe sagte: „Ein Computer sollte sowohl Berechnungen als auch Diagramme erstellen. Beide Arten von Output sollten untersucht werden; Jeder wird zum Verständnis beitragen. “
Diese Empfehlungen beeinflussten einen jungen Entwickler und motivierten die Entwicklung einer neuen und innovativen Datenanalyse-Software, die Ende der 1980er Jahre eingeführt wurde. Die Software war JMP und der Entwickler John Sall .
Sie können auf die Datentabelle und das Skript für Anscombes Quartett im Beispieldatenverzeichnis von JMP zugreifen ( Hilfe> Beispieldaten> Eine alphabetische Liste aller Beispieldatentabellen anzeigen> Anscombe ).
Literatur-Empfehlungen
Anscombe, FJ, (1973) "Graphs in Statistical Analysis", Amerikanischer Statistiker 27, 17-21.
Brillinger, DR, (2002) "John W. Tukey: Sein Leben und seine beruflichen Beiträge" Annalen der Statistik 30, 1535-1575.
Cleveland, WS, (1984 - 1994) Die gesammelten Werke von John W. Tukey, Bände I-VIII , Wadsworth & Brooks-Cole.
Cooley, J. W, (1992) "Wie die FFT Akzeptanz erlangte" IEEE SP Magazin, Januar 1992, 10-13.
Friedman, JH und Stuetzle, W. (2002) "John W. Tukeys Arbeit an interaktiven Graphen" Annalen der Statistik 30 1629-1639.
Drücken Sie, WH, Teukolsky, SA, Vetterling, WT, Flannery, BP, (1986) Numerische Rezepte: Die Kunst des wissenschaftlichen Rechnens , Cambridge University Press.
Salmon, J. und Valente, D. (2013) "JMP® Extensibility Synergy with MATLAB: Fallstudien unter Verwendung der JMP®-Schnittstelle zu MATLAB", SAS Institute White Paper (im Druck).
Tukey, JW, (1977) Explorative Datenanalyse , Addison-Wesley, Boston.
Wikipedia, John Tukey, http://en.wikipedia.org/wiki/John_Tukey (Zugriff auf den 28. Juli 2013).
