Bradley Jones escribió:
Si los datos se distribuyeran normalmente con una media de cero y una desviación estándar de uno, entonces el IQR sería de aproximadamente 1.35. La parte superior del wisker estaría en 0.67 + 1.5 * 1.35 = 2,695. La probabilidad de estar entre -2.695 y +2.695 es un poco mayor al 99%. Por lo tanto, para los datos normales, el cuadro de rango más los bigotes debe contener aproximadamente el 99% de las observaciones.
Por supuesto, Tukey no quería hacer ningún supuesto de distribución. Para diferentes distribuciones, el porcentaje exacto de observaciones que esperaría caer dentro de los bigotes variaría un poco. Eso no preocupó a Tukey. La "magia" 1.5 es una regla práctica que, de hecho, parece funcionar. A veces, el lenguaje suelto es útil, lo que permite evitar detalles sin importancia.
Mike Clayton escribió:
Cuando le pregunté a WHY, uno de los mentores de mi mentor, usó el multiplicador mágico 1.5 en su caja y el gráfico de bigotes para denotar el rango esperado de datos sin procesar en relación con el IQR (caja) y así resaltar los valores atípicos, dijo que una vez le hizo esa misma pregunta a Tukey , y la respuesta fue "parece funcionar".
Si alguien también ha escuchado esa historia o tiene un punto de vista diferente, por favor comente.
A los ingenieros, a menudo, los gurús de las estadísticas nos daban historias así para ayudarnos a recordar conceptos.
“La estadística es una ciencia en mi opinión, y no es más una rama de las matemáticas que la física, la química y la economía; porque si sus métodos fallan la prueba de la experiencia, no la prueba de la lógica - son descartados ". - John Wilder Tukey
"Diagrama de caja", "diagrama de tallo y hojas," ANOVA "y, sí, incluso" bit "," software "y" aspiradora "son términos acuñados por el estadístico destacado - John Wilder Tukey - a quien estamos honrando como parte de la celebración del Año Internacional de la Estadística . El impacto de Tukey en la ciencia y la sociedad es tan amplio y significativo que aquí solo destacaré algunas áreas. Como nota al margen, la influencia de Tukey en JMP también es significativo, y guardaré una conexión interesante para el final de esta publicación de blog.
Muchos reconocen a Tukey como el padre del análisis de datos exploratorios, en parte por crear muchas técnicas visuales efectivas como el diagrama de caja y el diagrama de tallo y hojas, que son estándares en los cursos de introducción a la estadística en la actualidad. Hizo muchas contribuciones duraderas en series de tiempo, comparaciones múltiples, ANOVA, estadísticas sólidas y gráficos interactivos y multivariados también. Tukey se consideraba a sí mismo un “científico generalista” e influyó en muchos otros campos científicos, como la informática, las matemáticas, la ingeniería y la economía. Incluso se desempeñó como asesor en políticas ambientales, de defensa y de educación para los más altos niveles del gobierno de Estados Unidos. Colaboró con científicos como Von Neumann, Feynman, Cooley y Morganstern, y se desempeñó como asesor de doctorado de muchos grandes estadísticos.
Tukey nació el 16 de junio de 1915 en New Bedford, Massachusetts, y fue educado principalmente en casa cuando era niño. A la edad de 18 años, ingresó a la Universidad de Brown y obtuvo su licenciatura y maestría en química, y luego realizó un doctorado en Princeton. Poco después de llegar a Princeton, sus estudios de posgrado evolucionaron hacia las matemáticas. Los estudios de Tukey se centraron principalmente en las matemáticas puras, y su tesis, "Sobre la desnumerabilidad en topología", se publicó como libro en 1940; El matemático Paul Halmos incluye ese libro entre los libros influyentes del período 1888-1988. Después de obtener su doctorado, Tukey se convirtió en profesor de matemáticas en Princeton y dos años más tarde en profesor asistente de matemáticas. Para entonces, EE. UU. Estaba involucrado en la Segunda Guerra Mundial y, como muchas otras instituciones académicas líderes en ese momento, Princeton estaba involucrado en investigaciones para apoyar el esfuerzo de guerra.
La Oficina de Investigación de Control de Incendios, bajo la dirección de Merrill Flood, estaba ubicada en Princeton y Tukey se incorporó a la oficina como Consultor en 1941. La oficina trabajó en problemas prácticos de la guerra, y estos llevaron al uso de estadísticas y la asociación con estadísticos como Charlie Winsor, a quien Tukey atribuye haber convertido sus intereses en estadísticas.
“Él (Charlie Winsor) estaba orientado a los datos. Recuerdo bien que pasé por el antiguo salón Fine y escuchar a Charlie decir: "Bueno, Sam Wilks entrena buenos estadísticos matemáticos, y es sorprendente lo pronto que se convierten en buenos estadísticos". Pero asociarme con Charlie y vivir en un entorno rico en datos donde lo que estábamos haciendo era tratar de encontrarle sentido a los datos me dejó con una orientación a los datos definitiva ". - Tukey
Tukey regresó a la enseñanza después de la guerra y comenzó una transición a la investigación y el servicio estadísticos en los años inmediatamente posteriores. Dentro del departamento de matemáticas, Tukey se unió a la Sección de Estadística Matemática, que estaba dirigida por el estadístico matemático Samuel Wilks. El seminario de Estadística Aplicada comenzó en 1946, presentando muchos conceptos de vanguardia a la comunidad de graduados de Princeton. Se convirtió en profesor de matemáticas en 1950, presidente del Departamento de Estadística recién formado en 1966 y fue profesor de estadística y presidente de ciencia Donner hasta su jubilación de Princeton en 1985.
"... la primera vez que estaba en un curso de estadística, estaba allí para enseñarlo". - Tukey
En 1945, Tukey también comenzó su asociación de 40 años con Bell Laboratories. El enfoque y la experiencia de la empresa matriz en comunicaciones y tecnología proporcionaron una investigación valiosa, en parte, para respaldar los intereses de seguridad nacional. A partir de 1960, Tukey se desempeñó como miembro del Comité Asesor Científico del Presidente y durante su carrera asesoró a cinco presidentes de Estados Unidos. Este trabajo implicó asesorar sobre políticas ambientales y educativas y, a principios de la década de 1960, políticas sobre ensayos de armas nucleares. Fue en esta capacidad que realizó uno de sus descubrimientos más importantes.
Mientras se desempeñaba en el comité asesor científico del presidente Kennedy con el físico Richard Garwin, se discutió el problema del monitoreo en alta mar y la verificación de un posible tratado de prohibición de ensayos nucleares con Rusia. Garwin y Tukey idearon una solución potencial que involucraba un método para monitorear la actividad sísmica con sensores remotos y analizar sus señales para distinguir un terremoto de una prueba nuclear. A partir de esta discusión y el trabajo adicional de James Cooley de IBM, se desarrolló el algoritmo Cooley -Tukey Fast Fourier Transform (FFT). El algoritmo de Cooley-Tukey fue una simplificación sustancial y una gran mejora en los cálculos de series e integrales de Fourier.
"Si acelera cualquier algoritmo no trivial en un factor de un millón aproximadamente, el mundo se abrirá camino hacia la búsqueda de aplicaciones útiles para él". - de Recetas numéricas
Algunas contribuciones importantes
Análisis exploratorio de datos : Tukey desarrolló técnicas útiles para visualizar y resumir datos, el resumen de 5 números, diagramas de caja y diagrama de tallo y hoja. Su libro Datos exploratorios A norte Alabama ysis publicado en 1977 introdujo muchas de estas técnicas en un momento en que la educación estadística elemental se centró principalmente en la inferencia y la prueba de hipótesis. “Dado que el objetivo del análisis de datos exploratorios es aprender lo que parece ser, no debería sorprendernos que las imágenes desempeñen un papel vital para hacerlo bien. No hay nada mejor para hacerte pensar en preguntas que te habías olvidado hacer (incluso mentalmente) ”, dijo Tukey.
- Gráficos multivariantes interactivos : En 1972, Tukey pasó cuatro meses en el Linear Accelerator Center de Stanford. Trabajó con Jerome Freidman en el desarrollo de PRIM-9, que fue el primer programa de computadora que ofreció gráficos multivariados interactivos y dinámicos. Se desarrollaron características como la rotación y el enmascaramiento (cepillado), junto con el concepto de búsqueda de proyección en este trabajo.
- Comparaciones múltiples: Algunos de los primeros trabajos de Tukey en estadística se centraron en comparaciones múltiples. La prueba Tukey-Kramer o la prueba Tukey HSD (Diferencia honestamente significativa) es un estándar utilizado en ANOVA para comparaciones por pares más de 60 años después de su introducción.
- Estadísticas sólidas: Según Peter J. Huber, Tukey fue “el primero en reconocer la extrema sensibilidad de algunos procedimientos estadísticos convencionales a desviaciones aparentemente menores de los supuestos…. En opinión de Tukey, la robustez es un atributo del procedimiento estadístico, que normalmente se logra ponderando o recortando las observaciones. Esto debería contrastarse para decir, la opinión de George Box, quien pensó que los datos no deberían ser alterados y que el modelo en sí debería ser robusto ".
“Érase una vez los estadísticos solo exploraban, luego aprendían a confirmar exactamente, a confirmar algunas cosas con exactitud, cada una en circunstancias muy específicas. A medida que enfatizaban la confirmación exacta, sus técnicas inevitablemente se volvieron menos flexibles. Se debilitó la conexión de las técnicas más utilizadas con conocimientos pasados.Cualquier cosa a la que no se adjuntara explícitamente un procedimiento de confirmación fue denunciada como 'meras estadísticas descriptivas', sin importar cuánto hayamos aprendido de ella ". - Tukey
Tukey ganó muchos premios, incluyendo la Medalla Nacional de Ciencias, el premio Samuel S. Wilks, la Medalla Shewhart, la Medalla de Honor IEEE y la Medalla Deming. Murió el 26 de julio de 2000 en New Brunswick, Nueva Jersey. Hizo muchas otras contribuciones que se tratan con mayor detalle en otros lugares, y menciono algunas fuentes a continuación. En particular, la pieza de David Brillinger proporciona muchas percepciones de primera mano sobre la vida y obra de Tukey.
La conexión Anscombe
El cuñado de John Tukey era Francis J. Anscombe; sus esposas eran hermanas. Anscombe era un estadístico británico que se unió a Tukey en Princeton durante un tiempo y compartió muchas opiniones similares en lo que respecta al análisis de datos y el uso de gráficos. Anscombe dejó Princeton para Yale y fue un pionero en el campo emergente de la computación estadística. En 1973, el Estadístico estadounidense publicó su artículo, "Gráficos en análisis estadístico". El “cuarteto” se introdujo en este documento para motivar el concepto de que los gráficos estadísticos a menudo revelan una comprensión que no es evidente solo en las estadísticas y que debe acompañar el análisis de los datos. El "cuarteto" (a la derecha) ilustra claramente cuatro gráficos de datos muy diferentes. Pero si solo observara los resultados estadísticos que son idénticos, concluiría que cada análisis bivariado era el mismo.
Como dijo Anscombe, “una computadora debe hacer cálculos y gráficos. Deben estudiarse ambos tipos de resultados; cada uno contribuirá a la comprensión ".
Estas recomendaciones influyeron en un desarrollador joven y motivaron el desarrollo de un software de análisis de datos nuevo e innovador que se lanzó a fines de la década de 1980. El software fue JMP y el desarrollador John Sall .
Puede acceder a la tabla de datos y el script para el cuarteto de Anscombe en el directorio de datos de muestra de JMP ( Ayuda> Datos de muestra> Ver una lista alfabética de todas las tablas de datos de muestra> Anscombe ).
Lectura recomendada
Anscombe, FJ, (1973) "Gráficos en análisis estadístico", Estadístico estadounidense 27, 17-21.
Brillinger, RD, (2002) "John W. Tukey: Su vida y contribuciones profesionales", Annals of Statistics , 30, 1535-1575.
Cleveland, WS, (1984-1994) Las obras completas de John W. Tukey, volúmenes I-VIII , Wadsworth y Brooks-Cole.
Cooley, J. W, (1992) "Cómo la FFT ganó aceptación", IEEE SP revista, enero de 1992, 10-13.
Friedman, JH y Stuetzle, W. (2002) "El trabajo de John W. Tukey sobre gráficos interactivos", Annals of Statistics 30 1629-1639.
Presione, WH, Teukolsky, SA, Vetterling, WT, Flannery, BP, (1986) Recetas numéricas: el arte de la informática científica , Prensa de la Universidad de Cambridge.
Salmon, J. y Valente, D. (2013) "JMP® Extensibility Synergy with MATLAB: Case Studies Using the JMP® Interface to MATLAB," Libro blanco del SAS Institute (en prensa).
Tukey, JW, (1977) Análisis exploratorio de datos , Addison-Wesley, Boston.
Wikipedia, John Tukey, http://en.wikipedia.org/wiki/John_Tukey (consultado el 28 de julio de 2013).
