Bradley Jones a écrit:
Si les données étaient normalement distribuées avec une moyenne de zéro et un écart-type de un, le IQR serait d'environ 1,35. Le sommet du wisker serait à 0,67 + 1,5 * 1,35 = 2 695. La probabilité d'être entre -2,695 et + 2,695 est un peu plus grande que 99%. Ainsi, pour les données normales, la zone de mesure et les moustaches devraient contenir environ 99% des observations.
Bien entendu, Tukey ne souhaitait formuler aucune hypothèse de répartition. Pour différentes distributions, le pourcentage exact d'observations que vous vous attendez à inclure dans les moustaches varie légèrement. Cela n'a pas inquiété Tukey. La "magie" 1.5 est une règle pratique qui semble en fait fonctionner. Parfois, un langage vague est utile pour éviter des détails sans importance.
«La statistique est une science à mon avis, et ce n'est pas plus une branche des mathématiques que la physique, la chimie et l'économie; car si ses méthodes échouent au test de l'expérience - pas au test de la logique - ils sont rejetés. » - John Wilder Tukey
«Boîte à moustaches», «diagramme à tige et feuille», ANOVA »et, oui, même« bit »,« logiciel »et« aspirateur »sont des termes inventés par statisticien vedette - John Wilder Tukey - à qui nous rendons hommage dans le cadre de la célébration du Année internationale de la statistique . L'impact de Tukey sur la science et la société est si vaste et significatif que je ne soulignerai ici que quelques domaines. En passant, l'influence de Tukey sur JMP est également important, et je vais enregistrer une connexion intéressante pour la fin de ce billet de blog.
Beaucoup reconnaissent Tukey comme le père de l'analyse exploratoire des données, en partie pour la création de nombreuses techniques visuelles efficaces telles que la boîte à moustaches et la parcelle à tige et feuille, qui sont aujourd'hui des normes dans les cours d'introduction aux statistiques. Il a fait de nombreuses contributions durables en séries chronologiques, comparaisons multiples, ANOVA, statistiques robustes et graphiques interactifs et multivariés. Tukey se considérait comme un «généraliste scientifique» et influença de nombreux autres domaines scientifiques, notamment l'informatique, les mathématiques, l'ingénierie et l'économie. Il a même été conseiller en matière de politique environnementale, de défense et d'éducation aux plus hauts niveaux du gouvernement américain. Il a collaboré avec des scientifiques tels que Von Neumann, Feynman, Cooley et Morganstern, et a été conseiller doctoral de nombreux grands statisticiens.
Tukey est né le 16 juin 1915 à New Bedford, Massachusetts, et a été principalement scolarisé à domicile dans son enfance. À l'âge de 18 ans, il entre à l'Université Brown et obtient son BS et MS en chimie, puis poursuit un doctorat à Princeton. Peu de temps après son arrivée à Princeton, ses études supérieures ont évolué vers les mathématiques. Les études de Tukey se sont concentrées principalement sur les mathématiques pures, et sa thèse, «On Denumerability in Topology», a été publiée sous forme de livre en 1940; le mathématicien Paul Halmos inclut ce livre parmi les livres influents de la période 1888-1988. Après avoir obtenu son doctorat, Tukey est devenu professeur de mathématiques à Princeton et deux ans plus tard, professeur adjoint de mathématiques. À ce moment-là, les États-Unis étaient engagés dans la Seconde Guerre mondiale et, comme de nombreuses autres institutions universitaires de premier plan à l'époque, Princeton était impliqué dans la recherche pour soutenir l'effort de guerre.
Le bureau de recherche sur la lutte contre les incendies sous la direction de Merrill Flood était situé à Princeton, et Tukey a rejoint le bureau en tant que consultant en 1941. Le bureau a travaillé sur les problèmes pratiques de la guerre, et ceux-ci ont conduit à l'utilisation de statistiques et à des associations avec des statisticiens tels que Charlie Winsor, à qui Tukey attribue la conversion de ses intérêts vers les statistiques.
«Il (Charlie Winsor) était orienté données. Je me souviens bien d'être passé devant la vieille salle Fine et entendre Charlie dire: «Eh bien, Sam Wilks forme de bons statisticiens mathématiques, et il est surprenant de voir à quel point ils deviennent de bons statisticiens. Mais, m'associer à Charlie et vivre dans un environnement riche en données où ce que nous faisions était d'essayer de donner un sens à partir des données m'a laissé une orientation ultime vers les données. - Tukey
Tukey est retourné à l'enseignement après la guerre et a commencé une transition vers la recherche et le service statistiques dans les années qui ont suivi. Au sein du département de mathématiques, Tukey a rejoint la section des statistiques mathématiques, qui était dirigée par le statisticien mathématique Samuel Wilks. Le séminaire de statistiques appliquées a débuté en 1946, présentant de nombreux concepts de pointe à la communauté des diplômés de Princeton. Il est devenu professeur de mathématiques en 1950, président du nouveau département de statistique en 1966 et professeur de statistique et chaire Donner des sciences jusqu'à sa retraite de Princeton en 1985.
«… La première fois que j'ai suivi un cours de statistique, j'étais là pour l'enseigner.» - Tukey
En 1945, Tukey a également commencé son association de 40 ans avec les laboratoires Bell. L'orientation et l'expertise de la société mère en matière de communications et de technologie ont fourni des recherches précieuses, en partie à l'appui des intérêts de sécurité nationale. À partir de 1960, Tukey a été membre du Comité consultatif scientifique du président et, au cours de sa carrière, a conseillé cinq présidents américains. Ce travail consistait à donner des conseils sur la politique environnementale et éducative et, au début des années 60, sur la politique sur les essais d'armes nucléaires. C'est à ce titre que l'une de ses découvertes les plus importantes a été faite.
Tout en faisant partie du comité consultatif scientifique du président Kennedy avec le physicien Richard Garwin, le problème de la surveillance et de la vérification à l'étranger d'un éventuel traité d'interdiction des essais nucléaires avec la Russie a été discuté. Garwin et Tukey ont conçu une solution potentielle qui impliquait une méthode de surveillance de l'activité sismique avec des capteurs à distance et d'analyse de leurs signaux pour distinguer un tremblement de terre d'un essai nucléaire. À partir de cette discussion et des travaux ultérieurs de James Cooley d'IBM, l'algorithme Cooley -Tukey Fast Fourier Transform (FFT) a été développé. L'algorithme de Cooley-Tukey était une simplification substantielle et une grande amélioration des calculs des séries de Fourier et des intégrales.
«Si vous accélérez un algorithme non trivial d'un facteur d'un million environ, le monde se battra pour trouver des applications utiles.» - à partir de recettes numériques
Quelques contributions importantes
L'analyse exploratoire des données : Tukey a développé des techniques utiles pour visualiser et résumer les données, le résumé à 5 chiffres, les boîtes à moustaches et le diagramme de tige et de feuille. Son livre Données exploratoires A n Al ysis publié en 1977 a introduit bon nombre de ces techniques à une époque où l'enseignement statistique élémentaire était principalement axé sur les tests d'inférence et d'hypothèses. «Étant donné que le but de l'analyse exploratoire des données est d'apprendre ce qui semble être, il n'est pas surprenant que les images jouent un rôle essentiel pour bien le faire. Il n'y a rien de mieux pour vous faire penser à des questions que vous aviez oublié de poser (même mentalement) », a déclaré Tukey.
- Graphiques multivariés interactifs : En 1972, Tukey a passé quatre mois au Linear Accelerator Center de Stanford. Il a travaillé avec Jerome Freidman sur le développement de PRIM-9, qui était le premier programme informatique à offrir des graphiques multivariés interactifs et dynamiques. Des fonctionnalités telles que la rotation et le masquage (brossage) ont été développées, ainsi que le concept de Projection Pursuit dans ce travail.
- Comparaisons multiples: Certains des premiers travaux de Tukey dans le domaine des statistiques se sont concentrés sur les comparaisons multiples. Le test Tukey-Kramer ou test Tukey HSD (Honestly Significant Difference) est une norme utilisée dans l'ANOVA pour des comparaisons par paires plus de 60 ans après son introduction.
- Statistiques robustes: Selon Peter J. Huber, Tukey a été «le premier à reconnaître l'extrême sensibilité de certaines procédures statistiques conventionnelles à des écarts apparemment mineurs par rapport aux hypothèses…. De l'avis de Tukey, la robustesse est un attribut de la procédure statistique, généralement à atteindre en pondérant ou en ajustant les observations. Cela devrait être mis en contraste pour dire, selon George Box, qui pensait que les données ne devaient pas être falsifiées et que le modèle lui-même devait être robuste.
«Il était une fois que les statisticiens se contentaient d'explorer, puis ils ont appris à confirmer exactement - à confirmer exactement quelques choses, chacune dans des circonstances très spécifiques. À mesure qu'ils mettaient l'accent sur la confirmation exacte, leurs techniques devenaient inévitablement moins flexibles. Le lien entre les techniques les plus utilisées et les connaissances passées a été affaibli.Tout ce à quoi une procédure de confirmation n'était pas explicitement attachée a été décrié comme de «simples statistiques descriptives», peu importe ce que nous en avons appris. - Tukey
Tukey a remporté de nombreux prix, dont la National Medal of Science, le prix Samuel S. Wilks, la Shewhart Medal, la IEEE Medal of Honor et la Deming Medal. Il est décédé le 26 juillet 2000 au Nouveau-Brunswick, New Jersey. Il a fait de nombreuses autres contributions qui sont traitées plus en détail ailleurs, et je renvoie à quelques sources ci-dessous. En particulier, la pièce de David Brillinger fournit de nombreux aperçus de première main sur la vie et l'œuvre de Tukey.
La connexion Anscombe
Le beau-frère de John Tukey était Francis J. Anscombe - leurs épouses étaient sœurs. Anscombe était un statisticien britannique qui a rejoint Tukey à Princeton pendant un certain temps et a partagé de nombreux points de vue similaires en ce qui concerne l'analyse des données et l'utilisation des graphiques. Anscombe a quitté Princeton pour Yale et a été un pionnier dans le domaine émergent de l'informatique statistique. En 1973, le Statisticien américain a publié son article, «Graphics in Statistical Analysis». Le «quatuor» a été introduit dans cet article pour motiver le concept selon lequel les graphiques statistiques révèlent souvent une compréhension qui n'apparaît pas uniquement à partir des statistiques et devrait accompagner l'analyse des données. Le «quatuor» (à droite) illustre clairement quatre graphiques de données très différents. Mais si vous ne regardiez que les résultats statistiques identiques, vous concluriez que chaque analyse bivariée était la même.
Comme l'a dit Anscombe, «Un ordinateur doit faire à la fois des calculs et des graphiques. Les deux types de résultats doivent être étudiés; chacun contribuera à la compréhension. »
Ces recommandations ont influencé un jeune développeur et ont motivé le développement d'un nouveau logiciel innovant d'analyse de données qui a été lancé à la fin des années 1980. Le logiciel était JMP , et le développeur John Sall .
Vous pouvez accéder à la table de données et au script du quatuor d'Anscombe dans le répertoire de données d'exemple de JMP ( Aide> Exemples de données> Voir une liste alphabétique de tous les exemples de tableaux de données> Anscombe ).
lecture recommandée
Anscombe, FJ, (1973) «Graphiques en analyse statistique», Statisticien américain 27, 17-21.
Brillinger, DR, (2002) «John W. Tukey: sa vie et ses contributions professionnelles», Annales des statistiques , 30, 1535-1575.
Cleveland, WS, (1984 - 1994) Les œuvres rassemblées de John W. Tukey, volumes I-VIII , Wadsworth et Brooks-Cole.
Cooley, J. W, (1992) «Comment la FFT a été acceptée», IEEE SP magazine, janvier 1992, 10-13.
Friedman, JH et Stuetzle, W. (2002) «Travail de John W. Tukey sur les graphiques interactifs», Annales des statistiques 30 1629-1639.
Presse, WH, Teukolsky, SA, Vetterling, WT, Flannerie, BP, (1986) Recettes numériques: l'art du calcul scientifique , La presse de l'Universite de Cambridge.
Salmon, J. et Valente, D. (2013) «Synergie d'extensibilité JMP® avec MATLAB: études de cas utilisant l'interface JMP® avec MATLAB», Livre blanc de l'Institut SAS (sous presse).
Tukey, JW, (1977) L'analyse exploratoire des données , Addison-Wesley, Boston.
Wikipédia, John Tukey, http://en.wikipedia.org/wiki/John_Tukey (consulté le 28 juillet 2013).
