JMP célèbre la Année internationale de la statistique en honorant un statisticien influent chaque mois. Ce mois-ci, nous examinons Thomas Bayes , ministre et mathématicien dont le nom est littéralement lié à l’inférence statistique. On connaît très peu de détails sur Bayes, mais son impact sur les statistiques et la science en général est remarquable compte tenu du fait qu'il n'a publié que deux articles au cours de sa vie.
Sa principale contribution a été Bayes Rule , une loi de probabilité conditionnelle qui porte son nom. La règle de Bayes a conduit au domaine de l'inférence bayésienne, une approche très puissante d'analyse des données qui continue de gagner du terrain. Maintenant il y a un Société internationale d'analyse bayésienne consacré à la promotion et au développement des méthodes bayésiennes. Nous n'avons pas grand chose à dire sur la vie de Thomas Bayes, mais nous pouvons nous concentrer sur son impact sur le domaine des statistiques.
Thomas Bayes serait né à Hertfordshire, en Angleterre, entre juillet 1701 et avril 1702. Sa famille avait fait fortune dans l'industrie de la coutellerie et son père, Joseph Bayes, était un ministre presbytérien anticonformiste. Thomas suivit les conseils de son père pour devenir ministre et entra en 1719 à l'université d'Édimbourg pour étudier la divinité et se préparer au ministère. À Édimbourg, il a développé un intérêt pour les mathématiques. En particulier, il s'intéressait aux séries infinies et aux approximations. Bayes est décédé en 1761 à l'âge de 59 ans, probablement de rhumatisme.
Bayes n'a publié que deux ouvrages, le premier théologique et le second de nature mathématique. Dans La bienveillance divine, ou une tentative de prouver que le but principal de la Providence et du gouvernement divins est le bonheur de ses créatures (1731), Bayes a soutenu que la bonté ou la bienveillance ont motivé les actions de Dieu dans le monde. En 1736, il publia anonymement Une introduction à la doctrine des flux et une défense des mathématiciens contre les objections de l'auteur de l'analyste. Bayes était un partisan loyal de Sir Isaac Newton, et cet article défend le fondement du calcul de Newton contre les critiques présentées dans un livre intitulé L'analyste . Bien qu'il n'ait eu qu'une seule publication mathématique à son nom, Bayes était un mathématicien très respecté. Il a été élu à la Société royale en 1742 pour ses travaux sur le calcul, ses articles inédits sur la géométrie et son service d'arbitre ou de critique de recherches en mathématiques.
Alors, comment Thomas Bayes a-t-il pu avoir autant d'influence dans le domaine des statistiques avec un seul article à son actif (sur le calcul)? Après sa mort, son ami Richard Price parcouru une collection de cahiers où Bayes avait conservé des notes et des manuscrits en cours. Dans l'un des cahiers, Price trouva un essai dans lequel Bayes tentait de résoudre un problème de probabilité inverse. Pour la distribution binomiale avec probabilité de succès p , Bayes a entrepris de trouver la distribution de p compte tenu du nombre de succès observés. Il a constaté que s'il supposait que p a été uniformément distribué, puis la distribution de p compte tenu du nombre de succès observés a une distribution bêta. Price a lu cet essai à la Royal Society en 1763, deux ans après le décès de Bayes. Price a ensuite utilisé ce résultat pour prouver l'existence de Dieu.
Le problème binomial détaillé dans le cahier de Bayes était un cas particulier de ce qui est maintenant connu sous le nom de théorème de Bayes. Le théorème de Bayes (également connu sous le nom de loi de Bayes ou règle de Bayes) peut être énoncé
où Pr (A) est la probabilité qu'un événement se produise et Pr (A | 
soit la probabilité qu'un événement se produise étant donné que l'événement B s'est produit Le théorème de Bayes est considéré comme une inversion ou un renversement des probabilités conditionnelles.
Pensons à un exemple simple. Supposons que je vous dise que mon seul frère conduit une voiture de sport. Je ne dis pas si j'ai un frère ou une soeur, alors vous pourriez être intéressé par la probabilité que j'ai un frère. Nous supposons que 15% des hommes conduisent des voitures de sport (complètement composées), 10% des femmes conduisent des voitures de sport (également complètement composées) et que la population est à peu près moitié masculine et moitié féminine (composée, mais plus crédible). Ensuite, la probabilité que mon frère soit un homme étant donné qu'il conduit une voiture de sport est
Donc, en ayant une connaissance préalable des tendances à conduire des voitures de sport, vous pouvez en déduire qu'il y a 60% de chances que j'ai un frère.
La règle de Bayes sert de fondement et de motivation au domaine extrêmement populaire de l'analyse bayésienne des données. L’idée maîtresse de l’analyse bayésienne est que nous pouvons utiliser les informations préalables conjointement avec les données observées pour prendre de meilleures décisions. Les idées bayésiennes ont été utilisées pour aborder les problèmes dans presque tous les domaines de la statistique. En fait, il existe une longue liste de techniques qui contiennent les mots Bayes ou Bayésien . De cette liste, la phrase Intoxication bayésienne a attiré mon attention. Heureusement, l’empoisonnement bayésien n’est pas un mouvement des fréquentistes qui veulent réduire le nombre de statisticiens bayésiens. Il s’agit plutôt d’une technique permettant aux spammeurs d’email de contourner les filtres anti-spam reposant sur des méthodes bayésiennes de détection des messages offensants. Recevoir du spam est certes agaçant, mais au moins l’empoisonnement bayésien n’est pas aussi sinistre que son nom l’indique.
Bien que nous ne sachions peut-être pas grand-chose sur la vie de Thomas Bayes, une grande question à son sujet se démarque des autres: Était-il la première personne à découvrir le théorème de Bayes? Laplace a indépendamment redécouvert et développé le théorème de Bayes au début des années 1800, mais il existe également des preuves que ce théorème a été découvert par quelqu'un d'autre plusieurs années avant Bayes. Stigler (1983) suggère que Nicholas Saunderson, professeur de mathématiques à Cambridge, aurait été la première personne à dériver du théorème de Bayes. En fait, Stigler utilise même Bayes Rule pour suggérer que Saunderson est plus susceptible que Bayes d’avoir été le premier à faire cette découverte! Le mystère qui entoure la première personne à découvrir le théorème de Bayes me fait comprendre que je dispose de toutes les commodités d'Internet. Il ne me reste que quelques clics de souris pour avoir un exemplaire de n'importe quel document de recherche que je souhaite. Je ne peux pas commencer à imaginer à quel point il aurait été plus difficile de suivre la recherche dans les années 1700.
Alors n'oublions pas de célébrer Thomas Bayes lors de cette Année internationale de la statistique . Sa loi simplement énoncée des probabilités conditionnelles a conduit à une branche de la statistique incroyablement puissante et populaire. Ce n'est peut-être pas un hasard si 2013 est aussi le 250 th anniversaire de Richard Price présentant le travail de Bayes à la Royal Society.
Références
Bellhouse, DR (2004) "Le révérend Thomas Bayes, FRS: une biographie pour célébrer le tricentenaire de sa naissance", Science statistique , 19, 3-43.
Stigler, SM (1983) "Qui a découvert la règle de Bayes?" Le statisticien américain 37,290-296.
