Bienvenue dans le premier d'une série d'articles de blog dans lesquels nous explorerons la validation dans la modélisation. Restez avec moi - je comprends que cela ne semble pas être le sujet le plus passionnant. Mais c'est LA méthode clé qui rend possible l'analyse moderne des données. Sans validation, les algorithmes d'apprentissage automatique sophistiqués comme les machines à vecteurs de support et les réseaux de neurones sont presque inutiles. Et bien qu'elle puisse être considérée comme une approche assez "stupide" qui simplifie considérablement le processus d'apprentissage à partir des données, elle doit également être appliquée avec soin, en utilisant votre meilleure compréhension du processus ou du système qui a généré les données. Comprendre la validation est essentiel à votre réussite à l'ère moderne de l'analyse de données.
Dans les prochains articles, nous parlerons des principes de base de la retenue et de la validation croisée et de la facilité avec laquelle cela est possible avec l'outil Créer une colonne de validation dans JMP Pro. Nous verrons quelques études de cas issues de la science et de l'ingénierie qui illustrent la nécessité d'assurer une validation croisée appropriée (BCV) et une analyse bootstrap appropriée (BBA). Nous couvrirons également des approches de pointe, y compris les modèles d'ensemble auto-validés (SVEM) pour des données plus petites, telles que des expériences conçues. J'espère que vous comprendrez pourquoi JMP est particulièrement utile pour permettre aux scientifiques et aux ingénieurs d'appliquer l'analyse de données moderne en toute confiance. Tout d'abord, nous parlerons du besoin de généralisation.
Généralisabilité et crise de réplication
Le sujet de cette série est issu de discussions avec Chris Gotwalt, scientifique en chef des données chez JMP, et Ron Kenett, président du groupe KPA. Nous avons parlé de la généralisabilité, du fait qu'il s'agit d'un processus formel dans les statistiques mais aussi d'une partie de la nature humaine.
Ron Kenett, Chairman of the KPA GroupRon Kenett, président du groupe KPA
Ron : « Nous généralisons tout le temps. De notre expérience dans un restaurant, nous déduisons ce que sera notre expérience dans un autre restaurant de la même chaîne. Ou nous déduisons d'un projet d'ingénierie à un autre.
Chris Gotwalt, JMP Chief Data ScientistChris Gotwalt, scientifique en chef des données chez JMP
Chris : « C'est ça l'apprentissage. La plupart de ces opérations ne se produisent pas dans une table de données JMP ! »
Dans la recherche universitaire, la reproductibilité a toujours été importante : c'est une pierre angulaire de la science qu'il devrait être possible de reproduire les résultats de n'importe quelle étude indépendamment. C'est un sujet particulièrement brûlant depuis que le terme «crise de réplication» a été inventé au début des années 2010 avec la reconnaissance généralisée de certains problèmes graves dans les domaines de la psychologie et de la médecine. Mais la généralisabilité est également au premier plan dans certaines industries. La généralisation améliore la reproductibilité.
Chris : « Dans une industrie réglementée comme celle des produits pharmaceutiques, il a toujours été essentiel de savoir qu'une allégation est généralisable et peut être défendue comme une « vérité ». Il serait coûteux à bien des égards si votre médicament est sensiblement moins sûr ou efficace dans la population générale que ce que vous avez promis sur la base des résultats de votre essai clinique. Mais les utilisateurs de JMP travaillent plus souvent dans la résolution et l'amélioration de problèmes industriels. »
Ron : « Nous avons défini la généralisabilité comme l'une des huit dimensions qui affectent la qualité de l'information. S'y attaquer améliore la qualité des informations issues de l'analyse des données.
La généralisabilité peut être ignorée, mais il y a toujours un coût élevé à se tromper. Si la solution que vous avez conclue à partir de vos expériences ne fonctionne pas lorsque vous l'avez mise en production, vous aurez probablement gaspillé du matériel coûteux, du temps de fabrication et tous les efforts nécessaires pour devoir revenir en arrière pour résoudre le problème à nouveau en R&D. À l'inverse, si vous faites les choses correctement et que vous avez confiance en vos solutions, vous pouvez éviter le gaspillage et accélérer le rythme de l'innovation.
Généralisabilité dans l'analyse moderne
Dans le monde des « petites » données, nous utilisons des mesures statistiques telles que la valeur de p pour comprendre le risque de faire des inférences qui ne se généraliseront pas. Ces outils ont été inventés pour nous permettre d'utiliser un petit échantillon de données pour générer des informations fiables sur la population ou le système plus large qui nous intéresse réellement. Malheureusement, les valeurs p peuvent être mal interprétées, mal utilisées et même abusées.
Ron : "Beaucoup de gens comprennent la valeur p comme la probabilité qu'une hypothèse soit vérifiée, ce qui est trompeur. La façon dont il est enseigné est généralement correcte, mais la manière dont il est utilisé est généralement incorrecte.
Malgré ces problèmes et leur implication dans les causes de la crise de réplication dont nous avons parlé plus tôt, les valeurs de p ont largement servi les scientifiques et les ingénieurs. Avec des données plus volumineuses et des méthodes de modélisation plus récentes telles que les réseaux de neurones artificiels, nous devons envisager différents outils pour garantir la généralisabilité.
J'espère que vous vous joindrez à moi pour le prochain article de cette série, où nous illustrerons cela avec un exemple tiré de la science et de l'ingénierie. Nous commencerons par vous montrer comment générer des résultats qui ne généralisent PAS. Grâce à toutes les protections mises en place par les développeurs, c'est en fait assez difficile dans JMP. Cela sera utile pour comprendre comment les outils de JMP vous protègent contre ce type de problèmes et comment la validation vous permet d'appliquer facilement des analyses en toute confiance.
