Bienvenue dans le premier d'une série d'articles de blog dans lesquels nous explorerons la validation dans la modélisation. Restez avec moi – je comprends que cela ne semble pas être le sujet le plus passionnant. Mais c’est LA méthode clé qui rend possible l’analyse moderne des données. Sans validation, les algorithmes sophistiqués d’apprentissage automatique tels que les machines à vecteurs de support et les réseaux de neurones sont presque inutiles. Et même si cela peut être considéré comme une approche assez « stupide » qui simplifie considérablement le processus d’apprentissage à partir des données, elle doit également être appliquée avec soin, en utilisant votre meilleure compréhension du processus ou du système qui a généré les données. Comprendre la validation est fondamental pour votre réussite à l’ère moderne de l’analyse des données.
Dans les prochains articles, nous parlerons des bases de la retenue et de la validation croisée et de la facilité avec laquelle cela est possible avec l'outil Créer une colonne de validation dans JMP Pro. Nous verrons quelques études de cas issues de la science et de l'ingénierie qui illustrent la nécessité de garantir une validation croisée appropriée (BCV) et une analyse bootstrap appropriée (BBA). Nous aborderons également des approches de pointe, notamment les modèles d'ensemble auto-validés (SVEM) pour les données plus petites, telles que les expériences conçues. J'espère que vous comprendrez pourquoi JMP est particulièrement utile pour permettre aux scientifiques et aux ingénieurs d'appliquer des analyses de données modernes en toute confiance. Tout d’abord, nous parlerons de la nécessité de généraliser.
Généralisabilité et crise de réplication
Le sujet de cette série est issu de discussions avec Chris Gotwalt, Chief Data Scientist chez JMP, et Ron Kenett, président du groupe KPA. Nous avons parlé de la généralisabilité, du fait qu'il s'agit d'un processus formel en statistique mais aussi d'une partie de la nature humaine.
Ron : « Nous généralisons tout le temps. De notre expérience dans un restaurant, nous déduisons quelle sera notre expérience dans un autre restaurant de la même chaîne. Ou bien nous déduisons d’un projet d’ingénierie à un autre.
Chris : « C'est ça l'apprentissage. La plupart de ces phénomènes ne se produisent pas dans une table de données JMP ! »
Chris Gotwalt, JMP Chief Data ScientistChris Gotwalt, scientifique en chef des données chez JMP
Ron Kenett, Chairman of the KPA GroupRon Kenett, président du groupe KPA
Dans la recherche universitaire, la reproductibilité a toujours été importante : la possibilité de reproduire les résultats de n’importe quelle étude de manière indépendante est une pierre angulaire de la science. Il s’agit d’un sujet particulièrement brûlant depuis que le terme « crise de réplication » a été inventé pour la première fois au début des années 2010, avec la reconnaissance généralisée de certains problèmes graves dans les domaines de la psychologie et de la médecine. Mais la généralisation est également au premier plan dans certains secteurs. La généralisabilité améliore la reproductibilité.
Chris : « Dans une industrie réglementée comme celle des produits pharmaceutiques, il a toujours été essentiel de savoir qu'une allégation est généralisable et peut être défendue comme une « vérité ». Cela coûterait cher à bien des égards si votre médicament était sensiblement moins sûr ou moins efficace dans la population générale que ce que vous aviez promis sur la base des résultats de votre essai clinique. Mais les utilisateurs de JMP travaillent plus souvent à la résolution et à l’amélioration de problèmes industriels.
Ron : « Nous avons défini la généralisabilité comme l'une des huit dimensions qui affectent la qualité de l'information. Y remédier améliore la qualité des informations dérivées de l’analyse des données.
La généralisation peut être ignorée, mais une erreur reste très coûteuse. Si la solution que vous avez conclue à partir de vos expériences ne fonctionne pas lorsque vous la mettez en production, vous aurez probablement gaspillé des matériaux coûteux, du temps de fabrication et tous les efforts nécessaires pour devoir revenir en arrière pour résoudre à nouveau le problème en R&D. À l’inverse, si vous faites les choses correctement et avez confiance dans vos solutions, vous pouvez éviter le gaspillage et accélérer le rythme de l’innovation.
Généralisabilité dans l'analyse moderne
Dans le monde des « petites » données, nous utilisons des mesures statistiques telles que la valeur p pour comprendre le risque de tirer des conclusions qui ne seront pas généralisables. Ces outils ont été inventés pour nous permettre d'utiliser un petit échantillon de données afin de générer des informations fiables sur la population ou le système plus large qui nous intéresse réellement. Malheureusement, les valeurs p peuvent être mal interprétées, mal utilisées, voire abusées.
Ron : « Beaucoup de gens comprennent la valeur p comme la probabilité qu'une hypothèse soit vraie, ce qui est trompeur. La façon dont il est enseigné est pour l’essentiel correcte, mais la façon dont il est utilisé est pour l’essentiel incorrecte.
Malgré ces problèmes et leur implication dans les causes de la crise de réplication évoquée plus tôt, les valeurs p ont largement servi les scientifiques et les ingénieurs. Avec des données plus volumineuses et des méthodes de modélisation plus récentes telles que les réseaux de neurones artificiels, nous devons envisager différents outils pour garantir la généralisabilité.
J'espère que vous me rejoindrez pour le prochain article de cette série, où nous illustrerons cela avec un exemple tiré de la science et de l'ingénierie. Nous commencerons par vous montrer comment générer des résultats qui NE généralisent PAS. Grâce à toutes les protections mises en place par les développeurs, cela est effectivement assez difficile dans JMP. Cela sera utile pour comprendre comment les outils de JMP vous protègent contre ce type de problèmes et comment la validation vous permet d'appliquer facilement les analyses en toute confiance.
Apprendre encore plus:
J'ai vraiment hâte d'apprendre de cette série.
Il me semble que je regarde un film documentaire intéressant à la télévision !
Considérant qu'il s'agit d'un article sur la généralisabilité, je pense que l'affirmation « les valeurs p ont largement servi les scientifiques et les ingénieurs » est quelque peu trompeuse. Les valeurs p (sans doute) peuvent être utiles pour réfléchir à la généralisabilité d’un échantillon à la population dont il est issu. Mais de nombreuses applications, sinon la plupart, impliquent la généralisation d'un échantillon à une population quelque peu différente - une période de temps différente, un lieu différent, des personnes différentes, etc. Les valeurs p ne servent vraiment à personne dans ces situations sans l'hypothèse que le La population sur laquelle vous faites des déductions est essentiellement la même que la population à partir de laquelle l'échantillon a été tiré. Cette hypothèse peut être raisonnable dans le contexte de l’ingénierie, mais l’est moins pour les sciences sociales. Trop souvent, la pertinence de l'échantillon par rapport à la population pour laquelle des déductions sont faites est négligée en s'appuyant sur la valeur p pour en prendre soin d'une manière ou d'une autre.
