Question conceptuelle sur la validationJ'espère que des personnes ayant une meilleure formation statistique que moi pourront m'éclairer sur cette question. JMP dispose de solides capacités de validation pour toute modélisation prédictive, y compris la validation croisée (mais pas sur la plateforme Fit Model, à l'exception de la possibilité d'utiliser un ensemble de validation). Les data scientists partitionnent régulièrement leurs données en ensembles de données d'entraînement et de validation (et parfois de test). Cependant, la plupart des travaux publiés utilisant des méthodes statistiques traditionnelles (régression multiple, régression logistique) n'utilisent aucune validation. Je me suis demandé pourquoi. Parmi les possibilités qui me viennent à l'esprit : (1) la significativité statistique est perçue comme rendant la validation inutile ; (2) une pratique historique qui évolue lentement ; (3) l'accent est mis sur l'inférence et non sur la prédiction (à l'instar des deux cultures de Brieman). Quoi qu'il en soit, je ne vois aucune justification à l'absence de validation, et j'aimerais donc connaître votre avis.
Modélisation prédictive et apprentissage automatiqueRe : Question conceptuelle sur la validationJe soupçonne qu'une grande partie du manque de validation provient de votre deuxième option, notamment en conjonction avec d'autres pratiques/traditions qui évoluent lentement. Si nous acceptons l'idée que le monde universitaire a tendance à ne publier que les résultats significatifs , et si nous acceptons l'adage « publier ou périr », nous décourageons naturellement, au moins dans une certaine mesure, une compréhension extrêmement rigoureuse avant publication. Cela pourrait expliquer en partie la récente découverte selon laquelle de nombreuses études scientifiques ne sont pas reproductibles . À mon avis, si la communauté scientifique adoptait plus facilement la validation et était plus disposée à publier des résultats « banals », je m'attendrais à voir des résultats plus facilement reproductibles, mais peut-être moins enthousiasmants.
Je pourrais facilement me tromper ou généraliser à outrance. Comme vous, j'aime entendre les opinions des autres.
Re : Question conceptuelle sur la validationVeuillez d'abord définir ce que vous entendez par validation. Une approche pourrait consister à collecter un ensemble de données provenant d'un espace d'inférence et à le partitionner aléatoirement (?) afin qu'une partie seulement soit utilisée pour développer un modèle, tandis que le reste servirait à évaluer la capacité de ce modèle à prédire les données à partir des données retenues. Bien que cette pratique soit acceptée, ce n'est pas ma conception de la validation (je suis peut-être le seul à le penser).
Je suis convaincu que pour véritablement « valider » le modèle, je dois réaliser des « échantillons » physiques et évaluer la précision des prédictions du modèle sur ces échantillons réels. Pour moi, la validation correspond à la précision avec laquelle le modèle prédit l'avenir (l'évolution des conditions). Si votre étude est suffisamment bien conçue, sur un espace d'inférence suffisamment large (ce qui peut être très complexe et gourmand en ressources), votre modèle devrait être plus performant en matière de prédictions futures.
Re : Question conceptuelle sur la validationJe parle de la première définition (celle que vous n'aimez pas), et je pense que c'est ce que la littérature appelle la validation. Bien sûr, presque tous les modèles finissent par être utilisés pour la prédiction hors échantillon, et le partitionnement ne tiendra pas compte des conditions futures changeantes. Rien ne le fera (du moins pas parfaitement). En fin de compte, votre deuxième idée est nécessaire : même si vous avez « validé » un modèle au sens premier, vous devez surveiller ses performances pour voir s'il est suffisamment performant pour continuer à l'utiliser. Mais la plupart des articles publiés (autres que les revues de science des données) n'effectuent même pas le premier type de validation, et je me demande pourquoi.
Re : Question conceptuelle sur la validationJe suis d'accord avec tout ce qu'ont apporté @statman et @Jed_Campbell . J'ajouterai simplement qu'il existe peut-être une quatrième « raison » ? Tant que la validation des modèles ne sera pas enseignée comme une exigence du processus étendu de résolution de problèmes, dont la modélisation est une composante, on n'en trouvera pas beaucoup dans la littérature. Ce n'est qu'un autre élément, une conséquence de la « pratique historique qui tarde à évoluer ».
Re : Question conceptuelle sur la validationSalut @dlehman1 ,
Merci d'avoir posé une question conceptuelle intéressante. Globalement, je suis d'accord avec les commentaires précédents : il est important de définir ce que signifie « validation » dans ce cas. Cependant, je dirais que la validation peut revêtir ces deux significations : un ensemble de réserve pour améliorer la prédiction du modèle et générer de nouveaux échantillons pour tester sa capacité prédictive.
Pour moi, les deux sont importants et doivent être réalisés : l'un pour améliorer le modèle, et l'autre pour s'assurer que le modèle peut fonctionner, en particulier lors de la génération de nouveaux échantillons qui sont proches des limites de l'espace des paramètres où les modèles ont tendance à être moins précis.
La raison pour laquelle les travaux publiés ont tendance à ne pas utiliser la validation est en grande partie liée à ce que vous et @Jed_Campbell avez commenté : la pratique historique évolue lentement, mais cela résulte davantage d'influences au sein de la communauté scientifique, qui privilégient la recherche de résultats significatifs plutôt que d'un modèle robuste. Je suis physicien, et les physiciens sont connus pour créer des modèles simples pour une situation donnée, puis les extrapoler à d'autres situations. Prenons l'exemple du pendule. C'est la base de presque tous les problèmes de physique fondamentale, mais en pratique, ce n'est pas le modèle le plus performant ; de nombreux ajustements et modifications lui ont été apportés pour qu'il fonctionne dans d'autres situations non idéales (imaginez la nécessité d'intégrer le spin de l'électron dans la mécanique orbitale des états électroniques d'un atome).
À mon avis, ce simple pendule ne constitue pas un modèle très robuste, mais il satisfait l'intérêt et le désir de « trouver » quelque chose de significatif dans les données. Certes, c'est un excellent début, et nous devons tous commencer quelque part. Cependant, si l'on souhaite générer un modèle plus large et plus robuste, utilisable dans des domaines plus généraux, une validation des deux définitions évoquées est nécessaire.
Des résultats plus « banals » pourraient finalement conduire à des modèles plus robustes et plus performants ainsi qu’à des capacités prédictives en science, mais des changements culturels doivent s’opérer au sein de la communauté scientifique, et il est probablement nécessaire de mettre moins l’accent sur les nouvelles découvertes tape-à-l’œil et tape-à-l’œil.
En bref, je dirais que non seulement la pratique historique est lente à évoluer, mais qu'un changement culturel est également nécessaire au sein de la communauté scientifique quant à la nature et aux modalités de reconnaissance des résultats scientifiques. Une sorte de réorientation des priorités.
DS
Re : Question conceptuelle sur la validationJ'ai ceci à offrir :
La littérature telle qu'elle s'est développée semble déséquilibrée par son négligeance relative des aspects scientifiques et logiques du problème. On aurait pu s'y attendre, puisque nombre d'auteurs, bien que mathématiciens talentueux, n'ont manifestement jamais soumis leur esprit à la discipline spécifiquement pédagogique des sciences naturelles, n'ont jamais assumé personnellement la responsabilité d'expérimentations de terrain et n'ont aucune expérience directe du type de matériel concerné…
Sir Ronald Fisher, Colloq. Int. Cent. Nat. Recherche Scientifique, Paris, No. 110: 13-19 (1962)
Re : Question conceptuelle sur la validationC'est un point de vue courant que j'ai observé et auquel je souscris pleinement. Mais je pense qu'il est inadéquat pour les sciences sociales. Nombre de ces questions (effets du salaire minimum, politique de concurrence, effets psychologiques de l'utilisation des médias sociaux, etc.) ne se prêtent pas à l'expérimentation scientifique au même titre que les sciences physiques. Cela ne dispense pas de négliger les bonnes pratiques scientifiques, mais cela laisse une lacune (importante, à mon avis) quant à la manière de procéder dans ces domaines de recherche. Et je pense que cela est lié à la question de la validation : à mon avis, cela rend le premier type de validation (partitionnement aléatoire) plus essentiel dans ces domaines (bien qu'insuffisant, comme vous l'avez indiqué).
Re : Question conceptuelle sur la validationSalut @dlehman1 ,
Bonne remarque concernant les sciences sociales. Il est beaucoup plus difficile de reproduire un plan d'expérience ou de générer un « nouvel échantillon » sans que les exécutions précédentes n'influencent ultérieurement les réponses des participants. L'expérience de vie d'une personne n'est jamais identique à celle d'une autre.
Vous pourriez peut-être considérer cela comme un questionnaire destiné aux sciences sociales. Posez-leur des questions telles que : lorsque vous effectuez des recherches sur votre sujet, utilisez-vous le concept de validation lors de l'analyse et de la construction de modèles ? Pourquoi utilisez-vous ou non la validation ? Connaissez-vous la pratique de la validation ? Des questions ouvertes peuvent donner l'occasion au répondant de révéler des informations supplémentaires. Je suppose que vous obtiendrez une multitude de réponses différentes, mais certaines pourraient se démarquer, du moins sur le plan conceptuel/général, et non sur des points précis.
DS
Re : Question conceptuelle sur la validationHmmm, est-il insuffisant d’impliquer des experts en la matière qui travaillent dans le domaine des sciences sociales pour participer à l’élaboration de l’enquête ou du plan d’échantillonnage ou du DOE ou à l’interprétation des données dérivées de ces outils ?
Pourquoi ne se prêtent-ils pas à l'expérimentation scientifique au même titre que les sciences physiques ? Certes, les systèmes de mesure sont assez complexes, mais comment la validation (conservation d'un sous-ensemble de données) améliore-t-elle cette situation ?
Re : Question conceptuelle sur la validationJe trouve ce commentaire très étrange. Supposons que nous souhaitions estimer l'effet des tarifs douaniers sur le PIB. Les expériences sont difficiles et coûteuses à mener, et prennent du temps – pendant lequel de nombreux autres facteurs évoluent (bien sûr, nous menons une telle expérience en ce moment !). C'est très différent des expériences en sciences sociales. Pourtant, de telles expériences existent en sciences sociales, et parfois des expériences naturelles peuvent être utilisées (comme les régimes tarifaires existants, qui présentent de grandes variations). Je n'exclus donc pas les expériences en sciences sociales, mais j'ai du mal à croire que vous les considériez aussi réalisables qu'en sciences physiques. Et je considère la médecine comme un domaine intermédiaire : il existe de nombreux ECR, mais en raison de leurs coûts et de considérations éthiques, leurs échantillons sont généralement bien plus petits que ce que nous souhaiterions (ce qui nous prive de nombreuses analyses de sous-groupes souhaitées).
Vous demandez comment la validation peut améliorer les choses. Je ne pense pas qu'elle suffise à remplacer les expériences idéales que vous souhaiteriez, mais je pense qu'elle est nécessaire en leur absence. Si le modèle ne fonctionne pas avec les données dont nous disposons, pourquoi devrions-nous croire qu'il fonctionnera à l'avenir ?
Re : Question conceptuelle sur la validationJe suis sans doute un peu étrange et je pense probablement différemment de vous. Si vous comprenez les différences entre situations énumératives et analytiques, sachez que je suis totalement favorable à l'approche analytique (je suis un fervent déterministe). J'utilise à la fois l'échantillonnage dirigé (basé sur des hypothèses) et l'expérimentation (en mettant l'accent sur la manière d'augmenter l'espace d'inférence tout en augmentant la précision de la conception). Je suis moins intéressé par les études explicatives que par la modélisation prédictive (bien que les deux puissent être utiles).
Aucune expérience n'est « idéale » (nous ne le saurions pas si elle l'était de toute façon). C'est pourquoi je propose (et recommande) toujours au chercheur d'élaborer plusieurs plans d'expérience/d'échantillonnage différents. Chaque plan doit être évalué en fonction des connaissances potentielles acquises (par exemple, ce qui peut être attribué (modèle), ce qui est confondu, ce qui est restreint (inférence)) et de ces connaissances potentielles comparées aux ressources nécessaires.
Je ne veux pas discuter de politique. Je crois qu'il y a une ou plusieurs causes à chaque effet. Peu importe la discipline. Chaque discipline a ses propres difficultés avec les outils d'acquisition de données. Ce n'est pas une excuse pour ne pas les utiliser.
