Dépistage de prédictionJ'ai écouté avec beaucoup d'intérêt la conférence sur les modèles prédictifs et la suggestion de sauvegarder la formule de prédiction dans l'ensemble de données, puis de réexécuter le dépistage de prédiction avec les variables initiales sous forme de X et d'ajouter les formules de prédiction sous forme de nouveaux X.
Création de meilleurs modèles prédictifs à l'aide de JMP Pro - Sélection de modèles
Aujourd'hui, j'en ai discuté avec un collègue, et sa réaction a été : « je parle de sur-ajustement des modèles ! »
Cette approche surajustera-t-elle encore plus les modèles (même si nous utilisons des données de validation différentes des données créant les modèles). L'opinion de mon collègue était qu'on utilisait deux fois les mêmes données.
Nous travaillons sur le binôme Y (Santé ou Malade), et l'approche améliore effectivement la prédiction, mais venons-nous d'introduire davantage de surajustement de telle sorte que même la validation soit désormais incorrecte/sur-ajustée ? #prédiction, #surajustement, #dépistage
Modélisation prédictive et apprentissage automatiqueles fenêtresRe: Dépistage de prédictionJe ne suis pas sûr de vous comprendre.Quand vous dites que l'ensemble de données B est « aveugle », voulez-vous dire que vous ne savez pas quels sujets sont dopés (ou du moins vous faites semblant de ne pas savoir) ?Si tel est le cas, alors B semble être votre ensemble de données de test.Normalement, si vous disposez de suffisamment de données, vous diviseriez A en données de formation et de validation, entraîneriez vos modèles (y compris les modèles d'ensemble), puis les appliqueriez à B.L'idée selon laquelle vous pourriez ensuite, sur la base de leurs performances sur B, revenir en arrière et modifier vos modèles semble inviter au surapprentissage.C'est analogue à la formation sur A et à l'utilisation de B comme ensemble de validation.Mais alors vous n'avez aucune donnée de test - ce que j'entends par données de test, ce sont des données complètement séparées du processus de modélisation.
Re: Dépistage de prédictionMerci à tous pour vos commentaires sur ma question !
En guise de commentaire sur vos problèmes @dale_lehman - le projet consiste à valider un ensemble de biomarqueurs sélectionnés pour le dopage sur de nouveaux ensembles de données (des échantillons de sang en aveugle pouvant ou pouvant être prélevés sur des sujets dopés). Ainsi, nous devons corriger le modèle en utilisant l'ensemble de données A à partir d'échantillons connus, et l'approche d'ensemble semble être une voie à suivre, puis appliquer le modèle à l'ensemble de données B (en aveugle) et étudier le résultat de la prédiction sur l'ensemble de données B à partir de la formule créée à l'aide de l'ensemble de données A. .
Nous pouvons, si nécessaire, revenir en arrière, échanger certains biomarqueurs et recommencer cette procédure, jusqu'à atteindre un pouvoir prédictif prédéfini.
Maintenant que j'ai (espérons-le) expliqué un peu mieux le projet, je peux voir comment j'utiliserais le groupe B pour la validation, mais je ne suis pas sûr de comprendre comment (à nouveau) entraîner le modèle avec B, (rappelez-vous que je ne suis pas un statisticien ) comme le suggère @andreaacoombs1 .
Je ne sais pas si cela modifie vos réponses, je voulais juste clarifier.
Re: Dépistage de prédictionJe n'avais pas vraiment regardé la vidéo jusqu'à présent.Après l'avoir vu, votre réponse me laisse un peu perplexe.Il semble que deux choses se mélangent – difficiles à démêler.Certes, si vous créez des modèles prédictifs potentiels et les exposez à de nouvelles données (par exemple, votre groupe 
, vous découvrirez peut-être si ces modèles candidats d'origine sont toujours les meilleurs, ou si des ajustements supplémentaires ou des modèles différents pourraient améliorer les prédictions face à de nouvelles données. - des moyens classiques pour éviter le surapprentissage.Cependant, si vous exécutez le modèle d'ensemble, avec les prédicteurs d'origine, sur les mêmes données, je pense que le surajustement n'est pas le seul problème.Je ne suis pas du tout sûr du sens de ce processus - en incluant les prédicteurs d'origine ainsi que certains modèles choisis lors de la sélection, ne confirmez-vous pas simplement si les modèles choisis à l'origine auraient dû être choisis au départ ?Et, si le but est de voir comment votre ou vos modèles fonctionnent sur de nouvelles données, cela a-t-il vraiment quelque chose à voir avec la modélisation d'ensemble ?L'idée n'est-elle pas de présenter un ensemble de données de test (ou peut-être même un deuxième ensemble de données de test) pour voir comment votre modèle fonctionne hors échantillon - qu'il s'agisse ou non d'un modèle d'ensemble.En d'autres termes, les tests hors échantillon semblent avoir peu ou rien à voir avec la plate-forme de sélection de modèles ou la modélisation d'ensemble - c'est toujours un problème avec tout modèle prédictif.
Re: Dépistage de prédiction@ChristerMalm et @dale_lehman .Le modèle d'ensemble que j'ai présenté dans cet enregistrement était probablement surajusté car le modèle d'ensemble a été construit en utilisant les mêmes données que celles utilisées pour construire le modèle d'origine.(Je continuerai avec la terminologie « modèle original » et « modèle d'ensemble » pour garder les choses claires dans mon explication).Une stratégie pour éviter ce surajustement consiste à prendre l'intégralité de l'ensemble de données et à le diviser en deux groupes : le groupe A pour la construction du modèle d'origine et le groupe B pour la construction du modèle d'ensemble.Vous pouvez masquer et exclure le groupe B lors de la création du modèle d'origine.Divisez le groupe A en formation, validation et test pour créer des modèles candidats et choisir le modèle champion.Maintenant, ramenez le groupe B dans le mix et utilisez l'ensemble du groupe B pour l'entraînement.Vous pouvez utiliser le groupe B comme validation ou le diviser en validation et test.Cela devrait protéger contre le surapprentissage.
Re: Dépistage de prédictionSalut @dale_lehman .Andrea Coombs @andreaacoombs1 a présenté la séance sur la modélisation prédictive et pourrait avoir quelques réflexions à ce sujet.
Re: Dépistage de prédictionSalut @ChristerMalm ,
La séance d'hier sur la modélisation prédictive a été très instructive. Je ne me souviens pas de la discussion exacte sur ce sujet, mais je serais prudent en utilisant une formule de prédiction du résultat comme l'une des entrées pour le même résultat. Ma compréhension de la modélisation d'ensemble est que différents modèles sont construits, par exemple NN, arbre boosté, XGBoost, etc., puis ils sont moyennés ensemble. Vous pouvez le faire via la plateforme de comparaison de modèles en utilisant le bouton rouge, ou vous pouvez écrire une formule de colonne qui le fait pour vous. Le modèle d'ensemble devrait mieux s'adapter aux données que n'importe quel modèle pris isolément, mais ce n'est pas toujours le cas. Une chose à garder à l’esprit, cela dépend vraiment de l’objectif final et de l’importance de l’interprétabilité pour le modèle. Si vous comprenez l'équation du modèle et la manière dont les entrées se traduisent en sorties, les ensembles de modèles et les modèles non linéaires complexes ne sont peut-être pas la meilleure solution.
Je pense que l'une des choses dont Russ Wolfinger parlait et qui est très importante est de trouver le bon système de validation pour vos données. Si le mauvais ensemble de données de formation et de validation est choisi, vous risquez d'obtenir des ajustements médiocres, même si les données sont bonnes, comme dans l'exemple de l'article Nature dont il a parlé. Il serait probablement préférable de consacrer plus de temps à déterminer le meilleur schéma de validation, puis de travailler à la génération du modèle.
Il semble également que vous ayez un ensemble de données déséquilibré, ce qui signifie qu'il y a beaucoup plus d'une occurrence que d'une autre. Dans ce cas, vous souhaiterez certainement envisager de modifier le seuil de probabilité logistique pour voir si cela aide votre prédiction. Envisagez également l’approche matricielle des bénéfices pour attribuer une valeur au coût des faux positifs et des faux négatifs. Chris Gotwalt a également démontré une approche intéressante consistant à utiliser des arbres de décision pour aider à mieux comprendre les seuils avec des données déséquilibrées.
J'espère que cela t'aides,
DS
Re: Dépistage de prédictionJe n'ai pas regardé ceci et je serai intéressé de voir les réponses, mais j'ai une première réaction.Utiliser la formule de prédiction de la plate-forme Model Screen et réexécuter cette plate-forme avec la formule de prédiction avec d'autres prédicteurs ressemble un peu à un surajustement.Cependant, je pense que c'est un moyen de construire des modèles d'ensemble - si la formule de prédiction provient d'un modèle et que le nouveau modèle utilise cette sortie (avec d'autres prédicteurs) pour créer un nouveau modèle, alors c'est un modèle d'ensemble qui peut être supérieur. au premier modèle sans surajustement.La question des données de validation à utiliser me semble plus subtile.J'utiliserais les mêmes données de validation, sinon vous ne pouvez vraiment pas dire si le nouveau modèle est meilleur que l'ancien.Vous pourriez peut-être enregistrer les deux formules de prédiction, puis les appliquer à un autre ensemble de validation pour voir si les performances sont améliorées ou non.
