Dépistage des prédictionsJ'ai écouté avec grand intérêt la conférence sur les modèles prédictifs et la suggestion d'enregistrer la formule de prédiction dans l'ensemble de données, puis de réexécuter le filtrage de prédiction avec les variables initiales en tant que X et en ajoutant les formules de prédiction en tant que nouveaux X.
Construire de meilleurs modèles prédictifs à l'aide de JMP Pro - Model Screening
Aujourd'hui, j'ai discuté avec un collègue, et sa réaction a été de « parler de sur-ajustement des modèles ! »
Cette approche sur-ajustera-t-elle encore plus les modèles (même si nous utilisons des données de validation différentes des données créant les modèles). L'opinion de mon collègue était que nous utilisons deux fois les mêmes données.
Nous travaillons sur le binôme Y (Santé ou Malade), et l'approche améliore en effet la prédiction, mais venons-nous d'introduire plus de sur-ajustement de sorte que même la validation est maintenant incorrecte/sur-équipée ? #prédiction, #sur-ajustement, #dépistage
Analytiqueles fenêtresRe: Dépistage des prédictionsJe n'ai pas regardé cela et je serai intéressé de voir les réponses, mais j'ai une première réaction.Utiliser la formule de prédiction de la plate-forme Model Screen et réexécuter cette plate-forme avec la formule de prédiction avec d'autres prédicteurs ressemble un peu à un surajustement.Cependant, je pense que c'est un moyen de construire des modèles d'ensemble - si la formule de prédiction provient d'un modèle et que le nouveau modèle utilise cette sortie (avec d'autres prédicteurs) pour créer un nouveau modèle, alors c'est un modèle d'ensemble qui peut être supérieur au premier modèle sans sur-apprentissage.La question des données de validation à utiliser me semble plus subtile.J'utiliserais les mêmes données de validation, sinon vous ne pouvez vraiment pas dire si le nouveau modèle est meilleur que l'ancien.Vous pourriez peut-être enregistrer les deux formules de prédiction, puis les appliquer à un autre ensemble de validation pour voir si les performances sont améliorées ou non.
Re: Dépistage des prédictionssalut @ChristerMalm ,
La séance d'hier sur la modélisation prédictive a été très instructive. Je ne me souviens pas de la discussion exacte sur ce sujet, mais je serais prudent en utilisant une formule de prédiction pour le résultat comme l'une des entrées pour le même résultat. Ma compréhension de la modélisation d'ensemble est que différents modèles sont construits, par exemple NN, arbre boosté, XGBoost, etc., puis ils sont moyennés ensemble. Vous pouvez le faire via la plate-forme de comparaison de modèles en utilisant le bouton rouge ou vous pouvez écrire une formule de colonne qui le fait pour vous. Le modèle d'ensemble devrait mieux s'adapter aux données que n'importe quel modèle en lui-même, mais ce n'est pas toujours le cas. Une chose à garder à l'esprit, cela dépend vraiment de l'objectif final et de l'importance de l'interprétabilité pour le modèle. Si vous comprenez l'équation du modèle et la façon dont les entrées se traduisent en sorties, les ensembles de modèles et les modèles non linéaires complexes pourraient ne pas être la meilleure voie à suivre.
Je pense que l'une des choses dont parlait Russ Wolfinger et qui est vraiment importante, c'est de trouver le bon schéma de validation pour vos données. Si le mauvais ensemble de données d'entraînement et de validation est choisi, vous pourriez obtenir des ajustements terribles, même si les données sont bonnes, comme l'exemple de l'article de Nature dont il a parlé. Il serait probablement préférable de passer plus de temps à déterminer le meilleur schéma de validation, puis à travailler sur la génération du modèle.
Il semble également que vous ayez un ensemble de données déséquilibré, ce qui signifie beaucoup plus d'une occurrence que d'une autre. Dans ce cas, vous voudrez certainement explorer la modification du seuil de probabilité logistique pour voir si cela aide votre prédiction. En outre, envisagez peut-être l'approche de la matrice de profit pour attribuer une valeur au coût des faux positifs et des faux négatifs. Chris Gotwalt a également démontré une approche intéressante consistant à utiliser des arbres de décision pour aider à mieux comprendre les seuils avec des données déséquilibrées.
J'espère que cela t'aides,
DS
Re: Dépistage des prédictionssalut @dale_lehman .Andrea Coombs @andreacoombs1 a présenté la session sur la modélisation prédictive et peut avoir quelques réflexions à ce sujet.
Re: Dépistage des prédictions@ChristerMalm et @dale_lehman .Le modèle d'ensemble que j'ai présenté dans cet enregistrement était probablement surajusté car le modèle d'ensemble a été construit à l'aide des mêmes données que celles utilisées pour construire le modèle d'origine.(Je vais continuer avec la terminologie "modèle original" et "modèle d'ensemble" pour garder les choses au clair dans mon explication).Une stratégie pour éviter ce surajustement consiste à prendre l'ensemble de données complet et à le diviser en deux groupes : le groupe A pour créer le modèle d'origine et le groupe B pour créer le modèle d'ensemble.Vous pouvez masquer et exclure le groupe B lors de la création du modèle d'origine.Divisez le groupe A en formation, validation et test pour créer des modèles candidats et choisir le modèle champion.Maintenant, ramenez le groupe B dans le mix et utilisez l'ensemble du groupe B pour l'entraînement.Vous pouvez utiliser le groupe B comme validation ou le diviser en validation et test.Cela devrait protéger contre le surapprentissage.
Re: Dépistage des prédictionsJe n'avais pas vraiment regardé la vidéo jusqu'à maintenant.Après l'avoir vu, votre réponse me laisse un peu perplexe.Il semble que 2 choses se mélangent - qui sont difficiles à démêler.Certes, si vous créez des modèles prédictifs potentiels et les exposez à de nouvelles données (par exemple, votre groupe 
, vous découvrirez peut-être si ces modèles candidats d'origine sont toujours les meilleurs, ou si un réglage supplémentaire ou des modèles différents pourraient améliorer les prédictions face à de nouvelles données - les moyens classiques d'éviter le surapprentissage.Cependant, si vous exécutez le modèle d'ensemble, avec les prédicteurs d'origine, sur les mêmes données, je pense que le surapprentissage n'est pas le seul problème.Je ne sais pas du tout quel est le sens de ce processus - en incluant les prédicteurs d'origine avec certains modèles choisis de la sélection, ne confirmez-vous pas simplement si les modèles choisis d'origine auraient dû être choisis pour commencer ?Et, si le but est de voir comment votre ou vos modèles fonctionnent sur de nouvelles données, cela a-t-il vraiment quelque chose à voir avec la modélisation d'ensemble ?L'idée n'est-elle pas de présenter un ensemble de données de test (ou peut-être même un deuxième ensemble de données de test) pour voir comment votre modèle fonctionne à partir d'un échantillon - qu'il s'agisse ou non d'un modèle d'ensemble.En d'autres termes, le test hors échantillon semble avoir peu ou rien à voir avec la plate-forme de sélection de modèles ou la modélisation d'ensemble - c'est toujours un problème avec tout modèle prédictif.
