Test de la capacité prédictive du modèle dans JMP normalBonjour, j'ai développé un modèle basé sur un ensemble de données de formation et j'aimerais tester la capacité prédictive du modèle sur un ensemble de données de test. Puis-je faire cela dans JMP normal ? Mon modèle se compose à la fois d'effets continus et catégoriels.Je suppose que je devrais être capable de corriger les paramètres du modèle. Ou peut-être est-ce une autre bonne raison d’acquérir JMP Pro ?
Modélisation statistique avancéeExploration et visualisation des donnéesIngénierie Qualité et ProcédésRe : Test de la capacité prédictive du modèle dans JMP normalJe suis d'accord, au moins une des variables de mon modèle suit une distribution complètement différente dans l'ensemble de données d'entraînement que dans l'ensemble de données de test (voir fichier joint avec test=0 égal aux données d'entraînement et test=1 égal aux données de test). Une analyse des tendances révèle que le niveau de cette variable a augmenté. Je ne sais pas pourquoi, mais c'est quelque chose sur lequel enquêter.
Re : Test de la capacité prédictive du modèle dans JMP normalJuste pour ajouter à @P_Bartel Commentaires de... Si votre ensemble de données d'origine n'est pas représentatif des conditions futures, alors la capacité d'un modèle créé à partir dudit ensemble de données n'est pas très utile pour la prédiction. Cela ne veut pas dire que vous n'avez rien appris, mais vous devrez élargir votre espace d'inférence pour améliorer la prévisibilité du modèle (et le modèle devra peut-être être modifié au fil du temps).
Re : Test de la capacité prédictive du modèle dans JMP normalLorsque vous dites « période ultérieure »... D'où je parlais de la sélection aléatoire d'observations à placer dans l'ensemble de formation était basée sur mon principe selon lequel l'essentiel de la collecte de données était représentative d'une seule population d'étude. Et vous étiez prêt à supposer cela par rapport à l’évaluation du modèle. Maintenant, lorsque vous dites « plus tard », dans quelle mesure êtes-vous prêt à supposer que cette idée de population unique est vraie ? Certes, vous avez un petit nombre d'observations dans les deux ensembles de données... mais l'utilisation du pli K est une forme de validation croisée qui peut aider avec un nombre relativement petit d'observations pour créer et évaluer un modèle de surajustement.
OMI, même avec un petit nombre d'observations dans votre ensemble de données de test... si votre ensemble de tests ne correspond pas bien aux prédictions/résultats réels, alors cela vous dit quelque chose... que votre modèle n'est PAS particulièrement efficace pour prédire l'avenir. performance. Donc, dans un sens, votre ensemble de tests ne vous échoue pas... il vous crie de procéder avec prudence dans l'adoption du modèle de formation comme évangile.
De plus, vous n'avez partagé aucun des diagnostics du modèle de formation... il y a peut-être des problèmes avec le modèle qui rendraient problématique l'ajustement des observations futures. Pouvez-vous partager les données ou les diagnostics ? Il se peut que des indices soient cachés dans ces résultats.
Re : Test de la capacité prédictive du modèle dans JMP normalMerci.
Mon ensemble de données d'entraînement se compose de 95 observations et j'ai appliqué une régression pas à pas avec une sélection k fois. Ensuite, j'ai réduit davantage le modèle avec les moindres carrés ordinaires en appliquant une limite de signification de 5 %. L'idée était d'utiliser un nouvel ensemble d'observations (d'une période ultérieure) comme ensemble de données de test, ce qui signifie que les données ne sont pas attribuées au hasard à l'ensemble de données de formation et de test. Pensez-vous qu'il y a un problème avec cette procédure ?
En appliquant votre procédure, j'ai obtenu un très mauvais R au carré pour le test des données de test.Je pense que le problème est que mon ensemble de données de test est trop petit (il ne contient que 20 observations), et les valeurs des variables explicatives ont également une plage plus petite que sur l'ensemble de données d'entraînement. Je trouve qu'il n'est pas vraiment possible d'évaluer la capacité prédictive de mon modèle avec cet ensemble de données de test.
Re : Test de la capacité prédictive du modèle dans JMP normalQuelle plateforme a été utilisée pour créer le modèle ?
Re : Test de la capacité prédictive du modèle dans JMP normalUne question pour vous... j'espère que vous avez sélectionné au hasard les observations à inclure dans votre ensemble de « formation » ? Sinon, je ferais marche arrière et commencerais par là. En supposant que vous l'ayez fait...
Eh bien, oui, si vous souhaitez évaluer des modèles à l'aide d'une construction de formation/validation/test, ce qui est généralement une bonne pratique pour le travail de modélisation prédictive, alors JMP Pro est la voie à suivre. De nombreuses fonctionnalités très utiles telles que les plates-formes de comparaison de modèles et de dépôt de formules, destinées spécifiquement à une évaluation de modèles multiples très efficace.
Mais faute de JMP Pro, voici deux idées simples à considérer. Enregistrez le modèle que vous avez construit avec votre ensemble de données d'entraînement dans une nouvelle formule de colonne l'appelant « Valeurs prédites » ou une construction similaire, dans une table de données contenant votre ensemble de données « test ». Vous devriez maintenant avoir des prédictions de la réponse dans la colonne. Tracez maintenant un tracé d'ajustement Y par X des « valeurs prédites » et des valeurs réelles des réponses et examinez la « qualité de l'ajustement » des deux ensembles de réponses. Je forcerais des limites égales des axes x et y sur le graphique, mais je répliquerais le tracé réel par rapport au tracé prévu du rapport de la plate-forme Fit Model. Utilisez votre œil pour trouver cette ligne à 45 degrés... ou superposez-en simplement une dans Graph Builder.
Une autre variante consisterait à soustraire les valeurs prévues des valeurs réelles et à tracer les résidus sous forme d'histogramme.
Ces techniques ne feront rien pour évaluer le surajustement... mais si vous mettez l'accent uniquement sur la prédiction... eh bien, c'est un début.
