Évaluation des modèles dans GenRegSalut,
Lors de la création d'un modèle à l'aide de la régression généralisée, si j'utilise les moindres carrés standard, avec ou sans colonne de validation, JMP génère un certain nombre de mesures utiles sous le plan Résumé du modèle. Cependant, si j'utilise une méthode différente - Sélection avant ou Lasso ou quoi que ce soit d'autre - pour que je puisse accéder à d'autres méthodes de validation en plus de la colonne de validation, il n'y a pas de métrique unique que je puisse comparer. Donc, si j'ai une colonne de validation, je peux obtenir quelque chose comme un R^2 de l'ensemble de formation et de l'ensemble de validation. Mais si j'utilise un oubli, ou AICc, ou un ensemble de retenue, ou quoi que ce soit d'autre, je ne peux pas obtenir de bonnes statistiques récapitulatives globales du modèle. Je suppose que les tracés de chemin de solution sont à peu près les meilleurs que je puisse obtenir.
Les tracés de chemin de solution ne sont pas particulièrement utiles, cependant, si j'essaie de comparer plusieurs approches. Si je reviens au pas à pas traditionnel, je peux exécuter le même ensemble de termes candidats via la sélection AICc et la sélection BIC, voir que j'obtiens différents modèles et comparer le R^2 ou le RMSE ou l'AICc ou le BIC ou un autre modèle statistique récapitulative pour voir quel modèle est "meilleur". Si, de manière traditionnelle, je choisis une validation croisée K-Fold, je peux obtenir une statistique "RSquare K-Fold".
Quels sont les analogues de ces outils dans la régression généralisée ? Je suis vraiment ravi de profiter de la flexibilité que GenReg peut offrir, mais je ne sais pas comment choisir entre différentes options. Je suis sûr qu'il y a quelque chose de simple, mais étant relativement nouveau dans GenReg, je ne sais tout simplement pas de quoi il s'agit.
Merci,
Michael
Objet : Évaluation des modèles dans GenRegMerci de travailler avec nous sur ce sujet et assurez-vous d'ajouter ce que vous aimeriez voir à la liste de souhaits.
Meilleur,
Facture
Objet : Évaluation des modèles dans GenRegOuais... Je travaille avec des ensembles de données plus petits, c'est pourquoi je penche vers le Leave-one-out, mais cela me ramène à ma frustration d'essayer d'évaluer le modèle. J'aimerais quelque chose d'un peu plus quantitatif qui explique pourquoi JMP arrive à un modèle particulier, plutôt que d'appuyer simplement sur un bouton Go et d'espérer le meilleur.
Objet : Évaluation des modèles dans GenRegMichael,
Je crois que vous pouvez accomplir ce que vous voulez avec une colonne de validation à 3 niveaux.Formation, validation et test.Les données de test ne sont pas utilisées dans l'ajustement du modèle et la RSquare de l'ensemble de test est ensuite comparée à la RSquare de vos ensembles d'apprentissage et de validation.Plus c'est proche, mieux c'est.C'est un peu plus difficile à accomplir avec un ensemble de données plus petit (< 100 lignes), mais j'ai trouvé que c'était un très bon moyen de déterminer dans quelle mesure votre "modèle tout compris" prédira les données futures.
En ce qui concerne votre dernier point, je pense que le K-fold Leave-one-out est l'une des meilleures techniques de validation croisée que vous pouvez choisir pour des ensembles de données plus petits.
Objet : Évaluation des modèles dans GenRegD'accord Bill,
Merci. J'apprends encore mais je pense que je comprends un peu plus maintenant.
Je pense que ce que je veux dire, c'est qu'un R ^ 2 tout compris (sur toutes les lignes des données) est utile, mais je cherche quelque chose de plus comme ceci:
La différence entre les statistiques d'ajustement du modèle pour l'ensemble d'apprentissage et l'ensemble de validation donne une idée de la robustesse du modèle aux observations qui sont retenues du processus d'ajustement. L'une des choses que j'aime rechercher lors de la construction de modèles est une statistique qui me dit que si je devais obtenir plus d'observations, mon modèle serait toujours approprié.
Peut-être que la seule façon de le faire est de créer une colonne de validation et d'identifier au hasard un ensemble d'observations à retenir, plutôt que d'essayer de faire une validation multiple (identifier plusieurs ensembles d'observations à retenir). Je pense que la validation multiple conduirait à un modèle plus robuste, mais peut-être que ce n'est pas vrai ?
Michael
Objet : Évaluation des modèles dans GenRegMichael,
J'ai eu d'autres correspondances avec le développeur sur la base de votre réponse et voici ce qu'il a renvoyé ;
"... ce qu'il compare, c'est le R^2 dans la comparaison de modèles (pour un modèle de sélection directe construit dans genreg) au R^2 d'un modèle de sélection directe construit dans la plate-forme pas à pas. Le R^2 dans sa comparaison de modèles (.8704) est calculé sur l'ensemble des données. La sortie Stepwise inclut également cette information, je l'ai entourée en rouge ci-dessous. La valeur qu'il a encerclée (.8514) dans le rapport Stepwise est le k-fold R^2. Le problème est donc qu'il compare un R ^ 2 sur l'ensemble des données à un R ^ 2 pour un k-fold." 
Le développeur poursuit en parlant des différences entre les deux plates-formes ;
"...(lorsque) la comparaison de la sélection vers l'avant dans genreg avec la sélection vers l'avant dans Stepwise. Il existe quelques différences subtiles dans la manière dont les deux plates-formes effectuent la sélection directe. Genreg regarde les tests de score pour décider quel effet apporter ensuite, Stepwise regarde les tests de Wald."
Et enfin le calcul pour K-fold RSquare dans Stepwise de Fang Chen dans le groupe de développement :
"Le K-Fold RSquare dans Stepwise est calculé en suivant la définition générale de RSquare = 1 - SSE/SST, où SSE est calculé sur la base des résidus de chacun des K échantillons exclus.
K-Fold RSquare = 1 - ResV`*ResV / ( (Y-YMean)`*(Y-YMean)"
Ce dernier élément peut être au cœur de ce que vous recherchiez pour expliquer pourquoi les valeurs de RSquare sont différentes.J'ai ajouté les autres éléments dans l'espoir de fournir une réponse plus complète.
HTH
Objet : Évaluation des modèles dans GenRegFacture,
Je suis encore confus. Le développeur GenReg dit que GenReg fait une comparaison du modèle (R ^ 2? Quelque chose d'autre?) Mais je ne sais pas où le trouver, voir mon message d'origine disant que je n'ai trouvé aucune métrique. Il est également intéressant qu'il dise pas à pas et que la comparaison de modèles calcule R ^ 2 de la même manière. C'est étrange puisque j'ai clairement obtenu deux valeurs différentes pour R^2.
Merci,
Michael
Objet : Évaluation des modèles dans GenRegMichael,
Veuillez consulter l'explication ci-dessous de l'un des développeurs de la plateforme GenReg.
"Lorsque nous calculons R^2, nous comparons l'ajustement de notre modèle par rapport à un modèle nul (interception uniquement). Sur l'ensemble d'entraînement, il est évident que nous devrions faire cela - nous comparons notre ajustement au modèle d'interception uniquement estimé sur l'ensemble d'entraînement. Sur l'ensemble de validation, il y a une certaine ambiguïté. Dans genreg, nous comparons le modèle que nous ajustons au modèle d'interception uniquement construit sur l'ensemble de formation . Dans la comparaison pas à pas et de modèle, le R^2 est calculé en comparant le modèle ajusté au modèle d'interception uniquement construit sur l'ensemble de validation ."
Le développeur a poursuivi en disant qu'il pensait "qu'une réponse n'est pas nécessairement bonne ou mauvaise".Cela dit, il préfère fortement la façon dont cela se fait dans GenReg. 
Objet : Évaluation des modèles dans GenReg@Bill_Worley Merci! En surface, c'est une approche utile. Cela ne correspond pas à ce que j'obtiens dans Stepwise. Quelle plate-forme dois-je croire ? (GenReg avec Forward Selection, Leave One Out, 38 lignes de données dans le tableau, vs Stepwise, k-Fold à partir du triangle rouge avec 38 plis spécifiés.) Voir les captures d'écran. Différences assez notables dans R^2 et différences mineures dans l'estimation des coefficients.
Objet : Évaluation des modèles dans GenRegSalut Michel,
Ma première réaction à votre question est de suggérer d'utiliser la comparaison de modèles.Publiez les formules de prédiction que vous souhaitez comparer dans le dépôt de formules et partez de là ou passez directement du rapport Gen Reg à Analyser > Modélisation prédictive > Comparaison de modèles.Vous devrez d'abord enregistrer vos formules de prédiction dans le tableau de données pour utiliser cette option.
HTH
Meilleur,
Facture
