Différence de résultats entre RSquare généralisé et RSquareSalut à tous,
J'ai essayé de trouver une réponse à ma question dans la communauté ou dans l'aide de JMP, mais je n'ai pas pu. Donc, j'apprécierais vraiment si quelqu'un pouvait me diriger dans la bonne direction ici ou me faire savoir quel est le concept de base qui me manque.
J'adapte un modèle à ma réponse (variable dépendante - DV), qui est continue, en utilisant 3 variables indépendantes (IV) [2 catégorielles et 1 continue] et l'interaction entre 2 d'entre elles (l'autre j'utilise juste le effet). J'ai d'abord utilisé les moindres carrés pour cela, comme vous pouvez le voir dans la capture d'écran ci-dessous.
Cependant, mon résidu par tracé prédit ne semble pas très bon (j'ai quelques valeurs aberrantes).Quels que soient les autres facteurs que j'ai essayé d'ajouter au modèle - ou à la transformation -, je n'ai pas été en mesure d'améliorer mon graphique des résidus. Le mieux que j'ai pu obtenir était d'utiliser un changement de ma réponse, qui est celle que je montre déjà ci-dessus.
Ensuite, j'ai pensé à utiliser la méthode de régression pénalisée (plus précisément Ridge) à travers la régression généralisée. J'ai lu qu'il peut être plus robuste aux valeurs aberrantes (bien que cela introduise un biais).
J'ai commencé à exécuter la régression généralisée avec les moindres carrés standard.
Selon certaines vidéos que j'ai vues, cela devrait produire les mêmes résultats que la régression des moindres carrés.
En outre, selon l'aide de JMP ( https://www.jmp.com/support/help/en/15.2/index.shtml#page/jmp/training-and-validation-measures-of-fit.shtml ) le RSquare généralisé fourni doit être compris entre 0 et 1 et il sera simplifié au RSquare traditionnel pour des réponses normales continues dans le réglage standard des moindres carrés. Cependant, comme vous pouvez le voir sur la capture d'écran ci-dessous, bien que le RSquare généralisé corresponde au RSquare pour l'ensemble d'entraînement, il ne correspond pas pour l'ensemble de validation (et il est négatif). Les autres statistiques (par exemple RASE) correspondent aux deux ensembles (formation et validation).
Des idées sur ce qui peut se passer ici?
Merci d'avance pour toutes idées et astuces!
PS: Pour tout ce que je fais dans cet article, j'ai utilisé la plate-forme FitModel dans JMP.
AnalytiqueRe: Différence de résultats entre RSquare généralisée et RSquareLe prédicteur continu est-il impliqué dans le terme d'interaction? Avez-vous utilisé l'estimation de l'interaction omise pour déterminer qu'elle devrait être supprimée ou l'avez-vous laissée de côté pour commencer?
Quelles transformations de la réponse avez-vous essayées?
La régression pénalisée et la régression des moindres carrés ne conduisent généralement pas aux mêmes estimations des paramètres du modèle, de sorte que le carré R ne serait pas le même. Votre photo montre le résultat OLS, pas la régression Ridge.
Les résultats de la formation et de la validation doivent être similaires avec le meilleur modèle non biaisé, mais pas les mêmes. Comment avez-vous déterminé le délai de validation prévu?
Le carré R négatif est possible.
Re: Différence de résultats entre RSquare généralisée et RSquaresalut @AnnaPaula ,
Si je comprends bien, vous disposez d'un ensemble de données que vous avez divisé selon une colonne de validation quelconque. Une chose à considérer est de savoir si vous avez ou non stratifié la colonne de validation sur votre réponse pour vous assurer que les colonnes de formation et de validation ont des distributions similaires.
Puisque le R ^ 2 est négatif, pour moi, cela indiquerait que vous surajoutez vos données. Avez-vous effectué un bootstrap sur les estimations pour voir si les termes que vous avez dans votre modèle sont vraiment importants? Avez-vous une base théorique pour inclure des termes mixtes?
En outre, vous voudrez peut-être essayer Elastic Net car il s'agit d'une combinaison de Ridge et de Lasso. Une autre chose à considérer est si votre distribution de réponse est vraiment normale ou si une distribution différente est mieux adaptée à vos données.
DS
Re: Différence de résultats entre RSquare généralisée et RSquarePardon @markbailey , Je pense que je n’ai pas été très clair dans ma question.
Comme vous l'avez dit, je n'ai pas utilisé Ridge (ce serait ma prochaine étape). Mais d'abord, je viens d'utiliser à nouveau la méthode des moindres carrés (via le modèle de régression généralisée), pour vérifier si les résultats correspondent aux résultats en utilisant LeastSquares directement depuis la fenêtre FitModel. Parce que mes résultats ne correspondaient pas, je n'ai même pas fini par essayer Ridge (ce qui serait ma prochaine étape).
Mais je suis curieux pourquoi les résultats de LeastSquares via la régression généralisée ne correspondent pas aux résultats via LeastSquares directement à partir de FitModel . Avez-vous des idées?
Répondre à vos questions:
1. Le prédicteur continu n'est pas impliqué dans le terme d'interaction.
2. J'ai utilisé pas à pas et j'ai également utilisé les estimations moi-même pour déterminer si l'effet d'interaction devait être supprimé.
3. J'ai essayé Log, Logistic, Logit et Reciprocal. Avec réciproque, le modèle se dégrade beaucoup. Avec Logistic, on constate une légère amélioration des statistiques (R-carré, RASE), mais pas des parcelles résiduelles. Rien ne justifie donc l'utilisation de la transformation à mon avis.
4. La formation et la validation ont été définies en fonction des groupes que j'ai (ce sont des expériences informatiques avec différentes graines aléatoires). J'ai utilisé les graines pour séparer les données en groupes et utilisé cette colonne comme colonne de validation d'exclusion.
5. Ma question relative à la négative était pour R-carré généralisé , parce que quand j'ai lu l'aide JMP pour la première fois, je pensais qu'elle ne pouvait aller qu'entre 0 et 1. Mais oui, j'ai trouvé la formule pour celle-là et comme on peut le voir, elle peut aussi descendre en dessous de 0:
| Nagelkerke / Cragg & Uhler's (RSquare généralisée) | 
|
Merci!
Re: Différence de résultats entre RSquare généralisée et RSquaresalut @DS
Merci beaucoup pour votre réponse et vos idées. Ils sont très utiles et correspondent à certaines choses auxquelles je pensais.
Je fournirai ici des informations supplémentaires au cas où vous auriez plus d'informations à donner (je l'apprécierais vraiment)
1. La réponse stratifiée basée sur les colonnes de validation a des distributions (très) similaires. Comme je l'ai expliqué à Mark, la réponse a été calculée sur la base d'expériences informatiques générées à l'aide de différentes graines (et j'ai utilisé les graines pour stratifier en ensembles de formation et de validation).
2. Supposons que je sur-appareille, ma principale question est:
Pourquoi mon RSquare pour l'ensemble d'entraînement est de 0,9995 en utilisant LeastSquares directement à partir de FitModel ou via une régression généralisée, alors que mon RSquare pour l'ensemble de validation est 0,9791 en utilisant LeastSquares directement depuis le FitModel et -1,24e + 12 utilisation des moindres carrés grâce à la régression généralisée .
Je ne comprends pas les différences dans les valeurs RSquare pour l'ensemble de validation. Les valeurs ne devraient-elles pas être les mêmes (même s'il y a surajustement)?
3. Je pense avoir des raisons d'inclure les termes dans mon modèle. Tout d'abord, ma réponse a été calculée avec des données différentes basées sur le nombre différent de réplications (un IV catégoriel) et différentes «formule / données» basées sur le nombre différent de grappes (deuxième IV catégorique). La formule théorique connue pour calculer la réponse prend en compte le taux d'arrivée (IV continue), car cette valeur affecte les données générées.
Je ne sais pas comment procéder pour le bootstrapping dans JMP. Mais j'ai essayé différents modèles manuellement (avec et sans les termes) et j'ai également essayé d'utiliser Forward Stepwise. Dans les deux cas, les résultats ont fini par montrer que les deux IV catégoriques + leur interaction + l'IV continue était le meilleur modèle.
4. Votre dernier point est en fait quelque chose que j'espérais que quelqu'un apporterait à cette discussion.
Ma réponse n'est pas vraiment normale (c'est LogNormal, en fait).
Donc, je vais ajuster cela lorsque j'essaierai Ridge ou ElasticNet.
Mais même si ma réponse n'est pas normale, les valeurs RSquare pour les ensembles de validation dans les deux images que j'ai téléchargées ne devraient-elles pas correspondre?
Merci beaucoup pour vos idées!
Re: Différence de résultats entre RSquare généralisée et RSquareJ'ai remarqué dans votre tracé résiduel d'origine que les valeurs aberrantes semblent toutes être dans l'ensemble de validation.
La régression généralisée utilise un paramétrage différent de celui de Ajuster les moindres carrés. Voir cette page de détails statistiques . Il utilise également une méthode d'estimation différente (MLE vs OLS).
Re: Différence de résultats entre RSquare généralisée et RSquaresalut @AnnaPaula ,
Je ne suis pas sûr de bien comprendre comment vous avez utilisé les graines calculées pour générer une stratification de la colonne de validation. Mais, si vous utilisez la plate-forme de colonne de validation dans JMP Pro (que vous avez si vous pouvez accéder à GenReg), vous pouvez simplement stratifier sur la réponse (variable Y) que vous ajustez. Si toutes vos valeurs aberrantes sont dans l'ensemble de validation, vous voudrez peut-être repenser la façon dont il a généré les deux ensembles.
Un autre point à ce sujet que vous pourriez envisager est de séparer entièrement - dans une autre table de données un ensemble de données de test qui n'est pas utilisé pour ajuster les données. Si vous exécutez plusieurs modèles sur l'ensemble d'apprentissage / de validation, vous pouvez ensuite utiliser l'ensemble de données de test pour voir quel modèle est vraiment le meilleur en matière de prédiction, vous pouvez le faire à l'aide de la plateforme de comparaison de modèles. Vraisemblablement, votre objectif est d'avoir la meilleure capacité prédictive, et vous devez le tester d'une manière ou d'une autre. Il semble que vous ayez un ensemble assez grand pour faire quelque chose comme ça. Par exemple, créez une colonne de validation avec, par exemple, 60% de train, 20% de validation, 20% de test. Sous-définissez l'ensemble de données de test dans une table entièrement différente, puis utilisez le sous-ensemble train / validation restant pour créer des modèles.
Pour vos autres questions sur R ^ 2 et qu'il est négatif ou ne correspond pas tout à fait, je me réfère à ce que Mark a dit.
Si vos données sont distribuées log-normal, vous voudrez sélectionner cette option dans la spécification du modèle, car cela modifie certains des processus sous-jacents derrière la façon dont il effectue l'ajustement.
Une fois que vous avez créé un modèle dans SLS ou GenReg ou PLS, vous pouvez amorcer les estimations en cliquant avec le bouton droit sur la colonne Estimation et en sélectionnant bootstrap. Vous voudrez en exécuter plusieurs milliers, puis examiner les distributions pour voir si l'estimation d'origine pour le coefficient de ce terme est proche d'une moyenne globale de nombreuses estimations. JMP exécutera des calculs avec des points de départ légèrement différents et générera donc plusieurs estimations différentes, vous pourrez alors voir cette distribution et déterminer si globalement 1) l'estimation du premier essai était exacte, et 2) si le coefficient de l'effet contribue vraiment beaucoup ou pas. Par exemple, dans la plate-forme SLS, les effets reçoivent une valeur FDR LogWorth pour estimer le taux de fausses découvertes pour cet effet. Si la valeur est> 2 (la ligne bleue), il existe des preuves significatives que l'effet contribue vraiment au modèle. D'autre part, il peut être plus petit ou proche de la valeur 2. Si vous amorcez ces valeurs FDR, vous pouvez trouver la moyenne et la plage pour déterminer si l'effet est significatif ou non. J'ai eu des moments où un effet semblait pouvoir être limite, et après avoir amorcé le FDR, la plupart du temps, il ne dépassait pas 2 et n'était donc pas vraiment un facteur globalement important dans le modèle.
Pour terminer, je recommande vivement d'exécuter plusieurs types de plates-formes de modélisation: arbre boosté, forêt bootstrap, NN, etc. pour voir si une autre plate-forme pourrait fonctionner le mieux pour vos données / situation.
J'espère que cela t'aides!,
DS
Re: Différence de résultats entre RSquare généralisée et RSquaresalut @markbailey , merci beaucoup de me revenir. J'apprécie vraiment toute votre aide et votre patience avec mes questions.
Oui, pour cette réponse spécifique, toutes mes valeurs aberrantes sont dans l'ensemble de validation. Mais pour les autres réponses que j'étudie, ce n'est pas vrai (les valeurs aberrantes tombent à la fois dans les ensembles de validation et d'apprentissage).
En ce qui concerne ce que je modélise: j'avais réalisé quelques expériences en utilisant la simulation d'événements discrets (avec des graines différentes pour avoir des données différentes). Sur cette base, j'ai calculé mes quatre réponses d'intérêt (ici, je n'en ai montré qu'une).
Maintenant, j'essaie d'adapter un modèle de régression à ces réponses, car ma prochaine étape sera d'utiliser un modèle d'optimisation pour trouver le meilleur paramètre pour mes réponses d'intérêt.
Autant que je sache, le paramétrage / codage ne devrait pas avoir d'impact sur les statistiques du modèle. Est-ce que j'ai râté quelque chose? ( Codage )
De plus, pour la régression linéaire et lorsque les résidus sont normalement distribués, OLS et MLE conduisent aux mêmes coefficients. N'est-ce pas? ( OLS et MLE )
Selon ce Tutoriel de régression généralisée posté par @gail_massari , vers 8h35, je crois comprendre que @brady_brady dit également que les résultats entre le MLE et l'OLS devraient correspondre.
Enfin, pourriez-vous m'indiquer la page d'aide JMP qui indique que la régression généralisée utilise MLE au lieu de OLS lorsque la distribution est normale?
À cause de l'image ci-dessous (tirée de JMP), j'avais la fausse impression que la régression généralisée utiliserait toujours OLS si la distribution choisie était normale:
Merci!
Re: Différence de résultats entre RSquare généralisée et RSquareMerci!
Je n'avais aucune idée que nous étions en mesure de bootstrap l'estimation dans JMP. Merci de m'avoir appris ça!
Merci également pour toutes les autres idées. Très utile!
Re: Différence de résultats entre RSquare généralisée et RSquareVous avez raison, les métriques pour l'ensemble du modèle ne devraient pas changer avec des paramétrisations différentes. Bien sûr, les métriques pour les termes ou paramètres individuels changeront.
Ainsi, les coefficients ne sont pas les mêmes avec des paramétrisations différentes, de sorte que leurs estimations doivent également être différentes.
La solution OLS et l'optimisation MLE doivent conduire aux mêmes estimations sous le même paramétrage avec une réponse normalement distribuée.
Je vous ai induit en erreur: le résultat standard des moindres carrés dans GenReg est OLS. Voir cette page pour plus de détails.
