Différence de résultats entre RSquare généralisé et RSquareSalut tout le monde,
J'ai essayé de trouver une réponse à ma question dans la communauté ou dans l'aide de JMP, mais je n'y suis pas parvenu. Donc, j'apprécierais vraiment que quelqu'un puisse m'orienter dans la bonne direction ici ou me faire savoir quel est le concept de base qui me manque.
J'adapte un modèle à ma réponse (variable dépendante - DV), qui est continue, en utilisant 3 variables indépendantes (IV) [2 catégoriques et 1 continue] et l'interaction entre 2 d'entre elles (l'autre, j'utilise simplement la principale effet). J'ai d'abord utilisé les moindres carrés pour cela, comme vous pouvez le voir dans la capture d'écran ci-dessous.
Cependant, mon résidu par tracé prédit ne semble pas très bon (j'ai quelques valeurs aberrantes).Quels que soient les autres facteurs que j'ai essayé d'ajouter au modèle - ou à la transformation - je n'ai pas pu améliorer mon tracé des résidus. Le mieux que j'ai pu obtenir était d'utiliser un changement de ma réponse, qui est celle que je montre déjà ci-dessus.
Ensuite, j'ai pensé à utiliser la méthode de régression pénalisée (plus précisément Ridge) à travers la régression généralisée. J'ai lu que cela peut être plus robuste aux valeurs aberrantes (même si cela introduira un certain biais).
J'ai commencé à exécuter la régression généralisée avec les moindres carrés standard.
D'après certaines vidéos que j'ai vues, cela devrait produire les mêmes résultats que la régression des moindres carrés.
De plus, selon l'aide de JMP ( https://www.jmp.com/support/help/en/15.2/index.shtml#page/jmp/training-and-validation-measures-of-fit.shtml ) le RSquare généralisé fourni doit être compris entre 0 et 1 et il se simplifiera en RSquare traditionnel pour les réponses normales continues dans le paramètre standard des moindres carrés. Cependant, comme vous pouvez le voir sur la capture d'écran ci-dessous, bien que le RSquare généralisé corresponde au RSquare pour l'ensemble d'entraînement, il ne correspond pas à l'ensemble de validation (et il est négatif). Les autres statistiques (par exemple RASE) correspondent aux deux ensembles (Formation et Validation).
Des idées sur ce qui peut se passer ici ?
Merci d'avance pour vos idées et conseils !
PS : Pour tout ce que je fais dans cet article, j'ai utilisé la plateforme FitModel dans JMP.
Mélange et nettoyage des donnéesRe : Différence de résultats entre RSquare généralisé et RSquareMerci, Marc! Je viens d'ouvrir un ticket à ce sujet.
Je publierai la réponse ici quand je l'aurai.Re : Différence de résultats entre RSquare généralisé et RSquareJe ne peux pas dire à partir de cette discussion ce qui pourrait faire une différence. Je vous suggère de contacter le support technique JMP ( support@jmp.com ) à ce sujet.
Re : Différence de résultats entre RSquare généralisé et RSquareMerci pour tous les détails et de m'avoir orienté vers plus d'informations sur le GenReg.
Mais je suis toujours confus dans ce cas (en supposant une distribution normale de la réponse), qu'est-ce qui expliquerait les différences dans les valeurs Rsquare généralisées entre les ensembles de validation parmi les deux « plates-formes » (Fit Least Squares et GenReg) ?
Désolé si j'ai mal compris quelque chose que vous avez dit.
Merci!
Re : Différence de résultats entre RSquare généralisé et RSquareVous avez raison, les métriques de l'ensemble du modèle ne devraient pas changer avec des paramétrages différents. Bien entendu, les mesures relatives aux termes ou paramètres individuels changeront.
Les coefficients ne sont donc pas les mêmes avec des paramétrages différents, donc leurs estimations doivent également être différentes.
La solution OLS et l'optimisation MLE devraient conduire aux mêmes estimations sous le même paramétrage avec une réponse normalement distribuée.
Je vous ai induit en erreur : le résultat standard des moindres carrés dans GenReg est OLS. Voir cette page pour plus de détails.
Re : Différence de résultats entre RSquare généralisé et RSquareMerci!
Je ne savais pas que nous étions capables d'amorcer l'estimation dans JMP. Merci de m'avoir appris ça !
Merci également pour toutes les autres idées. Très utile!
Re : Différence de résultats entre RSquare généralisé et RSquareSalut @Mark_Bailey , merci beaucoup de votre retour vers moi. J’apprécie vraiment toute votre aide et votre patience avec mes questions.
Oui, pour cette réponse spécifique, toutes mes valeurs aberrantes sont dans l'ensemble de validation. Mais pour les autres réponses que j'étudie, ce n'est pas vrai (les valeurs aberrantes se situent à la fois dans les ensembles de validation et de formation).
En ce qui concerne ce que je modélise : j'ai mené quelques expériences en utilisant la simulation d'événements discrets (avec différentes graines pour avoir des données différentes). Sur cette base, j'ai calculé mes quatre réponses intéressantes (ici je n'en ai montré qu'une).
Maintenant, j'essaie d'adapter un modèle de régression à ces réponses, car ma prochaine étape consistera à utiliser un modèle d'optimisation pour trouver le meilleur paramètre pour mes réponses d'intérêt.
Autant que je sache, le paramétrage/codage ne devrait pas avoir d'impact sur les statistiques du modèle. Est-ce que j'ai râté quelque chose? ( Codage )
De plus, pour la régression linéaire et lorsque les résidus sont normalement distribués, OLS et MLE conduisent aux mêmes coefficients. N'est-ce pas ? ( OLS et MLE )
Selon ce Tutoriel sur la régression généralisée posté par @gail_massari , vers 8h35, je crois comprendre que @brady_brady dit également que les résultats entre le MLE et l’OLS devraient correspondre.
Enfin, pourriez-vous m'indiquer la page d'aide de JMP qui indique que la régression généralisée utilise MLE au lieu d'OLS lorsque la distribution est normale ?
En raison de l'image ci-dessous (tirée de JMP), j'avais la fausse impression que la régression généralisée utiliserait toujours OLS si la distribution choisie était Normale :
Merci!
Re : Différence de résultats entre RSquare généralisé et RSquareSalut @AnnaPaula ,
Je ne suis pas sûr de bien comprendre comment vous avez utilisé les graines calculées pour générer la stratification de la colonne de validation. Mais, si vous utilisez la plate-forme de colonnes de validation dans JMP Pro (que vous disposez si vous pouvez accéder à GenReg), vous pouvez simplement stratifier sur la réponse (variable Y) que vous ajustez. Si toutes vos valeurs aberrantes se trouvent dans l'ensemble de validation, vous souhaiterez peut-être repenser la manière dont les deux ensembles ont été générés.
Un autre point que vous pourriez envisager est de diviser entièrement - dans un autre tableau de données un ensemble de données de test qui n'est pas utilisé pour ajuster les données. Si vous exécutez plusieurs modèles sur l'ensemble de formation/validation, vous pouvez ensuite utiliser l'ensemble de données de test pour voir quel modèle est vraiment le meilleur en matière de prédiction, vous pouvez le faire à l'aide de la plateforme de comparaison de modèles. Vraisemblablement, votre objectif est d’avoir la meilleure capacité prédictive, et vous devez la tester d’une manière ou d’une autre. Il semble que vous disposiez d’un ensemble suffisamment grand pour pouvoir faire quelque chose comme ça. Par exemple, faites une colonne de validation avec par exemple 60% de train, 20% de validation, 20% de test. Sous-ensemblez l'ensemble de données de test dans une table entièrement différente, puis utilisez le sous-ensemble d'entraînement/validation restant pour créer des modèles.
Pour vos autres questions sur R^2 et sur le fait qu'il soit négatif ou ne correspond pas tout à fait, je me référerais à ce que Mark a dit.
Si vos données sont distribuées de manière log-normale, vous souhaiterez sélectionner cette option dans la spécification du modèle, car cela modifie certains des processus sous-jacents à la manière dont l'ajustement est effectué.
Lorsque vous avez créé un modèle dans SLS, GenReg ou PLS, vous pouvez amorcer les estimations en cliquant avec le bouton droit sur la colonne Estimation et en sélectionnant bootstrap. Vous souhaiterez en exécuter plusieurs milliers, puis examiner les distributions pour voir si l'estimation originale du coefficient de ce terme est proche d'une moyenne globale de nombreuses estimations. JMP exécutera des calculs avec des points de départ légèrement différents et générera donc plusieurs estimations différentes. Vous pourrez alors voir cette distribution et déterminer si globalement 1) l'estimation du premier essai était exacte et 2) si le coefficient de l'effet contribue réellement beaucoup ou pas. Par exemple, dans la plateforme SLS, les effets reçoivent une valeur FDR LogWorth pour estimer le taux de fausses découvertes pour cet effet. Si la valeur est >2 (la ligne bleue), alors il existe des preuves significatives que l'effet contribue réellement au modèle. En revanche, elle pourrait être plus petite, ou proche de la valeur 2. Si vous amorcez ces valeurs FDR, vous pouvez trouver la moyenne et la plage pour déterminer si l'effet est significatif ou non. J'ai eu des moments où un effet semblait pouvoir être limite, et après avoir démarré le FDR, la plupart du temps, il ne dépassait pas 2 et n'était donc pas vraiment un facteur globalement important dans le modèle.
Pour terminer, je recommande fortement d'exécuter plusieurs types différents de plates-formes de modélisation : arbre boosté, forêt d'amorçage, NN, etc. pour voir si une autre plate-forme pourrait mieux fonctionner pour vos données/situation.
J'espère que cela t'aides!,
DS
Re : Différence de résultats entre RSquare généralisé et RSquareJ'ai remarqué dans votre tracé résiduel d'origine que les valeurs aberrantes semblent toutes être dans l'ensemble de validation.
La régression généralisée utilise un paramétrage différent de celui de l'ajustement aux moindres carrés. Voir cette page de détails statistiques . Il utilise également une méthode d'estimation différente (MLE vs OLS).
Re : Différence de résultats entre RSquare généralisé et RSquareSalut @SDF1
Merci beaucoup pour votre réponse et vos éclaircissements. Ils sont très utiles et correspondent à certaines choses auxquelles je pensais.
Je fournirai ici quelques informations supplémentaires au cas où vous auriez plus d'informations à donner (je l'apprécierais vraiment).
1. Les réponses stratifiées basées sur les colonnes de validation ont des distributions (très) similaires. Comme je l'ai expliqué à Mark, la réponse a été calculée sur la base d'expériences informatiques générées à l'aide de différentes graines (et j'ai utilisé les graines pour stratifier en ensembles de formation et de validation).
2. Supposons que je surajuste, ma question principale est :
Pourquoi mon RSquare pour l'ensemble d'entraînement est de 0,9995 en utilisant LeastSquares directement depuis FitModel ou via la régression généralisée, alors que mon RSquare pour l'ensemble de validation est 0,9791 en utilisant LeastSquares directement depuis le FitModel et -1,24e+12 utiliser les moindres carrés par régression généralisée .
Je ne comprends pas les différences dans les valeurs RSquare pour l'ensemble de validation. Les valeurs ne devraient-elles pas être les mêmes (même en cas de surapprentissage) ?
3. Je pense avoir des raisons d'inclure les termes dans mon modèle. Premièrement, ma réponse a été calculée avec différentes données basées sur le nombre différent de réplications (un IV catégorique) et différentes « formules/données » basées sur le nombre différent de clusters (deuxième IV catégorique). La formule théorique connue pour calculer la réponse prend en compte le taux d'arrivée (IV continue), car cette valeur affecte les données générées.
Je ne sais pas comment procéder au démarrage dans JMP. Mais j'ai essayé différents modèles manuellement (avec et sans les termes) et j'ai également essayé d'utiliser Forward Stepwise. Dans les deux cas, les résultats ont fini par montrer que les deux IV catégoriques + leur interaction + l'IV continue étaient le meilleur modèle.
4. Votre dernier point est en fait quelque chose que j'espérais que quelqu'un apporterait à cette discussion.
Ma réponse n'est pas réellement normale (c'est LogNormal, en fait).
Je vais donc ajuster cela lorsque j'essaierai Ridge ou ElasticNet.
Mais même si ma réponse n'est pas normale, les valeurs RSquare pour les ensembles de validation dans les deux images que j'ai téléchargées ne devraient-elles pas correspondre ?
Merci beaucoup pour vos idées!
Re : Différence de résultats entre RSquare généralisé et RSquareDésolé @Mark_Bailey , je pense que je n'ai pas été très clair dans ma question.
Comme vous l'avez dit, je n'ai pas utilisé Ridge (cela allait être ma prochaine étape). Mais d'abord, je viens d'utiliser à nouveau la méthode des moindres carrés (via le modèle de régression généralisée), pour vérifier si les résultats correspondraient à ceux obtenus en utilisant les moindres carrés directement depuis la fenêtre FitModel. Parce que mes résultats ne correspondaient pas, je n’ai même pas essayé Ridge (ce qui serait ma prochaine étape).
Mais je suis curieux pourquoi les résultats de LeastSquares via la régression généralisée ne correspondent pas aux résultats via LeastSquares directement à partir de FitModel . As tu des idées?
Répondre à vos questions :
1. Le prédicteur continu n’est pas impliqué dans le terme d’interaction.
2. J'ai utilisé par étapes et j'ai également utilisé les estimations moi-même pour déterminer si l'effet d'interaction devait être supprimé
3. J'ai essayé Log, Logistic, Logit et Reciprocal. Avec réciproque, le modèle se détériore beaucoup. Avec Logistic, on constate une légère amélioration des statistiques (R-carré, RASE), mais pas des parcelles résiduelles. Rien donc pour justifier le recours à la transformation à mon avis.
4. La formation et la validation ont été définies en fonction des groupes dont je dispose (ce sont des expériences informatiques avec différentes graines aléatoires). J'ai utilisé les graines pour séparer les données en groupes et j'ai utilisé cette colonne comme colonne de validation d'exclusion.
5. Ma question concernant le négatif concernait Carré R généralisé , car lorsque j'ai lu l'aide de JMP pour la première fois, je pensais que cela ne pouvait aller qu'entre 0 et 1. Mais oui, j'ai trouvé la formule pour celle-là et comme on peut le voir elle peut aussi descendre en dessous de 0 :
| Nagelkerke / Cragg & Uhler's (RSquare généralisé) | 
|
Merci!
Re : Différence de résultats entre RSquare généralisé et RSquareSalut @AnnaPaula ,
Si je comprends bien, vous disposez d'un ensemble de données que vous avez divisé selon une colonne de validation quelconque. Une chose à considérer est de savoir si vous avez stratifié ou non la colonne de validation sur votre réponse pour vous assurer que les colonnes de formation et de validation ont des distributions similaires.
Puisque le R ^ 2 est négatif, cela indiquerait pour moi que vous surajustez vos données. Avez-vous effectué une analyse des estimations pour voir si les termes que vous avez dans votre modèle sont vraiment importants ? Avez-vous une base théorique pour inclure des termes mixtes ?
En outre, vous voudrez peut-être essayer Elastic Net car il s'agit d'une combinaison de Ridge et Lasso. Une autre chose à considérer est de savoir si votre distribution de réponses est vraiment normale ou si une distribution différente est mieux adaptée à vos données.
DS
Re : Différence de résultats entre RSquare généralisé et RSquareLe prédicteur continu est-il impliqué dans le terme d'interaction ? Avez-vous utilisé l'estimation de l'interaction omise pour déterminer si elle devait être supprimée ou l'avez-vous omise au départ ?
Quelles transformations de la réponse avez-vous essayées ?
La régression pénalisée et la régression des moindres carrés ne conduisent généralement pas aux mêmes estimations des paramètres du modèle, de sorte que le carré R ne serait pas le même. Votre image montre le résultat OLS, pas la régression Ridge.
Les résultats de formation et de validation doivent être similaires avec le meilleur modèle impartial, mais pas identiques. Comment avez-vous déterminé la limite de rétention définie pour la validation ?
Le R carré négatif est possible.
