JMP R suare en modélisation prédictive et spécialisée est faux.J'ai construit un modèle de réseau neuronal avec JMP. Il génère une valeur de carré R. Il génère une valeur de R carré ，comme ceci:
mais lorsque j'ai sorti la valeur prédite et testé le carré R en Python, j'ai trouvé que c'était faux, comme ceci:
c'est le jeu de données de validation R carré que j'ai calculé à l'aide de SKlearn.
0.63 et 0.54, c'est une grosse différence.
Tout le personnel peut répondre à ma question
contactez-moi: 531554559@qq.com
urgent
Re: JMP R suare dans la modélisation prédictive et spécialisée est faux.La formule calculée de R square en python est la suivante:
donc j'ai vraiment confondu quelle formule de R square dans JMP est?
quel est le problème?
En réalité, en tant que document dans JMP:
Re: JMP R suare dans la modélisation prédictive et spécialisée est faux.La formule calculée de R square en python est la suivante:
donc j'ai vraiment confondu quelle formule de R square dans JMP est?
quel est le problème?
En réalité, en tant que document dans JMP:
Je suppose que c'est la même formule, mais des résultats différents.
donc je veux confirmer quel est le problème
Re: JMP R suare dans la modélisation prédictive et spécialisée est faux.N'ayant pas accès à vos données, etc., je ne peux que suggérer plusieurs éléments à vérifier qui pourraient expliquer la différence:
- Vérifiez que vous utilisez les mêmes observations dans les deux applications: JMP et Python.
- Vérifiez qu'aucune ligne n'a été exclue dans JMP et qu'elle ne l'était peut-être pas dans Python.
- Vérifiez qu'il n'y a pas d'arrondi dans les unités. Par exemple, lorsque les utilisateurs utilisent Excel, ils obtiennent un résultat, puis copient et collent les données d'Excel dans JMP et obtiennent un résultat différent. Lors de la recherche de la source de divergence, les valeurs réelles n'étaient pas copiées dans JMP, les valeurs affichées (formatées) et, par conséquent, les valeurs arrondies étaient utilisées dans JMP.
C'est par là que je commencerais. Ensuite, je ferais les calculs en utilisant la table JMP.
S'il vous plaît poster, si vous trouvez la source de la divergence.
Re: JMP R suare dans la modélisation prédictive et spécialisée est faux.Une chose évidente à vérifier serait de savoir si les ensembles de données de validation et de test sont identiques (je doute qu'ils le soient, car ils sont créés à l'aide d'une graine aléatoire et je ne suis pas sûr que R et JMP utilisent les semences aléatoires de la même manière. ). Si la division aléatoire des données en ensembles d'apprentissage, de validation et de test est différente, les valeurs du carré R seront bien sûr différentes. Je soupçonne que cela pourrait être le cas - également en raison de la grande différence entre l'ajustement dans les ensembles de données d'apprentissage et de validation / test. Cette différence suggère un sur-ajustement substantiel, et si tel est le cas, les résultats peuvent être très différents selon les divisions des données dans les trois sous-ensembles.
Re: JMP R suare dans la modélisation prédictive et spécialisée est faux.Ne connaissant pas du tout les données, j'ajouterais aux autres suggestions selon lesquelles le schéma d'allocation 70% -20% -10% pourrait fournir un échantillon insuffisant pour la validation dans ce cas, surtout si vous avez des cibles rares. Je pense que différentes assignations aux ensembles à suspendre sont plus probables, mais ajoutons simplement quelque chose d'autre qui pourrait aider à l'expliquer.
Re: JMP R suare dans la modélisation prédictive et spécialisée est faux.Je suis d'accord avec la graine aléatoire comme source de variation. Une autre source pourrait provenir simplement du fait que les fonctions de transfert peuvent différer. Avez-vous vérifié que Python possède le même nombre de couches masquées, le même type et le même nombre de fonctions de transfert? Dans JMP, vous ne disposez que d’un tanh et d’une couche (JMP Pro offre une seconde couche masquée ainsi que des fonctions de transfert normales et gaussiennes. Remarque: en python, vous devez généralement spécifier le nombre de nœuds de sortie / entrée et le fonction de transfert / activation que vous souhaitez utiliser. Pouvez-vous être sûr que c'est tout pareil?
S'il y a juste une chose différente, le résultat peut être différent pour le RSquare.
Autre remarque: quel est le but de votre analyse? Voulez-vous faire une régression ou une classification? Si ce dernier point, vous ne devriez pas trop vous soucier de la place, mais du taux de classification erronée, de la courbe ROC ou d’une mesure similaire plus utile que de la part de rsquared.
Re: JMP R suare dans la modélisation prédictive et spécialisée est faux.Comment les résultats changent-ils si vous répétez l'ajustement du modèle Neural dans JMP?
Voici deux ajustements consécutifs avec les mêmes données et la même affectation à la formation et à la validation, sans aucune modification du réseau:
Re: JMP R suare dans la modélisation prédictive et spécialisée est faux.Comme Mark Bailey l'a souligné dans son exemple, la plate-forme neuronale de JMP randomisera les valeurs de départ dans la recherche des poids optimaux. Cela se produira même lors d'exécutions ultérieures avec une valeur de départ aléatoire spécifiée, car cette valeur s'applique uniquement au partitionnement aléatoire entre ensembles de formation / validation / test et non aux valeurs de départ de la recherche.
Par conséquent, des évaluations de modèles différentes dans des conditions identiques peuvent conduire à des statistiques d'ajustement différentes, ce qui est le cas pour tout algorithme numérique devant rechercher une solution optimale.
