JMP R suare in Predictive and Specialized Modeling ist falsch.Ich habe mit JMP ein neuronales Netzwerkmodell erstellt. Es gibt einen R-Quadrat-Wert aus. Es gibt einen R-Quadrat-Wert wie folgt aus:
Aber als ich den vorhergesagten Wert ausgab und das R-Quadrat in Python testete, stellte ich fest, dass es falsch ist:
Dies ist der Validierungsdatensatz R square I, der mit SKlearn berechnet wurde.
0,63 und 0,54, das ist ein großer Unterschied.
Jeder Mitarbeiter kann meine Frage beantworten？
Kontaktieren Sie mich: 531554559@qq.com
dringend
Betreff: JMP R suare in Predictive and Specialized Modeling ist falsch.Die berechnete Formel von R square in Python lautet:
Also habe ich wirklich verwirrt, welche Formel von R-Quadrat in JMP ist?
worin besteht das Problem?
Eigentlich wie das Dokument in JMP:
Betreff: JMP R suare in Predictive and Specialized Modeling ist falsch.Die berechnete Formel von R square in Python lautet:
Also habe ich wirklich verwirrt, welche Formel von R-Quadrat in JMP ist?
worin besteht das Problem?
Eigentlich wie das Dokument in JMP:
Ich denke, es ist die gleiche Formel, aber unterschiedliche Ergebnisse.
Also möchte ich bestätigen, wo das Problem liegt
Betreff: JMP R suare in Predictive and Specialized Modeling ist falsch.Da ich keinen Zugriff auf Ihre Daten usw. habe, kann ich nur einige Punkte vorschlagen, die den Unterschied erklären könnten:
- Stellen Sie sicher, dass Sie in beiden Anwendungen dieselben Beobachtungen verwenden: JMP und Python.
- Stellen Sie sicher, dass in JMP keine Zeilen ausgeschlossen wurden, die in Python möglicherweise nicht ausgeschlossen werden.
- Vergewissern Sie sich, dass die Einheiten nicht gerundet sind. Wenn Benutzer beispielsweise Excel verwenden, erhalten sie ein Ergebnis. Anschließend kopieren sie Daten aus Excel und fügen sie in JMP ein, um ein anderes Ergebnis zu erhalten. Bei der Suche nach der Diskrepanzquelle wurden die tatsächlichen Werte nicht in JMP kopiert, die angezeigten (formatierten) Werte, also gerundete Werte, wurden in JMP verwendet.
Hier würde ich anfangen. Dann würde ich die Berechnungen mit der JMP-Tabelle machen.
Bitte posten Sie, wenn Sie die Quelle der Diskrepanz finden.
Betreff: JMP R suare in Predictive and Specialized Modeling ist falsch.Eine naheliegende Sache wäre zu prüfen, ob die Validierungs- und Testdatensätze identisch sind (ich bezweifle, dass dies der Fall ist, da sie mit einem Zufallsstartwert erstellt wurden und ich nicht sicher bin, ob R und JMP die Zufallsstartwerte auf die gleiche Weise verwenden ). Wenn die zufällige Aufteilung der Daten in Trainings-, Validierungs- und Testsätze unterschiedlich ist, unterscheiden sich natürlich die R-Quadrat-Werte. Ich vermute, dass dies der Fall sein kann - auch aufgrund des großen Unterschieds zwischen der Übereinstimmung in den Trainings- und Validierungs- / Testdatensätzen. Dieser Unterschied deutet auf eine erhebliche Überanpassung hin, und wenn dies der Fall ist, können sich die Ergebnisse bei unterschiedlichen Aufteilungen der Daten in die drei Teilmengen erheblich unterscheiden.
Betreff: JMP R suare in Predictive and Specialized Modeling ist falsch.Da ich die Daten überhaupt nicht kenne, möchte ich zu den anderen Vorschlägen hinzufügen, dass das Zuweisungsschema von 70% -20% -10% in diesem Fall möglicherweise keine ausreichende Stichprobe für die Validierung darstellt, insbesondere wenn Sie seltene Ziele haben. Ich denke, dass unterschiedliche Zuordnungen zu den Hold-Out-Sets wahrscheinlicher sind, aber nur etwas anderes hinzuzufügen, das helfen könnte, es zu erklären.
Betreff: JMP R suare in Predictive and Specialized Modeling ist falsch.Ich stimme dem zufälligen Samen als eine Quelle der Variation zu. Eine andere Quelle könnte einfach die Tatsache sein, dass sich die Übertragungsfunktionen unterscheiden können. Haben Sie überprüft, ob Python über die gleiche Anzahl an ausgeblendeten Ebenen, den gleichen Typ und die gleiche Anzahl an Übertragungsfunktionen verfügt? In JMP gibt es nur eine und eine Ebene (JMP Pro bietet zusätzlich zu tanh eine zweite ausgeblendete Ebene sowie Gauß- und normale Übertragungsfunktionen). In Python würden Sie normalerweise die Anzahl der Ausgabe- / Eingabeknoten und die Anzahl der ausgeblendeten Ebenen angeben Transfer- / Aktivierungsfunktion, die Sie verwenden möchten. Können Sie sicher sein, dass das egal ist?
Wenn nur eine Sache anders ist, kann dies zu einem anderen Ergebnis für das RSquare führen.
Noch ein Hinweis: Was ist das Ziel Ihrer Analyse? Möchten Sie eine Regression oder eine Klassifikation durchführen? In letzterem Fall sollten Sie sich nicht zu sehr um das Quadrat kümmern, sondern um die Fehlklassifizierungsrate, die ROC-Kurve oder eine ähnliche Messung, die nützlicher ist als das Quadrat.
Betreff: JMP R suare in Predictive and Specialized Modeling ist falsch.Wie ändern sich die Ergebnisse, wenn Sie das neuronale Modell in JMP wiederholen?
Hier sind zwei aufeinanderfolgende Anpassungen mit denselben Daten und derselben Zuordnung zu Training und Validierung und ohne Änderung des Netzwerks:
Betreff: JMP R suare in Predictive and Specialized Modeling ist falsch.Wie Mark Bailey in seinem Beispiel betonte, werden die Startwerte bei der Suche nach den optimalen Gewichten durch die neuronale Plattform in JMP zufällig angeordnet. Dies tritt auch bei nachfolgenden Läufen mit einem angegebenen Zufallsstartwert auf, da der Zufallsstartwert nur für die zufällige Aufteilung zwischen Training / Validierung / Testsätzen und nicht für die Suchstartwerte gilt.
Daher können unterschiedliche Modellbewertungen unter identischen Bedingungen zu unterschiedlichen Anpassungsstatistiken führen, was für jeden numerischen Algorithmus gilt, der nach einer optimalen Lösung suchen muss.
