Kann ich den F1-Score in JMP überprüfen?Hallo! Ich frage mich, ob ich den F1-Score in JMP Pro überprüfen kann, wenn ich verschiedene Modelle vergleiche?
Bietet JMP außerdem Präzisions- oder Erinnerungswert für die Modelle?
Vielen Dank!!
Betreff: Kann ich den F1-Score in JMP überprüfen?F1 wird im Abschnitt „Entscheidungsschwelle“ unter „Modellvergleich“ angegeben.Um dies zu verwenden, müssen Sie Ihre Vorhersageformel in der Datentabelle speichern und dann ausführen Analysieren > Vorhersagemodellierung > Modellvergleich .Dann wähle Entscheidungsschwelle unter dem kleinen roten Dreieck.
Betreff: Kann ich den F1-Score in JMP überprüfen?Hallo @Oleg ,
@Jenny schrieb:
... konnte beim Modellvergleich weder Präzision noch Erinnerung finden. Ich frage mich, ob JMP diese Werte hat.
JMP verfügt auf den meisten Plattformen (ab der Veröffentlichung von JMP 16.2) nicht nativ über diese Werte @Duane_Hayes wurden 2017 beantwortet, können aber anhand der aktuell bereitgestellten Ergebnisse berechnet werden.
@Jenny schrieb:
Soweit ich weiß, geht es uns manchmal mehr darum Präzision oder Erinnerung als Fehlklassifizierungsrate in verschiedenen Situationen, oder? .
Ja, das ist mein Verständnis.
Zu diesem Zweck,
Ich füge ein Beispiel mit Berechnungen in Spaltenformeln in JMP bei, in denen Genauigkeit, F1-Score, Präzision und Rückruf berechnet werden, wobei ich die Formeln verwende, die ich leicht finden konnte. Die für Präzision und Rückruf stimmen mit was überein @Jenny bereitgestellt (siehe auch S. 144 von „The StatQuest Illustrated Guide to Machine Learning!!!“ von Josh Starmer, Ph.D, © 2022).Formeln für Genauigkeit und F1-Score finden Sie unter anderem hier (Wikipedia): https://neptune.ai/blog/f1-score-accuracy-roc-auc-pr-auc .Dieses Beispiel stammt aus der Beispieldatendatei VSSTeamData.jmp, die als Teil des kostenlosen Online-Kurses für angewandte Statistik von JMP verfügbar ist. STIPPS . Die Berechnungen stimmen mit den Angaben von JMP in der Confusion Matrix-Ausgabe überein, die mit dem hier generierten und hier als gespeichertes Datentabellenskript gespeicherten Partitionsmodell verknüpft ist.
Klicken Sie auf die grüne Wiedergabeschaltfläche neben dem Skriptnamen, um das Modell nach dem Öffnen der .jmp-Datentabelle neu zu generieren.
Ich hoffe, diese Informationen sind hilfreich!-Patrick Giuliano ( @JMP Technischer Support)
Betreff: Kann ich den F1-Score in JMP überprüfen?Hallo Ian, du hast nach einer Formel gefragt.Jenny stellte eine zur Verfügung.Immer noch keine Lösung, dennoch wurde die Diskussion über 500 Mal angesehen. Die Frage hat also Gewicht.
Betreff: Kann ich den F1-Score in JMP überprüfen?Kann jemand eine klare und prägnante Antwort auf Jennys Antwort geben, anstatt in dieser Diskussion eine Meinung abzugeben? Dies ist kein Blog. Frage gestellt, Frage beantwortet. Dank im Voraus.
Betreff: Kann ich den F1-Score in JMP überprüfen?Die F1-Ergebnisse (und andere gängige Genauigkeitsmaße) werden in einigen Teilen der Machine-Learning-Community wegen ihrer Leistung unter Voreingenommenheit abgelehnt. Bitte beziehen Sie sich auf die beigefügte Datei, die den Nutzen der Betriebskurven des Empfängers und anderer Maßnahmen nahelegt.
JMP umfasst auf einigen Plattformen ROC (und Lift Curves).
Betreff: Kann ich den F1-Score in JMP überprüfen?An diese Art von Frage kann man sich wenden Technischer JMP-Support damit wir uns einbringen können.
Was die Frage betrifft, gibt JMP in der ROC-Tabelle Maße für Sensitivität und 1-Spezifität an, wenn der Menüpunkt „ROC-Kurve“ ausgewählt wird, zusammen mit den True Positives, True Negatives, False Positives und False Negatives.F1 ist nicht speziell aufgeführt, kann aber anhand der Beschreibung mit diesen Maßen berechnet werden.
Betreff: Kann ich den F1-Score in JMP überprüfen?Ein weiser Mann hat einmal gesagt, dass „das einzig knappe Gut Zeit ist“, und ich denke, es ist klar, dass die Community auf Crowdsourcing-Wissen (von Benutzern und JMP-Mitarbeitern gleichermaßen) angewiesen ist und nicht effektiv funktionieren kann, wenn sie auf eine kleine Gruppe angewiesen ist.
Neben der Community gibt es auch die offizieller Support-Kanal , die jeder verwenden kann, der ein SAS-Produkt lizenziert. Ein wesentlicher Unterschied besteht darin, dass es Service Level Agreements für Reaktionszeiten und interne Prozesse zur Eskalation gibt, um eine zufriedenstellende Lösung zu erreichen. Dies ist definitiv der beste Mechanismus, um vermutete Fehler aufzudecken, aber auch um neue Funktionsanfragen zu stellen. Außerdem: „Wie mache ich?“ Fragen oder „Ich bin an Software
Bei Fehlern und Funktionen oder wenn die Community nicht reagiert, würde ich diesen Kanal auf jeden Fall ebenfalls in Betracht ziehen. Und um das Offensichtliche zu sagen: Es muss nicht „das eine oder das andere“ sein. Viele Community-Threads haben zu Support-Tracks geführt.
Betreff: Kann ich den F1-Score in JMP überprüfen?Hallo Ian,
Ich bin etwas überrascht von Ihrer Antwort. Es ist kein allzu großer Aufwand (besonders für einen JMP-Experten), im Internet nach „F1-Ergebnissen“ zu suchen, sich selbst weiterzubilden und dem Benutzer eine aussagekräftige Antwort zu geben. Darüber hinaus stellte der Anfragende zusätzliche Informationen zur Verfügung, erhielt jedoch nie eine sinnvolle Unterstützung. Auch das überrascht.
Würden Sie oder jemand anderes mit dem entsprechenden Fachwissen der JMP-Community bei dieser Frage helfen? F1-Ergebnis ist ein Schlüsselmaß für die logistische Regression (oder jedes Modell mit nominaler Antwort) und unausgeglichenen Antwortniveaus (deutlich mehr echte Negative als echte Positive). Sehr geschätzt. Wie bereits erwähnt, beschreibt Wikipedia diese Konzepte ausführlich.
Der von Ihnen bereitgestellte Link zum Modellvergleich ist ausführlich, es scheint jedoch die Berechnung des F1-Ergebnisses zu fehlen. Ich bin mir sicher, dass dies von Hand erledigt werden kann, aber wenn es in JMP fehlt, sollte es unbedingt als Funktion in Betracht gezogen werden. Dank im Voraus.
Betreff: Kann ich den F1-Score in JMP überprüfen?Hallo! Vielen Dank für Ihre Antwort. Der F1-Score ist ein Maß für die Testgenauigkeit. Hier ist der Wikipedia-Link zum F1-Score. https://en.wikipedia.org/wiki/F1_score
Und zur zweiten Frage: Ja, ich denke über die vorhergesagten Werte nach.
Präzision =Wahre Positives/(Wahre Positives +Falsche Positives)
und erinnern= Wirklich positiv /( Wirklich positiv +Falsche Negative)
Ich habe beim Modellvergleich weder Präzision noch Erinnerung gefunden. Ich frage mich, ob JMP diese Werte hat. Soweit ich weiß, geht es uns in verschiedenen Situationen manchmal mehr um Präzision oder Erinnerung als um die Fehlklassifizierungsrate, oder?
Betreff: Kann ich den F1-Score in JMP überprüfen?Ich gehe davon aus, dass Sie sich das angesehen haben Modellvergleich Plattform in JMP Pro. Leider kenne ich den „F1-Score“ nicht. Können Sie mir bitte weitere Details oder einen Link geben? Was Ihre zweite Frage betrifft: Denken Sie über vorhergesagte Werte und die darin enthaltenen Unsicherheiten nach?
