Wie berechne ich automatisch die Präzision und den F1-Score für Modelle mit unausgeglichenen Daten?Mir gefällt, dass JMP eine Verwirrungsmatrix und einen ROC für die logistische (allgemeine) Regression druckt, aber einige wichtige Metriken scheinen in den Ergebnissen zu fehlen: Präzision Und F1-Ergebnis .Gibt es eine Möglichkeit, diese automatisch in die Ausgabe einzuschließen? Oder lassen Sie es so „automatisch“ wie möglich berechnen, wenn ich ein neues Klassifizierungsmodell erneut ausführe.Ich versuche zu vermeiden, diese bei jedem neuen Modell manuell neu zu berechnen.
UPDATE: Bitte posten Sie nur Antworten auf die Fragen. Ich bin nicht auf der Suche nach einer Meinung darüber, ob ich Precision und F1 verwenden soll oder nicht. Ich bin zuversichtlich, nach einer Möglichkeit zu suchen, diese automatisch in JMP zu berechnen. Wenn Ihnen eine solche Technik nicht bekannt ist, gibt es keinen Grund, darüber nachzudenken, ob dies machbar ist oder nicht, oder unten etwas zu posten. Danke 
Verbraucher- und MarktforschungDatenexploration und -visualisierungPrädiktive Modellierung und maschinelles LernenErgebnisse teilen und kommunizierenBetreff: Wie berechne ich automatisch die Präzision und den F1-Score für Modelle mit unausgeglichenen Daten?Danke, Jim. Ein konkretes Beispiel wie dieses habe ich gesucht. Ich bin bereits zu Python zurückgekehrt, aber ich werde Ihr JSL-Beispiel später einmal ausprobieren.
Betreff: Wie berechne ich automatisch die Präzision und den F1-Score für Modelle mit unausgeglichenen Daten?Beispiele finden Sie im File Exchange, in den Skriptbeispielen, die bei der Installation von JMP installiert werden, direkt im Scripting Guide-Buch, die auch bei der Installation von JMP installiert werden usw. Und darüber hinaus finden Sie hier ein Beispielskript, das aus einer Ausgabe liest und zeigt es in einer anderen Form als Teil einer Ausgabe an.
Names Default To Here( 1 );
dt = Open( "$SAMPLE_DATA\Big Class.jmp" );
// Run the Fit Y by X to get the XY plot
Biv = dt << Bivariate( Y( :height ), X( :weight ) );
// Run the distributions to get the stats
Dis = dt << Distribution( Continuous Distribution( Column( :height ) ), Continuous Distribution( Column( :weight ) ) );
// Extract the stats
heightMean = Report( dis )["Height"]["Summary Statistics"][Number Col Box( 1 )][1];
weightMean = Report( dis )["Weight"]["Summary Statistics"][Number Col Box( 1 )][1];
// Create the new display object
hlb = H List Box(
Text Box( "Mean of Height = " ),
Number Edit Box( heightMean ),
Spacer Box( size( 30, 0 ) ),
Text Box( "Mean of Weight = " ),
Number Edit Box( weightMean )
);
// Add the new object to the plot
Report(Biv)[Outline Box(1)] << Append( hlb );
Dis << close window;
Betreff: Wie berechne ich automatisch die Präzision und den F1-Score für Modelle mit unausgeglichenen Daten?Kevin, danke für das Beispiel.
Ich habe kein Problem damit, ein Modell auszuführen und die F1- und Präzisionswerte manuell zu berechnen. Aber gibt es ein Beispiel, um diese in JMP automatisch zu berechnen (was ich ursprünglich gefragt habe)?
In der Zwischenzeit habe ich diese Python codiert, was weniger Zeit in Anspruch nahm als das Posten einer Frage. Wenn in Zukunft jemand eine Antwort liefert, werde ich es gerne noch einmal versuchen.
Betreff: Wie berechne ich automatisch die Präzision und den F1-Score für Modelle mit unausgeglichenen Daten?Hallo, Oleg!
Ich glaube nicht, dass ich Ihre ursprüngliche Frage falsch verstanden habe ... aber das ist nur meine Meinung ...
Hier ist ein Beispiel, das Sie ausprobieren können:
Nehmen Sie Big Class.jmp. Führen Sie eine lächerlich überdimensionierte neuronale Netzwerkanalyse mit Geschlecht als Reaktion und Alter, Größe und Gewicht als Faktoren durch. Betrachten Sie „Weiblich“ als den positiven Fall.
Ich habe eine Notfalltabelle, die so aussieht:
Wählen Sie „In Datentabelle umwandeln“.
TP= 16. FP=2. FN=2.
F1 kann durch 2*TP/(2*TP+FP+FN) berechnet werden. Ich erhalte F1=0,89.
Dies lässt sich sehr einfach per Skript erstellen (meiner Meinung nach , und Sie können diese Metrik (und jede andere) sogar automatisch in jede Ihrer Ausgaben mit einem Skript einbinden. Probieren Sie es aus und ich werde versuchen, Ihnen dabei zu helfen, wenn Sie scheitern.
Viel Glück.
Betreff: Wie berechne ich automatisch die Präzision und den F1-Score für Modelle mit unausgeglichenen Daten?Hallo Kevin.
Wenn dieser „Diskussions“-Thread so etwas wie StackOverflow ist, dann würde ich klare Antworten auf klare Fragen erwarten. Wenn ich mich irre, können Sie mich gerne an die Richtlinien für das Posten in Diskussionen verweisen. Ich kann die Meinungen anderer Leute in Zeitungen lesen. Im wissenschaftlichen Kontext und im Sinne von „get it done“ sind die klaren und prägnanten Antworten jedoch von Mehrwert.
Übrigens, hast du gerade zugegeben, dass ich Meinungen zu meiner Frage erhalten habe? LOL.
Auf jeden Fall wäre es effektiver, Sie in dieser Angelegenheit um Hilfe zu bitten.
Sind Sie auf JSL-Beispiele gestoßen, die mir beim Skripten von F1 und Precision helfen und diese vorzugsweise zur Regressionsausgabeseite hinzufügen könnten?
Prost!
Ö.
Betreff: Wie berechne ich automatisch die Präzision und den F1-Score für Modelle mit unausgeglichenen Daten?Hallo, Oleg!
Vielleicht ist es eine Unkenntnis der Sprache, aber das Wort Diskussionen (der Name dieser Site in der Community) bedeutet viel mehr als nur Fragen und Antworten. Es kann zu Recht Meinungen, Ermahnungen, Bitten, Beschimpfungen und viele andere Formen des Dialogs umfassen, unabhängig von Ihren Wünschen.
Eines der vielen Dinge, die ich an Statistiken (und JMP!) liebe, ist, dass die wirklich großartige, erfinderische Arbeit an der Schnittstelle zwischen der Wissenschaft der Anwendungen und der Kunst zu geschehen scheint. Sehen? Meine Meinung.
Betreff: Wie berechne ich automatisch die Präzision und den F1-Score für Modelle mit unausgeglichenen Daten?Kevin, vielleicht hast du meine ursprüngliche Frage falsch verstanden. Ich hatte darauf gehofft eine integrierte Berechnung von F1 und Präzision.JSL ist eine vernünftige Alternative.
Haben Sie ein Beispiel, dem ich folgen kann?
Betreff: Wie berechne ich automatisch die Präzision und den F1-Score für Modelle mit unausgeglichenen Daten?Danke Jim.
1. Ich stimme zu
2. Der Support bittet darum, die Diskussionsgruppe zu nutzen, was ich versuche.
3. Klar, JSL ist eine gute Richtung. Ich hatte gehofft, dass jemand es bereits umgesetzt hat und ein Beispiel geben kann.
Betreff: Wie berechne ich automatisch die Präzision und den F1-Score für Modelle mit unausgeglichenen Daten?Hallo Kevin. Ich schätze Jims Hilfe und habe ihm Lob ausgesprochen und seine Lösungen akzeptiert, wann immer es angebracht war. Allerdings muss ich ihm nicht in allen Punkten zustimmen. In diesem Thread erwarte ich Antworten auf die gestellten Fragen, keine Meinungen darüber, was in der ML-Welt in Mode ist.
Betreff: Wie berechne ich automatisch die Präzision und den F1-Score für Modelle mit unausgeglichenen Daten?Hallo, Oleg!
Hier ist das Gesamtbild: Jim Nelson hat viele, viele Probleme in dieser Community gelöst. Bitte zwingen Sie ihm nicht Ihre Meinung auf.
Und hier ist meine Meinung: Möglicherweise erhalten Sie mehr Hilfe bei der Skripterstellung, wenn Sie so tun, als hätten Sie es ausprobiert und mit etwas weniger Arroganz um Hilfe bitten.
Betreff: Wie berechne ich automatisch die Präzision und den F1-Score für Modelle mit unausgeglichenen Daten?Jim, Hier ist, wie eine Diskussion Dies bringt „gute Gründe“ für die Hinzufügung neuer Funktionen zu JMP hervor.
Betreff: Wie berechne ich automatisch die Präzision und den F1-Score für Modelle mit unausgeglichenen Daten?Meine vorherige Antwort sollte viel einfacher sein, als Sie sie anscheinend interpretiert haben.
1. JMP ist nicht perfekt, aber ziemlich gut, und die Entwickler halten mit den Bereichen, an denen sie arbeiten, wirklich Schritt, und daher verdient das, was sie präsentieren, einen guten Blick.
2. Der beste Weg, um sicherzustellen, dass Ihre Anfrage nach einer Verbesserung bei JMP angekommen ist, besteht darin, sie an zu senden
support@jmp.com
3. Die Anfrage für F1 wurde bereits in einem kürzlich erschienenen Diskussionstrack behandelt, daher gehe ich davon aus, dass es keinen Benutzer mit einer fertigen Lösung gibt.Deshalb ermutige ich Sie, dass dies immer noch in JMP möglich ist, wo Sie die Lösung mit JSL codieren können
Betreff: Wie berechne ich automatisch die Präzision und den F1-Score für Modelle mit unausgeglichenen Daten?Hallo Kevin, Danke für die Antwort. Ich verstehe nicht, wie sich die Präferenz anderer für die Verwendung des F1-Scores auf mein Bedürfnis danach in dieser Diskussion auswirken soll? Jede einzelne Metrik hat eine Tendenz.Es gibt Tausende (neuere) Veröffentlichungen lobt den Wert von F1 und die Präzisionsmetrik.
Unterm Strich suche ich in dieser Diskussion Hilfe bei der automatischen Berechnung von F1- und Präzisionsergebnissen. Ja, es kann per Skript erstellt werden. Und ich würde mich sehr über die Hilfe von jemandem freuen, der es bereits umgesetzt hat, damit dieses Rad nicht neu erfunden wird.
Tatsächlich verwende ich bereits ROC, aber ich brauche auch F1 und Präzision. Zumindest wird die Antwort (sobald sie gefunden wird) auf die von mir gestellte Frage anderen dabei helfen, nicht nur F1 oder den Präzisionswert, sondern jede beliebige Metrik automatisch zu berechnen. Bitte behalten Sie das Gesamtbild im Auge
Betreff: Wie berechne ich automatisch die Präzision und den F1-Score für Modelle mit unausgeglichenen Daten?Hallo Jim, deine Antwort impliziert, dass JMP perfekt ist und genau das enthält, was es haben muss (aus gutem Grund). Das heißt, dass alles, was in JMP fehlt, keinen guten Grund hat, in JMP vorhanden zu sein. Eine interessante Behauptung 
Die Diskussionen selbst liefern viele „gute Gründe“ für neue JMP-Funktionen. Es wurde eine Frage zu F1 (nicht Präzision) gestellt, die immer noch unbeantwortet bleibt. Dennoch werden diese Maße ausführlich diskutiert und in Scientifica-Veröffentlichungen verwendet.
Mir gefällt Ihr Vorschlag, dem Support eine E-Mail zu schicken, aber er bittet darum, eine Diskussion anzustoßen. Ich hoffe, dass die Community die Antwort liefert, wenn auch nicht sofort.
Wenn Sie der Meinung sind, dass meine Frage verbessert werden kann, freue ich mich über Ihre Vorschläge.
Betreff: Wie berechne ich automatisch die Präzision und den F1-Score für Modelle mit unausgeglichenen Daten?Hallo, Oleg!
Die F1-Ergebnisse (und andere „wichtige“ beliebte Genauigkeitsmaße) wurden in einigen Teilen der Machine-Learning-Community wegen ihrer Leistung unter Voreingenommenheit abgelehnt. Bitte beziehen Sie sich auf die beigefügte Datei, die den Nutzen der Betriebskurven des Empfängers und einiger anderer Maßnahmen nahelegt.
Und wie Jim bemerkt, können Sie alles schreiben, was Ihr Herz begehrt.
Betreff: Wie berechne ich automatisch die Präzision und den F1-Score für Modelle mit unausgeglichenen Daten?Wenn JMP für eine bestimmte Analyse keine spezifische Statistik bereitstellt, haben die Entwickler bei JMP meiner Erfahrung nach einen guten Grund, sie nicht einzubinden. Obwohl diese Diskussionsgruppe von JMP überwacht wird, ist sie nicht die beste Möglichkeit, Ihre Statistiken in eine zukünftige Version aufzunehmen. Sie müssen eine Verbesserungsanfrage an senden
support@jmp.com
Sie verfügen über ein formelles Tracking-System für solche Artikel.
Doch nun zur Schönheit von JMP.Oftmals hat die Diskussions-Community eine Lösung für Ihr Anliegen.Da dieses Thema jedoch bereits besprochen wurde, gab es keine Antwort auf F1 usw.Ich gehe davon aus, dass die Lösung nicht verfügbar ist.Viele, wenn nicht die meisten dieser Anfragen können jedoch über JSL zu Ihrer Analyse hinzugefügt werden. Als Antwort auf Ihre Frage bin ich sicher, dass Sie ein Skript schreiben könnten, um diese zu Ihrer Analyse hinzuzufügen.
