Untersuchen von Schwellenwerten für die ModellklassifizierungDies sind Anweisungen zum Herunterladen und Ausführen der Modellklassifizierungs-Explorer-Add-In Ich habe diesen Sommer als JMP-Praktikant mit angefangen @KarenC und @mia_stephens .Dieses Add-In bietet ein einheitliches Dashboard zur gleichzeitigen Visualisierung von Modell-Cutoffs und Fehler-Tradeoffs. Sie können einen Modellschwellenwert interaktiv ändern und die Ergebnisse sofort in Leistungsmessungen, Konfusionsmatrizen und ROC-Kurven übertragen sehen.
HINWEIS: Dies kann langsam sein oder bei sehr großen Datensätzen einfrieren.
Schritt 1: Laden Sie die angehängte .jmpaddin-Datei und die Beispieldatentabelle herunter.
Data Selection DialogData Selection DialogDatenauswahldialog
Schritt 1: Cast the Prob[Donut] to X and the Consumption to Y. Diese beiden Spalten sind erforderlich.
Schritt 2: Stellen Sie Ihr Zielniveau auf „Donut“ ein, da das Modell dies vorhersagt.
Schritt 3: Stellen Sie Ihr Alpha-Niveau für die statistische Analyse ein, das standardmäßig auf 0,05 belassen wird.
Schritt 4: Oben rechts haben Sie die Möglichkeit, die Performance-Terminologie basierend auf einem vorgegebenen Anwendungsbereich auszuwählen, was eine rein visuelle Option für die Beschriftungen der verschiedenen Maßnahmen ist. In diesem Fall belassen wir es auf „Allgemein“.
Schritt 5: Das Kontrollkästchen für die visuelle Zugänglichkeit ist eine Funktion zum Ändern der grafischen Ausgabe, um Ergebnisse interpretieren zu können, ohne dass Farben in den Diagrammen unterschieden werden müssen, was wir jetzt auslassen.
Schritt 6: Wenn alle diese anfänglichen Parameter eingestellt sind, klicken Sie auf „OK“, um die Plattform zu starten. Abhängig von der Größe Ihres Datensatzes und davon, ob Sie eine Validierungsspalte verwendet haben oder nicht, kann der Start einige Sekunden dauern.
Interactively Exploring CutoffsInteractively Exploring CutoffsCutoffs interaktiv erkunden
Lassen Sie mich wissen, wenn Sie Kommentare oder Vorschläge haben!
DatenvisualisierungBiowissenschaftenVorhersagemodellierung und Data MiningStatistikenBetreff: Untersuchen von Schwellenwerten für die ModellklassifizierungLiebe Karen,
Ich habe die 2x2-Tabellen erneut überprüft, und sie sind korrekt. Sie haben Recht, ich kann stattdessen das IVD-Leistungs-Add-In verwenden, aber das bedeutet, dass ich alle meine Daten entweder als positiv (unter dem Schwellenwert) oder negativ (über) markieren und die Tag-Ergebnisse und nicht die ursprünglichen Zahlen analysieren muss Ich verstehe die schöne "State vs. Score"-Grafik dieses Skripts nicht.
Aber ich werde das IVD-Leistungs-Add-In verwenden, es gibt mir die Zahlen, die ich am meisten brauche.
Vielen Dank für deine Hilfe!
Betreff: Untersuchen von Schwellenwerten für die ModellklassifizierungHallo Anne, ich bin mir nicht ganz sicher...wenn du das richtige TP, TN usw. hast, dann solltest du das richtige Se und Sp haben. Sehen Sie sich die 2x2-Tabellen genau an, um sicherzustellen, dass Sie die Etiketten richtig lesen. Einverstanden, dass das Tool Werte rechts (größer als) des Schwellenwerts als positiv verwendet. Vielleicht schaust du auch bei mir vorbei IVD-Leistung Add-In, das die Leistung basierend auf zwei nominalen Spalten (Test und Wahrheit) liefert, in denen Sie definieren können, was für jede positiv ist. Vielleicht funktioniert das besser, wenn Sie Ihren Schwellenwert festgelegt haben (läuft auch viel schneller). Wenn Sie noch Fragen haben, fragen Sie weiter.
Karen
Betreff: Untersuchen von Schwellenwerten für die ModellklassifizierungIch habe das Ziel umgedreht, aber weil meine Proben als positiv gelten unter eine gewisse Schwelle, ergibt sich, dass ich zB bei einer Spezifität von wirklich 96,3 % ein Ergebnis von 3,7 % erhalte.
In der Version vor dem Target-Flip wurden alle meine Werte korrekt als richtig positiv, falsch negativ usw. klassifiziert, nur die Sensitivitäts- und Spezifitätswerte waren vertauscht. Nach dem Umdrehen wird jedes richtig positive als falsch positiv klassifiziert, jedes falsch negative als richtig negativ und so weiter ...
Betreff: Untersuchen von Schwellenwerten für die ModellklassifizierungEs besteht die Möglichkeit, das Zielniveau im Startfenster festzulegen.
Betreff: Untersuchen von Schwellenwerten für die ModellklassifizierungDieser Knopf wäre schön zu haben. In meiner Version des Add-Ins finde ich kein "Minimize Misclassification Threshold". Sollte ich einige Layout-Einstellungen ändern?
Betreff: Untersuchen von Schwellenwerten für die ModellklassifizierungDrehen Sie um, was Sie das "Ziel" nennen.
Betreff: Untersuchen von Schwellenwerten für die ModellklassifizierungLiebe Karen,
danke für die hilfreiche ergänzung! Ich versuche, damit Sensitivität, Spezifität, PPV und NPV zu berechnen.
Während die Zahlen, die ich bekomme, korrekt sind (im Vergleich zu den Referenz-Sensitivitäts- / Spezifitätsdaten, die ich habe), werden Sensitivität mit Spezifität und PPV mit NPV vertauscht.
Ich vermute, dass dies damit zu tun hat, dass die Ergebnisse, die ich in meiner Antwortspalte als positiv angegeben habe, unter einer definierten Schwelle liegen, nicht über einer. Hast du einen Rat, wie man das beheben kann?
Betreff: Untersuchen von Schwellenwerten für die ModellklassifizierungHoffentlich haben Sie die Schaltfläche „Missklassifizierung minimieren“ bemerkt … sie befindet sich in der Gliederung „Wahrscheinlichkeitsschwelle festlegen“.
Betreff: Untersuchen von Schwellenwerten für die ModellklassifizierungGibt es eine Methode im Addin to automatisch die Einstufungsschwelle optimieren (= die Fehleinstufungsrate minimieren)?
Betreff: Untersuchen von Schwellenwerten für die ModellklassifizierungWenn Ihre "Wahrheits"-Spalte kein Zeichen ist, versuchen Sie, sie in Zeichentyp zu ändern.
Betreff: Untersuchen von Schwellenwerten für die ModellklassifizierungJa, ich kann das Donuts-Beispiel problemlos ausführen.
Betreff: Untersuchen von Schwellenwerten für die Modellklassifizierung@Lu
Ich bin mir nicht sicher, warum Sie diesen Fehler erhalten. Wenn Sie im Add-In auf die Schaltfläche Hilfe (rechte Seite) klicken, erhalten Sie ein Benutzerhandbuch. Andernfalls ist es ohne weitere Informationen schwierig zu wissen, warum Sie Probleme haben. Können Sie die Donuts-Beispieldaten ausführen?
Karen
Betreff: Untersuchen von Schwellenwerten für die ModellklassifizierungVersuchte das Addin auf meine Daten, bekomme aber immer diese Fehlermeldung: Tiefgestellter Bereich beim Zugriff oder Auswertung des Assays.
Betreff: Untersuchen von Schwellenwerten für die ModellklassifizierungDanke Karen! Es war ein Erfolg! Nochmals vielen Dank!
Betreff: Untersuchen von Schwellenwerten für die ModellklassifizierungHallo Tsnow,
Ich vermute, dass die App Probleme mit der Datenmenge hat. Wir haben Probleme mit einer großen Anzahl von Zeilen beobachtet, wobei die genaue Anzahl wahrscheinlich von der Maschinenkonfiguration abhängen würde. Es ist jedoch nicht alles verloren. Bei dieser Größe der Datentabelle könnten Sie meiner Meinung nach eine Zufallsstichprobe nehmen (in eine andere Tabelle unterteilen) und dann die App ausführen. Ich würde mit sagen wir 10% anfangen und schauen ob die App läuft. Wenn dies der Fall ist, würde ich mir 4 - 5 verschiedene Zufallsstichproben von 10% ansehen und sehen, ob Sie unabhängig von der Stichprobe "an einer ähnlichen Stelle landen". Wenn ja, können Sie wahrscheinlich Ihre praktische Frage beantworten. Wenn nicht, würde ich entweder ein paar weitere Proben ausführen und / oder eine größere Stichprobe von 20%, 30% versuchen, bis Sie erneut auf das Größenproblem stoßen.
Hoffe das hilft. Sie können auch das Ergebnis-gegen-Zustand-Diagramm mit all Ihren Daten in Graph Builder als Ausgangspunkt für das Verständnis der Verteilungen erstellen und wo ein Schnittpunkt für Ihr Problem sinnvoll sein könnte.
Karen
Betreff: Untersuchen von Schwellenwerten für die ModellklassifizierungHallo KarenC. Ich verwende JMP 14. Ich verwende Windows. Ich habe 11.221 Zeilen. Es erscheint eine Meldung, die besagt, dass keine Antwort erfolgt. Bitte helfen.
Vielen Dank
Betreff: Untersuchen von Schwellenwerten für die ModellklassifizierungHallo,
Ich bin mir nicht sicher, warum Sie Probleme haben, können Sie weitere Informationen geben? Welche Version von JMP verwendest du? Mac oder Windows? Stürzt es ab oder hängt es? Wie viele Zeilen in Ihrer Datentabelle?
Vielen Dank
Betreff: Untersuchen von Schwellenwerten für die ModellklassifizierungIch habe es mehrmals versucht, es stürzt jedes Mal ab. Irgendeine Alternative?
Betreff: Untersuchen von Schwellenwerten für die ModellklassifizierungWunderbar! Ich suche oft nach einer Möglichkeit, mich vom Bildschirm zu entfernen, also werde ich Ihrem Rat folgen und herumfahren, während ich ihn ein wenig drehen lasse.
Sehr geschätzt, marxx
Betreff: Untersuchen von Schwellenwerten für die ModellklassifizierungMarxx,
Wenn Sie es mit einem größeren Datensatz ausprobieren möchten, versuchen Sie es auszuführen, wenn Sie für einige Zeit von Ihrem Computer weg sind, und prüfen Sie dann, ob es ausgeführt wurde, wenn Sie zurückkehren. Ich habe festgestellt, dass es ausgeführt wird, wenn ich warte. Es muss nur noch etwas "Arbeit" geleistet werden, um loszulegen.
Karen
Betreff: Untersuchen von Schwellenwerten für die ModellklassifizierungVielen Dank für das Teilen von Tarik und der Follow-up-Karen. Ich werde mich auch für die Arbeit mit größeren Datensätzen interessieren, wenn diese verfügbar sind.
Danke marxx
Betreff: Untersuchen von Schwellenwerten für die ModellklassifizierungHallo Steve,
Ja, es stellt sich heraus, dass das Add-In JMP "einfrieren" kann, wenn Ihr Datensatz zu groß ist (versuchen Sie es mit N < 1000). Ich hatte keinen Absturz, nur dass JMP, wie Sie es erlebt haben, abstürzt. Wir untersuchen dieses Leistungsproblem. Probieren Sie in der Zwischenzeit eine zufällige Teilmenge Ihrer interessierenden Daten aus, um zumindest mit der Erkundung von Schwellenwerten zu beginnen. Bleib dran!
Vielen Dank,
Karen
Betreff: Untersuchen von Schwellenwerten für die ModellklassifizierungDieses Add-In ist eine großartige Ergänzung zu JMP. Ich verwende 14.1 und es funktioniert gut mit den Donut-Daten. Es sperrt jedoch JMP und stürzt dann bei fast jedem anderen Datensatz ab, den ich ausgewählt habe. Irgendwelche Vorschläge, was schief laufen könnte?
Vielen Dank.
Steve Powell
