What if you wanted to predict how many out of 100 employees will eat a donut at the office on Friday?What if you wanted to predict how many out of 100 employees will eat a donut at the office on Friday?What if you wanted to predict how many out of 100 employees will eat a donut at the office on Friday?What if you wanted to predict how many out of 100 employees will eat a donut at the office on Friday?Was wäre, wenn Sie vorhersagen möchten, wie viele von 100 Mitarbeitern am Freitag im Büro einen Donut essen werden? JMP ist ein äußerst leistungsstarkes Tool zur statistischen Entdeckung und eignet sich hervorragend für die Erstellung einer Vielzahl statistischer Modelle. Wenn Sie jedoch Schwellenwerte für ein prädiktives binäres Klassifizierungsmodell umfassend bewerten möchten, wären mehrere Plattformen und mehrere Schritte erforderlich. A Entdeckungsgipfel 2018 Der Vortrag befasst sich mit den Herausforderungen bei der Bewertung und Auswahl von Schwellenwerten für Klassifizierungsmodelle. Ich bin dem Team von beigetreten @KarenC Und @mia_stephens um ein Add-In zu erstellen, das das Modellverständnis und die Schwellenwertauswahl erleichtert.
Der Add-In für den Modellklassifizierungs-Explorer Bietet ein einheitliches Dashboard zur gleichzeitigen Visualisierung von Modellgrenzwerten und Fehlerkompromissen. Sie können einen Modellschwellenwert interaktiv ändern und sofort sehen, wie sich die Ergebnisse in Leistungskennzahlen, Verwirrungsmatrizen und ROC-Kurven niederschlagen. Das Add-in implementiert außerdem benutzerdefinierte Optionen für rote Dreiecke, um Auftriebskurven und kumulative Gewinnkurven anzuzeigen und einen optimalen Schwellenwert basierend auf den Klassifizierungskosten zu berechnen.
Lassen Sie uns ein Beispiel mit der beigefügten Datentabelle durchgehen. Es ist freitags Donut-Tag im Büro und Sie möchten vorhersagen, wie viele von 100 Mitarbeitern einen Donut essen werden. Sie sammeln Daten darüber, ob jede Person einen Donut konsumiert hat, sowie eine Reihe von Prädiktoren und passen ein Modell an, um die Konsumwahrscheinlichkeiten abzuschätzen. Jetzt möchten Sie die mit jedem Modellgrenzwert verbundenen Kompromisse untersuchen. Die Idee besteht darin, einen Cut-off festzulegen, um die Donut-Verschwendung an künftigen Freitagen zu minimieren. Es gibt drei Spalten:
- Prob[Donut] ist die Wahrscheinlichkeit, dass eine Person einen Donut verzehrt.
- Der Konsum ist das tatsächliche Ergebnis davon, ob jemand den Donut gegessen hat oder nicht.
- Wir haben eine optionale Validierungsspalte
Input DataInput DataInput DataInput DataEingabedaten
Daten
Öffnen Sie nach dem Herunterladen und der Installation des Add-Ins die Datentabelle Donuts Blog example.jmp. Die Daten sind so formatiert, dass es eine numerische, kontinuierliche Spalte gibt, die die Wahrscheinlichkeit des angestrebten Ergebnisses modelliert, in diesem Fall unsere Prob[Donut]-Spalte. Diese Spalte kann in JMP erstellt werden, indem mit „Wahrscheinlichkeitsformel speichern“ ein angepasstes Modell für ein binäres Ergebnis gespeichert wird. Die andere erforderliche Spalte ist der tatsächliche Ergebnisstatus als Zeichen und Nennwert, in unserem Fall die Spalte „Verbrauch“. Sie können optional eine Validierungsspalte hinzufügen, die basierend auf der Validierungskategorie zusätzliche Ausgaben auf der Plattform hinzufügt. Wenn du benutzt JMP Pro , können Sie dies ganz einfach tun, indem Sie zu Analysieren -> Vorhersagemodellierung -> Validierungsspalte hinzufügen gehen. Die Validierungsspalte kann zwei oder drei Kategorien haben und muss aus numerischen Werten bestehen.
Column CastingColumn CastingColumn CastingColumn CastingSpaltencasting
Start
Schritt 1: Wirf den Prob[Donut] auf X und den Verbrauch auf Y. Diese beiden Spalten sind erforderlich.
Schritt 2: Stellen Sie Ihr Zielniveau auf „Donut“ ein, da das Modell dies vorhersagt.
Schritt 3: Legen Sie Ihren Alpha-Wert für die statistische Analyse fest, der standardmäßig auf 0,05 belassen wird.
Schritt 4: Oben rechts haben Sie die Möglichkeit, die Leistungsterminologie basierend auf einem bestimmten Anwendungsfeld auszuwählen. Dies ist eine rein visuelle Option für die Beschriftung der verschiedenen Kennzahlen. In diesem Fall belassen wir es bei „Allgemein“.
Schritt 5: Das Kontrollkästchen „Visuelle Zugänglichkeit“ ist eine Funktion zum Ändern der grafischen Ausgabe, um Ergebnisse interpretieren zu können, ohne Farben in den Diagrammen unterscheiden zu müssen, was wir vorerst weglassen.
Schritt 6: Wenn alle diese Anfangsparameter festgelegt sind, klicken Sie auf „OK“, um die Plattform zu starten. Abhängig von der Größe Ihres Datensatzes und davon, ob Sie eine Validierungsspalte verwendet haben oder nicht, kann der Start einige Sekunden dauern.
Ergebnisse – Generierte Datentabelle
Zusätzlich zur Plattform wird auch eine neue Datentabelle eingeführt. Diese Datentabelle verwendet die Spalten „Prob[Donut]“ und „Verbrauch“ und erstellt für die Wahrscheinlichkeit, dass jede Person einen Donut isst, Zählungen für richtig positive, richtig negative und falsch positive und falsch negative Ergebnisse, indem sie alle Personen durchläuft und den aktuellen Wert vergleicht den tatsächlichen Konsum und die Konsumwahrscheinlichkeit einer Person gegenüber den anderen Personen.
Aus diesen Zählungen wird eine Sensitivitätsspalte oder Spalte „True Positive Rate“ erstellt. Dies ist die Fähigkeit des Modells, diejenigen korrekt zu identifizieren, die tatsächlich einen Donut konsumiert haben. Spezifität oder die wahre Negativrate ist die Fähigkeit des Modells, Personen, die keinen Donut konsumiert haben, korrekt zu identifizieren.
Die Fehlklassifizierungsrate ist die Summe aus falsch positiven + falsch negativen Ergebnissen über die Gesamtzahl der Beobachtungen in dieser Zeile.
Wenn Sie eine Validierungsspalte verwendet haben, wird im Hintergrund für jede Validierungskategorie eine einzelne Tabelle sowie eine Tabelle mit allen zusammengefügten Teilmengen geöffnet.
Generated Data TableGenerated Data TableGenerated Data TableGenerated Data TableGenerierte Datentabelle
Ergebnisse – Berichtsfenster
Zurück zur Plattform. Das erste Diagramm, das wir sehen, ist eine Standard-ROC-Kurve, die die Sensitivität gegen 1 – Spezifität zusammen mit der Fläche unter der Kurve mit einem Wald-Konfidenzintervall von 95 % grafisch darstellt. Rechts sehen wir ein Clusterdiagramm, das visuell die Verteilung der Ergebnisse der binären Klassifizierung zeigt. Die y-Achse zeigt die modellierten Kategorien und die x-Achse ist die Modellbewertung. Der vertikale Schieberegler befindet sich am aktuellen Schwellenwert. Rote Punkte sind Punkte, an denen das Modell den Donut-Verbrauch falsch vorhergesagt hat, wohingegen blaue Punkte korrekt vorhergesagt wurden.
Interactivity of the PlatformInteractivity of the PlatformInteractivity of the PlatformInteractivity of the PlatformInteraktivität der Plattform In der zweiten Zeile haben wir die numerische Analyse. Die Tabelle mit den Leistungskennzahlen enthält Schätzungen und Konfidenzintervalle für sieben verschiedene Kennzahlen. Unter Prävalenz versteht man den Anteil der Mitarbeiter, die tatsächlich einen Donut gegessen haben. Die tatsächliche positive Rate/Sensitivität und die tatsächliche negative Rate/Spezifität wurden bereits zuvor besprochen und sind hier ebenfalls enthalten. Der positive Vorhersagewert (PPV) wird dahingehend interpretiert, wie gut ein positives Donut-Ergebnis einen tatsächlichen Donut-Verzehr vorhersagt. Der NPV gibt das Gegenteil an und gibt an, wie gut ein negatives Donut-Ergebnis einen tatsächlichen Mangel an Donut-Konsum vorhersagt. Das positive Wahrscheinlichkeitsverhältnis (LR+) gibt an, um wie viel die Wahrscheinlichkeit des Donut-Konsums steigt, wenn ein Test positiv für den Donut-Konsum ausfällt. LR- ist das Gegenteil, oder wie stark die Wahrscheinlichkeit des Donut-Verzehrs sinkt, wenn ein Test keinen Verzehr ergibt. Rechts neben den Leistungsmetriken sehen wir die 2x2-Konfusionsmatrizen, die die Raten und Anzahlen von TP, TN, FP und FN anzeigen. Daneben werden die Fehlklassifizierungsrate und die angezeigt Matthews-Korrelationskoeffizient (MCC) . Der MCC ist ein weiteres Maß für die Qualität der binären Klassifizierung. Der Wert 1 bedeutet, dass jede Person, von der vorhergesagt wurde, dass sie einen Donut isst, auch tatsächlich einen gegessen hat. 0 bedeutet, dass das Modell einer zufälligen Klassifizierung entspricht, und -1 bedeutet eine völlige Fehlklassifizierung, bei der jeder vorhergesagte Donut gegessen wurde Der Esser hat keinen gegessen. Die Fehler-Kompromisskurve in der unteren Reihe zeigt die Liniendiagramme falsch positiver und falsch negativer Fehlerzahlen mit einer benutzerdefinierten roten Dreiecksoption, um die Y-Achse in Raten statt in Zahlen zu ändern.
Visual Accessibility Turned OnVisual Accessibility Turned OnVisual Accessibility Turned OnVisual Accessibility Turned OnVisuelle Barrierefreiheit aktiviert
Diese Tabellen und Grafiken sind für sich genommen alle großartig, aber der wahre Wert liegt im interaktiven Aspekt. Die Leistungsmaße eines Klassifizierungsmodells basieren auf einem Schwellenwert oder Grenzwert. Wenn Sie den Schwellenwert ändern, ändern sich die Leistungsmetriken. Auf der Zustand-zu-Punktzahl- und Fehler-Kompromisskurve gibt es auf den horizontalen Linien Schleppmarkierungen, die den Modellschwellenwert anzeigen. Fassen Sie eine dieser Linien an und verschieben Sie sie, um den Schwellenwert zu ändern und die Leistungskennzahlen zu aktualisieren.
Alternativ können Sie den Schieberegler oder das bearbeitbare Zahlenfeld unter dem Rahmenfeld „Wahrscheinlichkeitsschwelle festlegen“ über den Verwirrungsmatrizen verwenden, um den Schwellenwert zu ändern. Diese Ziehmarker und Schieberegler sind alle synchronisiert, und wenn Sie einen bewegen, bewegen sich auch die anderen. Diese Schieberegler legen den neuen Wahrscheinlichkeitsschwellenwert fest, den Punkt, der die binäre Klassifizierung bestimmt, ob das Modell vorhersagt, dass Sie einen Donut verzehren werden. Durch die Erhöhung des Grenzwerts wird ein strengerer Schwellenwert für das Modell zur Vorhersage des Donut-Verbrauchs festgelegt und umgekehrt. Wenn Sie den Schwellenwert beispielsweise auf 0,8 festlegen, bedeutet dies, dass Prob[Donut] > 0,8 sein muss, damit das Modell vorhersagen kann, dass Sie einen Donut konsumieren werden. Andernfalls wird vorhergesagt, dass Sie keinen Donut konsumieren werden.
Zusatzfunktionen
Die Schaltfläche „Fehlklassifizierung minimieren“ legt den optimalen Grenzwert fest, der die Summe falsch positiver und falsch negativer Ergebnisse minimiert. Im Gegenzug maximiert es auch den MCC.
Minimizing MisclassificationMinimizing MisclassificationMinimizing MisclassificationMinimizing MisclassificationMinimierung von Fehlklassifizierungen
Im benutzerdefinierten roten Dreieck „Schwellenwert-/Grenzwertanalyse“ oben haben Sie die Möglichkeit, zusätzlich zu einer kumulativen Gewinnkurve, wenn Sie ein Pro-Benutzer sind, unten in der Ausgabe eine Liftkurve anzuzeigen. Diese Optionen sind auch für jede Validierungskategorie unter dem roten Dreieck für Leistungskennzahlen verfügbar, wenn eine Validierungsspalte verwendet wird.
Expanding with Further AnalysisExpanding with Further AnalysisExpanding with Further AnalysisExpanding with Further AnalysisErweiterung durch weitere Analyse
Außerdem sehen Sie die Menüoption „Kostenbasierter Schwellenwert“, die ein neues Fenster öffnet, das einen optimalen Schwellenwert basierend auf den Klassifizierungskosten berechnet. Angenommen, Sie haben eine Donut-Konsumprävalenz von 0,5, TP- und TN-Klassifizierungskosten von 0, FP-Kosten von 1 und FN-Kosten von 3. In diesem Beispiel ist eine falsch-negative Donut-Klassifizierung für Sie dreimal teurer als eine falsch-positive. Möglicherweise würden sich die Leute dreimal mehr über einen Mangel an Donuts aufregen als über einen Überschuss. Bei diesen Kosten liegt der optimale Schwellenwert bei 0,25, den Sie manuell in das Zahlenbearbeitungsfeld eingeben können.
Cost Based ThresholdingCost Based ThresholdingCost Based ThresholdingCost Based ThresholdingKostenbasierte Schwellenwertbestimmung Schließlich haben Sie die Möglichkeit, eine neue Klassifizierungsspalte in Ihrer ursprünglichen Datentabelle zu speichern, wodurch eine neue Verbrauchsspalte basierend auf dem aktuellen Cutoff erstellt wird.
Saving a New Classification ColumnSaving a New Classification ColumnSaving a New Classification ColumnSaving a New Classification ColumnSpeichern einer neuen Klassifizierungsspalte
Abschluss
Dieses Add-In ist ein äußerst leistungsstarkes Tool zur Bewertung von Grenzwerten in jedem Klassifizierungsmodell, unabhängig davon, ob es um die Vorhersage des Donut-Verbrauchs oder der Fehlerraten in der Fertigung geht. Da alle Grafiken und Tabellen auf einer hochgradig interaktiven Plattform verfügbar sind, sind Datenvisualisierung und Modellschwellenwerteinstellung unkompliziert.
Welche Art von Modellen evaluieren Sie mit diesem Add-in? Lassen Sie mich in den Kommentaren unten wissen, wenn Sie Vorschläge haben!
