| Lautsprecher |
Transkript |
| Michael Crotty |
Hallo. Vielen Dank fürs Einschalten |
| |
unser Vortrag über das Add-In zur unausgewogenen Klassifizierung, mit dem Sie Sampling-Techniken und Modelle in JMP Pro vergleichen können. |
| |
Ich bin Michael Crotty. Ich bin einer der Statistikautoren im Dokumentationsteam von JMP. Meine Co-Moderatorin heute ist Colleen McKendry, ebenfalls im Statistikdokumentationsteam. Wir haben gemeinsam mit Marie Gaudard an dieser Arbeit gearbeitet. |
| |
Hier ist ein kurzer Überblick über unseren heutigen Vortrag. Wir werden uns den Zweck des von uns erstellten Add-Ins ansehen, einige Hintergründe zum Problem der unausgewogenen Klassifizierung erläutern und wie man in dieser Situation ein Klassifizierungsmodell erhält. |
| |
Wir werden uns einige Sampling-Methoden ansehen, die wir in das Add-In aufgenommen haben und die für das Problem der unausgewogenen Klassifizierung beliebt sind. |
| |
Wir werden uns die Optionen ansehen, die im Add-In verfügbar sind |
| |
und darüber sprechen, wie man das Add-In erhält. Anschließend zeigt Colleen ein Beispiel und eine Demo des Add-Ins. |
| |
In den in der Community verfügbaren Folien finden sich zudem Literaturhinweise und ein Anhang mit weiteren Hintergrundinformationen. |
| |
Der Zweck unseres Add-Ins, des Add-Ins zur unausgewogenen Klassifizierung, besteht darin, dass es Ihnen die Anwendung einer Vielzahl von Sampling-Techniken ermöglicht, die für unausgewogene Daten entwickelt wurden. |
| |
Sie können die Ergebnisse der Anwendung dieser Techniken zusammen mit verschiedenen in JMP Pro verfügbaren Vorhersagemodellen vergleichen. |
| |
Und Sie können diese Modelle und die Anpassungen der Stichprobenverfahren mithilfe von Präzisions-Recall-Kurven, ROC-Kurven und Gain-Kurven sowie anderen Maßeinheiten vergleichen. |
| |
Dadurch können Sie einen Schwellenwert für die Klassifizierung anhand der Kurven auswählen. |
| |
Und Sie können die Sampling-Techniken Tomek, SMOTE und SMOTE plus Tomek direkt auf Ihre Daten anwenden, wodurch Sie dann vorhandene JMP-Plattformen nutzen können und |
| |
Wenn Ihnen die von uns gewählten, größtenteils standardmäßigen Methodenoptionen nicht gefallen, können Sie mit den neu abgetasteten Daten fortfahren und die Modellierungsoptionen optimieren. |
| |
Und noch eine Anmerkung: Die Tomek-, SMOTE- und SMOTE-plus-Tomek-Stichprobenverfahren können mit nominalen und ordinalen sowie kontinuierlichen Prädiktorvariablen verwendet werden. |
| |
Also einige Hintergrundinformationen zum Problem der unausgewogenen Daten. |
| |
Im Allgemeinen könnte man also eine multinomiale Antwort haben, wir konzentrieren uns jedoch darauf, dass die Antwortvariable binär ist. Der entscheidende Punkt ist, dass die Anzahl der Beobachtungen auf einer Antwortebene viel größer ist als die Anzahl der Beobachtungen auf der anderen Antwortebene. |
| |
Wir nennen diese Antwortebenen die Mehrheits- bzw. Minderheitsklassenebenen. Die Minderheitsebene ist in den meisten Fällen die Ebene, die Sie vorhersagen und erkennen möchten. Dies kann beispielsweise die Erkennung von Betrug, Krankheiten oder Kreditrisiken sein. |
| |
Und wir möchten die Klassenzugehörigkeit auf der Grundlage von Regressionsvariablen vorhersagen. |
| |
Um dies zu erreichen, haben wir ein Vorhersagemodell entwickelt, das die Wahrscheinlichkeiten der Zugehörigkeit zur Minderheitenklasse zuordnet und dann einen Schwellenwert wählt, der optimiert |
| |
Verschiedene Kriterien. Dies können Fehlklassifizierungsraten, Richtig-Positiv-Raten, Falsch-Positiv-Raten usw. sein. Anschließend klassifizieren wir eine Beobachtung, die der Minderheitsklasse angehört, wenn die prognostizierte Wahrscheinlichkeit der Zugehörigkeit zur Minderheitsklasse den gewählten Schwellenwert überschreitet. |
| |
Wie erhalten wir also ein Klassifizierungsmodell? |
| |
Wir haben viele verschiedene Plattformen in JMP, die eine Vorhersage für eine binäre Variable, ein binäres Ergebnis treffen können |
| |
Bei Regressionsvariablen benötigen wir eine Möglichkeit, diese Modelle zu vergleichen. Einige traditionelle Messgrößen, wie die Klassifizierungsgenauigkeit, sind für unausgewogene Daten nicht besonders geeignet. Ein extremes Beispiel hierfür wäre eine zweiprozentige Minderheitengruppe. |
| |
Ich könnte Ihnen eine Genauigkeit von 98 % bieten, indem ich alle Beobachtungen als Mehrheitsfälle klassifiziere. Dies wäre jedoch kein nützliches Modell, und Sie würden es nicht verwenden wollen. |
| |
weil Sie keine Vorhersagen treffen ... Sie sagen keine Ihrer Zielfälle oder Minderheitsfälle richtig voraus, aber die Gesamtgenauigkeit würde bei 98 % liegen, was ziemlich gut klingt. |
| |
Dies führte dazu, dass man nach anderen Möglichkeiten suchte, die Klassifizierungsgenauigkeit in einem unausgewogenen Klassifizierungsmodell zu messen. Eine davon ist die Präzisions-Recall-Kurve. |
| |
Sie werden häufig bei unausgewogenen Daten verwendet und stellen den positiven Vorhersagewert bzw. die Präzision der tatsächlichen positiven Trefferquote gegenüber. |
| |
Und da bei der Präzision die Mehrheit der Instanzen berücksichtigt wird, reagiert die PR-Kurve empfindlicher auf Klassenungleichgewichte als eine ROC-Kurve. |
| |
Eine PR-Kurve kann Unterschiede in den Modellen für unausgewogene Daten besser hervorheben. Daher wird die PR-Kurve in unserem Bericht für unser Add-In zuerst angezeigt. |
| |
Eine weitere Möglichkeit, mit unausgewogenen Klassifizierungsdaten umzugehen, besteht in der Verwendung von Stichprobenmethoden, die bei der Modellierung der Minderheitsklasse helfen. |
| |
Im Allgemeinen handelt es sich dabei lediglich um verschiedene Möglichkeiten, die Verteilung der Antworten ausgewogener zu gestalten. Dies trägt wiederum dazu bei, die Grenzen zwischen den Beobachtungen der Mehrheits- und Minderheitsklasse besser abzugrenzen. In unserem Add-In verfügen wir also über sieben verschiedene Stichprobenverfahren. |
| |
Wir werden nicht zu viel über die ersten vier Punkte sprechen und uns auf die letzten drei konzentrieren. Aber kurz gesagt: Keine Gewichtung bedeutet, was es bedeutet. Wir werden keine Änderungen vornehmen, und das ist |
| |
Sie dienen im Wesentlichen dazu, eine Grundlage dafür zu schaffen, was Sie tun würden, wenn Sie keine Stichprobenmethode zur Berücksichtigung des Ungleichgewichts anwenden würden. |
| |
Durch die Gewichtung werden die Fälle der Minderheit übergewichtet, sodass die Summe der Gewichte der Mehrheitsklasse und der Minderheitsklasse gleich ist. |
| |
Zufälliges Undersampling schließt die Mehrheit der Fälle zufällig aus, um zu einem ausgeglichenen Fall zu gelangen, und zufälliges Oversampling repliziert zufällig |
| |
Minderheitsfälle erneut, um einen ausgeglichenen Zustand zu erreichen. |
| |
Und dann werden wir auf den folgenden Folien mehr über die nächsten drei fortgeschritteneren Methoden sprechen. |
| |
Die erste der fortgeschrittenen Methoden ist SMOTE, was für Synthetic Minority Oversampling Technique steht. |
| |
Und dies ist im Grunde eine anspruchsvollere Form der Überabtastung, da wir unseren Daten mehr Minderheitenfälle hinzufügen. |
| |
Wir tun dies, indem wir neue Beobachtungen generieren, die den vorhandenen Beobachtungen der Minderheitsklasse ähnlich sind, wir replizieren sie jedoch nicht einfach wie beim Oversampling. |
| |
Daher verwenden wir die Gower-Distanzfunktion und führen für jede Beobachtung einer Minderheitsklasse K nächste Nachbarn durch. Anschließend werden Beobachtungen generiert, um den durch diese Nachbarn definierten Raum auszufüllen. |
| |
Und in dieser Grafik können Sie hier in Rot sehen, ob wir diesen Minderheitsfall haben. Wir haben die drei nächsten Nachbarn ausgewählt. |
| |
Und wir wählen zufällig einen davon aus. Es ist zufällig dieser hier unten, und dann generieren wir einen weiteren Minderheitsfall, der irgendwo in diesem kleinen schattierten Kästchen liegt. Und das in zwei Dimensionen. Wenn Sie |
| |
n Dimensionen Ihrer Prädiktoren, dann wäre dieser schattierte Bereich ein n-dimensionaler Raum. |
| |
Aber ein wichtiger Punkt ist, dass Sie die Anzahl der nächsten Nachbarn wählen können, die Sie |
| |
Wählen Sie zufällig zwischen, und Sie können auch wählen, wie oft Sie dies durchführen |
| |
dieser Algorithmus pro Minderheitsfall. |
| |
Die nächste Stichprobenmethode sind Tomek-Links. Diese Methode versucht, die Grenze zwischen Minderheits- und Mehrheitsklassen genauer zu definieren. Dazu werden Beobachtungen aus der Mehrheitsklasse entfernt, die nahe an Beobachtungen der Minderheitsklasse liegen. |
| |
Auch hier verwenden wir die Gower-Distanz, um Tomek-Links zu finden. Ein Tomek-Link ist ein Paar nächster Nachbarn, die in verschiedene Klassen fallen. Also eine Mehrheit und eine Minderheit, die einander am nächsten sind. |
| |
Um die Überlappung dieser Instanzen zu reduzieren, können ein oder beide Mitglieder des Paares entfernt werden. In der Hauptoption unseres Add-Ins, der Option „Modelle auswerten“, entfernen wir nur die Mehrheitsinstanz. In der Tomek-Option können Sie jedoch beide Entfernungsmethoden verwenden. |
| |
Und schließlich ist die letzte Sampling-Methode SMOTE plus Tomek. Diese kombiniert die beiden vorherigen Sampling-Methoden. |
| |
Und die Art und Weise, wie es sie kombiniert, besteht darin, dass es diesen Modusalgorithmus anwendet, um neue Minderheitsbeobachtungen zu generieren. Und wenn Sie dann Ihre Originaldaten und eine Reihe von generierten neuen Minderheitsfällen haben, |
| |
tt wendet den Tomek-Algorithmus an, um Paare nächster Nachbarn zu finden, die in unterschiedliche Klassen fallen. Bei dieser Methode werden beide Beobachtungen im Tomek-Paar entfernt. |
| |
Das Add-In für die unausgewogene Klassifizierung verfügt bei der Installation über vier Optionen, die alle als Untermenüelemente im Add-In-Menü angezeigt werden. |
| |
Die erste Option ist die Option „Modelle auswerten“, mit der Sie verschiedene Modelle mithilfe verschiedener Sampling-Techniken anpassen können. Die nächsten drei sind eigenständige Dialoge, in denen Sie die drei Sampling-Techniken anwenden können, über die wir gerade gesprochen haben. |
| |
Die Option „Modelle auswerten“ des Add-Ins bietet einen unausgewogenen Klassifizierungsbericht, der den Vergleich der Kombinationen aus Modell und Stichprobentechnik erleichtert. |
| |
Es zeigt die PR-Kurve und die ROC-Kurven sowie die Gains-Kurven und bei den PR- und ROC-Kurven den Bereich unter der Kurve. Im Allgemeinen gilt: Je größer der Bereich unter jeder dieser Kurven, desto besser passt ein Modell. |
| |
Es stellt eine Darstellung der vorhergesagten Wahrscheinlichkeiten nach Klasse bereit, die Ihnen hilft, sich ein Bild von der Anpassung jedes Modells zu machen. |
| |
Außerdem bietet es eine Datentabelle mit Techniken und Schwellenwerten, und diese Tabelle enthält ein Skript, mit dem Sie den Bericht reproduzieren können. |
| |
das beim ersten Ausführen des Add-Ins erstellt wird. Und wir möchten betonen, dass, wenn Sie dies ausführen und Ihre Ergebnisse speichern möchten, ohne das gesamte |
| |
Mit dem Algorithmus für Modellierungs- und Stichprobenmethoden können Sie diese Techniken und Schwellenwerttabelle speichern. Dadurch können Sie Ihre Ergebnisse speichern und den Bericht reproduzieren. |
| |
Schauen wir uns nun den Dialog zur Modellauswertung an. Dort können Sie aus einer Reihe von Modellen und Stichprobenverfahren auswählen. |
| |
Sie können Ihre binäre Klassenvariable und alle Ihre X-Prädiktoren eingeben und dann |
| |
wir, um alle Modelle passen und und |
| |
Um sie anhand eines Testdatensatzes auszuwerten, teilen wir die Daten zufällig in Trainings-, Validierungs- und Testdatensätze auf. Sie können die Anteile festlegen, die in die einzelnen Datensätze einfließen sollen. |
| |
Es gibt eine Zufallsauswahl, wenn Sie die Ergebnisse reproduzieren möchten. Und dann gibt es noch SMOTE-Optionen |
| |
auf das ich zuvor angespielt habe, wo Sie die Anzahl der nächsten Nachbarn wählen können, aus denen Sie einen als nächsten Nachbarn auswählen, der zum Generieren eines neuen Falls verwendet wird, und die Replikation jedes Minderheitsfalls gibt an, wie oft Sie den Algorithmus für jede Minderheitsbeobachtung wiederholen. |
| |
Auch hier gibt es drei weitere Sampling-Optionen |
| |
Optionen im Add-In und diese entsprechen Tomek, SMOTE und SMOTE plus Tomek. In der Tomek-Sampling-Option werden Ihrer Datentabelle zwei Spalten hinzugefügt, die als Gewichte für die Vorhersage verwendet werden können ... für jedes gewünschte Vorhersagemodell. |
| |
Die erste Spalte entfernt nur den nächsten Nachbarn in der Verknüpfung und die andere entfernt beide Mitglieder der Tomek-Verknüpfung, Sie haben also diese Option. |
| |
SMOTE-Beobachtungen fügen Ihrer Datentabelle synthetische Beobachtungen hinzu. |
| |
Und es wird auch eine Quellenspalte bereitstellen, damit Sie erkennen können, welche |
| |
Beobachtungen wurden hinzugefügt. Und SMOTE plus Tomek fügen synthetische Beobachtungen und die Gewichtungsspalte hinzu, die beide Mitglieder der Tomek-Verbindung entfernt. |
| |
Und die Gewichtungsspalte aus der Tomek-Abtastung und SMOTE plus Tomek, |
| |
Es handelt sich lediglich um eine Indikatorspalte, die Sie als Gewicht in einer JMP-Modellierungsplattform verwenden können. Sie ist einfach eine 1, wenn sie eingeschlossen ist, und eine 0, wenn sie ausgeschlossen werden soll. |
| |
Die meisten der drei anderen Dialoge zur Sampling-Option sehen grundsätzlich gleich aus. |
| |
Eine Option, die in den Modellen und nicht im Dialogfeld „Modelle auswerten“ verfügbar ist, ist die Anzeige von Zwischentabellen. Diese Option wird für SMOTE und SMOTE plus Tomek angezeigt. |
| |
Im Grunde genommen können Sie damit Datentabellen einsehen, die für die Erstellung der SMOTE-Beobachtungen verwendet wurden. Normalerweise ist das nicht unbedingt erforderlich, aber wenn Sie besser verstehen möchten, wie diese Beobachtungen generiert werden, können Sie einen Blick auf die Zwischentabellen werfen. |
| |
Und sie werden alle in der Dokumentation erklärt. |
| |
Auch hier können Sie das Add-In über die Community erhalten. |
| |
Hier geht es zur Seite für diesen Vortrag auf dem Discovery Summit Americas 2020 |
| |
Teil der Community. Und wie ich gerade erwähnt habe, gibt es Dokumentation im Add-In. Klicken Sie einfach auf die Schaltfläche „Hilfe“. |
| |
Und jetzt ist es Zeit für Colleen, in einer Demo des Add-Ins ein Beispiel zu zeigen. |
| Colleen McKendry |
Danke, Michael. Ich werde jetzt das Add-In vorführen und dafür diese Mammographie-Demodaten verwenden. |
| |
Der Mammographie-Datensatz basiert auf einer Reihe digitalisierter Filmmammogramme, die in einer Studie zu Mikroverkalkungen in Mammographiebildern verwendet wurden. |
| |
Und in diesen Daten wird jeder Datensatz entweder als 1 oder als 0 klassifiziert. 1 bedeutet, dass im Bild Verkalkung zu sehen ist, und 0 bedeutet, dass keine Verkalkung zu sehen ist. |
| |
In diesem Datensatz sind es die Bilder, auf denen Sie Verkalkung sehen, die Sie vorhersagen möchten. Daher ist die Klassenstufe eins die Klassenstufe, die Sie interessiert. |
| |
Im vollständigen Datensatz gibt es sechs kontinuierliche Prädiktoren und etwa 11.000 Beobachtungen. |
| |
Um die Laufzeit dieser Demo zu reduzieren, verwenden wir nur eine Teilmenge des gesamten Datensatzes. Es handelt sich also um etwa die Hälfte der Beobachtungen. Also etwa 5500 Beobachtungen. |
| |
Und die Beobachtungen, die als 1 klassifiziert sind, also die Dinge, die Sie interessieren, machen etwa 2,31 % aller Beobachtungen aus, sowohl im vollständigen Datensatz als auch im Demo-Datensatz, den wir verwenden. Wir haben also einen Minderheitenanteil von etwa 2 %. |
| |
Und jetzt werde ich zu JMP wechseln |
| |
Zu |
| |
Ich habe also die Demodaten der Mammographie. |
| |
Und wir öffnen es. Ich habe das Add-In bereits installiert. In meinem Dropdown-Menü befindet sich das Add-In für die unausgewogene Klassifizierung, und ich verwende die Option „Modelle auswerten“. |
| |
Und hier haben wir das Startfenster, und wir werden die binäre Klassenvariable angeben, Ihre Prädiktorvariablen, wir werden alle Modelle und alle Techniken auswählen und wir werden angeben |
| |
ein zufälliger Startwert. |
| |
Und klicken Sie auf „OK“. |
| |
Während dies läuft, erkläre ich, was im Hintergrund passiert. Das Add-In teilt die Datentabelle zunächst in einen Trainingsdatensatz und einen Testdatensatz auf. |
| |
Sie verfügen also über zwei separate Datentabellen. Innerhalb der Trainingsdatentabelle werden diese Beobachtungen dann weiter in Trainings- und Validierungsbeobachtungen aufgeteilt und die Validierung wird bei der Modellanpassung verwendet. |
| |
Und wenn Sie diese beiden Datensätze haben, |
| |
Es gibt Indikatorvariablen ... Indikatorspalten, die der Trainingsdatentabelle für jede der von Ihnen angegebenen Stichprobentechniken hinzugefügt werden, mit Ausnahme derjenigen, die SMOTE beinhalten. |
| |
Daher werden diese Spalten hinzugefügt und als Gewichtungsspalten verwendet. Sie geben lediglich an, ob die Beobachtung in die Analyse einbezogen werden soll oder nicht. |
| |
Wenn Sie eine Stichprobentechnik mit SMOTE angeben, werden der Datentabelle zusätzliche Zeilen hinzugefügt. Dies sind die generierten Beobachtungen. |
| |
Sobald Ihre Spalten und Zeilen generiert sind, wird jedes Modell an die jeweilige Sampling-Technik angepasst. Wenn Sie also alle auswählen, |
| |
Wie wir gerade hier gezeigt haben, werden insgesamt 42 verschiedene Modelle angepasst. Und das ist alles, was gerade passiert. In |
| |
In der aktuellen Demo werden 42 Modelle angepasst. Sobald die Modelle angepasst sind, werden die relevanten Informationen gesammelt und in einem Ergebnisbericht zusammengefasst. Und dieser Bericht, |
| |
Der Bericht wird hoffentlich bald erscheinen. Hier ist er. Außerdem erhalten Sie eine Tabelle mit Techniken und Schwellenwerten sowie eine Übersichtstabelle. |
| |
Wir werden uns ansehen, was Sie erhalten, wenn Sie das Add-In ausführen. Zuerst haben wir den Trainingsdatensatz. Hier sehen Sie die Gewichtungsspalten, die hinzugefügten Gewichtungsspalten. Und dies sind die Spalten, die für die vorhergesagten Wahrscheinlichkeiten dieser Beobachtungen hinzugefügt werden. |
| |
Dann haben wir den Testdatensatz. Dieser enthält keine dieser Gewichtungsspalten, aber die vorhergesagten Wahrscheinlichkeiten für die Beobachtungen des Testdatensatzes. |
| |
Wir haben den Ergebnisbericht |
| |
und die Techniken und Schwellenwerte Datentabelle. Und so erwähnte Michael dies in |
| |
das Gespräch früher, aber das ist wichtig, weil dies die Sache ist, die Sie speichern möchten, wenn Sie Ihre Ergebnisse speichern und Ihre Ergebnisse erneut anzeigen möchten |
| |
ohne das gesamte Skript erneut ausführen zu müssen. Diese Datentabelle wird also gespeichert und enthält Skripte, die reproduzieren |
| |
Der Ergebnisbericht und die Übersichtstabelle, die ich als letztes zeigen muss. Diese enthält lediglich Zusammenfassungen für jede Stichprobentechnik und Modellkombination sowie deren AUC-Werte. |
| |
Schauen wir uns nun das eigentliche Ergebnisfenster an. Oben sehen wir die Dialogspezifikationen. Diese enthalten die Informationen, die Sie im Startfenster angegeben haben. |
| |
Wenn Sie also etwas von dem vergessen, was Sie angegeben haben, beispielsweise Ihren Zufallsstartwert oder die von Ihnen zugewiesenen Proportionen, können Sie es einfach öffnen und nachsehen. |
| |
Und wir haben auch die binäre Klassenverteilung. Also die Verteilung der Klassenvariablen über das Trainings- und das Testset. Diese ist so konzipiert, dass die Anteile gleich sind, was in diesem Fall 2,3 ist. |
| |
Und dann haben wir auch noch den fehlenden Schwellenwert. Das ist zwar nicht super wichtig, aber es gibt |
| |
ein Hinweis darauf, ob ein Wert der Klassenvariable einen fehlenden Vorhersagewert hat, dann wird das hier angezeigt. |
| |
Für die tatsächlichen Ergebnisse stehen uns diese Diagramme mit Registerkarten zur Verfügung. Wir haben die Präzisions-Recall-Kurven, die ROC-Kurven und die kumulativen Gewinnkurven. Für die PR-Kurven und die ROC-Kurven haben wir außerdem die entsprechenden AUC-Werte. |
| |
Wir haben auch diese Diagramme mit den vorhergesagten Wahrscheinlichkeiten nach Klasse. Und diese sind nützlicher, wenn Sie nur einige davon gleichzeitig betrachten, worauf wir später noch eingehen werden. |
| |
Und dann haben wir einen Datenfilter, der alle diese Grafiken und Ergebnisse miteinander verbindet. |
| |
Wir können uns jetzt die tatsächlichen Ergebnisse der Analyse ansehen. Zuerst werde ich diese sortieren. |
| |
Sie können also bereits sehen, dass zwischen den Kurven der ROC-Kurve und der PR-Kurve eine viel größere Differenzierung besteht als zwischen denen der ROC-Kurve. |
| |
Und wenn wir beispielsweise die fünf besten auswählen, haben diese alle tatsächlich einen AUC von 0,97. |
| |
Und Sie sehen, dass sie alle sehr nah beieinander liegen. Sie liegen quasi übereinander. Es wäre wirklich schwer zu entscheiden, welches Modell tatsächlich besser ist, welches Sie wählen sollten. |
| |
Und genau hier, insbesondere bei unausgewogenen Daten, sind die Präzisions-Recall-Kurven wirklich wichtig. Wenn wir also zurückschalten, sehen wir, dass diese Modelle die höchsten AUC-Werte für die ROC-Kurven hatten, |
| |
Sie sind in der Präzisions-Recall-Kurve wirklich weit verstreut. Und sie sind es tatsächlich nicht ... sie haben nicht die höchsten AUC-Werte für die PR-Kurve. |
| |
Vielleicht gibt es da also … vielleicht gibt es ein besseres Modell, das wir auswählen können. |
| |
Ich werde mir jetzt die beiden wichtigsten ansehen und mich auf sie konzentrieren, nämlich Boosted Tree Tomek und SVM Tomek, und ich werde das mithilfe des Datenfilters tun. |
| |
Und dann wollen wir uns nur ansehen, was wir zeigen und einschließen werden. |
| |
Jetzt haben wir also die Kurven nur für diese beiden Modelle und die blaue Kurve ist der verstärkte Baum und die rote Kurve ist SVM. |
| |
Sie können in diesen Kurven sehen, dass sie sich bei verschiedenen Werten der Richtig-Positiv-Rate überlappen. Sie könnten diese Kurven also verwenden, |
| |
Wählen Sie das Modell für Ihre Analyse aus, basierend auf einer akzeptablen Richtig-Positiv-Rate. Wir können dies sehen, wenn ich einige Referenzlinien hinzufüge. Entschuldigen Sie meine Hände, die Sie sehen werden, während ich dies tippe. |
| |
Okay, nehmen wir an, dass dies einige verschiedene Richtig-Positiv-Raten sind, die Sie interessieren könnten. Wenn Sie also beispielsweise für Ihren Datensatz eine Richtig-Positiv-Rate von 0,55 wünschen. |
| |
Sie könnten Ihren Schwellenwert so wählen, dass dies die wahre Positivrate ist. Und dann in diesem Fall, |
| |
Für diese echte Positivrate weist das Tomek-Modell mit Boosted Tree eine höhere Präzision auf. Sie könnten also dieses Modell auswählen. |
| |
Wenn Sie jedoch eine True-Positive-Rate von etwa 0,85 wünschen, ist das SVM-Modell möglicherweise die bessere Wahl, da es für diese spezifische True-Positive-Rate eine höhere Präzision aufweist. |
| |
Und wenn Sie dann eine höhere True-Positive-Rate von 0,95 hätten, würden Sie die Entscheidung erneut treffen und sich vielleicht für das Boosted-Tree-Modell entscheiden. |
| |
So können Sie anhand dieser Kurven das für Ihre Daten am besten geeignete Modell auswählen. |
| |
Und jetzt schauen wir uns diese Graphen noch einmal an, da es nur wenige davon gibt. Sie zeigen die Verteilung der vorhergesagten Wahrscheinlichkeiten für jede Klasse der ausgewählten Modelle. In diesem speziellen Fall sehen Sie, dass in SVM die Mehrheit |
| |
Wahrscheinlichkeiten über den gesamten Bereich der vorhergesagten Wahrscheinlichkeiten, wobei Boosted Tree sie besser am unteren Ende hält. |
| |
Das war's für diese Demo. Bevor wir fertig sind, möchte ich noch etwas zeigen. Das war ein Beispiel dafür, wie Sie die Auswertungsfunktion verwenden. |
| |
Modelle. Angenommen, Sie möchten nur eine bestimmte Stichprobentechnik verwenden. Das können Sie hier tun. Das Startfenster sieht dann weitgehend unverändert aus. Sie können Ihre Binärklasse und Ihre Prädiktoren zuweisen und auf „OK“ klicken. |
| |
Und dies erzeugt eine neue Datentabelle und Sie haben Ihre |
| |
Indikatorspalte. |
| |
Ihre Indikatorspalte, die lediglich anzeigt, ob die Beobachtung in die Analyse einbezogen werden soll oder nicht. |
| |
Und weil es SMOTE plus Tomek war, haben Sie auch alle diese von SMOTE generierten Beobachtungen. |
| |
Sie verfügen nun über diese neue Datentabelle und können jedes beliebige Modell mit beliebigen Optionen verwenden. Nutzen Sie diese Spalte einfach als Gewichts- oder Häufigkeitsspalte und gehen Sie von dort aus weiter. Damit endet unsere Demo zum Add-In für unausgewogene Klassifizierung. Vielen Dank fürs Zuschauen. |
