Lautsprecher
|
Transkript
|
| Michael Crotty |
Hallo. Vielen Dank fürs Einschalten |
| |
Unser Vortrag über das Add-In zur unausgeglichenen Klassifizierung, mit dem Sie Stichprobentechniken und -modelle in JMP Pro vergleichen können. |
| |
Ich bin Michael Crotty. Ich bin einer dieser Statistikautoren im Dokumentationsteam von JMP und meine heutige Co-Moderatorin ist Colleen McKendry, ebenfalls im Statistikdokumentationsteam. Und das ist eine Arbeit, an der wir mit Marie Gaudard zusammengearbeitet haben. |
| |
Hier ist ein kurzer Überblick über unseren heutigen Vortrag. Wir werden uns den Zweck des von uns erstellten Add-Ins ansehen, einige Hintergrundinformationen zum Problem der unausgeglichenen Klassifizierung und wie Sie in dieser Situation ein Klassifizierungsmodell erhalten. |
| |
Wir werden uns einige Stichprobenmethoden ansehen, die wir in das Add-In integriert haben und die für das Problem der unausgeglichenen Klassifizierung beliebt sind. |
| |
Wir werden uns die Optionen ansehen, die im Add-In verfügbar sind |
| |
und besprechen Sie, wie Sie das Add-In erhalten. Anschließend zeigt Colleen ein Beispiel und eine Demo des Add-Ins. |
| |
In den in der Community verfügbaren Folien finden Sie außerdem Referenzen und einen Anhang mit zusätzlichen Hintergrundinformationen. |
| |
Der Zweck unseres Add-Ins, des Add-Ins zur unausgeglichenen Klassifizierung, ermöglicht es Ihnen, eine Vielzahl von Stichprobentechniken anzuwenden, die für unausgeglichene Daten entwickelt wurden. |
| |
Sie können die Ergebnisse der Anwendung dieser Techniken zusammen mit verschiedenen Vorhersagemodellen vergleichen, die in JMP Pro verfügbar sind. |
| |
Und Sie können diese Modelle und Stichprobentechnikanpassungen mithilfe von Präzisions-Recall-Kurven, ROC-Kurven und Gains-Kurven sowie anderen Maßen vergleichen. |
| |
Dadurch können Sie einen Schwellenwert für die Klassifizierung anhand der Kurven auswählen. |
| |
Darüber hinaus können Sie die Sampling-Techniken Tomek, SMOTE und SMOTE plus Tomek direkt auf Ihre Daten anwenden, sodass Sie dann vorhandene JMP-Plattformen nutzen können |
| |
Arbeiten Sie mit den neu erfassten Daten fort und optimieren Sie die Modellierungsoptionen, wenn Ihnen die von uns gewählten meist standardmäßigen Methodenoptionen nicht gefallen. |
| |
Und nur eine Anmerkung: Die Stichprobenverfahren Tomek, SMOTE und SMOTE plus Tomek können mit nominalen und ordinalen sowie kontinuierlichen Prädiktorvariablen verwendet werden. |
| |
Also einige Hintergrundinformationen zum Problem der unausgeglichenen Daten. |
| |
Im Allgemeinen könnten Sie also eine multinomiale Antwort haben, aber wir konzentrieren uns darauf, dass die Antwortvariable binär ist, und der entscheidende Punkt ist, dass die Anzahl der Beobachtungen auf einer Antwortebene viel größer ist als die Anzahl der Beobachtungen auf der anderen Antwortebene. |
| |
Und wir nennen diese Antwortstufen die Mehrheits- bzw. Minderheitsklassenstufen. Der Minderheitengrad ist also in den meisten Fällen der Grad des Interesses, den Sie vorhersagen und erkennen möchten. Dies könnte etwa der Feststellung von Betrug oder dem Vorliegen einer Krankheit oder eines Kreditrisikos entsprechen. |
| |
Und wir wollen die Klassenzugehörigkeit anhand von Regressionsvariablen vorhersagen. |
| |
Dazu haben wir ein Vorhersagemodell entwickelt, das Wahrscheinlichkeiten für die Zugehörigkeit zur Minderheitenklasse zuordnet und dann einen Schwellenwert wählt, der optimiert |
| |
verschiedene Kriterien. Dies können Fehlklassifizierungsraten, Richtig-Positiv-Rate, Falsch-Positiv-Rate und vieles mehr sein. Und dann klassifizieren wir eine Beobachtung, wer zur Minderheitenklasse gehört, wenn die vorhergesagte Wahrscheinlichkeit der Zugehörigkeit zur Minderheitenklasse den gewählten Schwellenwert überschreitet. |
| |
Wie erhalten wir also ein Klassifizierungsmodell? |
| |
Wir haben viele verschiedene Plattformen in JMP, die eine Vorhersage für eine binäre Variable, ein binäres Ergebnis, treffen können |
| |
wenn Regressionsvariablen vorhanden sind, und wir brauchen eine Möglichkeit, diese Modelle zu vergleichen. Nun, es gibt einige traditionelle Maße, wie etwa die Klassifizierungsgenauigkeit, die für unausgeglichene Daten nicht besonders geeignet sind. Und als extremes Beispiel könnten Sie den Fall einer Minderheitenklasse von 2 % betrachten. |
| |
Ich könnte Ihnen eine Genauigkeit von 98 % geben, indem ich alle Beobachtungen einfach als Mehrheitsfälle klassifiziere. Nun, das wäre kein nützliches Modell und Sie würden es nicht verwenden wollen, |
| |
Weil Sie nicht vorhersagen, dass Sie keine Ihrer Zielfälle korrekt auf Minderheitsfälle prognostizieren, sondern nur auf die Gesamtgenauigkeit, lägen Sie bei 98 %, was sich ziemlich gut anhört. |
| |
Dies veranlasste die Menschen dazu, andere Möglichkeiten zur Messung der Klassifizierungsgenauigkeit in einem unausgeglichenen Klassifizierungsmodell zu erkunden. Eine davon ist die Präzisionsrückrufkurve. |
| |
Sie werden häufig bei unausgeglichenen Daten verwendet und stellen den positiven Vorhersagewert oder die Präzision im Vergleich zum echten positiven Rate-Recall dar. |
| |
Und da die Präzision Mehrheitsinstanzen berücksichtigt, reagiert die PR-Kurve empfindlicher auf Klassenungleichgewichte als eine ROC-Kurve. |
| |
Daher ist eine PR-Kurve besser in der Lage, Unterschiede in den Modellen für die unausgeglichenen Daten hervorzuheben. Die PR-Kurve ist also das, was in unserem Bericht für unser Add-In zuerst angezeigt wird. |
| |
Eine andere Möglichkeit, mit unausgeglichenen Klassifizierungsdaten umzugehen, besteht darin, Stichprobenmethoden zu verwenden, die bei der Modellierung der Minderheitenklasse helfen. |
| |
Und im Allgemeinen handelt es sich dabei lediglich um verschiedene Möglichkeiten, die Verteilung der Antworten ausgewogener zu gestalten, was wiederum dazu beiträgt, die Grenzen zwischen den Beobachtungen der Mehrheits- und der Minderheitsklasse besser abzugrenzen. In unserem Add-In haben wir also sieben verschiedene Sampling-Techniken. |
| |
Wir werden nicht zu viel über die ersten vier reden und uns auf die letzten drei konzentrieren, aber sehr schnell bedeutet keine Gewichtung, wie es sich anhört. Wir werden keine Änderungen vornehmen |
| |
Im Wesentlichen dient dies dazu, eine Grundlage dafür zu liefern, was Sie tun würden, wenn Sie keine Stichprobenmethode anwenden würden, um das Ungleichgewicht zu berücksichtigen. |
| |
Durch die Gewichtung werden die Minderheitenfälle übergewichtet, sodass die Summe der Gewichte der Mehrheitsklasse und der Minderheitsklasse gleich ist. |
| |
Durch zufällige Unterabtastung werden Mehrheitsfälle zufällig ausgeschlossen, um zu einem ausgeglichenen Fall zu gelangen, und durch zufällige Überabtastung werden zufällige Replikationen durchgeführt |
| |
Minderheitenfälle wieder zu beseitigen, um zu einem ausgeglichenen Zustand zu gelangen. |
| |
Und dann werden wir in den folgenden Folien mehr über die nächsten drei fortgeschritteneren Methoden sprechen. |
| |
Die erste der fortgeschrittenen Methoden ist SMOTE, was für „Synthetic Minority Oversampling Technique“ steht. |
| |
Dabei handelt es sich im Grunde genommen um eine ausgefeiltere Form der Überabtastung, da wir unseren Daten mehr Minderheitsfälle hinzufügen. |
| |
Wir tun dies, indem wir neue Beobachtungen generieren, die den vorhandenen Beobachtungen der Minderheitenklasse ähneln, aber wir replizieren sie nicht einfach wie beim Oversampling. |
| |
Wir verwenden also die Gower-Distanzfunktion und führen K nächste Nachbarn für jede Beobachtung einer Minderheitsklasse durch. Anschließend werden Beobachtungen generiert, um den durch diese Nachbarn definierten Raum auszufüllen. |
| |
Und in dieser Grafik können Sie sehen, ob wir diesen Minderheitenfall hier in Rot haben. Wir haben die drei nächsten Nachbarn ausgewählt. |
| |
Und wir werden zufällig eines davon auswählen. Es ist zufällig dieser Fall hier unten, und dann generieren wir einen Fall, einen weiteren Minderheitsfall, der sich irgendwo in diesem kleinen schattierten Kästchen befindet. Und das in zwei Dimensionen. Wenn du hättest |
| |
n Dimensionen Ihrer Prädiktoren, dann wäre dieser schattierte Bereich ein n-dimensionaler Raum. |
| |
Aber ein wichtiger Punkt ist, dass Sie die Anzahl der nächsten Nachbarn wählen können, die Sie möchten |
| |
Wählen Sie zufällig zwischen, und Sie können auch auswählen, wie oft Sie dies ausführen möchten |
| |
Dieser Algorithmus pro Minderheitsfall. |
| |
Die nächste Stichprobenmethode sind Tomek-Links. Und was diese Methode bewirkt, ist, dass sie versucht, die Grenze zwischen der Minderheits- und der Mehrheitsklasse besser zu definieren. Dazu werden Beobachtungen aus der Mehrheitsklasse entfernt, die den Beobachtungen der Minderheitsklasse nahe kommen. |
| |
Auch hier verwenden wir die Gower-Distanz, um Tomek-Links zu finden, und Tomek-Link ist ein Paar nächster Nachbarn, die in verschiedene Klassen fallen. Also eine Mehrheit und eine Minderheit, die einander am nächsten liegen. |
| |
Und um die Überlappung dieser Instanzen zu verringern, können ein oder beide Mitglieder des Paares entfernt werden. In der Hauptoption unseres Add-Ins, der Option „Modelle auswerten“, entfernen wir nur die Mehrheitsinstanz. Bei der Tomek-Option können Sie jedoch beide Formen der Entfernung verwenden. |
| |
Und schließlich ist die letzte Probenahmemethode SMOTE plus Tomek. Dadurch werden die beiden vorherigen Stichprobenmethoden kombiniert. |
| |
Und die Art und Weise, wie sie kombiniert werden, besteht darin, dass dieser Modusalgorithmus angewendet wird, um neue Minderheitenbeobachtungen zu generieren. Sobald Sie dann Ihre Originaldaten und eine Reihe generierter neuer Minderheitenfälle haben, |
| |
tt gilt für den Tomek-Algorithmus, um Paare nächster Nachbarn zu finden, die in verschiedene Klassen fallen. Und bei dieser Methode werden beide Beobachtungen im Tomek-Paar entfernt. |
| |
Das Add-In für die unausgeglichene Klassifizierung verfügt also bei der Installation über vier Optionen, die alle als Untermenüelemente im Add-In-Menü angezeigt werden. |
| |
Die erste Option ist die Option „Modelle bewerten“, mit der Sie eine Vielzahl von Modellen mithilfe verschiedener Stichprobentechniken anpassen können. Die nächsten drei sind nur eigenständige Dialoge, um die drei Sampling-Techniken durchzuführen, über die wir gerade gesprochen haben. |
| |
In der Option „Modelle bewerten“ des Add-Ins wird daher ein unausgeglichener Klassifizierungsbericht bereitgestellt, der den Vergleich der Kombinationen aus Modell und Stichprobentechnik erleichtert. |
| |
Es zeigt die PR-Kurve und die ROC-Kurven sowie die Gains-Kurven und für die PR- und ROC-Kurven die Fläche unter der Kurve. Im Allgemeinen gilt: Je größer die Fläche unter jeder dieser Kurven, desto besser passt ein Modell . |
| |
Es stellt das Diagramm der vorhergesagten Wahrscheinlichkeiten nach Klasse bereit, das Ihnen hilft, sich ein Bild davon zu machen, wie jedes Modell passt. |
| |
Außerdem wird eine Datentabelle zu Techniken und Schwellenwerten bereitgestellt. Diese Tabelle enthält ein Skript, mit dem Sie den Bericht reproduzieren können |
| |
Dies wird erstellt, wenn Sie das Add-In zum ersten Mal ausführen. Und wir möchten betonen, dass Sie, wenn Sie dies ausführen, Ihre Ergebnisse speichern möchten, ohne das Ganze neu zu schreiben |
| |
Mithilfe des Algorithmus für Modellierungs- und Stichprobenmethoden können Sie diese Tabelle mit Techniken und Schwellenwerten speichern und so Ihre Ergebnisse speichern und den Bericht reproduzieren. |
| |
Schauen wir uns nun den Dialog für die Option „Modelle bewerten“ an. Sie können aus einer Reihe von Modellen und Probenahmetechniken wählen. |
| |
Sie können Ihre binäre Klassenvariable und alle Ihre X-Prädiktoren eingeben und dann |
| |
Wir, um alle Modelle und und zu passen |
| |
Um sie anhand eines Testsatzes auszuwerten, teilen wir die Daten nach dem Zufallsprinzip in Trainingsvalidierungs- und Testsätze auf. Sie können mehr bereitstellen ... Sie können die Proportionen festlegen, die in jedes dieser Sets einfließen. |
| |
Wenn Sie die Ergebnisse reproduzieren möchten, gibt es eine Option für zufällige Startwerte. Und dann gibt es noch SMOTE-Optionen |
| |
das habe ich zuvor angespielt, wobei Sie die Anzahl der nächsten Nachbarn auswählen können, aus denen Sie einen als nächsten Nachbarn auswählen können, der zum Generieren eines neuen Falls verwendet wird, und die Replikation jedes Minderheitenfalls angibt, wie oft Sie den Algorithmus für jede Minderheit wiederholen Überwachung. |
| |
Auch hier gibt es drei weitere Sampling-Optionen |
| |
Optionen im Add-In und diese entsprechen Tomek, SMOTE und SMOTE plus Tomek. Bei der Tomek-Stichprobenoption werden Ihrer Datentabelle zwei Spalten hinzugefügt, die als Gewichtungen für die Vorhersage verwendet werden können ... für jedes Vorhersagemodell, das Sie erstellen möchten. |
| |
Die erste Spalte entfernt nur die Mehrheit der nächsten Nachbarn im Link und die andere entfernt beide Mitglieder des Tomek-Links, Sie haben also diese Option. |
| |
SMOTE-Beobachtungen fügen Ihrer Datentabelle synthetische Beobachtungen hinzu. |
| |
Außerdem wird eine Quellspalte bereitgestellt, sodass Sie identifizieren können, welche |
| |
Beobachtungen wurden hinzugefügt. Und SMOTE plus Tomek fügen synthetische Beobachtungen und die Gewichtungsspalte hinzu, die beide Mitglieder der Tomek-Verknüpfung entfernt. |
| |
Und die Gewichtungsspalte aus der Tomek-Stichprobe und SMOTE plus Tomek, |
| |
Es handelt sich lediglich um eine Indikatorspalte, die Sie als Gewicht in einer JMP-Modellierungsplattform verwenden können. Es ist nur eine 1, wenn es enthalten ist, und eine 0, wenn es ausgeschlossen werden soll. |
| |
Die meisten der drei anderen Sampling-Optionsdialoge sehen grundsätzlich gleich aus. |
| |
Eine Option, die auf ihnen und nicht im Optionsdialog „Modelle bewerten“ verfügbar ist, ist „Zwischentabellen anzeigen“. Diese Option erscheint für SMOTE und SMOTE plus Tomek. |
| |
Und im Grunde ermöglicht es Ihnen, Datentabellen anzuzeigen, die bei der Erstellung der SMOTE-Beobachtungen verwendet wurden. Im Allgemeinen müssen Sie es nicht sehen, aber wenn Sie besser verstehen möchten, wie diese Beobachtungen generiert werden, können Sie einen Blick auf diese Zwischentabellen werfen. |
| |
Und sie werden alle in der Dokumentation erklärt. |
| |
Auch hier können Sie das Add-In über die Community beziehen. |
| |
Hier finden Sie die Seite für diesen Vortrag zum Discovery Summit Americas 2020 |
| |
Teil der Gemeinschaft. Und wie ich gerade erwähnt habe, ist im Add-In eine Dokumentation verfügbar. Klicken Sie einfach auf die Schaltfläche „Hilfe“. |
| |
Und jetzt ist es an der Zeit, dass Colleen ein Beispiel in einer Demo des Add-Ins zeigt. |
| Colleen McKendry |
Danke Michael. Ich werde das Add-In jetzt vorführen, und um die Demo durchzuführen, werde ich diese Mammographie-Demodaten verwenden. |
| |
Daher basiert der Mammographiedatensatz auf einem Satz digitalisierter Filmmammogramme, die für eine Untersuchung von Mikroverkalkungen in Mammographiebildern verwendet werden. |
| |
Und in diesen Daten wird jeder Datensatz entweder als 1 oder als 0 klassifiziert. 1 bedeutet, dass im Bild eine Verkalkung zu sehen ist, und eine 0 bedeutet, dass keine vorhanden ist. |
| |
In diesem Datensatz sind die Bilder, auf denen Sie Verkalkungen sehen, diejenigen, die Sie vorhersagen möchten, und daher ist die Klassenebene eins die Klassenebene, an der Sie interessiert sind. |
| |
Im vollständigen Datensatz gibt es sechs kontinuierliche Prädiktoren und etwa 11.000 Beobachtungen. |
| |
Um die Laufzeit in dieser Demo zu verkürzen, verwenden wir jedoch nur eine Teilmenge des vollständigen Datensatzes. Es wird also etwa die Hälfte der Beobachtungen sein. Also etwa 5500 Beobachtungen. |
| |
Und die Beobachtungen, die als 1 klassifiziert sind, also die Dinge, die Sie interessieren, machen etwa 2,31 % der gesamten Beobachtungen aus, sowohl im vollständigen Datensatz als auch im Demo-Datensatz, den wir verwenden. Wir haben also einen Minderheitenanteil von etwa 2 %. |
| |
Und jetzt werde ich auf JMP umsteigen |
| |
Zu |
| |
Ich habe also die Mammographie-Demodaten. |
| |
Und wir werden es öffnen und ich habe das Add-In bereits installiert. Ich habe also das Add-in „Unausgeglichene Klassifizierung“ in meinem Dropdown-Menü und werde die Option „Modelle bewerten“ verwenden. |
| |
Hier haben wir also das Startfenster, und wir werden die binäre Klassenvariable und Ihre Prädiktorvariablen spezifizieren, wir werden alle Modelle und alle Techniken auswählen und wir werden spezifizieren |
| |
ein zufälliger Samen. |
| |
Und klicken Sie auf OK. |
| |
Und während dies läuft, werde ich erklären, was tatsächlich im Hintergrund passiert. Das Add-In teilt also zunächst die Datentabelle in einen Trainingsdatensatz und einen Testdatensatz auf. |
| |
Sie haben also zwei separate Datentabellen und dann werden diese Beobachtungen innerhalb der Trainingsdatentabelle weiter in Trainings- und Validierungsbeobachtungen aufgeteilt und die Validierung wird bei der Modellanpassung verwendet. |
| |
Sobald Sie also diese beiden Datensätze haben, |
| |
Es gibt Indikatorvariablen ... Indikatorspalten, die der Trainingsdatentabelle für jede der von Ihnen angegebenen Stichprobentechniken hinzugefügt werden, mit Ausnahme derjenigen, die SMOTE beinhalten. |
| |
Daher werden diese Spalten hinzugefügt und als Gewichtungsspalten verwendet. Sie geben lediglich an, ob die Beobachtung in die Analyse einbezogen werden soll oder nicht. |
| |
Wenn Sie mit SMOTE ein Stichprobenverfahren angeben, werden der Datentabelle zusätzliche Zeilen hinzugefügt. Das sind die generierten Beobachtungen. |
| |
Sobald also Ihre Spalten und Zeilen für jedes Modell generiert sind, wird jedes Modell an jede Stichprobentechnik angepasst. Und wenn Sie alle auswählen |
| |
Wie wir gerade hier gemacht haben, sind es insgesamt 42 verschiedene Modelle, die fit gemacht werden. Und das ist alles, was gerade passiert. In |
| |
In der aktuellen Demo sind 42 Modelle fit. Sobald die Modelle fit sind, werden die relevanten Informationen gesammelt und in einem Ergebnisbericht zusammengefasst. Und dieser Bericht, |
| |
der hoffentlich bald auftauchen wird, hier ist er, dieser Bericht wird hier angezeigt. Außerdem erhalten Sie eine Tabelle mit Techniken und Schwellenwerten sowie eine Übersichtstabelle. |
| |
Deshalb werfen wir einen Blick darauf, was Sie erhalten, wenn Sie das Add-In ausführen. Also zuerst haben wir das Trainingsset. Und Sie können sehen, dass hier die Gewichtungsspalten sind, die Gewichtsspalten, die hinzugefügt werden. Und das sind die Spalten, die für die vorhergesagten Wahrscheinlichkeiten für diese Beobachtungen hinzugefügt werden. |
| |
Dann haben wir das Testset. Diese enthält keine dieser Gewichtungsspalten, aber die vorhergesagten Wahrscheinlichkeiten für die Testsatzbeobachtungen. |
| |
Wir haben den Ergebnisbericht |
| |
und die Datentabelle zu Techniken und Schwellenwerten. Und so erwähnte Michael dies in |
| |
Sie haben den Vortrag bereits zuvor besprochen, aber das ist wichtig, denn das ist das, was Sie speichern möchten, wenn Sie Ihre Ergebnisse speichern und erneut ansehen möchten |
| |
ohne dass das gesamte Skript erneut ausgeführt werden muss. Diese Datentabelle würden Sie also speichern und sie enthält Skripte, die reproduziert werden |
| |
den Ergebnisbericht und die Übersichtstabelle, die ich als letztes zeigen muss. Dies enthält also lediglich Zusammenfassungen für jede Probenahmetechnik und Modellkombination sowie deren AUC-Werte. |
| |
Schauen wir uns nun das eigentliche Ergebnisfenster an. Oben finden wir Dialogspezifikationen. Dies enthält also die Informationen, die Sie im Startfenster angegeben haben. |
| |
Wenn Sie also etwas vergessen, das Sie angegeben haben, etwa Ihren zufälligen Startwert oder die von Ihnen zugewiesenen Proportionen, können Sie es einfach öffnen und einen Blick darauf werfen. |
| |
Und wir haben auch die binäre Klassenverteilung. Also die Verteilung der Klassenvariablen über den Trainings- und Testsatz. Und das ist so konzipiert, dass das Verhältnis gleich sein sollte, in diesem Fall bei 2,3. |
| |
Und dann haben wir auch noch die fehlende Schwelle. Das ist also nicht besonders wichtig, aber es gibt einfach etwas |
| |
Ein Hinweis darauf, ob für einen Wert der Klassenvariablen ein fehlender Vorhersagewert vorhanden ist. Dieser wird hier angezeigt. |
| |
Für die tatsächlichen Ergebnisse haben wir diese tabellarischen Diagramme. Und so haben wir die Präzisions-Recall-Kurven, die ROC-Kurven und die kumulativen Gains-Kurven. Und für die PR-Kurven und die ROC-Kurven haben wir auch die entsprechenden AUC-Werte. |
| |
Wir haben auch diese Diagramme der vorhergesagten Wahrscheinlichkeiten nach Klasse. Und diese sind nützlicher, wenn Sie nur einige davon gleichzeitig ansehen, worauf wir später noch eingehen werden. |
| |
Und dann haben wir einen Datenfilter, der all diese Diagramme und Ergebnisse miteinander verbindet. |
| |
Die tatsächlichen Ergebnisse der Analyse können wir uns jetzt ansehen. Also werde ich diese zuerst sortieren. |
| |
Sie können also bereits sehen, dass es zwischen den Kurven der ROC-Kurve und der PR-Kurve viel mehr Unterschiede zwischen den Kurven gibt als in der ROC-Kurve. |
| |
Und wenn wir die besten, sagen wir, fünf auswählen, haben diese alle tatsächlich eine AUC von 0,97. |
| |
Und man sieht, dass sie alle sehr nah beieinander liegen. Sie liegen praktisch übereinander. Es wäre wirklich schwer zu entscheiden, welches Modell tatsächlich besser ist und welches Sie wählen sollten |
| |
Und hier sind die präzisen Recall-Kurven, insbesondere bei unausgeglichenen Daten, wirklich wichtig. Wenn wir also wieder umschalten, können wir sehen, dass diese Modelle, die die höchsten AUC-Werte für die ROC-Kurven hatten, |
| |
Sie sind in der Präzisionsrückrufkurve sehr weit verteilt. Und das sind sie tatsächlich nicht ... sie haben nicht die höchsten AUC-Werte für die PR-Kurve. |
| |
Vielleicht gibt es also ... vielleicht gibt es ein besseres Modell, das wir auswählen können. |
| |
Jetzt werde ich mir die beiden Top-Trees ansehen und mich auf sie konzentrieren, nämlich Boosted Tree Tomek und SVM Tomek, und ich werde das mithilfe des Datenfilters tun. |
| |
Und dann wollen wir uns nur die zeigen und einbeziehen. |
| |
Jetzt haben wir also die Kurven nur für diese beiden Modelle und die blaue Kurve ist der verstärkte Baum und die rote Kurve ist SVM. |
| |
Und so können Sie in diesen Kurven sehen, dass sie sich bei verschiedenen Werten der echten positiven Rate gewissermaßen überlappen. Und so könnten Sie diese Kurven verwenden |
| |
Sie können auswählen, welches Modell Sie in Ihrer Analyse verwenden möchten, basierend auf einer akzeptablen True-Positive-Rate. Wir können dies also sehen, wenn ich einige Referenzlinien hinzufüge. Entschuldigen Sie meine Hände, die Sie sehen werden, während ich das schreibe. |
| |
Okay, also sagen Sie, dass es sich hier um einige verschiedene echte positive Raten handelt, die Sie interessieren könnten. Wenn Sie also beispielsweise für jeden Datensatz, den Sie haben, eine echte positive Rate von 0,55 wünschen. |
| |
Sie können Ihren Schwellenwert so wählen, dass dieser die tatsächlich positive Rate ergibt. Und dann in diesem Fall, |
| |
Für diese echte positive Rate weist das Tomek-Boosted-Tree-Modell eine höhere Präzision auf. Und so konnten Sie dieses Modell auswählen. |
| |
Wenn Sie jedoch möchten, dass Ihre True-Positiv-Rate etwa 0,85 beträgt, dann ist das SVM-Modell möglicherweise die bessere Wahl, da es eine höhere Präzision für diese spezifische True-Positiv-Rate aufweist. |
| |
Und wenn Sie dann eine höhere True-Positiv-Rate von 0,95 hätten, würden Sie noch einmal umdrehen und vielleicht das Boosted-Tree-Modell wählen. |
| |
So können Sie anhand dieser Kurven auswählen, welches Modell für Ihre Daten am besten geeignet ist. |
| |
Und jetzt schauen wir uns diese Grafiken noch einmal an, da es nur noch wenige davon gibt. Und dies zeigt lediglich die Verteilung der vorhergesagten Wahrscheinlichkeiten für jede Klasse für die von uns ausgewählten Modelle. In diesem speziellen Fall können Sie sehen, dass es in SVM eine Mehrheit gibt |
| |
Wahrscheinlichkeiten im gesamten Bereich der vorhergesagten Wahrscheinlichkeiten, wobei der Boosted Tree sie besser am unteren Ende hält. |
| |
Das war's also mit dieser speziellen Demo, aber bevor wir fertig sind, wollte ich noch etwas zeigen. Das war also ein Beispiel dafür, wie Sie die Bewertung verwenden würden |
| |
Modelle Option. Angenommen, Sie möchten lediglich eine bestimmte Sampling-Technik verwenden. Und das können Sie hier tun. Das Startfenster sieht also weitgehend gleich aus. Und Sie können Ihre Binärklasse und Ihre Prädiktoren zuweisen und auf OK klicken. |
| |
Und dadurch wird eine neue Datentabelle generiert und Sie haben Ihre |
| |
Indikatorspalte. |
| |
Ihre Indikatorspalte, die lediglich anzeigt, ob die Beobachtung in die Analyse einbezogen werden soll oder nicht. |
| |
Und weil es SMOTE plus Tomek war, gibt es auch alle diese von SMOTE generierten Beobachtungen. |
| |
Jetzt haben Sie diese neue Datentabelle und können jede Art von Modell mit allen gewünschten Optionen verwenden. Verwenden Sie einfach diese Spalte als Ihre Gewichts- oder Häufigkeitsspalte und gehen Sie von dort aus weiter. Und das ist das Ende unserer Demo für das Add-In für die unausgeglichene Klassifizierung. Danke fürs zuschauen. |
