Hallo zusammen, gutes neues Jahr 2021.
Ich arbeite an einem Klassifizierungsproblem mit einer binären Antwort namens Gruppe (o und 1 Zustände), wie in der angehängten xls-Datei angegeben. Insgesamt gibt es 13 Prädiktoren, von denen 2 kategorisch sind. Diese Tabelle ist das Ergebnis von Bereinigung, Funktionsauswahl und Clustering (um Kollinarität zu entfernen). Da der Gruppenstatus 1 in Bezug auf den Status 0 stark unausgeglichen ist, habe ich die SMOTE + TOMEK-Addins verwendet, um die Antwort auszugleichen. Die hinzugefügten Zeilen sind an der Spalte Quelle erkennbar. Ich habe mehrere Klassifizierungsmodelle ausgeführt, deren Ergebnisse in der angehängten ppt-Datei "The NN is the" enthalten sind eine mit dem höchsten R2 und dem niedrigeren Fehlklassifizierungsfehler, während die Naive Bayes die schlechteste mit etwa 0,2 Fehlklassifizierungsfehlern ist. Da ich Angst vor einem Modell mit 0 Fehlkalibrierungsfehlern (Überanpassung) habe, welches ist Ihrer Meinung nach das zuverlässigste Modell (das Modell, das einmal bereitgestellt wurde, weist denselben Fehlklassifizierungsfehler auf)?
Danke Felice
Ein paar Dinge, die mir bei meinem kurzen Blick auf Ihre Ergebnisse aufgefallen sind.
Erstens ist dies eine JMP-Community, daher wäre eine JMP-Datei einer Excel-Datei vorzuziehen. Schließlich habe ich die Daten als erstes in JMP abgelegt, damit ich sie sehen kann! Außerdem hätten Sie Ihre verschiedenen Modelle als Skripte speichern können, die erneut ausgeführt werden könnten, um die von Ihnen versuchten Optionen anzuzeigen.
Ich weiß nicht, wie Sie SMOTE + TOMEK implementiert haben, um die Antworten auszugleichen, aber es gibt andere Möglichkeiten, wie Sie versuchen können, die Antworten auszugleichen. Sie könnten überabgetastet, einige der häufigeren Fälle ignoriert, Zeilen für Training / Validierung / Test anhand einer geschichteten Stichprobe der Antwort zugewiesen haben usw. Unabhängig davon, ob Sie sich um das "perfekte" Modell kümmern, könnten diese Modelle aufgreifen Wie wurde der Abgleich durchgeführt? Wenn ein Algorithmus den Ausgleich durchführt, kann ein Modell / Algorithmus dies möglicherweise erklären.
Unter der Annahme, dass der Ausgleich den Modellierungsaufwand nicht beeinflussen kann, haben Sie Ihre Daten in Training, Validierung und Test aufgeteilt. Ihr Testsatz sollte ein Hinweis auf die tatsächliche Leistung sein, daher glaube ich nicht, dass eine Überanpassung vorliegt. Das Testset wird im Anpassungsprozess überhaupt nicht verwendet. Wenn Sie der Meinung sind, dass das Modell zu gut ist, stellen Sie sicher, dass Ihre Daten (und insbesondere der Testsatz) für Ihren Prozess repräsentativ sind.
Es gibt 89 Zeilen ohne Validierungswert. Warum? Schließen Sie diese Zeilen von Ihrer Analyse aus? Warum?
Anscheinend haben Sie alle Standardwerte für einen verstärkten Baum verwendet. Beachten Sie, dass ein standardmäßig verstärkter Baum 50 Ebenen hat und Ihre Endergebnisse zeigen, dass alle 50 Ebenen verwendet wurden. Das bedeutet, dass Sie einen besseren Baum haben können, indem Sie mehr verstärkte Ebenen verwenden. Hier ist ein Ergebnis, wenn ich eine sehr hohe Anzahl von Ebenen angegeben habe.
Die Support-Vektor-Maschine lieferte auch eine perfekte Anpassung entsprechend der Fehlklassifizierungsrate. Warum nicht darüber nachdenken?
Die einzige Möglichkeit, wirklich Vertrauen in ein Modell zu haben, besteht darin, es für neue Daten zu verwenden. Warum nicht mit allen drei Maschinen fortfahren (mehrschichtiger Boosted Tree, neuronales Netz und Support-Vektor-Maschinen) und die Daten bestimmen lassen, welche wirklich besser funktioniert?
Ciao Dan, danke für deine Mail.
Über die XLS-Datei haben Sie Recht. Das nächste Mal werde ich die jmp-Datei anstelle der Excel-Datei freigeben.
Die Smoke + Tomek-Addins haben keinen Einfluss auf das Modell. Mit und ohne ist die Leistung genau gleich.
Für einige der von mir entwickelten Modelle habe ich nur die von JMP vorgeschlagenen Hyperparameterwerte verwendet. Du hast recht.
Die 89 Instanzen, auf die Sie sich beziehen, wurden nicht zur Entwicklung des Modells verwendet.Ich habe die Modellleistung auch an diesen nicht gesehenen 89 Beispielen überprüft (neben der Testgruppe). Auch in diesem Fall bestätigten die Modelle die gute Leistung der Trainings- / Testgruppen. Alles scheint in Ordnung zu sein.
Wie Sie vorschlagen, besteht die einzige Möglichkeit, sich über die Zuverlässigkeit von Modellen zu vergewissern, darin, die Bereitstellung durchzuführen und die Leistung nicht sichtbarer Daten zu überprüfen.
