Variablenauswahl und Bootstrap ForestHallo,
Ich habe eine Bootstrap-Forest-Analyse mit einem kategorialen Ergebnis mit 230 Features durchgeführt, von denen viele stark korreliert sind. Es gibt einen großen Leistungsunterschied zwischen meinem Training (AUC 0,98) und meinem Validierungssatz (0,68). Da die Daten sehr dimensional sind und viele der Variablen korrelieren, ist eine Variablenreduzierung erforderlich. Kann ich zu diesem Zweck GenReg mit Lasso oder anderen bestraften Techniken verwenden? Meine Daten sind nicht wirklich normalverteilt. Dies ist einer der Gründe, warum ich die Verwendung eines Baummodells vorgezogen habe.
Dank im Voraus,
Lu
Prädiktive Modellierung und maschinelles LernenBetreff: Variablenauswahl und Bootstrap ForestFür mich sind 1050 Fälle und 230 Funktionen eine Einladung zur Überanpassung.Ihr dramatischer Unterschied zwischen der Leistung der Trainings- und Validierungsdaten entspricht dem, was ich von einer Überanpassung erwarten würde.Nach meiner Erfahrung können die Standardeinstellungen in den Modellplattformen von JMP das Problem im Allgemeinen gut vermeiden, aber vielleicht handelt es sich bei Ihren Daten um einen Extremfall.Sie können versuchen, die Baummodelle so zu erzwingen, dass eine Überanpassung vermieden wird (z. B. können Sie die minimale Teilungsgröße erhöhen, um einen einfacheren Baum zu erzwingen).Letztendlich denke ich, dass Sie den Funktionsumfang auf die eine oder andere Weise reduzieren müssen – der Schlüssel liegt darin, die Funktionen zu finden, die wahrscheinlich am wichtigsten sind – und ein gewisses Maß an Sicherheit zu haben, dass Sie über den richtigen Satz verfügen (Korrelationen zwischen die 230 Funktionen könnten das schwierig machen).Sie können auch eine Hauptkomponentenanalyse ausprobieren, um die Anzahl der Features zu reduzieren.
Betreff: Variablenauswahl und Bootstrap Forest@Lu : Als ich von der Schichtung der Antwort über die Ebenen der kategorialen Antwort sprach, bezog ich mich nicht auf die prozentualen Aufteilungen für die Größe der Trainings-, Validierungs- und Testdatensätze. Was ich empfehle, ist, wenn Sie die Antwortspalte als Schichtungsspalte auswählen und dann im Fenster „Methode auswählen“ die Option „Stratifizierte Validierungsspalte“ auswählen. Dies erzwingt einen möglichst gleichen Anteil jeder Ebene der kategorialen Antwort innerhalb der Trainings-, Validierungs- und optional Testsätze. Manchmal führen die Gremlins der reinen Zufallsauswahl zu einem erheblichen Ungleichgewicht in den Ebenen der Antwort, was die Modellvalidierung möglicherweise schwieriger macht. Hier ist eine weitere Dokumentation:
https://www.jmp.com/support/help/en/15.2/#page/jmp/launch-the-make-validation-column-platform.shtml
Was die Vorteile der partiellen kleinsten Quadrate betrifft, bin ich mir nicht sicher, ob es eindeutige Vorteile gibt. Aber eine Sache, in der PLS SEHR gut ist, ist die Erstellung latenter Variablen für Ihre multikollinearen Prädiktoren, die wiederum für Modellierungszwecke verwendet werden können. Es handelt sich also lediglich um eine andere mathematische Behandlung der Prädiktoren im Vergleich zu Lasso, Elastic Net oder einer der baumbasierten Methoden. Weitere Informationen zu diesem Ansatz finden Sie in der JMP-Dokumentation:
https://www.jmp.com/support/help/en/15.2/#page/jmp/partial-least-squares-models.shtml
Meine allgemeine Empfehlung ist, viele verschiedene Modellierungsmethoden auszuprobieren ... sowohl den linearen als auch den nichtlinearen Typ, einschließlich der von erwähnten @Mark_Bailey , und exportieren Sie dann die Ergebnisse jedes Modells entweder auf die Plattformen „Formula Depot“ oder „Modellvergleich“ und sehen Sie, welches Modell am besten funktioniert.
Es gibt keine Methode, die für alle Probleme geeignet ist. Probieren Sie also viele aus und hoffen Sie, dass Sie etwas finden, das funktioniert.
Betreff: Variablenauswahl und Bootstrap ForestSie können auch die Predictor Screening-Plattform verwenden. Es verwendet einen Bootstrap-Forest, um die Variablenbeiträge zu sammeln, die zur Auswahl von Variablen für ein Modell verwendet werden können. Der Bootstrap-Wald sollte Kollinearität größtenteils vermeiden.
Betreff: Variablenauswahl und Bootstrap ForestDanke für die Antworten,
Die Größe des Datensatzes beträgt 1050 Fälle mit 1 kategorialem Y (leicht unausgeglichen 45/55). Die 230 Merkmale, die ich erwähnt habe, sind Variablen (X), nicht die Antwort. Einige davon sind kategorisch, die meisten davon numerisch. Ich habe die geschichtete Trainings-/Validierungs-/Testmethode (60/20/20) für das Modelltraining und die Validierung verwendet.
Was ist der Vorteil von PLS gegenüber Lasso und Elastic Net?
Grüße,
Lu
Betreff: Variablenauswahl und Bootstrap ForestLasso- und Elastic-Net-Methoden können nützlich sein, wenn zwischen den Prädiktorvariablen Multikollinearität besteht. Was mir nicht zu 100 % klar ist, ist, wenn Sie sagen: „...230 Funktionen...“, handelt es sich dabei um kategorische Ebenen der Antwort? Oder Ihr Prädiktorvariablensatz?
Möglicherweise möchten Sie die JMP Pro-Dokumentation zu diesen Methoden lesen:
https://www.jmp.com/support/help/en/15.2/#page/jmp/overview-of-the-generalized-regression-personality.shtml#ww349714
Möglicherweise möchten Sie auch die Methode der partiellen kleinsten Quadrate ausprobieren.
Sie erwähnen nicht die Größe Ihres Datensatzes. Bei einer kategorialen Antwort kann ein kleiner Datensatz manchmal sehr empfindlich auf die Struktur der Trainings-, Validierungs- und optional Testdatensätze reagieren. Haben Sie die einzelnen Antworten nach der Ebene der Antwort geschichtet? Dies ist eine allgemein anerkannte Best Practice für die Erstellung der Trainings-, Validierungs- und Testdatensätze.
