GenReg für Variablenauswahl AusgabeEiner meiner Kunden verwendet GenReg für die Variablenauswahl und experimentiert mit Lasso und Elastic Net.
Ihr Modell hat 14 Haupteffekte mit den zugehörigen quadratischen und Wechselwirkungstermen (viele zu untersuchende Variablen).
Nach dem Ausführen von Lasso oder Elastic Net enthält das endgültig erstellte Modell alle Terme, wobei keine Terme auf Null gesetzt wurden.Das Ergebnis ist seltsam, insbesondere wenn man bedenkt, dass bei der schrittweisen Durchführung derselben Analyse Terme aus dem Modell ausgelassen werden.
Ist diese Art von Verhalten schon einmal bei der Verwendung von Lasso oder Elastic Net aufgetreten?
Betreff: GenReg für Variablenauswahl ProblemIch danke Ihnen allen für Ihre Vorschläge. Nach einer Debug-Sitzung mit dem Kunden und @jiancao Wir waren endlich in der Lage, ihr Problem zu verstehen, das größtenteils damit zusammenhing, dass zu viele Daten (250.000 Zeilen) zum Trainieren des Modells verwendet wurden. Die einzigartigen Merkmale und das Datenvolumen trieben den Modellfehler auf ein sehr geringes Niveau, was dann zu einer Situation führte, in der jeder Term begann, ein gewisses Maß an Signifikanz zu zeigen (keine Terme wurden auf Null gesetzt).
Durch die Verwendung eines kleineren, gleichermaßen repräsentativen Datensatzes (15.000 Zeilen) konnten wir Lasso und Elastic-Net dazu bringen, eine Variablenauswahl durchzuführen und ein nützliches Modell für ihre Anwendung zu erstellen.
Betreff: GenReg für Variablenauswahl ProblemHallo Nick,
Obwohl sie wahrscheinlich gründlich über die Validierung nachgedacht haben, ist es eine gute Sache, ihre Daten mit einer zufälligen Validierung zu versehen? Möglicherweise haben sie kategoriale Werte, bei denen Sie die Validierung möglicherweise nach einem dieser kategorialen Werte stratifizieren möchten.
Als Nächstes versucht Pete, wie Pete die Vorwärtsauswahl in GenReg vorgeschlagen hat, um zu sehen, ob dies einen Unterschied zu Lasso bei der Auswahl von Variablen macht. Vielleicht möchten Sie auch das zweistufige Lasso und die zweistufige Vorwärtsauswahl verwenden.
Wie sieht der Lösungspfad aus, gibt es Modelleffekte, die gegen Null schrumpfen (nur nicht 0 treffen) oder gar nicht (mehr horizontale Linien)?
Abschließend können Sie den Kunden bitten, Bootstrap Forest mehrmals zu überprüfen und zu überprüfen, ob die Variablen immer noch alle wichtig sind, oder ob einige von ihnen einmal wichtig sind, die anderen nicht. Die Reihenfolge ist also nicht konsistent (kleine Änderungen innerhalb der oberen paar sind in Ordnung, aber große Änderungen sind kritisch). Dadurch erfahren Sie, dass in den Daten etwas vor sich geht, das vor der weiteren Modellierung herausgefunden werden muss.
Zu guter Letzt, verwenden Sie adaptives Lasso oder nicht? Wenn Ihre Daten stark kollinear sind (würde von BF wie verrückt gesehen werden, wenn sich die Reihenfolge ändert;) ), bieten die adaptiven Versionen von Lasso und Elastic Net möglicherweise keine guten Lösungen. Dies liegt daran, dass die adaptiven Versionen davon ausgehen, dass die MLE eine gute Schätzung liefert. Deaktivieren Sie in solchen Fällen die Option Adaptiv.
Am besten,
Martin
Betreff: GenReg für Variablenauswahl ProblemHallo Nick,
Haben sie es mit Vorwärtsauswahl oder Rückwärtseliminierung von GenReg versucht?Wenn sie sehen, dass Variablen schrittweise eliminiert werden, sollten sie sehen, dass dies in GenReg geschieht.
Beinhaltet das Modell Effekte mit hohen p-Werten?
Etwas anderes, das sie im Elastic Net überprüfen können, ist das Elatic Net Alpha, wenn das näher an 0 statt an 1 liegt, funktioniert es eher wie eine Ridge-Regression und führt nicht wirklich eine Variablenauswahl durch.Was ein Lasso angeht, würde ich nur überprüfen, ob sie keine Bedingungen erzwingen, die in die erweiterten Steuerelemente aufgenommen werden.
Betreff: GenReg für Variablenauswahl Problem150.000 Zeilen
Betreff: GenReg für Variablenauswahl ProblemWie viele Reihen?Betreff: GenReg für Variablenauswahl ProblemJa, sie verwenden eine Validierungsspalte.
Betreff: GenReg für Variablenauswahl ProblemWerden sie in Genreg kreuzvalidiert?
