Szenario: Ich verwende Validierungsdaten, um meine Lassostrafe zu optimieren, und möchte nun alle meine Daten (Training + Validierung) neu anpassen, indem ich diesen optimierten Strafterm angebe.
Ich kann sowieso nicht sehen, dies innerhalb der generalisierten Regressionsplattform zu tun. Was wird hier empfohlen?
Hallo @Mittmann ,
Obwohl ich mir nicht sicher bin, was der tatsächlich zugrunde liegende Algorithmus ist, gibt es nur eine sehr begrenzte Optimierung der Lasso-Modellierung durch L1-Bestrafung. Es ist ziemlich gut darin, unwichtige Faktoren zu verkleinern, aber es ist nicht so toll, wenn Sie Multikollinearität zwischen Faktoren und Antwort haben. Beachten Sie Folgendes: Wenn Sie die Kreuzvalidierung (mithilfe der Validierungsspalte) verwenden, verwendet der Algorithmus diese, um dann mit der Minimierung der Schätzungen für die Faktoren zu beginnen. Dies hilft dem Algorithmus, unwichtige Faktoren auf 0 zu setzen, und vereinfacht das Modell. Wenn Sie es erneut ausführen (auch wenn Sie denselben Gitterabstand/-abstandstyp und Strafanteil verwenden), erhalten Sie am Ende ein anderes Modell, da es eine andere Validierungsmethode verwendet, um das Modell zu vereinfachen. Wenn Sie Modelle vergleichen möchten, die mit Ihrer Validierungsspalte mit Modellen übereinstimmen, die AICc oder K-Fold verwenden, können Sie bei jedem von Ihnen generierten Modell auf die rote heiße Schaltfläche neben der Anpassung gehen und Spalten speichern > Vorhersageformel speichern auswählen. Sie können dann vergleichen, wie gut verschiedene Modelle zur Antwort passen, z. B. unter Modellvergleichsplattform.
Einige andere Gedanken:
1. Sie könnten das Elastic Net in Betracht ziehen, da es sowohl L1 (Lasso) als auch L2 (Ridge) bestrafte Methoden kombiniert. Irgendwie das Beste aus beiden Welten.
2. Vielleicht möchten Sie Bootstrap oder Simulationen mit den Schätzungen für die Faktoren durchführen, um ihre Größe zu bestimmen und festzustellen, ob sie wirklich wichtig sind oder nicht. Achten Sie darauf, die Größe mit dem Standardfehler der Schätzung zu vergleichen, um festzustellen, ob der Fehler größer als die Schätzung selbst ist.
3. Wenn Sie an der Erstellung von Modellen arbeiten, empfiehlt es sich, andere Modellierungsplattformen in JMP zu durchlaufen, um zu sehen, welches Modell besser passt. Es könnte sein, dass ein KNN-, SVM- oder NN-Modell die anderen Modelle in Bezug auf die Vorhersagefähigkeit tatsächlich übertrifft. Schauen Sie sich unbedingt einige der anderen Modellierungsplattformen wie SLS, GenLinReg usw. an. Sie wissen nie, welches Modell am Ende die anderen übertreffen wird.
4. Wenn Sie eine Validierungsspalte für die Kreuzvalidierung verwenden, sollten Sie überlegen, wie Sie die Daten in Training und Validierung partitionieren, da dies die Modellleistung beeinträchtigen kann.
5. Wenn Ihre Daten von einem DOE stammen und Sie die GenReg-Plattform verwenden, ist es als Faustregel am besten, sich auf die ersten fünf Schätzmethoden der GenReg-Plattform zu beschränken.
Hoffe das hilft!,
DS
Das Szenario, an dem ich interessiert bin, ist, wo ich eine feste Datenpartition (Validierungsspalte) verwende und eine bestrafte Regression ausgeführt habe (unabhängig von Lasso, Ridge oder elastischem Netz). Diese geben mir einen Lösungsweg und ein optimiertes Modell basierend auf der skalierten Log-Wahrscheinlichkeit der Validierungsdaten. Der zurückgegebene Abstimmungsparameter könnte verwendet werden, um (schnell) ein aktualisiertes Modell unter Verwendung zusätzlicher Trainingsdaten bei einem im Voraus festgelegten Wert des Abstimmungsparameters anzupassen. Gibt es eine Möglichkeit, Lasso (oder Grat oder elastisches Netz) auszuführen, ohne einen vollständigen Lösungspfad zu generieren?
