Im Bereich des maschinellen Lernens haben wir es oft mit Daten mit vielen Variablen zu tun, und bei der Verarbeitung solcher Daten kann Multikollinearität auftreten. In solchen Fällen kann eine regulierte Regression wie Lasso verwendet werden, eine Methode zur Vermeidung von Multikollinearität.
In JMP Pro kann die regularisierte Regression als Methode namens „generalisierte Regression“ verwendet werden, die eine stabile Modellschätzung ermöglicht, die die Auswirkungen der Multikollinearität durch Verkleinerung der Parameterschätzungen (Regressionskoeffizienten) und Auswahl von Variablen reduziert.
Das folgende Diagramm zeigt, was passiert, wenn die Regressionskoeffizienten durch das Lasso verkleinert werden. Wenn wir uns den Bericht „Schätzungen für ursprüngliche erklärende Variablen“ ansehen, können wir sehen, dass erklärende Variablen mit kleinen Effekten auf 0 reduziert wurden, was bestätigt, dass Lasso eine Variablenauswahl durchführt.
Wie funktioniert also die Lasso-Regression bei Multikollinearität? In diesem Artikel verwenden wir hypothetische Daten, bei denen die wahre Beziehung zur Antwort (Y) vorbestimmt ist, und untersuchen, wie gut Lasso-Regression, multiple Regressionsanalyse und schrittweise Methoden das wahre Modell schätzen können.
Inhaltsverzeichnis
Virtuelle Daten
Antwortvariable: Y
Erklärende Variablen: X1 bis X20 (20 Variablen)
Y wird aus normalen Zufallszahlen generiert, wobei der Mittelwert eine lineare Kombination mehrerer erklärender Variablen und ein Standardfehler von 10 ist.
Wir werden zwei Arten von Daten in diesem Format vorbereiten und die Wirksamkeit der Lasso-Regression vergleichen.
1. Daten mit geringer Korrelation zwischen erklärenden Variablen
2. Daten mit einem gewissen Grad an Korrelation zwischen erklärenden Variablen (Multikollinearität)
Dadurch können wir untersuchen , wie sich das Vorhandensein oder Fehlen von Multikollinearität auf die Variablenauswahl und die Modellschätzung auswirkt .
*Diese beiden Arten von Beispieldaten sind diesem Artikel beigefügt.
1. Beispiel für Daten mit geringer Korrelation zwischen erklärenden Variablen
Daten : "data_without_correlation.jmp"
Korrelation zwischen erklärenden Variablen (r) : -0,06 bis 0,10
Anhand dieser Daten wurden Modelle mithilfe einer multiplen Regressionsanalyse, einer schrittweisen Regression (Abbruchregel: minimaler BIC) und einer Lasso-Regression (Validierungsmethode: BIC) angepasst. Die erhaltenen Regressionskoeffizienten sind in der folgenden Tabelle zusammengefasst. In der Spalte „Wahre Gleichung“ sind die wahren Koeffizienten der erklärenden Variablen aufgeführt, die zur Generierung von Y verwendet wurden.
Bei der schrittweisen Methode werden die Koeffizienten nicht ausgewählter Variablen als 0 angezeigt, und bei der Lasso-Regression wird ein Koeffizient, der durch Regularisierung auf 0 reduziert wird, ebenfalls als 0 angezeigt.
Diese Ergebnisse bestätigen, dass beide Methoden Modelle schätzen, die nahe an der wahren Gleichung liegen, wobei die Koeffizienten für ineffektive Variablen null oder sehr klein sind.
Mit anderen Worten: Bei Daten mit nahezu keiner Korrelation zwischen den erklärenden Variablen konnten sowohl die multiple Regressionsanalyse als auch schrittweise Methoden und die Lasso-Regression die wahre Antwortbeziehung mit großer Genauigkeit schätzen.
2. Beispiel für Daten mit einem gewissen Grad an Korrelation zwischen erklärenden Variablen
Daten : "data_without_correlation.jmp"
Korrelation zwischen erklärenden Variablen (r)：-0.50～0.52
Bei solchen Daten kann die Korrelation zwischen erklärenden Variablen leicht dazu führen, dass die Schätzungen der Regressionskoeffizienten instabil werden. Wenn Sie für diese Daten eine multiple Regressionsanalyse durchführen, ist der VIF sehr groß und die Auswirkungen der Multikollinearität werden deutlich.
Wie im Fall 1 haben wir Modelle mithilfe einer multiplen Regressionsanalyse, einer schrittweisen Regression und einer Lasso-Regression angepasst und präsentieren eine Tabelle, die die erhaltenen Koeffizienten zusammenfasst.
In der multiplen Regressionsanalyse führten die Effekte der Multikollinearität zu Koeffizienten, die sich signifikant von den wahren Werten unterschieden.
Auch bei der schrittweisen Methode wurden wichtige Variablen nicht ausgewählt, unnötige Variablen ausgewählt und die richtige Variablenauswahl basierend auf der wahren Gleichung nicht durchgeführt.
Andererseits konnten wir mit der Lasso-Regression, wie im Fall 1, ineffektive erklärende Variablen auf 0 reduzieren und nahezu genaue Schätzungen für effektive Variablen erhalten.
3. Simulation für Lasso-Koeffizienten
In den bisherigen Beispielen haben wir Daten verwendet, bei denen die Y-Werte mithilfe der Funktion „Random Normal“ aus einer Menge normaler Zufallszahlen generiert wurden. Da es sich jedoch um Zufallszahlen handelt, können die Ergebnisse je nach ausgewählten Zufallszahlen variieren.
Mit der Funktion „Simulation“ in JMP können Sie Schätzungen basierend auf einer großen Anzahl von Sätzen normaler Zufallszahlen wiederholen, um eine simulierte Verteilung der Regressionskoeffizienten zu erhalten. Dies ermöglicht uns, die Gültigkeit und Zuverlässigkeit der Variablenauswahl mithilfe der Lasso-Regression zu bewerten.
Hier verwenden wir Simulationen, um zu untersuchen, wie häufig ineffektive Variablen auf 0 reduziert werden und wie häufig effektive Variablen als ungleich Null geschätzt werden, wenn eine Lasso-Regression auf „etwas korrelierten Daten“ durchgeführt wird (Fall 2).
Schritte zum Ausführen einer Simulation in JMP
Beim Ausführen einer Lasso-Regression zeigen wir, wie 500 Simulationen der Schätzungen ausgeführt werden.
- Klicken Sie mit der rechten Maustaste auf die Zahl „Geschätzter Wert“ im Lasso-Bericht „Schätzungen für ursprüngliche erklärende Variablen“ und wählen Sie „Simulieren“.
- Es wird ein Simulationsfenster angezeigt. Setzen Sie daher die Quellspalte auf Y und die Zielspalte auf Y. Setzen Sie die Anzahl der Stichproben auf 500 (die Anzahl der Simulationen) und den Zufallsstartwert auf 123456 (ein Wert, der der Einfachheit halber angegeben wurde, um die Ergebnisse zu reproduzieren).
Dadurch wird eine neue Datentabelle mit der Verteilung der Regressionskoeffizienten ausgegeben, die aus den 500 Simulationen gewonnen wurden.
Wenn Sie das Skript „Univariate Verteilung“ auf der Ausgabedatentabelle ausführen, wird die simulierte Verteilung jeder Variablen angezeigt. Zusätzlich werden die „Anzahl der Nullen“ und der „Prozentsatz der Nullen“ im Bericht „Zusammenfassende Statistik“ angezeigt.
Die Anzahl der Nullen und der Prozentsatz der Nullen für jede oben ermittelte Variable werden in einer Tabelle zusammengefasst.
Variablen, die in der wahren Gleichung keine Auswirkung haben, werden durch die Lasso-Regression stark auf 0 reduziert. Andererseits wurden Variablen mit großen absoluten Werten der Koeffizienten in der wahren Gleichung (z. B. X7, X12) in keiner der 500 Simulationen auf 0 reduziert, was darauf hindeutet, dass sie immer in das Modell einbezogen werden konnten.
Simulationen bestätigten, dass die Lasso-Regression ineffektive Variablen mit hoher Wahrscheinlichkeit eliminieren und wichtige Variablen stabil auswählen kann, selbst bei multikollinearen Daten .
Beachten Sie jedoch in der Praxis, dass bei Daten mit starker Multikollinearität die Lasso-Regression dazu neigt, nur eine stark korrelierte erklärende Variable auszuwählen und die anderen auszuschließen.
von Naohiro Masukawa (JMP Japan)
Naohiro Masukawa – JMP-Benutzergemeinschaft
