Erstellung von Vorhersagemodellen für korrelierte und hochdimensionale Daten
Das Video wurde im August 2024 aktualisiert.
Multikollinearität bezeichnet das Vorliegen einer so hohen Korrelation zwischen vermeintlich unabhängigen Variablen, die zur Schätzung einer abhängigen Variablen verwendet werden, dass der Beitrag jeder einzelnen unabhängigen Variable zur Varianz der abhängigen Variable nicht mehr bestimmt werden kann. Hohe Multikollinearität in Ihrem Datensatz führt mit hoher Wahrscheinlichkeit zu einer Überanpassung Ihres Modells, sofern Sie keine Techniken zur Minderung dieses Problems anwenden. Es gibt verschiedene Modellierungstechniken, mit denen sich die Wahrscheinlichkeit für ein gutes Vorhersagemodell durch die Reduzierung von Multikollinearität verbessern lässt. Dazu gehören die Hauptkomponentenanalyse (PCA) und die partielle Kleinste-Quadrate-Regression (PLS), die beide in JMP verfügbar sind, sowie die generalisierte Regression, die in JMP Pro als Option „Modell anpassen“ verfügbar ist.
So geht's:
- Führen Sie eine Hauptkomponentenanalyse (PCA) durch, um mit einer kleinen Anzahl von Komponenten einen Datensatz zu modellieren, indem Sie die Variabilität begrenzen und Multikollinearität mindern.
Die PCA vergleicht Variablen miteinander, nicht mit dem Ergebnis.
Die PCA extrahiert lineare Kombinationen der Variablen, die zur Erklärung der Variabilität beitragen, und zwar so viel Variabilität wie möglich, um die Anzahl der wichtigen Variablen zu reduzieren.
- Die besten Datensätze für die PCA-Analyse sind entweder hoch oder breit und können auch beides sein.
- Interpretiert Variablen nicht als Eingaben oder Ausgaben – arbeitet mit einer einzigen Matrix
- Extrahieren Sie lineare Kombinationen von Variablen, die so viel Variabilität wie möglich erklären.
- Das Ganze beginnt mit der ersten Hauptkomponente, und der Algorithmus wird so lange fortgesetzt, bis 100 % der Varianz erklärt sind. Hoffentlich ist diese Zahl deutlich kleiner als Ihre ursprünglichen Variablen.
- Jede nachfolgende Hauptkomponente erklärt so viel Varianz wie möglich und ist orthogonal zu den Ladungsvektoren der zuvor extrahierten Komponenten.
- Zusammenfassende Diagramme und Eigenwerte untersuchen und interpretieren
- Speichern Sie die Hauptkomponenten in einer Datentabelle und führen Sie eine Hauptkomponentenregression mit Graph > Profiler durch ( Hinweis: Aktivieren Sie das Kontrollkästchen „Zwischenwerte erweitern“).
- Verwenden Sie die Methode der partiellen kleinsten Quadrate, um lineare Modelle auf der Grundlage von Faktoren anzupassen, nämlich lineare Kombinationen der erklärenden Variablen (Xs).
- Diese Faktoren werden so ermittelt, dass die Kovarianz zwischen den X-Werten und der Zielgröße bzw. den Zielgrößen (Y-Werten) maximiert wird.
- PLS nutzt die Korrelationen zwischen den X- und Y-Variablen, um zugrunde liegende latente Strukturen aufzudecken.
- PLS eignet sich gut für Situationen, in denen die Verwendung der gewöhnlichen kleinsten Quadrate (OLS) keine zufriedenstellenden Ergebnisse liefert, beispielsweise wenn es mehr X-Variablen als Beobachtungen gibt; wenn die X-Variablen stark korreliert sind; wenn es eine große Anzahl von X-Variablen gibt; und wenn es mehrere Y-Variablen und viele X-Variablen gibt.
- PLS kann verwendet werden, wenn die Prädiktoren die Beobachtungen zahlenmäßig übertreffen.
- PLS wird in großem Umfang zur Modellierung hochdimensionaler Daten in Bereichen wie Spektroskopie, Chemometrie, Genomik, Psychologie, Pädagogik, Wirtschaftswissenschaften, Politikwissenschaft und Umweltwissenschaften eingesetzt.
- Erfahren Sie, wie Sie JMP PLS verwenden können. Es stehen zwei Modellanpassungsalgorithmen zur Verfügung: nichtlineare iterative partielle Kleinste-Quadrate-Methode (NIPALS) und eine „statistisch inspirierte Modifikation von PLS“ (SIMPLS).
- Bei einer einzelnen Zielgröße liefern beide Methoden dasselbe Modell; bei mehreren Zielgrößen gibt es geringfügige Unterschiede.
- PLS verwendet den van der Voet T2-Test und die Kreuzvalidierung, um Ihnen bei der Auswahl der optimalen Anzahl der zu extrahierenden Faktoren zu helfen.
- Interpretieren Sie das Root Mean PRESS-Diagramm (vorhergesagte Residuenquadratsumme), das die Anzahl der Faktoren mit dem niedrigsten PRESS-Wert anzeigt. Dieses Modell ist das am wenigsten gute der besseren Modelle, die Sie für die Daten erhalten können.
- Verwenden Sie das Varianz-Wichtigkeitsdiagramm (VIP), um die zu entfernenden Faktoren zu lokalisieren.
- Prozentuale Variationsdiagramme interpretieren
- Der van der Voet T2-Test prüft, ob sich ein Modell mit einer anderen Anzahl von Faktoren signifikant von dem Modell mit dem minimalen PRESS-Wert unterscheidet.
- Üblicherweise wird die kleinste Anzahl an Faktoren ausgewählt, für die das Signifikanzniveau nach van der Voet 0,10 übersteigt.
- Nutzen Sie die fortgeschrittenen, penalisierten Regressionsverfahren von JMP Pro Generalized Regression, die sich besonders gut für hochkorrelierte und/oder nicht normalverteilte Daten und die Variablenauswahl eignen.
- Erstellen Sie ein LASSO-Modell, interpretieren Sie die Ergebnisse und verstehen Sie einige seiner Grenzen.
- Erstellen Sie ein Elastic-Net-Modell und interpretieren Sie es für hochkorrelierte Daten; verstehen Sie einige der Vorteile gegenüber LASSO.
- Verwenden Sie JMP Pro Generalized Regression für hochdimensionale Spektraldaten
- PCA-modellgesteuerte multivariate Kontrollkarten, PCA-Korrelationsdiagramme und Eigenwerte untersuchen und interpretieren
- PLS-Ergebnisse prüfen und interpretieren
- Interpretation der Elastic-Net-Generalisierten Regression einschließlich des verallgemeinerten R²
- Verwenden Sie JMP Pro Generalized Regression für sehr breite Datensätze und interpretieren Sie die Ergebnisse.
Hinweis: Die beigefügte .jmpprj-Datei enthält Skripte zum Ausführen der Analysen aus der Demo.
Fragen, die von Bill Worley (@Bill_Worley ) und Scott Allen (@scott_allen) im Live-Webinar beantwortet wurden:
F: Was meinte er damit, als er sagte, dass die bevorzugten Daten für die PCA hoch und breit sein sollten?
A: Man kann sich „hohe“ Daten als Datentabelle mit vielen Zeilen und wenigen Spalten vorstellen; „breite“ Daten haben viele Spalten und weniger Zeilen (weniger Beobachtungen). PLS wird hingegen häufig verwendet, wenn die Anzahl der Faktoren größer ist als die Anzahl der Beobachtungen.
F: Wenn man stark korrelierte Variablen hat und einer der Algorithmen die eine Variable gegenüber der anderen bevorzugt, wie wählt man dann aus, welche Variable man beibehält und welche man nicht verwendet?
A: Der Varianzinflationsfaktor (VIF) dient dazu, stark korrelierte Werte zu identifizieren. Er gibt an, wie stark diese Werte tatsächlich mit anderen Variablen korrelieren. Durch das Entfernen eines stark korrelierten Faktors lässt sich der VIF beeinflussen. Anschließend kann eine multivariate Analyse durchgeführt werden, um die stark korrelierten Variablen genauer zu bestimmen.
F: Ist es bei verallgemeinerten Regressionen besser, das BIC anstelle des AIC zu verwenden?
A: Das hängt vom Ziel Ihres Modells ab. Das BIC bestraft Modelle mit mehr Parametern stärker als das AICc. Daher werden in der Regel Modelle mit weniger Parametern bevorzugt.
F: Hat der Benutzer die Möglichkeit, ein anderes Modell als das von JMP ausgewählte zu verwenden?
A: Sie können einen Modellvergleich durchführen und die besten Validierungs- oder Testergebnisse untersuchen. Sie können auch Tools wie „Elastic Net Alpha entfernen“ verwenden. JMP zeigt Ihnen anhand von drei Optionen das beste der drei Modelle an. Bei großen Datenmengen kann dies einige Zeit dauern.
F: Wie würden Sie diese Techniken für Zeitreihendaten anwenden?
A: Zeitreihendaten lassen sich am besten mit den Werkzeugen „Zeitreihen“ oder „FDE“ in JMP analysieren. Weitere Informationen finden Sie unter Zeitreihen und ein Video zur Analyse gekrümmte Daten.
Fragen, die in früheren Webinaren zu diesem Thema beantwortet wurden:
F: Stammt die Vorhersageformel Y1 aus der PCA-Regression?
A: Ja, die Vorhersageformeln für Y1 und Y2 wurden mittels Regressionsanalyse der Hauptkomponenten erstellt. Beim Erstellen des Profilers mit diesen Vorhersageformeln können Sie eine Option aktivieren, um die Einzeleffekte anstelle der Hauptkomponenten anzuzeigen.
F: Ist es bei PLS notwendig, Interaktionen anzugeben, oder werden die Beziehungen zwischen den Variablen im zugrunde liegenden Modell berücksichtigt (z. B. NIPALS)?
A: Für die PLS-Analyse müssen Sie die Modelleffekte angeben, die Sie testen möchten, z. B. Interaktionen oder andere Terme. In der Standardversion von JMP können Sie eine PLS-Analyse nur mit Haupteffekten durchführen. In JMP Pro können Sie die PLS-Analyse mit anderen Modelleffekten wie Interaktionen oder Polynomen durchführen, indem Sie die PLS-Funktion unter „Modell anpassen“ verwenden.
F: Ist der Gluten-Datensatz auch mit einer hohen Multikollinearität verbunden?
A: Ja. Jede Wellenlänge ist von der nächsten abhängig, daher besteht eine hohe Kollinearität zwischen den Wellenlängen.
F: Lässt sich sagen, ob PLS oder die generalisierte Regression generell bei stark autokorrelierten Daten überlegen ist, oder hängt das einfach vom Datensatz ab? Ich dachte eigentlich, PLS wäre besser, aber anscheinend ist das nicht unbedingt der Fall.
A: Das hängt von der Situation ab, die wiederum etwas datenabhängig sein kann. Beide liefern gute, sehr ähnliche Modelle.
F: Welche dieser Modellierungsoptionen eignet sich am besten für die inverse Vorhersage?
A: Bei großen Datenmengen kann es schwierig sein, die richtigen Einstellungen zu finden. Für die inverse Vorhersage sind alle Optionen geeignet.
F: Könnten Sie bitte erläutern, wie Sie die PCA-Formeln in der Tabelle gespeichert haben? Ich weiß nur, wie man die Koordinaten selbst speichert.
A: Klicken Sie auf das rote Dreieck und wählen Sie „Formel in Datentabelle speichern“.
F: Wenn ich das PLS-Modell zur Optimierung mit Prediction Profiler verwende, wird die Korrelation zwischen den Variablen bei der Optimierung berücksichtigt, oder wird die Korrelation zwischen den Variablen berücksichtigt, wenn die Extrapolationskontrolle aktiviert ist?
A: In PLS können Sie eine Variablenauswahl durchführen und anschließend die Ergebnisse nutzen, um ein Modell mit den wichtigsten Variablen zu erstellen. Verwenden Sie dann „Modell erstellen mit VIP“ und führen Sie die Berechnung erneut durch. Wenn Sie diese Modelle in einer Datentabelle speichern, sind sie sehr groß und enthalten alle Variablen.
F: Wäre ein Modell-Screening sinnvoll?
A: Ja, das dauert eine Weile. Wählen Sie „Zusätzliche Methoden“. Beachten Sie, dass dadurch Elastic Net verwendet wird. Auch Ridge-Regression wird angewendet, was bei K-facher Kreuzvalidierung und Kreuzvalidierung Zeit in Anspruch nimmt. Im Screening von generalisierten Regressions- und PLS-Modellen können Sie Zwei-Wege-Interaktionen hinzufügen; die Anpassung erfolgt dann sowohl mit als auch ohne diese Interaktionen.
gail_massari_1-1731005860636.jpeg
Ressourcen
- JMP-Dokumentation zur generalisierten Regression Modellieren
-
JMP-Dokumentation und Beispielsequenz für die Verwendung von Hauptkomponenten um die Dimensionalität Ihrer Daten zu reduzieren. Ziel ist es, eine kleine Anzahl unabhängiger Linearkombinationen ( Hauptkombinationen) abzuleiten. Die Hauptkomponentenanalyse ( PCA) ist eine Dimensionsreduktionstechnik und gleichzeitig ein Werkzeug zur explorativen Datenanalyse. Sie dient der Zerlegung einer Reihe gemessener Variablen in Komponenten , die möglichst viel von der Variabilität der ursprünglichen Variablen erfassen.
- JMP-Dokumentation und Beispielsequenz zur Verwendung von Partial Least Squares (PLS) zur Entwicklung von Modellen mithilfe von Korrelationen zwischen Ys und Xs. PLS passt lineare Modelle auf Basis von Faktoren an, d. h. linearen Kombinationen der erklärenden Variablen ( Xs ). Diese Faktoren werden so ermittelt, dass die Kovarianz zwischen den Variablen maximiert wird. PLS nutzt die Korrelationen zwischen den Variablen X und der/den Antwort(en) ( Y ). X s und die Y s, um zugrundeliegende latente Strukturen aufzudecken.
