Multikollinearität ist das Vorhandensein eines so hohen Grades an Korrelation zwischen vermeintlich unabhängigen Variablen, die zur Schätzung einer abhängigen Variablen verwendet werden, dass der Beitrag jeder unabhängigen Variablen zur Variation der abhängigen Variablen nicht bestimmt werden kann.Eine hohe Multikollinearität in Ihrem Datensatz bedeutet, dass jedes von Ihnen erstellte Modell mit ziemlicher Sicherheit überangepasst sein wird, es sei denn, Sie verwenden Techniken, um dieses Problem zu mindern.Es gibt mehrere Modellierungstechniken, die verwendet werden können, um die Wahrscheinlichkeit zu verbessern, ein gutes Vorhersagemodell zu erstellen, indem die Multikollinearität begrenzt wird.Dazu gehören die Hauptkomponentenanalyse und die partiellen kleinsten Quadrate, die beide in JMP verfügbar sind, sowie die generalisierte Regression, die in JMP Pro als Option „Modell anpassen“ verfügbar ist.
Sehen Sie, wie es geht:
- Führen Sie eine Hauptkomponentenanalyse (PCA) durch, um eine kleine Anzahl von Komponenten zum Modellieren eines Datensatzes zu verwenden, indem Sie die Variabilität begrenzen und Multikollinearität mindern
- Die besten Datensätze für die PCA-Analyse sind entweder hoch oder breit. Könnte beides sein
- Interpretiert Variablen nicht als Inputs oder Outputs – handelt in einer einzigen Matrix
- Extrahieren Sie lineare Kombinationen von Variablen, die so viel Variabilität wie möglich erklären
- Das alles beginnt mit der 1. Hauptkomponente und der Der Algorithmus wird fortgesetzt, bis 100 % der Variation erklärt sind. Hoffentlich ist dies eine Zahl, die viel kleiner ist als Ihr ursprünglicher Variablensatz
- Jeder nachfolgende PC erklärt so viel Variation wie möglich und ist orthogonal zu den Belastungsvektoren der zuvor extrahierten
- Untersuchen und interpretieren Sie Übersichtsdiagramme und Eigenwerte
- Speichern Sie die Hauptkomponenten in der Datentabelle und führen Sie die Hauptkomponentenregression mit Graph>Profiler ( Erinnerung: Kontrollkästchen Zwischenwerte erweitern aktivieren)
- Verwenden Sie partielle kleinste Quadrate, um lineare Modelle basierend auf Faktoren anzupassen, nämlich lineare Kombinationen der erklärenden Variablen (Xs).
- Diese Faktoren werden auf eine Weise erhalten, die versucht, die Kovarianz zwischen den Xs und der Antwort oder den Antworten (Ys) zu maximieren.
- PLS nutzt die Korrelationen zwischen den Xs und den Ys, um zugrunde liegende latente Strukturen aufzudecken
- PLS funktioniert gut in Situationen, in denen die Verwendung gewöhnlicher kleinster Quadrate (OLS) keine zufriedenstellenden Ergebnisse liefert, einschließlich wenn mehr X-Variablen als Beobachtungen vorhanden sind; stark korrelierte X-Variablen; eine große Anzahl von X-Variablen; und mehrere Y-Variablen und viele X-Variablen.
- PLS kann verwendet werden, wenn die Prädiktoren die Beobachtungen übersteigen
- PLS wird häufig bei der Modellierung hochdimensionaler Daten in Bereichen wie Spektroskopie, Chemometrie, Genomik, Psychologie, Bildung, Wirtschaft, Politikwissenschaft und Umweltwissenschaften eingesetzt.
- Erfahren Sie, wie Sie JMP PLS verwenden, denn es stehen zwei Modellanpassungsalgorithmen zur Verfügung: nichtlineare iterative partielle kleinste Quadrate (NIPALS) und eine „statistisch inspirierte Modifikation von PLS“ (SIMPLS)
- Für eine einzelne Antwort geben beide Methoden dasselbe Modell; bei Mehrfachnennungen gibt es leichte Unterschiede
- PLS verwendet den Van-der-Voet-T2-Test und die Kreuzvalidierung, um Ihnen bei der Auswahl der optimalen Anzahl von zu extrahierenden Faktoren zu helfen.
- Interpretieren Sie das Diagramm Root Mean PRESS (Predicted Residual Sum of Squares), das die Anzahl der Faktoren mit dem niedrigsten PRESS-Wert zeigt, wobei dieses Modell das schlechteste der besseren Modelle ist, die Sie für die Daten erhalten
- Verwenden Sie das Varianz-Wichtigkeits-Diagramm (VIP), um die zu entfernenden Faktoren zu lokalisieren
- Interpretieren Sie Diagramme der prozentualen Variation
- Die Van-der-Voet-T2-Statistik testet, ob sich ein Modell mit einer anderen Anzahl von Faktoren signifikant von dem Modell mit dem minimalen PRESS-Wert unterscheidet
- Eine gängige Praxis besteht darin, die kleinste Anzahl von Faktoren zu extrahieren, für die das Van-der-Voet-Signifikanzniveau 0,10 übersteigt
- Verwenden Sie die fortgeschrittene(n) penalisierte(n) Regressionstechnik(en) von JMP Pro Generalized Regression, die besonders gut für stark korrelierte und/oder nicht normalverteilte Daten und Variablenauswahl geeignet sind
- Erstellen Sie ein LASSO-Modell, interpretieren Sie die Ergebnisse und verstehen Sie einige seiner Einschränkungen.
- Erstellen Sie ein Elastic Net-Modell und interpretieren Sie es für stark korrelierte Daten und verstehen Sie einige der Vorteile gegenüber LASSO
- Verwenden Sie JMP Pro Generalized Regression für hochdimensionale Spektraldaten
- Untersuchen und interpretieren Sie modellgesteuerte multivariate PCA-Regelkarten, PCA-Zusammenfassungsdiagramme für Korrelationen und Eigenwerte
- Untersuchen und interpretieren Sie die PLS-Ergebnisse
- Interpretieren Sie die verallgemeinerte Elastic Net-Regression einschließlich des verallgemeinerten R-Quadrats
- Verwenden Sie JMP Pro Generalized Regression für sehr umfangreiche Daten und interpretieren Sie die Ergebnisse
Hinweis: Die angehängte .jmpprj-Datei enthält Skripte zum Ausführen der Analysen aus der Demo.
Fragen beantwortet von Bill Worley @Bill_Worley und Scott Allen @scott_allen beim Live-Webinar:
F: Ist Pred Formula Y1 von der PCA-Regression?
A: Ja, die Vorhersageformeln für Y1 und Y2 wurden durch Regressionsanalyse der Hauptkomponenten generiert. Wenn Sie den Profiler mit dieser Vorhersageformel erstellen, können Sie ein Kontrollkästchen aktivieren, mit dem Sie die einzelnen Effekte anstelle der Hauptkomponenten sehen können.
F: Was wären Ihre Hauptkriterien für die Eliminierung von Variablen im PCA-Beispiel?
A: Siehe Video unten für einen Ansatz.
F: Ist es in PLS notwendig, Interaktionen zu spezifizieren, oder sind die Beziehungen zwischen Variablen im zugrunde liegenden Modell (z. B. NIPALS) berücksichtigt?
A: Für PLS müssen Sie die Modelleffekte angeben, die Sie testen möchten, Wechselwirkungen oder andere Begriffe. In Standard-JMP können Sie die PLS-Analyse nur mit Haupteffekten ausführen. In JMP Pro können Sie PLS mit anderen Modelleffekten wie Wechselwirkungen oder Polynomen ausführen, indem Sie die PLS-Persönlichkeit in Modell anpassen verwenden.
F: Ist der Gluten-Datensatz auch mit viel Multikollinearität verbunden?
A: Ja. Jede Wellenlänge ist von der nächsten abhängig, daher gibt es eine große Kollinearität von Wellenlänge zu Wellenlänge.
F: Kann man sagen, ob PLS oder generalisierte Regression bei hochgradig autokorrelierten Daten im Allgemeinen überlegen ist, oder ist es einfach datensatzabhängig? Ich dachte, PLS sei besser, aber das klingt nicht unbedingt.
A: Das hängt von der Situation ab, die etwas datenabhängig sein kann. Beide geben gute Modelle sehr nah beieinander.
F: Welche dieser Modellierungsoptionen eignet sich am besten für die inverse Vorhersage?
A: Bei großen Datenmengen haben Sie möglicherweise Probleme, die richtigen Einstellungen zu finden. Alle Optionen wären für die inverse Vorhersage in Ordnung.
F: Könnten Sie kurz erläutern, wie Sie die PCA-Formeln in der Tabelle gespeichert haben? Ich weiß nur, wie man die Koordinaten selbst speichert.
A: Vom roten Dreieck, Formel in Datentabelle speichern.
F: Wenn ich das PLS-Modell für die Optimierung mit Prediction Profiler verwende, wird die Optimierung die Korrelation zwischen den Variablen respektieren, oder wenn die Extrapolationssteuerung aktiviert ist, wird dann die Korrelation zwischen den Variablen berücksichtigt?
A: In PLS können Sie eine Variablenauswahl durchführen und dann die Ergebnisse verwenden, um ein Modell mit den wichtigen Variablen zu erstellen. Verwenden Sie dann Make Model with VIP und führen Sie es erneut aus. Wenn Sie diese Modelle in einer Datentabelle speichern, sind sie groß und enthalten alle Variablen.
F: Wäre Model Screening sinnvoll?
A: Ja,. Es wird eine Weile dauern. Wählen Sie Zusätzliche Methoden aus.Beachten Sie, dass bei Auswahl dieser Option das Elastic Net durchlaufen wird. Es wird auch die Ridge-Regression durchlaufen und es wird einige Zeit dauern, wenn Sie K-Falten und Kreuzvalidierung haben. Und in Generalized Regression und PLS Model Screening können Sie 2-Wege-Wechselwirkungen hinzufügen, und es passt mit und ohne die 2-Wege-Wechselwirkungen.
Ressourcen
- JMP-Dokumentation zur generalisierten Regression Modellieren
JMP-Dokumentation und Beispielsequenz für die Verwendung von Hauptkomponenten um die Dimensionalität Ihrer Daten zu reduzieren.Der Zweck ist es, eine kleine Anzahl unabhängiger Linearkombinationen abzuleiten ( Rektor Komponenten ) eines Satzes von gemessenen Variablen, die so viel wie möglich von der Streuung in den ursprünglichen Variablen erfassen.Rektor Die Komponentenanalyse ist eine Dimensionsreduktionstechnik sowie ein exploratives Datenanalysewerkzeug.
- JMP-Dokumentation und Beispielsequenz für die Verwendung von Partial Leasts Squares zu de velop-Modelle unter Verwendung von Korrelationen zwischen Ys und Xs. PLS fi ts lineare Modelle basierend auf Faktoren, nämlich Linearkombinationen der erklärenden Variablen ( X S). Diese Faktoren werden auf eine Weise erhalten, die versucht, die Kovarianz zwischen den zu maximieren X s und die Antwort oder Antworten ( Y S). PLS nutzt die Korrelationen zwischen der X s und die Y s um zugrunde liegende latente Strukturen aufzudecken.
