Das Video wurde im August 2024 aktualisiert.
Multikollinearität bedeutet, dass zwischen vermeintlich unabhängigen Variablen, die zur Schätzung einer abhängigen Variable verwendet werden, ein so hoher Grad an Korrelation besteht, dass der Beitrag jeder unabhängigen Variable zur Variation in der abhängigen Variable nicht bestimmt werden kann. Hohe Multikollinearität in Ihrem Datensatz bedeutet, dass jedes von Ihnen erstellte Modell mit ziemlicher Sicherheit überangepasst ist, sofern Sie keine Techniken zur Minderung dieses Problems verwenden. Es gibt mehrere Modellierungstechniken, mit denen sich die Wahrscheinlichkeit der Erstellung eines guten Vorhersagemodells durch Begrenzung der Multikollinearität verbessern lässt. Dazu gehören die Hauptkomponentenanalyse und die partielle Kleinstquadratmethode, die beide in JMP verfügbar sind, sowie die verallgemeinerte Regression, die in JMP Pro als Option zur Modellanpassung verfügbar ist.
Erfahren Sie, wie Sie:
- Führen Sie eine Hauptkomponentenanalyse (PCA) durch, um mithilfe einer kleinen Anzahl von Komponenten einen Datensatz zu modellieren, indem Sie die Variabilität begrenzen und die Multikollinearität abmildern.
PCA vergleicht Variablen miteinander, nicht mit der Ausgabe
PCA extrahiert lineare Kombinationen der Variablen, die helfen, die Variabilität zu erklären, so viel Variabilität wie möglich, um die Anzahl der wichtigen Variablen zu reduzieren
- Die besten Datensätze für die PCA-Analyse sind entweder hoch oder breit und könnten beides sein
- Interpretiert Variablen nicht als Ein- oder Ausgaben - befasst sich mit einer einzigen Matrix
- Extrahieren Sie lineare Kombinationen von Variablen, die so viel Variabilität wie möglich erklären
- Dies alles beginnt mit der 1. Hauptkomponente und der Algorithmus wird fortgesetzt, bis 100 % der Variation erklärt sind. Hoffentlich ist dies eine Zahl, die viel kleiner ist als Ihr ursprünglicher Variablensatz
- Jeder nachfolgende PC erklärt so viel Variation wie möglich und ist orthogonal zu den Ladevektoren der zuvor extrahierten
- Untersuchen und Interpretieren von Übersichtsdiagrammen und Eigenwerten
- Speichern Sie die Hauptkomponenten in der Datentabelle und führen Sie eine Hauptkomponentenregression mit Graph>Profiler durch ( Erinnerung: Aktivieren Sie das Kontrollkästchen „Zwischenwerte erweitern“).
- Verwenden Sie die Methode der partiellen kleinsten Quadrate, um lineare Modelle basierend auf Faktoren anzupassen, nämlich lineare Kombinationen der erklärenden Variablen (Xs).
- Diese Faktoren werden auf eine Weise ermittelt, die die Kovarianz zwischen den X-Werten und der bzw. den Antworten (Y-Werten) zu maximieren versucht.
- PLS nutzt die Korrelationen zwischen den X- und Y-Zeichen, um darunterliegende latente Strukturen aufzudecken
- PLS funktioniert gut in Situationen, in denen die Verwendung von gewöhnlichen kleinsten Quadraten (OLS) keine zufriedenstellenden Ergebnisse liefert, einschließlich wenn mehr X-Variablen als Beobachtungen vorhanden sind; stark korrelierte X-Variablen; eine große Anzahl von X-Variablen; und mehrere Y-Variablen und viele X-Variablen.
- PLS kann verwendet werden, wenn die Prädiktoren die Beobachtungen übertreffen
- PLS wird häufig zur Modellierung hochdimensionaler Daten in Bereichen wie Spektroskopie, Chemometrie, Genomik, Psychologie, Bildung, Wirtschaftswissenschaften, Politikwissenschaft und Umweltwissenschaft verwendet.
- Erfahren Sie, wie Sie JMP PLS für die Modellanpassung verwenden. Es stehen zwei Algorithmen zur Verfügung: nichtlineare iterative partielle kleinste Quadrate (NIPALS) und eine „statistisch inspirierte Modifikation von PLS“ (SIMPLS).
- Bei einer einzelnen Antwort liefern beide Methoden dasselbe Modell; bei mehreren Antworten gibt es geringfügige Unterschiede.
- PLS verwendet den van der Voet T2-Test und die Kreuzvalidierung, um Ihnen bei der Auswahl der optimalen Anzahl zu extrahierender Faktoren zu helfen.
- Interpretieren Sie das Root Mean PRESS-Diagramm (vorhergesagte Summe der quadrierten Residuen), das die Anzahl der Faktoren mit dem niedrigsten PRESS-Wert zeigt. Dieses Modell ist das schlechteste der besseren Modelle, die Sie für die Daten erhalten werden.
- Verwenden Sie das Variance Importance Plot (VIP), um zu entfernende Faktoren zu lokalisieren
- Interpretieren von Diagrammen der prozentualen Variation
- Die van der Voet T2-Statistik testet, ob sich ein Modell mit einer anderen Anzahl von Faktoren signifikant von dem Modell mit dem minimalen PRESS-Wert unterscheidet.
- Eine gängige Praxis besteht darin, die kleinste Anzahl von Faktoren zu extrahieren, für die das Van-der-Voet-Signifikanzniveau 0,10 überschreitet.
- Verwenden Sie die erweiterte, bestrafte Regressionstechnik(en) von JMP Pro Generalized Regression, die sich besonders für stark korrelierte und/oder nicht normal verteilte Daten und Variablenauswahl eignet.
- Erstellen Sie ein LASSO-Modell, interpretieren Sie die Ergebnisse und verstehen Sie einige seiner Einschränkungen.
- Erstellen Sie ein Elastic Net-Modell und interpretieren Sie hochkorrelierte Daten und lernen Sie einige der Vorteile gegenüber LASSO kennen.
- Verwenden Sie die verallgemeinerte Regression von JMP Pro für hochdimensionale Spektraldaten
- Untersuchen und interpretieren Sie PCA-modellgesteuerte multivariate Kontrollkarten, PCA auf Korrelationszusammenfassungsdiagrammen und Eigenwerten
- Untersuchen und Interpretieren von PLS-Ergebnissen
- Interpretieren Sie die verallgemeinerte Elastic Net-Regression einschließlich des verallgemeinerten R-Quadrats
- Verwenden Sie JMP Pro Generalized Regression für sehr umfangreiche Daten und interpretieren Sie die Ergebnisse
Hinweis: Die angehängte .jmpprj-Datei enthält Skripte zum Ausführen der Analysen aus der Demo.
Fragen, die von Bill Worley @Bill_Worley und Scott Allen @scott_allen im Live-Webinar beantwortet wurden:
F: Was meinte er, als er sagte, dass die bevorzugten Daten für PCA groß und breit seien?
A: Sie können sich „große“ Daten als eine Datentabelle vorstellen, die viele Zeilen und wenige Spalten hat; „breite“ Daten haben viele Spalten und weniger Zeilen (weniger Beobachtungen). PLS wird dagegen häufig verwendet, wenn die Anzahl der Faktoren größer ist als die Anzahl der Beobachtungen.
F: Wenn Sie über stark korrelierte Variablen verfügen und einer der Algorithmen eine Variable gegenüber einer anderen vorschlägt, wie wählen Sie aus, welche Variable Sie behalten und welche Sie nicht verwenden?
A: Der Variance Inflation Factor (VIF) ist eine Methode, um herauszufinden, welche Werte stark korreliert sind. Der VIF gibt Ihnen lediglich einen Hinweis darauf, wie stark sie tatsächlich mit anderen Variablen korreliert sind. Sie können stark korrelierte Faktoren finden und wenn Sie einen davon entfernen, wirkt sich dies auf den VIF aus. Verwenden Sie dann die multivariate Analyse, um besser zu verstehen, welche Variablen stark korreliert sind. Siehe Video:
F: Ist es bei verallgemeinerten Regressionen besser, BIC statt AIC zu verwenden?
A: Das hängt vom Ziel Ihres Modells ab. BIC bestraft Modelle mit mehr Parametern stärker als AICc. Daher führt es normalerweise zu Modellen mit weniger Parametern.
F: Hat der Benutzer die Wahl, welches Modell er anstelle des von JMP ausgewählten Modells verwenden möchte?
A: Sie können einen Modellvergleich durchführen und die besten Validierungs- oder Testergebnisse prüfen. Sie können auch Tools verwenden – „Remove Elastic Net Alph“ und „JMP“ geht drei Optionen durch, um Ihnen das beste der drei Modelle anzuzeigen. Wenn Sie über viele Daten verfügen, kann die Ausführung eine Weile dauern.
F: Wie würden Sie diese Techniken für Zeitreihendaten verwenden?
A: Zeitreihendaten lassen sich am besten mit den Zeitreihen- oder FDE-Tools in JMP analysieren. Informationen zu Zeitreihen und ein Video zur Analyse gekrümmter Daten finden Sie hier.
In früheren Webinaren zu diesem Thema beantwortete Fragen:
F: Stammt die Pred-Formel aus der PCA-Regression, also Y1?
A: Ja, die Vorhersageformeln für Y1 und Y2 wurden durch Regressionsanalyse der Hauptkomponenten generiert. Wenn Sie den Profiler mit diesen Vorhersageformeln erstellen, können Sie ein Kontrollkästchen aktivieren, mit dem Sie die einzelnen Effekte anstelle der Hauptkomponenten anzeigen können.
F: Was wären Ihre Hauptkriterien für die Eliminierung von Variablen im PCA-Beispiel?
A: Eine Vorgehensweise finden Sie im Video unten.
F: Ist es in PLS notwendig, Interaktionen anzugeben, oder werden die Beziehungen zwischen den Variablen im zugrunde liegenden Modell berücksichtigt (z. B. NIPALS)?
A: Für PLS müssen Sie die Modelleffekte angeben, die Sie testen möchten: Interaktionen oder andere Begriffe. In Standard-JMP können Sie PLS-Analysen nur mit Haupteffekten ausführen. In JMP Pro können Sie PLS mit anderen Modelleffekten wie Interaktionen oder Polynomen ausführen, indem Sie die PLS-Persönlichkeit in „Modell anpassen“ verwenden.
F: Ist der Gluten-Datensatz auch mit viel Multikollinearität verbunden?
A: Ja. Jede Wellenlänge ist von der nächsten abhängig, daher besteht von Wellenlänge zu Wellenlänge eine große Kollinearität.
F: Kann man sagen, ob PLS oder die verallgemeinerte Regression bei stark autokorrelierten Daten generell besser ist oder ob es einfach vom Datensatz abhängt? Ich dachte irgendwie, PLS wäre besser, aber das scheint nicht unbedingt der Fall zu sein.
A: Das hängt von der Situation ab, die teilweise von den Daten abhängig sein kann. Beide liefern gute Modelle, die einander sehr nahe kommen.
F: Welche dieser Modellierungsoptionen wäre für eine inverse Vorhersage am besten geeignet?
A: Bei umfangreichen Daten kann es schwierig sein, die richtigen Einstellungen zu finden. Für eine inverse Vorhersage sind alle Optionen in Ordnung.
F: Könnten Sie noch einmal erläutern, wie Sie die PCA-Formeln in der Tabelle gespeichert haben? Ich weiß nur, wie man die Koordinaten selbst speichert.
A: Aus dem roten Dreieck: Formel in Datentabelle speichern.
F: Wenn ich das PLS-Modell zur Optimierung mit Prediction Profiler verwende, wird bei der Optimierung die Korrelation zwischen den Variablen berücksichtigt, oder wird die Korrelation zwischen den Variablen berücksichtigt, wenn die Extrapolationssteuerung aktiviert ist?
A: In PLS können Sie eine Variablenauswahl durchführen und dann die Ergebnisse verwenden, um ein Modell mit den wichtigen Variablen zu erstellen. Verwenden Sie dann „Modell erstellen“ mit VIP und führen Sie es erneut aus. Wenn Sie diese Modelle in einer Datentabelle speichern, sind sie groß und enthalten alle Variablen.
F: Wäre eine Modellprüfung sinnvoll?
A: Ja. Es wird eine Weile dauern. Wählen Sie „Zusätzliche Methoden“. Beachten Sie, dass bei Auswahl dieser Methode Elastic Net durchlaufen wird. Es wird auch Ridge Regression durchlaufen und einige Zeit dauern, wenn Sie K-Falten und Kreuzvalidierung haben. Und bei Generalized Regression und PLS Model Screening können Sie 2-Wege-Interaktionen hinzufügen und es wird mit und ohne die 2-Wege-Interaktionen passen.
Ressourcen
