Multiple Regression mit korrelierten VariablenHallo alle,
Ich brauche etwas Hilfe in Bezug auf multiple Regression und würde mich sehr über jede Hilfe freuen! Vielen Dank im Voraus 
Hier ist ein Problem in Kürze –
- Ich habe kontinuierliche Y und 16 X
- Wenn ich eine multivariate Analyse durchführe, kann ich sehen, dass einige Begriffe korrelieren. Angenommen, X1 und X2 sind miteinander verknüpft, ich kann nur einen davon verwenden
- Ebenso habe ich viele solcher Paare
- Ich möchte jedoch X1 willkürlich über X2 auswählen. Also, was ich gerade mache, ist die Regression zuerst mit X1 und dann mit X2 auszuführen. Dann vergleiche ich die Modelle mit diesen Begriffen. Aber die Anzahl der Kombinationen, die ich ausführen müsste, ist einfach zu viele, extrem zeitaufwändig bei der manuellen Durchführung und anfällig für Fehler.
- Wollte prüfen, ob es eine intelligentere Möglichkeit gibt, dies zu lösen.
- Ich weiß, dass dies gelöst werden kann, indem man ein Skript schreibt, um dies in einer Art Schleife auszuführen und die besten Modelle hervorzuheben, auf deren Grundlage –
- Sie verfügen jedoch nicht über das Wissen, um Skripte zu schreiben.
- Alle anderen Tipps, Tricks wären auch toll! (Ich habe kein JMP Pro)
Wir freuen uns darauf, von Ihnen zu hören.
Mit freundlichen Grüßen,
Vipul
DAMHIRSCHKUHAndereSkripterstellungBetreff: Multiple Regression mit korrelierten VariablenVielen Dank @David_Burnham ! Vielen Dank für Ihr Feedback, es war sehr hilfreich. Sehr geschätzt.
Mit freundlichen Grüßen,
Vipul
Betreff: Multiple Regression mit korrelierten VariablenDanke @Statman für das Teilen Ihrer Gedanken. Das war sehr hilfreich. Sehr geschätzt
Mit freundlichen Grüßen,
Vipul
Betreff: Multiple Regression mit korrelierten VariablenNochmals vielen Dank, Viktor. Das war ein sehr hilfreiches Feedback. Ich habe die schrittweise Regression und den PCA-Ansatz ausprobiert, und das hat uns bereits sehr geholfen.
Vielen Dank noch mal.
Mit freundlichen Grüßen,
Vipul
Betreff: Multiple Regression mit korrelierten VariablenHallo @Vipul ,
Unterschiedliche Modelle werden zu unterschiedlichen Ansätzen und Umgangsweisen mit Multikollinearität führen.
Betrachtet man X1 und X2 als Paar von Prädiktoren, die stark mit anderen Prädiktoren korrelieren, reagieren die Modelle unterschiedlich:
- Bei einem schrittweisen Regressionsansatz (oder Entscheidungsbaum) entfernt das Modell stark korrelierte Prädiktoren aus dem Modell und behält nur die informativsten. In Ihrem Fall erhalten Sie am Ende nur X1 oder X2 (je nachdem, welches Ihnen die beste Modellierung / Leistung bietet).
- Bei einem Random-Forest-Ansatz (oder Predictor Screening für JMP) werden mehrere Entscheidungsbäume mit einer Teilmenge der Prädiktoren für jeden Baum erstellt. Das bedeutet, dass X1 und X2 in einer gleichen Anzahl von Prädiktoren-Teilmengen getestet werden, sodass sie die gleiche Chance haben, in das Modell aufgenommen zu werden. Je nachdem, welcher mehr Informationen liefert, hat einer der beiden Prädiktoren eine höhere Merkmalsbedeutung (Modellbeitrag) als der andere, aber die beiden können im Modell berücksichtigt werden.
- Mit einem PLS/PCA-Ansatz reduzieren Sie die Anzahl der Prädiktoren auf eine kleinere Teilmenge nicht korrelierter Prädiktoren, sodass Sie die meisten Prädiktoreninformationen behalten (je nachdem, wie viele Hauptkomponenten Sie behalten). Ihre Eingaben werden transformiert/kombiniert und nicht korreliert (ein neues X' kann als Kombination von X1 und X2 erstellt werden).
Welche Methode Sie wählen, hängt von der Leistung ab, die Sie mit den Modellen erzielen können, aber was noch wichtiger ist, hängt von Ihren Domänenkenntnissen zu dem Thema ab. Unterschiedliche Modellierung kann zu unterschiedlichen Erklärungen und unterschiedlichen Hypothesen über die Signifikanz oder Wichtigkeit unterschiedlicher Prädiktoren führen, daher sollte Sie das Domänenwissen bei der Auswahl des am besten geeigneten/angemessensten Modells unterstützen.
Hoffe es hilft dir,
Betreff: Multiple Regression mit korrelierten VariablenDavid hat einige Plattformen zum Ausprobieren gegeben. Das Kombinieren ist kein statistisches Verfahren, sondern ein ingenieurwissenschaftliches Verfahren.
Lassen Sie mich Ihnen ein hypothetisches Beispiel geben:
Stellen Sie sich vor, Sie versuchen herauszufinden, welche Faktoren sich auf die Entfernung auswirken, die ein Projektil mit einem Gummiband abgeschossen werden kann (Y=Distanz). Zwei der vielen interessierenden Variablen (Masse des Projektils, Geometrie des Projektils, Abschusswinkel, Umgebungsluftströmungen, Auslösetechnik usw.) sind:
1. X1 = Länge die das Gummiband gedehnt wird und
2. X2 = "Federkonstante", die durch Ändern der Breite des Gummibands variiert wird
Diese beiden Variablen erscheinen in einem Datensatz korreliert und haben beide einen direkten Einfluss auf die dem System zugeführte Energiemenge (Hypothese). Betrachten wir sie als kollinear. Anstatt sie in einem Experiment als unabhängige Variablen zu behandeln, könnte man sie zu einem Faktor kombinieren, dessen Niveaus bestehen aus:
- = kurze Stretchlänge und schmales Breitenband
+ = langes Stretchband und dickes Breitenband
Und dann diesen „kombinierten Faktor“ im Experiment mit vielen anderen verglichen. Sollte dieser Faktor signifikant erscheinen, können nachfolgende Experimente durchgeführt werden, um besser zu verstehen, wie man am effektivsten damit umgeht Energie in das System (Dies wird eine neue Antwortvariable).
Betreff: Multiple Regression mit korrelierten VariablenZu Ihrer Information, das von Ihnen beschriebene Verfahren zum Einpassen eines nach dem anderen über alle X wird automatisch von durchgeführt Antwort-Screening Plattform finden Sie unter Analysieren> Screening.
Betreff: Multiple Regression mit korrelierten VariablenSie können sich auch gerne die anschauen Cluster-Variablen Dienstprogramm unter Analysieren>Clustering.Die korrelierten X werden im gleichen Cluster platziert.Anschließend können Sie für jeden Cluster eine „repräsentative Variable“ auswählen, die in eine Regression aufgenommen werden soll.Es gibt sogar eine „Launch Fit Model“-Option aus dem roten Dreieck.
Betreff: Multiple Regression mit korrelierten VariablenHallo @Statman ,
Vielen Dank, dass Sie sich die Zeit genommen haben, Ihre Perspektive zu teilen. Könnten Sie vielleicht bitte erläutern, wie Sie mehrere korrelierte X kombinieren?
Nochmals vielen Dank im Voraus.
Mit freundlichen Grüßen,
Vipul
Betreff: Multiple Regression mit korrelierten VariablenHallo @Victor_G
Vielen Dank, dass Sie sich die Zeit genommen haben zu antworten. Ich werde auf jeden Fall sofort das Prädiktor-Screening-Modul verwenden. In der Hoffnung, dass es einige Hinweise gibt.
Glauben Sie jedoch, dass dies das Problem der Multikollinearität lösen wird, da (sagen wir) X1 und X2 wieder als wahrscheinlichste Prädiktoren auftauchen werden, oder?
Betreff: Multiple Regression mit korrelierten VariablenHier meine Gedanken: Es gibt keine statistischen Verfahren nehmen welche Faktoren Sie in Ihre Studie einbeziehen sollten, wenn Multikollinearität vorliegt. Die Entscheidung muss vom KMU (Subject Matter Expert) getroffen werden. Dinge, die dies beeinflussen können, sind:
1. Leichtigkeit oder Kosten der Verwaltung der X's
2. Wissenschaftliche Grundlage (Hypothesen) für die Einbeziehung oder nicht (ich schlage vor, dass diese eher vorhergesagt als entwickelt werden, nachdem die Daten erhalten wurden)
3. Auswirkung auf andere Y's
Jetzt gibt es noch andere Dinge, die Sie tun können:
1. Kombiniere korrelierte x zu einem X
2. Entwickeln Sie alternative Antwortvariablen
3. Probieren Sie verschiedene Transformationen aus (z. B. PCA), obwohl dies die wissenschaftlichen Zusammenhänge trüben kann
4. Führen Sie Experimente zu den Faktoren durch
Betreff: Multiple Regression mit korrelierten VariablenHallo @Vipul ,
Vielleicht entspricht die Verwendung der „Stepwise“-Persönlichkeit in der Plattform „Fit Model“ Ihren Bedürfnissen, da JMP versuchen wird, Variablen zu verwenden, die dazu neigen, ein Modell mit minimalem BIC/AICc oder mit einem p-Wert-Schwellenwert zu erstellen. Durch Klicken auf das rote Dreieck der Plattform gibt es auch die Option, „Alle möglichen Modelle“ zu testen, wobei Sie die höchste Anzahl von Begriffen (Faktoren) in Ihren Modellen und die Anzahl der besten Modelle angeben müssen, die angezeigt werden sollen. Dann stellt JMP eine Tabelle mit allen getesteten Modellen bereit, mit der Anzahl der Terme in jedem Modell, R², RMSE, AICc und BIC, und Sie können jedes der getesteten Modelle ausführen, wenn Sie einige finden, die interessant genug sind.
Ich halte dies jedoch nicht für eine gute Idee mit dem Problem der Multikollinearität in Ihrem Datensatz. Wenn Sie JMP und einen Datensatz mit stark korrelierten Variablen haben, können Sie diese Optionen ausprobieren, je nachdem, ob Sie an Erklärbarkeit und/oder Vorhersagbarkeit interessiert sind:
- Verwenden Sie "Prädiktor-Screening" (in Analysieren -> Screening), um die Variablen zu finden, die für Ihre Antwort am wichtigsten sind. Wählen Sie die n wichtigsten aus (Sie können den Schwellenwert n, die Anzahl der wichtigen Variablen, die Sie behalten möchten, abhängig von der Fachkompetenz oder einem beliebigen Schwellenwert wie „Ich möchte die 5 besten Prädiktoren“ variieren), klicken Sie auf „Ausgewählte kopieren“ und dann Führen Sie Ihr Regressionsmodell (Modell anpassen) mit den kopierten Variablen aus.
- Verwenden Sie die Hauptkomponentenanalyse, um Ihre anfänglichen 16 X auf einen niedrigeren Satz unabhängiger Variablen zu reduzieren, die die meisten anfänglichen Informationen enthalten. Versuchen Sie dann ein Regressionsmodell mit Ihren Hauptkomponenten anstelle der ursprünglichen X's.
- Verwenden Sie Partial Least Squares (Analyze -> Multivariate -> Partial Least Squares), um ein Modell mit korrelierten Variablen zu erstellen.
Ich denke, diese Optionen sind möglicherweise robuster/zuverlässiger, als zu versuchen, alle möglichen Modelle anzupassen und die besten Modelle in Abhängigkeit von R² oder anderen Metriken auszuwählen, da der von Ihnen erwähnte ursprüngliche Ansatz einige der korrelierten Xs fallen lässt, die möglicherweise noch wertvoll sind Information.
Es sind viele andere Optionen möglich, die jedoch in JMP Pro verfügbar sind (z. B. mit penalisierten Regressionsmodelltechniken).
Ich denke, diese ersten drei Optionen könnten bereits hilfreich für dich sein
