Multiple Regression mit korrelierten VariablenHallo zusammen,
Ich brauche Hilfe in Bezug auf die multiple Regression und würde mich über jede Hilfe sehr freuen! Vielen Dank im Voraus 
Hier ist ein Problem auf den Punkt gebracht –
- Ich habe durchgehendes Y und 16 X
- Wenn ich eine multivariate Analyse durchführe, sehe ich, dass einige Begriffe korrelieren. Angenommen, X1 und X2 hängen zusammen, ich kann nur eines davon verwenden
- Ebenso habe ich viele solcher Paare
- Ich möchte jedoch willkürlich X1 gegenüber X2 auswählen. Was ich gerade mache, ist, die Regression zuerst mit X1 und dann mit X2 durchzuführen. Dann vergleiche ich die Modelle mit diesen Begriffen. Aber die Anzahl der Kombinationen, die ich ausführen müsste, ist einfach zu groß, was bei der manuellen Ausführung extrem zeitaufwändig und fehleranfällig ist.
- Ich wollte prüfen, ob es eine intelligentere Möglichkeit gibt, dieses Problem zu lösen.
- Ich weiß, dass dies gelöst werden kann, indem man ein Skript schreibt, das es in einer Art Schleife ausführt und die besten Modelle hervorhebt, basierend auf –
- Sie verfügen jedoch nicht über die Kenntnisse zum Schreiben von Skripten.
- Weitere Tipps und Tricks wären auch toll! (Ich habe kein JMP Pro)
Wir freuen uns darauf, von Ihnen zu hören.
Beste grüße,
Vipul
Automatisierung und SkripterstellungVersuchsplanungBetreff: Multiple Regression mit korrelierten VariablenVielen Dank @David_Burnham ! Vielen Dank für Ihr Feedback, es war sehr hilfreich. Sehr geschätzt.
Beste grüße,
Vipul
Betreff: Multiple Regression mit korrelierten VariablenDanke @statman für das Teilen deiner Gedanken. Das war sehr hilfreich. Sehr geschätzt
Beste grüße,
Vipul
Betreff: Multiple Regression mit korrelierten VariablenNochmals vielen Dank, Victor. Das war ein sehr hilfreiches Feedback. Ich habe den schrittweisen Regressions- und PCA-Ansatz ausprobiert und das hat uns bereits sehr geholfen.
Vielen Dank noch mal.
Beste grüße,
Vipul
Betreff: Multiple Regression mit korrelierten VariablenHallo @vipul ,
Unterschiedliche Modelle werden zu unterschiedlichen Ansätzen und Wegen im Umgang mit Multikollinearität führen.
Betrachtet man X1 und X2 als ein Paar von Prädiktoren, die unter anderen Prädiktoren stark korrelieren, reagieren die Modelle unterschiedlich:
- Bei einem schrittweisen Regressionsansatz (oder Entscheidungsbaum) entfernt das Modell stark korrelierte Prädiktoren aus dem Modell und behält nur die aussagekräftigsten Prädiktoren bei. In Ihrem Fall erhalten Sie am Ende nur X1 oder X2 (je nachdem, welches Ihnen die beste Modellierung/Leistung bietet).
- Mit einem Random Forest-Ansatz (oder Predictor Screening für JMP) werden mehrere Entscheidungsbäume mit einer Teilmenge der Prädiktoren für jeden Baum erstellt. Das bedeutet, dass X1 und Je nachdem, welcher Prädiktor mehr Informationen liefert, hat einer der beiden Prädiktoren eine höhere Merkmalsbedeutung (Modellbeitrag) als der andere, aber beide können im Modell berücksichtigt werden.
- Mit einem PLS/PCA-Ansatz reduzieren Sie die Anzahl der Prädiktoren auf eine kleinere Teilmenge unkorrelierter Prädiktoren, sodass Sie die meisten Prädiktorinformationen behalten (abhängig davon, wie viele Hauptkomponenten Sie behalten). Ihre Eingaben werden transformiert/kombiniert und unkorreliert (ein neues X' kann als Kombination aus X1 und X2 erstellt werden).
Welche Methode Sie wählen, hängt von der Leistung ab, die Sie mit den Modellen erzielen können, aber was noch wichtiger ist, hängt von Ihren Domänenkenntnissen zu dem Thema ab. Unterschiedliche Modellierungen können zu unterschiedlichen Erklärungen und unterschiedlichen Hypothesen über die Signifikanz oder Wichtigkeit verschiedener Prädiktoren führen. Daher sollte Ihnen das Domänenwissen bei der Auswahl des am besten geeigneten/vernünftigsten Modells helfen.
Hoffe es hilft dir,
Betreff: Multiple Regression mit korrelierten VariablenDavid hat einige Plattformen zum Ausprobieren angegeben. Bei der Kombination handelt es sich nicht um ein statistisches Verfahren, sondern um ein ingenieurwissenschaftliches Verfahren.
Lassen Sie mich ein hypothetisches Beispiel geben:
Stellen Sie sich vor, Sie versuchen herauszufinden, welche Faktoren einen Einfluss auf die Distanz haben, die ein Projektil mit einem Gummiband abfeuern kann (Y=Distanz). Zwei der vielen Variablen von Interesse (Masse des Projektils, Geometrie des Projektils, Abschusswinkel, Umgebungsluftströmungen, Abwurftechnik usw.) sind:
1. X1 = Länge, auf der das Gummiband gedehnt wird und
2. X2 = „Federkonstante“, die durch Änderung der Breite des Gummibandes variiert wird
Diese beiden Variablen scheinen in einem Datensatz korreliert zu sein und beide haben einen direkten Einfluss auf die dem System zugeführte Energiemenge (Hypothese). Betrachten wir sie als kollinear. Anstatt sie in einem Experiment als unabhängige Variablen zu behandeln, könnte man sie zu einem Faktor kombinieren, dessen Stufen aus Folgendem bestehen:
- = kurze Stretchlänge und schmales Breitenband
+ = langes Stretchband und dickes breites Band
Und dann wurde dieser „kombinierte Faktor“ in einem Experiment mit vielen anderen verglichen. Sollte dieser Faktor signifikant erscheinen, können nachfolgende Experimente durchgeführt werden, um besser zu verstehen, wie er am effektivsten bewältigt werden kann Energie in das System (Dies wird eine neue Antwortvariable).
Betreff: Multiple Regression mit korrelierten VariablenZu Ihrer Information: Das von Ihnen beschriebene Verfahren zum Einpassen eines nach dem anderen über alle X wird automatisch von durchgeführt Antwort-Screening Plattform finden Sie unter Analysieren > Screening.
Betreff: Multiple Regression mit korrelierten VariablenVielleicht möchten Sie sich auch die ansehen Clustervariablen Dienstprogramm unter Analysieren>Clustering.Die korrelierten X werden im selben Cluster platziert.Anschließend können Sie für jeden Cluster eine „repräsentative Variable“ auswählen, die in eine Regression einbezogen werden soll.Es gibt sogar eine „Launch-Fit-Modell“-Option im roten Dreieck.
Betreff: Multiple Regression mit korrelierten VariablenHallo @statman ,
Vielen Dank, dass Sie sich die Zeit genommen haben, Ihre Sichtweise mitzuteilen. Könnten Sie bitte näher erläutern, wie Sie mehrere korrelierte X kombinieren?
Nochmals vielen Dank im Voraus.
Beste grüße,
Vipul
Betreff: Multiple Regression mit korrelierten VariablenHallo @Victor_G
Vielen Dank, dass Sie sich die Zeit genommen haben, zu antworten. Ich werde auf jeden Fall sofort das Prädiktor-Screening-Modul verwenden. Ich hoffe, dass es einige Hinweise gibt.
Glauben Sie jedoch, dass dies das Problem der Multikollinearität lösen wird, da (sagen wir) X1 und X2 wieder als wahrscheinlichste Prädiktoren auftauchen werden, oder?
Betreff: Multiple Regression mit korrelierten VariablenHier sind meine Gedanken: Es gibt keine statistischen Verfahren nehmen welche Faktoren Sie in Ihre Studie einbeziehen sollten, wenn Multikollinearität vorliegt. Die Entscheidung muss vom KMU (Fachexperten) getroffen werden. Zu den Dingen, die dies beeinflussen können, gehören:
1. Einfachheit oder Kosten der Verwaltung der Xs
2. Wissenschaftliche Grundlage (Hypothesen) für die Aufnahme oder nicht (ich schlage vor, diese vorherzusagen und nicht zu entwickeln, nachdem die Daten vorliegen)
3. Auswirkungen auf andere Ys
Nun gibt es noch andere Dinge, die Sie tun können:
1. Kombinieren Sie korrelierte x zu einem X
2. Entwickeln Sie alternative Antwortvariablen
3. Versuchen Sie verschiedene Transformationen (z. B. PCA), obwohl dies die wissenschaftlichen Zusammenhänge trüben kann
4. Führen Sie Experimente zu den Faktoren durch
Betreff: Multiple Regression mit korrelierten VariablenHallo @vipul ,
Möglicherweise entspricht die Verwendung der Persönlichkeit „Schrittweise“ in der Plattform „Modell anpassen“ Ihren Anforderungen, da JMP versuchen wird, Variablen zu verwenden, die dazu neigen, ein Modell mit minimalem BIC/AICc oder mit einem p-Wert-Schwellenwert zu erstellen. Durch Klicken auf das rote Dreieck der Plattform besteht auch die Möglichkeit, „Alle möglichen Modelle“ zu testen. Dabei müssen Sie die höchste Anzahl an Termen (Faktoren) in Ihren Modellen und die Anzahl der besten Modelle angeben, die angezeigt werden sollen. Dann stellt JMP eine Tabelle mit allen getesteten Modellen bereit, mit der Anzahl der Terme in jedem Modell, R², RMSE, AICc und BIC, und Sie können jedes der getesteten Modelle ausführen, wenn Sie einige finden, die interessant genug sind.
Ich glaube jedoch nicht, dass dies angesichts des Problems der Multikollinearität in Ihrem Datensatz eine gute Idee ist. Wenn Sie über JMP und einen Datensatz mit stark korrelierten Variablen verfügen, können Sie diese Optionen ausprobieren, je nachdem, ob Sie an Erklärbarkeit und/oder Vorhersagbarkeit interessiert sind:
- Verwenden Sie „Prädiktor-Screening“ (unter Analysieren -> Screening), um die Variablen zu finden, die für Ihre Antwort am wichtigsten sind. Wählen Sie die n wichtigsten aus (Sie können den Schwellenwert n, die Anzahl der wichtigen Variablen, die Sie behalten möchten, je nach Domänenexpertise oder einem beliebigen Schwellenwert wie „Ich möchte die 5 besten Prädiktoren“ variieren), klicken Sie auf „Ausgewählte kopieren“ und klicken Sie dann Führen Sie Ihr Regressionsmodell (Fit Model) mit den kopierten Variablen aus.
- Verwenden Sie die Hauptkomponentenanalyse, um Ihre anfänglichen 16 X auf einen kleineren Satz unabhängiger Variablen zu reduzieren, der die meisten der anfänglichen Informationen enthält. Versuchen Sie es dann mit einem Regressionsmodell mit Ihren Hauptkomponenten anstelle der ursprünglichen X-Komponenten.
- Verwenden Sie partielle kleinste Quadrate (Analysieren -> Multivariat -> partielle kleinste Quadrate), um ein Modell mit korrelierten Variablen zu erstellen.
Ich denke, diese Optionen sind möglicherweise robuster/zuverlässiger als der Versuch, alle möglichen Modelle anzupassen und das/die beste(n) abhängig von R² oder anderen Metriken auszuwählen, da der ursprüngliche Ansatz, den Sie erwähnt haben, einige der korrelierten Xs weglässt, die möglicherweise noch wertvolle Werte enthalten Information.
Es sind viele andere Optionen möglich, die jedoch in JMP Pro verfügbar sind (z. B. mit Techniken des bestraften Regressionsmodells).
Ich denke, diese ersten drei Optionen könnten bereits hilfreich für Sie sein
