Modell: Sind hohe VIF in allen Fällen ein Problem?Hier ist die Situation: Ich versuche, ein Modell zu erstellen, um ein bestimmtes Y mit 25 Parametern in X auszudrücken. Alle Daten von meinen Parametern X werden von derselben einzigen Technologie geliefert, die 1 Probe mit 25 Frequenzen (mein X) als Frequenz-Scanning analysiert, um maximale Informationen zu erhalten. Mit anderen Worten, für jede einzelne Y-Daten habe ich 25 X.
Aber das Problem ist, dass ich beim Erstellen von Modellen riesige VIFs erhalte, weil meine Parameter X von Natur aus kollinear sind, da es sich nur um Frequenzen derselben Technologie handelt, sodass sie sich auf die gleiche Weise entwickeln ...
Und wenn ich das mache, was ich gelernt habe, d. h. jeden Parameter einzeln entferne, basierend auf dem höchsten VIF, bleibt am Ende eine einzige Frequenz übrig, was das ganze Interesse an der Scan-Technologie beseitigt.
Ist das Modell in diesem speziellen Fall wirklich durch diese Kolinearitäten verzerrt oder können wir ihm vertrauen?
@alexbeck Vielleicht?
Betreff: Modell: Sind hohe VIF in allen Fällen ein Problem?@martindemel Können Sie sich das nach Ihrer Rückkehr aus dem Urlaub ansehen?
Betreff: Modell: Sind hohe VIF in allen Fällen ein Problem?In Ordnung ! Ich werde das alles ausprobieren und sehen, was ich finden kann. Vielen Dank !Betreff: Modell: Sind hohe VIF in allen Fällen ein Problem?Absolut. Alles im Modell ist ganz in Ordnung: Ausreißer waren Checker mit studentisierten Residuen, Adj. R2 ist sehr fein usw. ... Nur die VIF sind verrücktBetreff: Modell: Sind hohe VIF in allen Fällen ein Problem?Ich habe vergessen zu erwähnen, aber wenn ich von hohem VIF spreche, meinte ich Hunderte und Tausende ... Wenn meine Varianz immer noch nicht so hoch ist, kann ich solche Werte tolerieren?
Das PLS wurde zwar schon erwähnt, das werde ich ausprobieren!
Leider habe ich kein JMP Pro ...Betreff: Modell: Sind hohe VIF in allen Fällen ein Problem?Ich habe keine Ahnung, was passiert, wenn das Tool Functional Data Explorer, ich werde es herausfinden, vielen Dank für diesen Tipp!
In der Tat sind von all meinen 25 Frequenzen nur wenige wirklich relevant, um mein Y zu erklären, und deshalb habe ich während der Modellierung schrittweise die nicht signifikanten entfernt. Wenn ich das nicht tue, erhalte ich ein Modell mit etwa 18 nicht signifikanten Parametern und nur 6 signifikanten ... Macht das wirklich Sinn?
Ich werde auch PLS überprüfen, das ist in der Tat eine gute Idee, danke für deine Hilfe!Betreff: Modell: Sind hohe VIF in allen Fällen ein Problem?Es tut mir leid, wenn es klar genug war, versuchen wir es noch einmal:
Es sind nicht genau 25 Ebenen von X, sondern 25 verschiedene X, die aus derselben Technologie stammen. Der Techno scannt verschiedene Frequenzen und gibt für jede einen Wert aus, der mein X ist.
Und wenn ich hohe VIF erwähne, spreche ich von Hunderten und Tausenden ...Betreff: Modell: Sind hohe VIF in allen Fällen ein Problem?Es gibt viele Techniken, die Sie in dieser Situation anwenden können.Regularisierte Modelle wie Ridge-Regression oder neuronale Netze können Kollinearität ziemlich gut überwinden.Sie können auch Dimensionsreduktionstechniken wie Hauptkomponenten verwenden und eine Regression der Komponentenbewertungen durchführen.
Betreff: Modell: Sind hohe VIF in allen Fällen ein Problem?Wie Mark andeutet, sollten "Faustregeln" immer mit Vorsicht verwendet werden. Beim Bau eines geeigneten Modells gibt es eine Reihe von Techniken verwendet (z. B. Bewertung der Annahmen ( NID(0, S 2 )) , R-Quadrat-R-Quadrat Adj, Testen auf Ausreißer, Residuenanalyse usw.), von denen VIFs nur einer ist.
Betreff: Modell: Sind hohe VIF in allen Fällen ein Problem?Ich habe eine allgemeine "Faustregel" für VIF gesehen: unter 10 ist gut, über 10 ist schlecht. Diese Regel ist leider nutzlos und sollte nicht befolgt werden.
Im Allgemeinen hängt ein tolerierbarer VIF von der relativen Größe der Parameterschätzung und der Antwortvarianz ab. Wenn Ihre Antwortänderungen enorm sind und Ihre Varianz gering ist, können Sie sehr große VIF tolerieren. Wenn andererseits Ihre Antwortänderungen klein und Ihre Varianz groß sind, dann könnte ein kleiner VIF zu viel sein.
Ich frage mich, ob Sie eine andere Regressionsmethode verwenden könnten. Beispielsweise ist PLS sehr erfolgreich, wenn das X die Domäne einiger Spektren wie Wellenlänge oder Molekulargewicht ist. Diese X sind stark korreliert. Das PLS-Regressionsmodell nutzt diese Informationen, anstatt Sie mit Kollinearität zu bestrafen.
Wenn Sie über JMP Pro verfügen, können Sie das X auch als funktionale Daten behandeln und die funktionalen Hauptkomponenten speichern. Diese FPCs würden anstelle von X in Ihrem Regressionsmodell von Y verwendet werden.
Was denken Sie?
Betreff: Modell: Sind hohe VIF in allen Fällen ein Problem?Das hört sich so an, als ob Sie tatsächlich den Functional Data Explorer verwenden möchten. Für jedes Y haben Sie einen Frequenzbereich, der ein Profil definiert. Genau das soll der Functional Data Explorer analysieren.
Wenn Sie jedoch die Regression verwenden möchten, sind hohe VIFs kein großes Problem, wenn Sie KEINE Terme aus dem vollständigen Modell (dem Modell mit allen X im Modell) entfernen und nur das Modell verwenden möchten zur Vorhersage.
Da es so klingt, als wären Sie mehr daran interessiert, welche Frequenzen am wichtigsten sind (indem Sie nicht signifikante Begriffe mit hohen VIFs entfernen), laufen Sie immer noch Gefahr, dass die hohen VIFs Probleme verursachen. Ihr Ansatz ist wahrscheinlich der beste, wenn Sie bei der Regression bleiben, aber denken Sie daran, dass die hohen VIFs bedeuten, dass die Varianz der Parameterschätzungen überhöht ist. Das bedeutet auch, dass die Parameterschätzungen schrecklich instabil sind. Das Entfernen eines X aus dem Modell könnte die Parameterschätzungen und Signifikanztests der anderen Parameter dramatisch verändern. Das Modell, das Sie am Ende erhalten, ist möglicherweise nicht das beste.
Wenn Sie wirklich die wichtigen Merkmale dieser Profile identifizieren müssen, sehen Sie sich bitte den Funktionsdaten-Explorer an. Wenn dies nicht möglich ist, sollten Sie eine Modellierungstechnik in Betracht ziehen, die auf die Handhabung der Multikollinearität ausgelegt ist. PLS oder PCR sind nur zwei solcher Techniken.
Betreff: Modell: Sind hohe VIF in allen Fällen ein Problem?Ich glaube nicht, dass ich das Problem vollständig verstehe. Es hört sich so an, als hätten Sie 25 Ebenen von einem X (Frequenz). Sie erstellen also ein Modell mit nur einem X im Modell? Sie hätten viele Freiheitsgrade, um ein ziemlich komplexes nichtlineares Modell zu schätzen, aber es gibt nur einen Prädiktor in der Gleichung.
Hohe VIFs (>10 zu hoch, >5 sollten bewertet werden) sind nur ein Hinweis darauf, dass Ihr Modell neu bewertet werden sollte (die Nützlichkeit des Modells kann überbewertet werden). Ja, es ist ein Maß für Multikollinearität, aber die hohen Werte geben nicht unbedingt an, was kollinear ist. Dies erfordert normalerweise Fachkenntnisse, um dies zu verstehen und angemessen zu kompensieren.
