Ich wollte das vorhergesagte Rsquare verwenden, um zu testen, ob mein Modell überpasst oder nicht.Da ich damit nicht wirklich vertraut bin, habe ich ein paar Fragen zum vorhergesagten Rsquare.
1. Um wie viel kleiner ist das vorhergesagte R-Quadrat ein Zeichen für Überanpassung?Wenn das angepasste R-Quadrat 0,94 und das vorhergesagte R-Quadrat 0,84 beträgt, ist das in Ordnung?
2. Ich verstehe nicht ganz, wie der vorhergesagte R-Quadrat berechnet wurde.Ich weiß, dass man jedes Mal einen Datenpunkt herausnimmt, ein Regressionsmodell erstellt, diesen Datenpunkt zurücksetzt und ein R-Quadrat erhält. Dies wird für alle Datenpunkte wiederholt und die erhaltenen R-Quadrate werden gemittelt.Aber wie erhält man diese Regressionsmodelle? Verwendet JMP den Ansatz des maschinellen Lernens, um das Modell zu erhalten? Unterscheiden sich diese Regressionsmodelle von dem von mir gewählten Modell?
3. Ich habe festgestellt, dass die Aussage, dass der vorhergesagte R-Quadrat stärker sinken wird, wenn das Modell mehr Faktoren enthält, nicht immer stimmt. Ich habe zum Beispiel herausgefunden, dass das Modell mit zwei Faktoren einen niedrigeren vorhergesagten R-Quadrat haben kann als ein Modell mit drei Faktoren (obwohl der dritte Faktor einen ap-Wert hat, der (viel) größer als 0,05 ist).Sollte ich in diesem Fall zwei oder drei Faktoren in das Modell einbeziehen?
Um Marks Bemerkungen zu ergänzen: Eine der Methoden zur Bestimmung der Modellüberspezifikation besteht darin, das Delta zwischen dem R-Quadrat und dem angepassten R-Quadrat zu verwenden. R-Quadrate nehmen zu, wenn die Anzahl der Freiheitsgrade im Modell zunimmt (unabhängig davon, ob diese DFs wichtig sind). Das angepasste R-Quadrat berücksichtigt die „Wichtigkeit“ der DFs im Modell. Wenn also unwichtige Freiheitsgrade zum Modell hinzugefügt werden, erhöht sich das Delta (das angepasste R-Quadrat erhöht sich nicht mit der Rate des R-Quadrats). .
Sie sollten das R-Quadrat nicht zur Modellauswahl verwenden. Sie nimmt immer zu, wenn Sie ein Modell komplexer gestalten (z. B. indem Sie in der Regression einen Term zum linearen Prädiktor hinzufügen). Sie nimmt immer ab, wenn Sie ein Modell weniger komplex machen.
Durch die Verwendung einer Kreuzvalidierung kann das R-Quadrat jedoch für die Modellauswahl nützlicher werden. Sie könnten davon ausgehen, dass sich das Validierungs-R-Quadrat nicht erhöht, wenn Sie die Daten überanpassen. Speziell:
- Es gibt keine Möglichkeit festzustellen, wie groß der Unterschied zwischen dem Trainings-R-Quadrat und dem Validierungs-R-Quadrat auf eine Überanpassung hindeutet. Es ist eine subjektive Entscheidung. Man kann sagen, dass das Modell, für das die beiden R-Quadrat-Schätzungen vorliegen, von allen Kandidatenmodellen am wenigsten überpasst.
- Es gibt eine effiziente Berechnung der „Leave one out“-Statistik mithilfe der „Hut“- oder „Projektions“-Matrix.
- Ich würde die Änderung im R-Quadrat nicht zur Auswahl des Modells verwenden. Ich würde andere Informationen berücksichtigen, aber hauptsächlich auf ein Kriterium wie AICc oder BIC achten.
