899258_de-DE

liliconcom

Leistung bewerten: lineare Anpassung vs. logarithmische Anpassung

Hallo zusammen,

Ich habe mich gefragt, ob Sie Vorschläge zur Bewertung der Leistung eines linearen Modells und eines Log-Modells (d. h. nur logarithmisch transformierte Antwort) haben. Ich versuche zu beurteilen, welches Modell hinsichtlich Vorhersagbarkeit und Genauigkeit besser ist.

Meine erste Vermutung war, R-Quadrat-Werte und RMSE-Werte zu vergleichen, aber es scheint, dass die beiden Modelle unterschiedliche Einheiten haben und daher nicht direkt verglichen werden können.

Mit freundlichen Grüßen, Janneman

Erweiterte statistische ModellierungGrundlegende Datenanalyse und -modellierungPrädiktive Modellierung und maschinelles LernenZuverlässigkeitsanalyseBetreff: Leistung lineare Anpassung vs. logarithmische Anpassung bewerten

Hallo @Janneman ,

Um den Zweck Ihres Modells und seine Anwendbarkeit/Abdeckung/Verallgemeinerung besser zu verstehen, müssen Sie möglicherweise eine lange Liste von Fragen beantworten:

• Was ist Ihr Ziel hinter der Modellierung: erklärend, prädiktiv, beides ...?
• Wie wurden die Daten erhoben? Ist die Datenerhebung auf ein bestimmtes Design ausgerichtet?
• Weitere Fragen, die Ihnen helfen, über die erwartete „Leistung“ des Modells nachzudenken: bestes Modell

Neben den Bewertungsmetriken, die Sie zum Vergleich der Modellerklärungsleistung (R² / R²-adjustiert, einheitenlos ), der Vorhersageleistung (RMSE, MAE, ...), der statistischen Signifikanz (Modell-p-Wert, p-Werte einzelner Terme, ...) und der Modellkomplexität/-adjustierung (durch AICc, BIC, ...) verwenden könnten, halte ich es für wichtig, das Modell zunächst durch Residuenvisualisierung und -analyse zu evaluieren und zu „debuggen“. Weitere Ideen zum Modellvergleich und zur Modellauswahl finden Sie unter Modellreduktion .

Das Transformieren einer Antwort bedeutet, dass Sie sowohl die durchschnittliche Antwort als auch die Varianzantwort transformieren. Sie können dann sehen, ob die Residuen des transformierten Antwortmodells die Annahmen des Regressionsmodells besser berücksichtigen als das ursprüngliche Antwortmodell. Wenn sich die Situation nicht zu verbessern scheint, können Sie vielleicht ein verallgemeinertes Regressionsmodell verwenden, da dieses die durchschnittliche Antwort und die Varianzantwort unabhängig voneinander behandelt: Dieser Modelltyp verwendet eine Linkfunktion, um den Mittelwert in eine lineare Funktion der Prädiktorvariablen umzuwandeln, und eine Varianzfunktion, um Varianzheterogenität in der Analyse zu berücksichtigen, anstatt zu versuchen, alles zu transformieren (zum Beispiel durch eine Log-Transformation). Indem Sie die Antwort vollständig transformieren (durch eine Log-Transformation oder eine Box-Cox-Y-Transformation ) oder ein verallgemeinertes Regressionsmodell verwenden, sollten Sie ein genauso einfaches oder einfacheres Modell als Ihr ursprüngliches Modell erhalten (weniger Terme im Modell, also niedrigerer AICc/BIC).
Ich würde die Antworten nicht transformieren, es sei denn, ich habe einen starken Hinweis darauf, dass dies erforderlich sein könnte (Vereinfachung des Modells mit transformierter Antwort und bessere Restmuster durch Transformation der Antwort).

Weitere Informationen zu den Unterschieden zwischen diesen beiden Modelltypen finden Sie unter: Unterschied zwischen „kleinste Quadrate“ und „verallgemeinerter linearer Methode“ im Anpassungsmodell .

Sobald diese statistische Auswertung abgeschlossen ist und beide Modelle beibehalten werden können, können Sie normalisierte und/oder einheitenlose Vorhersagemetriken verwenden, um die Modelle zu vergleichen und einen verzerrten Vergleich aufgrund der Transformation zu vermeiden.

Hoffe, diese Antwort wird Ihnen helfen,

Betreff: Leistung lineare Anpassung vs. logarithmische Anpassung bewerten

Hallo @Victor_G ,

Erstmal vielen Dank für Ihre ausführliche Antwort.

Das Ziel des Modells besteht darin, sowohl prädiktiv als auch erklärend zu sein. Die Daten wurden durch die Durchführung einer mehrfaktoriellen CCD erhoben.

Aus der Verteilung der Antwort lässt sich nicht eindeutig ableiten, ob die Daten normalverteilt oder logarithmisch normalverteilt sind. Daher verwende ich beide (eine lineare und eine logarithmisch transformierte), um zu ermitteln, welche Methode prädiktiver und erklärender ist.

Ich passe das Modell mithilfe des schrittweisen Prozesses an, bei dem die Faktoren mit p < 0,05 in einem iterativen Prozess ausgewählt werden.

Glauben Sie, dass diese statistische Auswertung ausreicht, um beide Modelle beizubehalten? Darüber hinaus sind die R-Quadrat- und die angepassten R-Quadrat-Werte für das lineare und log-lineare Modell sehr ähnlich, allerdings gibt es einen recht großen Einfluss auf den RMSE. Deshalb suche ich nach einer Möglichkeit, beide Modelle fair zu vergleichen und habe mich für das beste Modell entschieden.

Welche anderen normalisierten und/oder einheitenlosen Vorhersagemetriken könnte ich verwenden, um die Modelle zu vergleichen und einen verzerrten Vergleich aufgrund der Transformation zu vermeiden? Sie haben bereits R2/R2adj erwähnt.

Betreff: Leistung lineare Anpassung vs. logarithmische Anpassung bewerten

Ich kann mich allem anschließen, was @Victor_G in seinem Beitrag gesagt hat. Ich möchte lediglich den Vergleich der RMSEs ergänzen. Der RMSE des logarithmisch transformierten Modells liegt offensichtlich nicht auf derselben Skala wie der RMSE des nicht-transformierten Modells.

Um dies zu korrigieren, können Sie Folgendes tun:

1. Erhalten Sie für jede Beobachtung Vorhersagen im Log-Maßstab.
2. Transformieren Sie diese Vorhersagen zurück, indem Sie sie potenzieren.
   1. Beachten Sie hier die Verschmierungs-Retransformation (Duan) (Wikipedia hat dazu einen guten Eintrag). Dabei werden die rücktransformierten Vorhersagen im Wesentlichen mit einer Verschmierungskonstante multipliziert, um die von Ihnen durchgeführte Transformation zu korrigieren (siehe Jensens Ungleichung); andernfalls erhalten Sie verzerrte Vorhersagen.
3. Verwenden Sie diese rücktransformierten Vorhersagen und die nicht transformierten beobachteten Werte, um die Residuen zu berechnen.
4. Berechnen Sie abschließend den RMSE mithilfe dieser Residuen.

Sie können diesen RMSE dann mit dem RMSE Ihres regulären linearen Modells vergleichen.

Betreff: Leistung lineare Anpassung vs. logarithmische Anpassung bewerten

Erstens würde man nur erwarten, dass die Antwort normalverteilt ist, wie vom Regressionsmodell unter der Nullhypothese angenommen. Jegliche Effekte der Prädiktoren würden zu einer nicht-normalverteilten Antwort führen. Die bedingte Antwort der Residuen ist eine bessere Möglichkeit, diese Annahme zu überprüfen.

Zweitens könnten Sie sich die beiden Modelle auch so vorstellen, dass das eine an der Auswirkung auf die Reaktion interessiert ist und das andere an einer Auswirkung auf die Größenordnung der Reaktion.

Betreff: Leistung lineare Anpassung vs. logarithmische Anpassung bewerten

Erstens ist die Normalverteilung eine Annahme für Residuen, nicht für die Daten selbst, wie von @Mark_Bailey erklärt. Die Idee dahinter ist, dass nach der Modellierung keine Muster mehr in Ihren Daten vorhanden sind. Sie haben lediglich normal verteilte Zufallsfehler, wobei alle Muster von Ihrem Regressionsmodell erfasst werden.

Zweitens ist eine schrittweise Auswahlmethode möglicherweise nicht ausreichend (insbesondere mit einem p-Wert-Schwellenwert) für geplante experimentelle Daten, da Sie Daten mit einem angenommenen Modell (Response-Surface-Modell verknüpft mit Central Composite-Design) gesammelt haben. Abhängig von der verwendeten Plattform und den angewandten Regeln erstellen Sie möglicherweise ein Modell, das die Effektvererbung nicht erzwingt, sodass Sie am Ende ein scheinbar zufriedenstellendes Modell mit hoher Leistung erhalten, das diese Leistung jedoch nicht gut verallgemeinert (nicht robust). Die Durchsetzung der Vererbung in den Regeln oder die Verwendung eines beschnittenen Ansatzes (im GenReg-Modell) könnten besser sein (oder Sie beginnen einfach mit dem vollständigen angenommenen Modell). Weitere Fallstricke der schrittweisen Regression:

1. Der R²-Wert des Modells ist nach oben verzerrt
2. Die zur Bestimmung der Signifikanz von Effekten verwendeten F- und Chi-Quadrat-Teststatistiken weisen nicht die angegebenen Verteilungen auf
3. Die Konfidenzintervalle der Modellkoeffizienten sind zu klein (verkleinerte Standardfehler) und die Modellkoeffizienten werden überschätzt
4. P-Werte für Modellkoeffizienten machen nicht einmal mehr Sinn, da sie auf impliziten Mehrfachvergleichen basieren
5. Die Kollinearität in den Modellprädiktoren beeinflusst die ausgewählten Variablen stark, was die Auswahl willkürlich macht. Darüber hinaus gehen wir nicht einmal richtig auf die Kollinearität ein.
   Siehe Schrittweise Auswahlalgorithmen ruinieren fast immer statistische Schätzungen

Wenn Ihr Ziel hauptsächlich die Vorhersageleistung ist, sollten Ihre Bewertungsmetriken so gewählt werden, dass dieses Ziel priorisiert und durchgesetzt wird. Die Verwendung von AICc oder BIC als Abbruchregel bei der schrittweisen Auswahl könnte für die Modellbildung relevanter sein, da statistische Signifikanz möglicherweise keine Priorität hat (selbst wenn wichtige/effektive Terme niedrige (signifikante) p-Werte haben). Zum Vergleich und zur Auswahl können Sie MAPE (Mean Absolute Percentage Error) aus den Residuen Ihrer Modelle mit dieser Gleichung oder RMSPE (Root Mean Squared Percentage Error) mit dieser Gleichung berechnen.

Es sind noch andere Metriken verfügbar, aber diese „Prozent“-Versionen sollten Ihnen dabei helfen, die beiden Modelle auf derselben Prozentskala zu vergleichen.

Hoffe, diese ergänzende Antwort wird Ihnen helfen,