評估表現線性擬合與對數擬合大家好，
我想知道您對如何評估線性模型和對數模型（即僅對響應進行對數變換）的性能有什麼建議。我想評估哪個模型在可預測性和準確性方面更好。
我的第一個猜測是比較 R 平方值和 RMSE 值，但似乎兩個模型有不同的單位，因此無法直接比較。
謹致問候，Janneman
進階統計建模基礎資料分析與建模預測模型和機器學習可靠度分析回覆：評估表現線性擬合與對數擬合你好@Janneman ，
為了更好地理解模型的目的及其適用性/覆蓋率/泛化能力，可能需要回答大量問題：
- 建模背後的目標是什麼：解釋、預測、還是兩者兼具…？
- 數據是如何收集的？資料收集過程中是否有任何設計？
- 更多問題有助於思考模型的預期「表現」： 最佳模型
除了可以用來比較模型解釋性能（R²/R²調整後、無量綱）、預測性能（RMSE、MAE等）、統計顯著性（模型p值、單項的p值等）、模型複雜度/調整（透過AICc、BIC等）的評估指標外，我認為首先透過殘差可視化和分析來評估和「調試」模型也可能很重要。有關模型比較和選擇的更多想法，請參閱模型降階。
轉換響應意味著您將轉換平均響應和變異數響應。然後，您可以查看轉換後的反應模型的殘差是否比原始反應模型更好地遵守迴歸模型假設。如果情況似乎沒有改善，您或許可以使用廣義回歸模型，因為它們獨立處理平均響應和方差響應：這種類型的模型使用連結函數將平均值轉換為預測變數的線性函數，並使用方差函數來允許分析中的方差異質性，而不是嘗試轉換所有內容（例如透過對數轉換）。透過完全轉換反應（透過對數轉換或Box-Cox Y 轉換）或使用廣義迴歸模型，您應該擁有一個與原始模型相同或更簡單的模型（模型中的項較少，因此 AICc/BIC 較低）。
我不會轉換響應，除非我有強烈的跡象表明可能需要這樣做（透過轉換響應來簡化模型並獲得更好的殘差模式）。
有關這兩種模型之間的差異的更多信息，請參閱： 擬合模型中“最小二乘”和“廣義線性方法”之間的差異。
一旦完成統計評估並且模型可以保留，那麼您可以使用標準化和/或無單位預測指標來比較模型並避免因轉換而導致的任何偏差的比較。
希望這個答案能對你有幫助，
回覆：評估表現線性擬合與對數擬合你好@Victor_G ，
首先感謝您的詳細回答。
此模型的目標是兼具預測性和解釋性。數據是透過執行多因素CCD收集的。
從響應的分佈來看，無法明確看出資料是常態分佈還是對數常態分佈。因此，我同時使用兩個資料（一個是線性的，另一個是對數轉換的）來評估哪一個更具預測性和解釋性。
我使用逐步過程來擬合模型，其中在迭代過程中選擇 p < 0.05 的因子。
您認為這樣的統計評估足以保留這兩個模型嗎？此外，線性和對數線性模型的 R 平方和調整後的 R 平方非常相似，但對 RMSE 的影響卻很大。因此，我正在尋找一種公平地比較這兩個模型的方法，並選擇了最佳模型。
我可以使用哪些其他標準化和/或無量綱的預測指標來比較模型，並避免因變換而導致的偏差？您已經提到了 R2/R2adj。
回覆：評估表現線性擬合與對數擬合我同意@Victor_G在他的帖子中所說的一切。我唯一想補充的是有關均方根誤差（RMSE）的比較。對數轉換模型的RMSE顯然與未變換模型的RMSE不在同一量級。
您可以執行以下操作來修正此問題：
- 取得每個觀察結果的對數尺度預測。
- 透過指數運算對這些預測進行反向變換。
- 這裡要注意的是，要仔細研究一下模糊重變換 (Duan)（維基百科上有一個不錯的條目）。這本質上是將變換後的預測結果乘以一個模糊常數，以修正你正在進行的變換（參考 Jensen 不等式）；否則，你的預測結果就會有偏差。
- 使用這些反向變換的預測值和未變換的觀測值來計算殘差。
- 最後，使用這些殘差計算 RMSE。
然後，您可以將此 RMSE 與常規線性模型的 RMSE 進行比較。
回覆：評估表現線性擬合與對數擬合首先，您只能預期響應服從迴歸模型在零假設下的假設，呈常態分佈。任何預測變數的影響都會導致反應服從非常態分佈。殘差的條件反應是評估這個假設的更好方法。
其次，您也可以將這兩個模型視為對回應的影響的興趣，將另一個模型視為對回應數量級的影響的興趣。
回覆：評估表現線性擬合與對數擬合首先，正如@Mark_Bailey所解釋的那樣，常態分佈是對殘差的假設，而不是資料本身。背後的想法是，建模後資料中不再存在任何模式，只有常態分佈的隨機誤差，所有模式都被迴歸模型捕捉到。
其次，對於設計的實驗數據，逐步選擇方法可能不夠充分（尤其是在有 p 值閾值的情況下），因為您是使用假定模型（與中心複合設計相關的響應面模型）收集數據的。根據所使用的平台和應用的規則，您可能會創建一個不強制執行「效應遺傳」的模型，因此您最終可能會得到一個看似令人滿意且性能高的模型，但不能很好地概括這些性能（不穩健）。在規則中強制執行「遺傳」或使用剪枝方法（在 GenReg 模型中）可能會更好（或乾脆從完整的假定模型開始）。逐步回歸的其他缺陷：
- 此模型的 R² 值偏高
- 用於確定效應顯著性的 F 和卡方檢定統計數據並不具有所宣傳的分佈
- 模型係數信賴區間太小（標準誤差縮小）且模型係數被高估
- 模型係數的 P 值甚至不再有意義，因為它們是基於隱式多重比較
- 模型預測變數的共線性會嚴重影響所選變量，導致選擇變得武斷。而且，我們甚至沒有妥善處理共線性問題。
參見逐步選擇演算法幾乎總是破壞統計估計
如果您的目標主要在於預測效能，那麼評估指標的選擇應該優先考慮並執行此目標。在逐步選擇中使用 AICc 或 BIC 作為停止規則可能更適合模型構建，因為統計顯著性可能並非優先考慮的因素（即使重要/高效應項的 p 值較低（顯著）。為了進行比較和選擇，您可以按照此公式從模型殘差計算 MAPE（平均絕對百分比誤差），或使用此公式計算 RMSPE（均方根百分比）。
還有其他可用的指標，但這些「百分比」版本應該可以幫助您在相同的百分比範圍內比較兩個模型。
希望這個補充答案能對你有幫助，
