關於袋裝預測的概念問題我一直在努力從機器學習模型中尋找與您通常從回歸模型中獲得的標準誤差相媲美的不確定性度量。直到最近我才意識到分析器的一些功能——特別是袋裝預測。但我真的不明白如何（或者如果我應該）解釋這些袋裝預測。當我運行機器學習模型（例如，神經網絡）並保存分析器中的袋裝預測時，我得到袋裝均值、袋裝均值的標準誤差和袋裝標準差。將這些與回歸模型（例如多元回歸）進行比較，我觀察到以下關係：
- NN 預測的 bagged mean 與多元回歸的預測公式非常相似。
- 多元回歸模型的平均預測區間比預期的單個預測區間窄得多（在我正在查看的示例中，平均預測的標準誤差約為單個預測的標準誤差大小的 1/10） .
- 來自 NN 的袋裝平均值的標準誤差遠小於袋裝標準差（大約是我正在查看的示例中大小的 1/10）。
這些觀察促使我將 NN 的袋裝均值的標準誤差與回歸模型的均值預測的標準誤差類似。類似地，袋裝標準差可能類似於回歸模型中各個預測的標準誤差。
但是，NN 和回歸模型的標準誤差完全不相似！所以，我的問題是我的解釋是否有意義——或者，究竟如何解釋或使用來自袋裝平均值的標準誤差。
提前感謝您的任何見解。我附上了一個具體的例子，以防它對我的問題有所幫助（這是我的建模示例中的驗證數據集 - 包括來自多元回歸模型和 NN 的預測）。
分析回复：關於袋裝預測的概念問題附錄 - 在我附加的文件中，我（過度）估計了多元回歸的標準誤差。我使用保存的 95% 置信區間來估計它們。附件是我直接保存標準錯誤的修訂版。我的問題仍然存在，因為 NN 的標準誤差似乎不到多元回歸（平均）的一半，驗證集中幾乎沒有明顯的相關性。兩種模型都非常適合數據。所以，我想知道袋裝平均值的標準誤差的解釋是否被適當地解釋為與預測相關的標準誤差，就像解釋多元回歸預測的標準誤差一樣。
回复：關於袋裝預測的概念問題是的。
神經平台使用複雜的模型，即使只有少數隱藏節點。 想像一下在回歸模型中添加很多項。 RMSE 會發生什麼？ 反過來，SE 會發生什麼？ 您的回歸模型複雜性是否與 NN 相當？
我並不是說您在濫用 NN 或其他 ML 方法。 請記住，它們都是關於預測的，而不是關於推理的。 因此，估計的不確定性並不重要，準確性/可重複性/概括性就是一切。 因此，預測模型（不是解釋模型）使用總 MSE（偏差 + 方差）的度量來選擇模型，並使用“誠實評估”或交叉驗證來確認選擇的模型。
但主要的一點是，來自不同模型的 SE 沒有理由相同，即使它們的平均響應預測相似。 這種差異可能使一個模型在您的應用程序中具有優勢。
回复：關於袋裝預測的概念問題馬克，謝謝。這有點幫助。它可以解釋為什麼 NN 給出的標準誤差更小（儘管當兩個模型都非常適合數據時，我仍然對差異的大小感到驚訝）。但這似乎並不能解釋為什麼與每個預測相關的標準誤差幾乎沒有相關性。我發布的數據顯示，兩個模型之間每個觀察值的預測標準誤差之間幾乎沒有任何有意義的關係。現在，對於多元回歸模型，我對什麼決定了與不同觀察相關的標準誤差有所了解——但對於 NN，我真的不知道。也許這就是他們彼此不相關的原因？這是與 NN 模型缺乏可解釋性有關的維度嗎？
回复：關於袋裝預測的概念問題NN 是一個高度非線性的集成模型。 將其與可能具有二階項的回歸模型進行比較。 這兩種模型的標準誤差非常不同。
我個人不同意 NN 不可解釋或線性回歸模型可解釋的觀點。 （我認為這很愚蠢。）預測變量 X 的效果是包含它的所有術語的線性組合。 例如，談論“二次效應”是無稽之談。 模型中只有一個二次項。 那麼當X在模型中出現為X + X*X2 + X*X + X*X*X時，我們如何解釋它的效果呢？ 我們只是習慣於用這些術語來思考——我們已經接觸了很多年，也有時間去思考它。 通過非線性激活函數，NN 更相同（線性預測器），並為每個節點添加更多相同的值。 我們只需要更努力地思考。
不，我們沒有。 我們有一個適用於任何類型函數（模型）的分析器。
回复：關於袋裝預測的概念問題我正在聽你說什麼 - 但我認為我的問題已經變得不同了。讓我們把 NN 排除在外。由於分析器也可從多元回歸平台獲得，因此我做了一些實驗，以查看袋裝預測的標準誤差與從回歸模型中保存的標準誤差如何比較。它們是相關的，儘管遠非完美。個體預測標準差遠大於平均預測標準差，這是應該的，這也適用於保存袋裝均值時獲得的兩個標準誤差。然而，令我驚訝且我不明白的是，為什麼保存袋裝預測（個人或平均版本）的標準誤差比回歸模型的標準誤差小一個數量級。我的理解（這可能是錯誤的）是預測的標準誤差在理論上是在回歸模型中得出的，並且是袋裝預測中自舉的結果。從理論上講，這些應該是相似的（至少有足夠的引導樣本——我使用了 100 和 1000 並且都給出了相似的結果）——但事實並非如此。
因此，分析器的標準誤差似乎與回歸模型的標準誤差在質量上有所不同。為什麼會這樣？
回复：關於袋裝預測的概念問題為了更完整，附件是一個帶有單個預測器的簡單小文件。我建立了回歸模型並保存了預測和標準誤差（均值和個體）。我使用分析器來保存袋裝預測。有 3 個 xy 圖顯示了來自模型和分析器的預測值的等價性（在這種情況下是完美的）。標準誤差圖顯示出很強的相關性，但也表明分析器的標準誤差遠小於模型的標準誤差。我強烈懷疑裝袋程序的標準錯誤意味著不同的東西。我希望你能為我澄清這一點。
回复：關於袋裝預測的概念問題"我的理解（這可能是錯誤的）是預測的標準誤差在理論上是在回歸模型中得出的，並且是袋裝預測中自舉的結果。從理論上講，這些應該是相似的（至少有足夠的引導樣本——我使用了 100 和 1000 並且都給出了相似的結果）——但事實並非如此。 "
你指的是哪個理論？
回复：關於袋裝預測的概念問題我相信多元回歸的預測置信區間是通過公式推導出來的，這些公式來自關於誤差結構和隨機抽樣的假設（最終來自中心極限定理的基礎邏輯）。另一方面，我相信袋裝預測來自自舉——一種推導置信區間的非參數經驗方法。我也相信這兩種方法通常很接近，除非基礎數據具有不尋常的分佈和/或用於引導的樣本量不足。
在我附加的文件中，我認為不會出現任何這些問題。兩種方法的平均預測值幾乎相同，但分析器的標準誤差遠小於理論推導值。這就是讓我認為我誤解了探查器標準錯誤的含義的原因。否則，為什麼有人會使用理論上得出的標準誤差？
回复：關於袋裝預測的概念問題"我相信多元回歸的預測置信區間是通過公式推導出來的，這些公式來自關於誤差結構和隨機抽樣的假設（最終來自中心極限定理的基礎邏輯）。另一方面，我相信袋裝預測來自自舉——一種推導置信區間的非參數經驗方法。我也相信這兩種方法通常很接近，除非基礎數據具有不尋常的分佈和/或用於引導的樣本量不足。 "
是的！ 也就是說，如果您使用 CI 的理論表達式和 SAME 線性回歸模型的 bootstrap CI，則 CI ESTIMATES 應該一致。
回复：關於袋裝預測的概念問題標記
然後我會請你看一下我發布的最後一個示例數據集。置信區間（標準誤差）甚至不接近一致。這是一個簡單的線性回歸，並將預測標準誤差與來自分析器的袋裝預測進行比較。後者比前者小得多。這就是為什麼我很困惑。
