關於 bagged 預測的概念問題長期以來，我一直在努力從機器學習模型中尋找與通常從迴歸模型中獲得的標準誤差相當的不確定性測量。直到最近我才意識到分析器的一些功能 - 特別是袋裝預測。但我真的不明白如何（或者我是否應該）解釋這些預測。當我執行機器學習模型（例如神經網路）並儲存分析器中的 bagged 預測時，我會得到 bagged 平均值、bagged 平均值的標準誤差和 bagged 標準差。將它們與迴歸模型（例如多元迴歸）進行比較，我觀察到以下關係：
- 神經網路的預測袋裝均值與多元迴歸的預測公式非常相似。
- 多元迴歸模型的平均預測區間比預期的單一預測區間窄得多（在我正在查看的範例中，平均預測的標準誤差約為單一預測標準誤差大小的 1/10） 。
- NN 的 bagged 平均值的標準誤差遠小於 bagged 標準差（大約是我正在查看的範例中大小的 1/10）。
這些觀察結果促使我將神經網路的袋裝平均值的標準誤差視為類似迴歸模型的平均值預測的標準誤差。類似地，袋裝標準差可能類似於迴歸模型的各個預測的標準誤差。
然而，神經網路和迴歸模型的標準誤差根本不相似！所以，我的問題是我的解釋是否有意義 - 或者，究竟如何解釋或使用袋裝平均值的標準誤差。
預先感謝您的任何見解。我附上了一個具體的範例，以防它有助於解決我的問題（這是我的建模範例中的驗證資料集 - 包含來自多元迴歸模型和神經網路的預測）。
消費者與市場研究回复：關於袋裝預測的概念性問題謝謝。我認為這些置信區間將非常有用——在它們被糾正之後。目前，它們非常具有誤導性（一個數量級 - 如果您使用 100 個 bootstrap 樣本）。
回复：關於袋裝預測的概念性問題是的，我確認在 Profiler 平台（在“圖形”菜單下）中，當預測裝袋均值公式伴隨著裝袋均值公式的 StdError 進入啟動對話框時，Profiler 平台使用“袋裝均值的 StdError”來生成間隔。
我同意有些事情還不夠清楚，可以改進。 我看不清楚的是在您指向的頁面上的文檔中使用了“置信區間”：使用 Bagging 的置信區間示例. 目前尚不清楚什麼是置信區間，措辭可能具有誤導性。
同時，您希望使用 Bagged Std Dev 來生成區間是一個很好的要求。 我試圖將該列放入 Profiler 平台，但無法識別。
您能否通過以下方式聯繫 JMP 技術支持支持@jmp.com並報告您的疑慮和要求？
非常感謝您如此仔細地研究該軟件！
回复：關於袋裝預測的概念性問題謝謝。我得出了同樣的結論。那麼，剩下的問題就是應該使用哪個來生成模型效果的置信區間。我相信它是 Bagged Standard Dev 而不是 Bagged Mean 的標準誤差 - 我也相信 JMP 一直在使用（至少在說明中）後者而不是前者來生成置信區間。
請確認這一點 - 或不。進一步詳細說明，我認為 Bagged Mean 的標準誤差對於衡量您是否有足夠的 bagged (bootstrap) 樣本是有用的。但是為了衡量因素對響應變量影響的不確定性，袋裝均值的標準誤差不提供任何有用的信息。正是 Bagged Standard Dev 做到了這一點。因此，要生成置信區間，在保存 bagged 均值後，應打開 Profiler，選擇 Bagged 均值和 Bagged 標準差，選擇用於擴展中間公式的框，結果將是所需的置信區間。請注意，這與 JMP 幫助不同：
https://www.jmp.com/support/help/en/16.1/?os=win&source=application&utm_source=helpmenu&utm_medium=application#page/jmp/example-of-confidence-intervals-using-bagging.shtml# .
回复：關於袋裝預測的概念性問題讓我試著解釋一下什麼是 Bagged Mean 的標準誤差，為什麼它看起來更小。
首先，我嘗試僅使用 3 個 bootstrap 樣本來保存袋裝預測。
這是結果。 有 6 個新列。
讓我們看看這些列是什麼。
前三列中的每一列都是來自數據引導樣本的預測列。 我們有三個 bootstrap 樣本，所以我們有三個。 這是三個預測公式。 他們是不同的。
（A）
(二)
（C）
現在查看第 4 列：Pred Formula Sales Bagged Mean 2。
(四)
所以它是這三個按行預測的平均值。
現在查看第 5 列：StdError Sales Bagged Mean 2。
(五)
它是什麼？ 它看起來像是某種均值的標準誤差。 什麼意思？ 自舉預測的平均值。 換句話說，這與預測均值的 StdError 不同。預測的均值只是眾多自舉樣本中的一個，如果換個角度來看的話. 這應該可以解釋為什麼 Bagged Mean 的 StdErr 更小。 如果你增加引導樣本的數量，它會變得更小。
現在，如果我們查看最後一列，這是它的公式：
（F）
這是自舉預測的標準偏差。 事實上，這個值應該接近“StdErr Pred Sales”，並且它不會隨著 bootstrap 樣本數量的增加而變小。 這是您的“StdErr Pred Sales”的自舉版本。 如果您懷疑該模型不適合您的數據，例如假設可能被違反，例如“StdErr Pred Sales”不再具有書本上的漸近分佈，則自舉版本可能會給您一些更誠實的東西，如果您必須使用錯誤的模型進行預測。
那麼您為什麼要關心“StdError Sales Bagged Mean 2”。 (E) 在上面？ 這是數量是為了評估你是否有足夠的引導樣本。理想情況下，你希望值非常小，那麼你可以相信你的袋裝值。
回复：關於袋裝預測的概念性問題我的覆蓋率數據來自各個預測標準誤差——我將它們從回歸模型中保存下來，並使用來自分析器的裝袋標準差。要查看均值，我會使用 Std Err Predicted 和 Std Error 作為裝袋均值。正如我所說（閱讀我寫的內容），我不知道如何計算平均預測區間的覆蓋率，因為我對每一行只有一個觀察結果——如果有辦法做到這一點，請告訴我。
因此，我使用了個體預測，JMP 為個體預測和平均預測提供了標準誤差（當然，前者比後者大得多）。
您的其他評論沒有解決我的問題。我知道幾種比較和評估模型的方法。我感興趣的是檢查與模型相關的不確定性的方法——不是它們的預測準確性，而是它們預測的可變性。我知道的唯一方法是共形預測。看起來探查器通過為模型中的特徵提供置信區間來提供這種能力。事實上，您似乎是通過反對我關於機器學習模型（例如 NN）缺乏可解釋性的說法來提出這一建議的。
我認為探查器向可解釋性邁出了一大步。它顯示了特徵的變化如何影響響應變量。如果它還可以為這些效應提供標準誤差（置信區間），那麼它基本上可以提供與回歸模型一樣多的解釋。然而，這就是我正在努力解決的問題——我不相信我可以那樣使用這些置信區間。
回复：關於袋裝預測的概念性問題然後使用驗證保留集中的性能度量來評估不同的模型。
回复：關於袋裝預測的概念性問題“使用大約 95% 的置信區間（相應平均預測周圍的 2 個標準誤差，使用單個預測的標準誤差），實際 Y 值的覆蓋範圍為模型預測的 900 行中的 866（大約 95%），但是袋裝預測只有 900 個中的 222 個。 “
您是否混淆了平均值的置信區間和單個觀察值的置信區間？ 前者是一個區間，假設模型是無偏的，我們期望平均響應位於該區間內。 為什麼你會期望在那個時間間隔內發生個別觀察？
“考慮到結果有多極端，這對我來說表明模型的標準誤差（至少對於這個表現良好的模型而言）是預測不確定性的準確度量。 “
不，我不認為你的結論是合理的。 您是根據個人反應而不是平均值來比較“覆蓋率”。 該模型是關於位置的：平均響應。 該模型預測平均響應。 置信區間與均值響應的不確定性有關。 該模型的置信區間表明，如果您要一遍又一遍地進行採樣，那麼 95% 的模型將具有包含真實響應均值的預測區間。 它隻字不提個人觀察。
“如果我使用神經網絡、隨機森林、提升樹等運行分類模型，與邏輯回歸相比，一個缺點是這些機器學習模型不提供預測中不確定性的度量“
預測是關於未來的。 預測未來觀察的表現是“誠實評估”的基礎。 交叉驗證是在選擇期間誠實評估模型和選擇後最終模型的最佳方法之一。我們檢查驗證保留集或測試保留測試以評估不確定性。 這些模型都是關於預測，而不是推理。 這並不是說它們作為解釋模型沒有用，但它們可能無法完全滿足您的需求。 因此，例如，所有模型的相同驗證支持集的 R 平方是多少。 （請注意，我沒有使用 R 方來選擇模型。 我正在使用 R 平方來評估各種類型的選定模型。）
回复：關於袋裝預測的概念性問題在我的模擬示例中，我沒有理由質疑數據的質量或模型的適用性。它不是觀察數據，也不是小樣本（確實，1000 人中的 n=100 並不大，但置信區間覆蓋範圍如此不同，我認為這個例子向我們展示了一些東西）。我不會說裝袋是作弊（一個有含義的術語）。但我覺得我不能相信它為我的模擬案例提供的標準錯誤。對於數據和模型比較可疑的情況，我是很不願意用的。你能提供任何關於它可以在哪裡使用的指導嗎？我並不是要反對：我喜歡 JMP 也喜歡探查器，我只是想看看它可以提供的置信區間是否有用。
回复：關於袋裝預測的概念性問題“那麼，為什麼我會選擇更寬的置信區間呢？ “
因為您質疑數據或模型的質量或有效性。
我可能不會在篩選實驗中使用套袋及其預測，因為該模型可能存在偏差。 我可能不會在基於少量觀察數據樣本的模型中使用裝袋及其預測。
讓我說清楚。 裝袋是有效的。 這不是作弊。 但它並不總是合適或有益的。
不幸的是，分析器中的套袋是 JMP 開發的。 我沒有外部參考資料。
回复：關於袋裝預測的概念性問題附上模擬例子。無標題數據集包含模擬數據和基於 1000 行中的 100 行隨機樣本的回歸模型。我從模型和裝袋預測中保存了標準誤差。無標題數據集的子集包含不在隨機樣本中的 900 行。使用大約 95% 的置信區間（相應平均預測周圍的 2 個標準誤差，使用單個預測的標準誤差），實際 Y 值的覆蓋範圍為模型預測的 900 行中的 866（大約 95%），但是袋裝預測只有 900 個中的 222 個。我無法弄清楚如何生成平均置信區間覆蓋率的比較，因為我在每一行上只有一個 Y 觀察值。
考慮到結果有多極端，這對我來說表明模型的標準誤差（至少對於這個表現良好的模型而言）是預測不確定性的準確度量。但是袋裝標準誤差太小了。鑑於此示例的簡單性，看起來我肯定不想依賴裝袋預測中的標準誤差。你認為這是一個合理的結論嗎？
現在，真正的潛在用途。如果我使用神經網絡、隨機森林、提升樹等運行分類模型，與邏輯回歸相比，一個缺點是這些機器學習模型不提供預測不確定性的度量（不調用其他程序，如共形預測，我一直在玩）。探查器可以很容易地為我提供分類平均概率的袋裝預測及其標準誤差。儘管這很有用，但我傾向於說我不能真正使用這些標準誤差來表示這些機器學習模型中的不確定性。那是對的嗎？也許一個更普遍的問題是，我可以使用袋裝標準錯誤做什麼？
回复：關於袋裝預測的概念性問題我們正在融合。
“而且，如果是這樣的話，你能告訴我每個人回答的是什麼問題嗎？”
我可以。 我確實做到了：同樣，第一對回答了有關原始模型（例如，線性回歸、神經網絡、分區）預測的不確定性的問題。 第二對回答有關使用套袋進行預測的不確定性的問題。
這表示我對模型預測的不確定性比對袋裝預測的不確定性要多得多。那麼為什麼有人會使用模型預測及其置信區間呢？我意識到較小的標準誤差並不總是好的——只有當基礎模型是好的時候。但在我們正在研究的情況下，相同的模型是兩種措施的基礎，平均預測幾乎相同。那麼，為什麼我會選擇更寬的置信區間呢？
我想存在覆蓋問題 - 狹窄的間隔可能無法提供對真實值的足夠覆蓋。我將嘗試一些模擬，看看我是否可以對此有所了解 - 但您是否知道任何參考資料可以說明兩個標準誤差度量相對於彼此的準確性？
回复：關於袋裝預測的概念性問題“這肯定是不對的“
好的，你明白我的意思了。 這一切都是編造的，偽造的。 我只是看看我能把你拖到什麼程度。
（認真討論繼續……）
“哪一個是均值預測的變異性的適當度量？ “
為您將使用的預測而估計的那個。 配對的事情...
正如我所解釋的，裝袋更多的是關於預測建模而不是解釋建模。 Bagging 減少了預測的不確定性。在這種情況下使用裝袋取決於您對數據和模型的質量和有效性的信念。這不是作弊。 如果模型失敗，那是因為數據或模型的質量或有效性存在問題。
“不可能兩者兼而有之——除非他們回答不同的問題。 “
這正是我一直在說的。
“而且，如果是這樣的話，你能告訴我每個人回答的是什麼問題嗎？ “
我可以。 我確實做到了：同樣，第一對回答了有關原始模型（例如，線性回歸、神經網絡、分區）預測的不確定性的問題。 第二對回答有關使用套袋進行預測的不確定性的問題。
回复：關於袋裝預測的概念性問題這肯定是不對的！您的示例看起來就像我的一樣 - 均值幾乎相同，但標準差相差 10 倍（由於 sq rt (M-1) 取決於您使用的列集。因此，雖然我看到了將平均預測與其相關標準偏差（來自模型或裝袋）配對的邏輯，但實際效果是具有大致相同的平均預測，但一個置信區間最終為 10%和另一個一樣寬。哪一個是均值預測的變異性的適當度量？不可能兩者兼而有之——除非他們回答不同的問題。而且，如果是這樣的話，你能告訴我每個人回答的是什麼問題嗎？
回复：關於袋裝預測的概念性問題“所以，問題是：如果我想要平均預測的置信區間，我應該使用哪個標準誤差？差距是一個數量級！ “ 使用用於預測的模型中的 SE。如果您使用保存的回歸模型，則使用保存的 SE 或 CI。 如果您使用 Profiler 中的裝袋預測，則使用裝袋 SE。 這是在 Big Class 數據集中使用 :weight 與 :height 的結果。 突出顯示的預測和 SE 數據列對將一起使用。
回复：關於袋裝預測的概念性問題我們幾乎在同一頁上。暫時忽略 NN，並使用我提供的簡單回歸示例，裝袋均值的標準誤差約為回歸模型標準誤差的 10%：這與 M-1 的平方根相匹配（此處 M=100）。這對於平均預測是正確的——對於個人預測，它大約是 20%（我不確定為什麼 sq rt (M-1) 適用於前者而不適用於後者，但我認為這不是很重要的）。所以，問題是：如果我想要平均預測的置信區間，我應該使用哪個標準誤差？差距是一個數量級！
目前假設我應該使用回歸模型的標準誤差（兩者中較大的一個）——我懷疑是這種情況——那麼它提出了袋裝預測有什麼好處的問題。在這裡，我認為神經網絡（和其他機器學習模型）出現了——許多這些模型沒有標準錯誤，而沒有某種類型的經驗派生模型，例如分析器提供的。因此，使用裝袋預測中的標準誤差來為這些預測構建置信區間似乎非常有用。然而，從回歸的例子來看，我想知道這是否會低估一個數量級的不確定度——這不會那麼有用。
回复：關於袋裝預測的概念性問題讓我們回顧一下 Bagging 在 Profiler 中是如何工作的。 請注意，它基於擬合模型。 它使用擬合模型並對數據重新採樣以擴大數據集或樣本大小，但不改變模型。 以下是 JMP 幫助的摘錄，其中涵蓋探查器裝袋:
“Bagging 會自動在原始數據表中創建新列。 全部米套袋預測集被保存為隱藏列。 最終預測保存在名為“Pred Formula Bagged Mean”的列中。 最終預測的標準偏差保存在名為“ Bagged Std Dev”的列中。 袋裝均值的標準誤差保存在名為“StdError Bagged Mean”的列中。標準誤差是標準偏差除以平方（ M-1 ）。在這裡， 標識報告中被裝袋的列。
標準誤差提供了有關預測精度的信息。 非常小的標準誤差表示對該觀察結果的精確預測。 有關裝袋的更多信息，請參閱 Hastie 等人。 ( 2009 ）。”
所以你不是在比較回歸分析和 NN 中的 SE。 您正在比較來自任何模型的 SE 和來自具有相同模型的 Profiler 中裝袋的 SE。 差異將是 Sqrt( M-1 ) 的因數。
回复：關於袋裝預測的概念性問題標記
然後我會請你看看我發布的最後一個示例數據集。置信區間（標準誤差）甚至不接近一致。這是一個簡單的線性回歸，並將預測標準誤差與來自從分析器中保存袋裝預測的標準誤差進行比較。後者比前者小得多。這就是為什麼我很困惑。
回复：關於袋裝預測的概念性問題“我相信多元回歸的預測置信區間是通過公式導出的，這些公式源自關於誤差結構和隨機抽樣的假設（最終源自作為中心極限定理基礎的邏輯）。另一方面，我相信袋裝預測來自自舉——一種推導置信區間的非參數經驗方法。我也相信這兩種方法通常很接近，除非基礎數據具有不尋常的分佈和/或用於引導程序的樣本量不足。 “
是的！ 也就是說，如果您使用 CI 的理論表達式和 SAME 線性回歸模型的 bootstrap CI，則 CI ESTIMATES 應該一致。
回复：關於袋裝預測的概念性問題我相信多元回歸的預測置信區間是通過公式導出的，這些公式源自關於誤差結構和隨機抽樣的假設（最終源自作為中心極限定理基礎的邏輯）。另一方面，我相信袋裝預測來自自舉——一種推導置信區間的非參數經驗方法。我也相信這兩種方法通常很接近，除非基礎數據具有不尋常的分佈和/或用於引導程序的樣本量不足。
在我附加的文件中，我認為沒有出現任何這些問題。兩種方法的平均預測幾乎相同，但刻畫器的標準誤差遠小於理論推導值。這就是讓我覺得我誤解了探查器標準錯誤的含義的原因。否則，為什麼有人會使用理論上推導的標準誤差？
回复：關於袋裝預測的概念性問題“我的理解（可能是錯誤的）是預測的標準誤差理論上是在回歸模型中得出的，並且是裝袋預測中自舉的結果。從理論上講，它們應該是相似的（至少有足夠的自舉樣本——我使用了 100 和 1000，兩者都給出了相似的結果）——但它們不是。 “
你指的是哪個理論？
回复：關於袋裝預測的概念性問題為了更完整，附件是一個帶有單個預測器的簡單小文件。我建立了回歸模型並保存了預測和標準誤差（均值和個體）。我使用探查器來保存袋裝預測。有 3 個 xy 圖顯示了模型和刻畫器的預測值的等價性（在這種情況下是完美的）。標準誤差圖顯示出很強的相關性，但也表明刻畫器的標準誤差遠小於模型的標準誤差。我強烈懷疑裝袋程序中的標準錯誤意味著不同的東西。我希望你能為我澄清這一點。
回复：關於袋裝預測的概念性問題我正在聽你說的話 - 但我認為我的問題已經變得不同了。讓我們把 NN 排除在外。由於分析器也可從多元回歸平台獲得，我做了一些實驗，以了解裝袋預測的標準誤差與從回歸模型中保存的標準誤差相比如何。它們是相關的，儘管遠非完美。個體預測標準差遠大於平均預測標準差，這是應該的，這也適用於您在保存裝袋均值時得到的兩個標準誤差。然而，令我驚訝且我不明白的是，為什麼保存裝袋預測（個體或平均版本）的標準誤差比回歸模型的標準誤差小一個數量級。我的理解（可能是錯誤的）是預測的標準誤差理論上是在回歸模型中得出的，並且是裝袋預測中自舉的結果。從理論上講，它們應該是相似的（至少有足夠的自舉樣本——我使用了 100 和 1000，兩者都給出了相似的結果）——但它們不是。
因此，似乎刻畫器的標準誤差在質量上不同於回歸模型的標準誤差。為什麼會這樣？
回复：關於袋裝預測的概念性問題NN 是一個高度非線性的集成模型。 將其與可能具有二階項的回歸模型進行比較。 這兩種模型的標準誤差非常不同。
我個人不同意神經網絡不可解釋或線性回歸模型可解釋的觀點。 （我認為這很愚蠢。）預測變量 X 的效果是包含它的所有項的線性組合。 例如，談論“二次效應”是無稽之談。 模型中只有一個二次項。 那麼，當 X 在模型中出現時，我們如何解釋其效果為 X + X*X2 + X*X + X*X*X？ 我們只是習慣於用這些術語來思考——我們有多年的經驗和時間來思考它。 NN 是通過非線性激活函數放置更多相同（線性預測器），並為每個節點添加更多相同。 我們只需要更加努力地思考。
不，我們沒有。 我們有一個適用於任何類型的函數（模型）的分析器。
回复：關於袋裝預測的概念性問題馬克，謝謝。這有點幫助。這可能解釋了為什麼 NN 給出了更小的標準誤差（儘管當兩個模型都非常適合數據時，我仍然對差異的大小感到驚訝）。但這似乎並不能真正解釋為什麼與每個預測相關的標準誤差幾乎沒有相關性。我發布的數據顯示，兩個模型之間每個觀察值的標準預測誤差之間幾乎沒有任何有意義的關係。現在，對於多元回歸模型，我對決定與不同觀察相關的標準誤差的因素有所了解 - 但對於 NN，我真的不知道。也許這就是他們彼此沒有關係的原因？這是與神經網絡模型缺乏可解釋性有關的一個維度嗎？
回复：關於袋裝預測的概念性問題是的。
Neural 平台使用複雜的模型，即使只有少數隱藏節點。 想像一下，向回歸模型中添加大量項。 RMSE 會發生什麼變化？ 反過來，SE 又會怎樣？ 您的回歸模型複雜度是否與 NN 相當？
我並不是在暗示您在濫用 NN 或其他 ML 方法。 請記住，它們都是關於預測的，而不是關於推理的。 因此，估計的不確定性並不重要，準確性/可重複性/泛化就是一切。 因此，預測模型（非解釋模型）使用總 MSE（偏差 + 方差）的度量來選擇模型，並使用“誠實評估”或交叉驗證來確認所選模型。
但要點是，不同模型的 SE 沒有理由相同，即使它們的平均響應預測相似。 這種差異可能會使一個模型在您的應用程序中佔據優勢。
回复：關於袋裝預測的概念性問題附錄 - 在我附加的文件中，我（高估）估計了多元回歸的標準誤差。我使用保存的 95% 置信區間對它們進行了估計。附件是我直接保存標準錯誤的修訂版。我的問題仍然存在，因為 NN 的標準誤差似乎不到多元回歸（平均）的一半，並且在驗證集中幾乎沒有明顯的相關性。兩種模型都非常適合數據。所以，我想知道對裝袋均值的標準誤差的解釋是否被適當地解釋為與預測相關的標準誤差，其方式與解釋多元回歸預測的標準誤差的方式相同。
