最近關於如何從分析器解釋標準錯誤的討論還沒有收斂到一個解決方案,所以我將重新開始 - 用一個不同的例子和更清晰的(我希望)我的問題。我附上了著名的 Anscombe quartet 數據集之一 - 適合使用線性回歸模型的數據集。我擬合了一個多元回歸模型並保存了平均預測標準誤差和單個預測標準誤差——正如預期的那樣,前者比後者窄得多。我還使用了分析器並保存了袋裝預測 - 這給了我袋裝平均值的標準誤差(我將其解釋為類似於回歸模型的平均預測標準誤差)和袋裝標準偏差(我將其解釋為類似回歸的個體預測標準誤差)。當我說我將這些解釋為類似時,我意識到模型的標準誤差來自回歸模型,而袋裝標準誤差來自非參數引導程序(在這種情況下,有 100 個引導程序樣本)。
在這種情況下(與我的上一個示例不同),單個標準誤差很接近,儘管袋裝預測比模型預測要小一些。但是袋裝均值的標準誤差大約是模型預測均值的標準誤差的 10%。事實上,這可以通過文檔來驗證,即袋裝標準誤差 = 袋裝預測的標準偏差除以 (M-1) 的平方根,其中 M 是袋裝樣本的數量(此處為 100)。
我的問題涉及如何使用袋裝均值和袋裝標準差的標準誤差。如果我查看分析器中顯示的置信區間,在我看來,它與回歸模型的平均預測標準誤差一致 - 而不是袋裝平均值的標準誤差(大 10%)。如果是這種情況,那麼袋裝樣本的標準誤差有什麼好處?
我認為(至少對我而言)重要性在於 JMP 為所有機器學習模型提供了分析器。這允許保存袋裝均值和這兩種類型的標準誤差。如果這些標準誤差可以用來構建置信區間,那麼我們就會從神經網絡、隨機森林等中獲得類似於統計意義的東西。我認為這將是一個重要特徵,因為這些模型中的大多數都不容易提供任何推理信息。這將適用於分類模型和回歸模型。
但我不確定袋裝標準錯誤是否有意義。在我提供的示例中,它們看起來太小了。而且,我不清楚分析器中顯示的置信區間是否基於袋裝平均值的標準誤差(在這個例子中看起來不是這樣)。所以,請幫助闡明我的問題。
似乎沒有人能夠闡明這個問題。基於更多的探索,讓我提出一個“解決方案”,也許有人可以權衡一下。在我看來,它就像是在保存袋裝預測後從分析器生成的置信區間,使用袋裝平均值的標準誤差而不是袋裝標準偏差。我開始相信這是不正確的——應該使用後者而不是前者。區別在於前者是後者除以bagged樣本數的平方根(-1)。Bagged Mean 的標準誤差確實衡量了一些東西——我認為這是 bagging 過程的穩定性(換句話說,平均預測對 bootstrap 樣本有多敏感)。但我認為我們從置信區間中想要的是預測的可靠性以及模型中每個因素對該預測的影響程度的置信度。我認為衡量這一點的是袋裝標準偏差。