袋詰めされた予測に関する概念的な質問私は長い間、回帰モデルから日常的に得られる標準誤差に匹敵する機械学習モデルからの不確実性の尺度を探すのに苦労してきました。ごく最近、私はプロファイラーの機能のいくつか、特に袋詰めされた予測に気づきました。しかし、私はそれらの袋に入れられた予測をどのように解釈するか（または私がすべきかどうか）を本当に理解していません。機械学習モデル（ニューラルネットなど）を実行し、プロファイラーからバギングされた予測を保存すると、バギングされた平均、バギングされた平均の標準誤差、およびバギングされた標準偏差が得られます。これらを回帰モデル（たとえば、重回帰）と比較すると、次の関係が観察されました。
- NNから予測されたバギング平均は、重回帰からの予測式と非常によく似ています。
- 重回帰モデルからの平均予測区間は、予想どおり個々の予測区間よりもはるかに狭いです（私が見ている例では、平均予測の標準誤差は、個々の予測の標準誤差の約1/10のサイズです） 。
- NNからの袋詰めされた平均の標準誤差は、袋詰めされた標準偏差よりもはるかに小さいです（私が見ている例のサイズの約1/10）。
これらの観察結果は、NNからの袋詰めされた平均の標準誤差を、回帰モデルからの平均予測の標準誤差に類似していると考えるように誘惑します。同様に、袋に入れられた標準偏差は、回帰モデルからの個々の予測の標準誤差に類似している可能性があります。
ただし、NNモデルと回帰モデルの標準誤差はまったく似ていません。したがって、私の質問は、私の解釈が意味をなすかどうか、または、袋詰めされた平均からの標準誤差をどのように解釈または使用できるかということです。
洞察を事前に感謝します。質問に役立つ場合に備えて、具体的な例を添付します（これは、モデリング例の検証データセットです。重回帰モデルとNNからの予測が含まれています）。
分析Re：袋詰めされた予測に関する概念的な質問補遺-添付したファイルで、重回帰からの標準誤差を（過大に）推定しました。保存された95％信頼区間を使用してそれらを推定しました。添付されているのは、標準エラーを直接保存した改訂版です。NNからの標準誤差は、検証セット内の明らかな相関がほとんどなく、（平均して）重回帰からの標準誤差の半分未満であるように思われるため、私の質問は残ります。どちらのモデルもデータに非常によく適合しています。したがって、重回帰からの予測の標準誤差が解釈されるのと同じように、袋に入れられた平均の標準誤差の解釈が予測に関連する標準誤差として適切に解釈されるかどうか疑問に思います。
Re：袋詰めされた予測に関する概念的な質問はい。
Neuralプラットフォームは、ほんの一握りの非表示ノードがある場合でも、複雑なモデルを使用します。 回帰モデルに多くの項を追加することを想像してみてください。 RMSEはどうなりますか？ 次に、SEはどうなりますか？ 回帰モデルの複雑さはNNの複雑さに匹敵しますか？
NNやその他のMLメソッドを誤用していることを示唆しているわけではありません。 それらはすべて予測に関するものであり、推論に関するものではないことを覚えておいてください。 したがって、見積もりの不確実性は重要ではなく、精度/再現性/一般化がすべてです。 したがって、予測モデル（説明モデルではない）は、合計MSE（バイアス+分散）の測定値を使用してモデルを選択し、「正直な評価」または相互検証を使用して、選択されたモデルを確認します。
ただし、重要な点は、平均応答予測が類似している場合でも、異なるモデルのSEが同じである理由はないということです。 この違いにより、1つのモデルがアプリケーションで有利になる場合があります。
Re：袋詰めされた予測に関する概念的な質問マーク、ありがとう。それはやや役立ちます。NNがより小さな標準誤差を与える理由を説明するかもしれません（ただし、両方のモデルがデータに非常によく適合している場合、違いのサイズにはまだ驚いています）。しかし、各予測に関連する標準誤差にほとんど相関関係がない理由を実際には説明していないようです。私が投稿したデータは、2つのモデル間の各観測値の標準予測誤差の間に実質的に意味のある関係がないことを示しています。さて、重回帰モデルの場合、さまざまな観測値に関連する標準誤差を決定するものについてある程度の感覚がありますが、NNの場合、実際にはそうではありません。おそらくそれが彼らが互いに関係していない理由ですか？これは、NNモデルの解釈可能性の欠如に関連する次元ですか？
Re：袋詰めされた予測に関する概念的な質問NNは、高度に非線形なアンサンブルモデルです。 これを、2次項を持つ可能性のある回帰モデルと比較してください。 これらの2種類のモデルでは、標準誤差が大きく異なります。
私は、NNが解釈できない、または線形回帰モデルが解釈できるという概念に個人的に同意しません。 （ばかげていると思います。）予測子Xの効果は、それを含むすべての項の線形結合です。 たとえば、「二次効果」について話すのは意味がありません。 モデルには2次項のみがあります。 では、モデルにX + X * X2 + X * X + X * X * Xとして表示される場合、Xの効果をどのように解釈するのでしょうか。 私たちはこれらの用語で考えることに慣れています-私たちはそれを何年も経験し、それについて考える時間がありました。 NNは、非線形活性化関数を介して配置された同じ（線形予測子）であり、ノードごとに同じものに追加されます。 私たちはもっと一生懸命考えなければなりません。
いいえ、しません。 あらゆる種類の機能（モデル）で動作するプロファイラーがあります。
Re：袋詰めされた予測に関する概念的な質問私はあなたの言うことをフォローしていますが、私の質問は何か違うものになっていると思います。NNは除外しましょう。プロファイラーは重回帰プラットフォームからも利用できるため、バギングされた予測の標準誤差が回帰モデルから保存されたものとどのように比較されるかを確認するためにいくつかの実験を行いました。完全にはほど遠いですが、それらは相関しています。個々の予測標準偏差は、本来あるべき平均予測標準偏差よりもはるかに大きく、これは、袋に入れられた平均を保存したときに得られる2つの標準誤差にも当てはまります。しかし、私が驚いたことと私が理解していないことは、袋に入れられた予測（個々のバージョンまたは平均バージョンのいずれか）を保存することによる標準誤差が回帰モデルからの標準誤差よりも桁違いに小さい理由です。私の理解（間違っている可能性があります）は、予測の標準誤差は理論的には回帰モデルで導出され、袋に入れられた予測でのブートストラップの結果であるということです。理論的には、それらは類似しているはずです（少なくとも、十分なブートストラップサンプルがあれば-100と1000を使用しましたが、どちらも同様の結果が得られます）-しかし、そうではありません。
したがって、プロファイラーからの標準誤差は、回帰モデルからの標準誤差とは質的に異なるように見えます。なぜそうなのですか？
Re：袋詰めされた予測に関する概念的な質問より完全にしようとすると、添付されているのは、単一の予測子を持つ単純な小さなファイルです。回帰モデルを作成し、予測と標準誤差（平均と個人の両方）を保存しました。プロファイラーを使用して、袋に入れられた予測を保存しました。モデルとプロファイラーからの予測値の同等性（この場合は完全）を示す3つのxyプロットがあります。標準誤差プロットは強い相関関係を示していますが、プロファイラーからの標準誤差がモデルからの標準誤差よりもかなり小さいことも示しています。バギング手順の標準誤差は何か違うことを意味しているのではないかと強く思います。これを明確にしていただければ幸いです。
Re：袋詰めされた予測に関する概念的な質問「」私の理解（間違っている可能性があります）は、予測の標準誤差は理論的には回帰モデルで導出され、袋に入れられた予測でのブートストラップの結果であるということです。理論的には、これらは類似しているはずです（少なくとも、十分なブートストラップサンプルがあれば-100と1000を使用しましたが、どちらも同様の結果が得られます）-しかし、そうではありません。 「」
どの理論を参照していますか？
Re：袋詰めされた予測に関する概念的な質問重回帰の予測信頼区間は、エラー構造とランダムサンプリング（最終的には中心極限定理の基礎となる論理から導出される）に関する仮定から導出される式によって導出されると思います。一方、袋詰めされた予測は、ブートストラップ法から導き出されたものだと思います。これは、信頼区間を導出するためのノンパラメトリックな経験的アプローチです。また、基礎となるデータに異常な分布があるか、ブートストラップに不十分なサンプルサイズが使用されていない限り、これら2つのアプローチは一般的に近いと思います。
添付したファイルでは、これらの問題は発生していないと思います。平均予測は2つのアプローチからほぼ同じですが、プロファイラーからの標準誤差は、理論的に導出された値からのものよりもはるかに小さくなっています。これが、プロファイラーの標準エラーの意味を誤解していると私に思わせる理由です。そうでなければ、なぜ誰かが理論的に導き出された標準誤差を使用するのでしょうか？
Re：袋詰めされた予測に関する概念的な質問「」重回帰の予測信頼区間は、エラー構造とランダムサンプリング（最終的には中心極限定理の基礎となる論理から導出される）に関する仮定から導出される式によって導出されると思います。一方、袋詰めされた予測は、ブートストラップ法から導き出されたものだと思います。これは、信頼区間を導出するためのノンパラメトリックな経験的アプローチです。また、基礎となるデータに異常な分布があるか、ブートストラップに不十分なサンプルサイズが使用されていない限り、これら2つのアプローチは一般的に近いと思います。 「」
はい！ つまり、CIの理論式と同じ線形回帰モデルのブートストラップCIを使用する場合、CIESTIMATESは一致するはずです。
Re：袋詰めされた予測に関する概念的な質問マーク
次に、私が投稿した最後のサンプルデータセットを確認してください。信頼区間（標準誤差）は、一致にさえ近くありません。これは、単純な線形回帰の場合であり、予測標準誤差を、プロファイラーからの袋に入れられた予測の保存から生じる誤差と比較します。後者は前者よりはるかに小さいです。それが私が混乱している理由です。
