バッグ予測に関する概念的な質問私は長い間、回帰モデルから日常的に得られる標準誤差に匹敵する不確実性尺度を機械学習モデルから探すのに苦労してきました。最近になってようやく、プロファイラーの機能の一部、特にバッグされた予測について知るようになりました。しかし、バッグされた予測をどのように解釈するか (または解釈すべきかどうか) がよくわかりません。機械学習モデル (ニューラル ネットなど) を実行し、プロファイラーからバッグされた予測を保存すると、バッグされた平均、バッグされた平均の標準誤差、およびバッグされた標準偏差が得られます。これらを回帰モデル (多重回帰など) と比較すると、次の関係が観察されます。
- NN から予測されるバギング平均は、多重回帰からの予測式と非常によく似ています。
- 多重回帰モデルからの平均予測区間は、予想どおり、個々の予測区間よりもはるかに狭くなります (私が見ている例では、平均予測の標準誤差は、個々の予測の標準誤差の約 1/10 の大きさです)。
- NN からのバギング平均の標準誤差は、バギング標準偏差よりもはるかに小さくなります (私が見ている例では約 1/10 のサイズです)。
これらの観察から、NN から得られたバギングされた平均の標準誤差は、回帰モデルから得られた平均予測の標準誤差に類似していると考えることができます。同様に、バギングされた標準偏差は、回帰モデルから得られた個々の予測の標準誤差に類似している可能性があります。
しかし、NN と回帰モデルからの標準誤差はまったく似ていません。したがって、私の質問は、私の解釈が意味をなすかどうか、または、バギングされた平均からの標準誤差は正確にどのように解釈または使用できるかということです。
ご意見をいただければ幸いです。質問の解決に役立つかもしれないので、具体的な例を添付します (これは、多重回帰モデルと NN からの予測を含む、モデリング例の検証データ セットです)。
消費者および市場調査Re: バギングされた予測に関する概念的な質問ありがとう。これらの信頼区間は、修正後に非常に役立つと思います。現在、それらはかなり誤解を招くものです (100 個のブートストラップ サンプルを使用する場合、桁違いに)。
Re: バギングされた予測に関する概念的な質問はい、Profiler プラットフォーム ([グラフ] メニューの下) で、Bagged Mean 式の StdError を伴う Prediction Bagged Mean 式が起動ダイアログに入ると、Profiler プラットフォームは「Bagged Mean の StdError」を使用して生成することを確認します。間隔。
十分に明確でないことがあり、改善できることに同意します。 明確でないと思うのは、あなたが指摘したページのドキュメントでの「信頼区間」の使用です。バギングを使用した信頼区間の例. 何の信頼区間については明確ではなく、言葉遣いはおそらく誤解を招くものです。
一方で、Bagged Std Dev を使用してインターバルを生成したいという要望は良いリクエストです。 その列を Profiler プラットフォームに入れようとしましたが、認識されません。
JMP テクニカル サポートまでご連絡ください。 support@jmp.comあなたの懸念と要求を報告しますか？
ソフトウェアを詳しく調べていただき、ありがとうございます。
Re: バギングされた予測に関する概念的な質問ありがとう。私も同じ結論に達しました。残りの問題は、モデル効果の信頼区間を生成するためにどれを使用する必要があるかということです。私はそれがバギングされた平均値の標準誤差ではなく、バギングされた標準偏差であると信じています - また、JMPは前者ではなく後者を使用して信頼区間を生成していると思います.
これを確認してください-またはしないでください。さらに詳しく説明すると、バギングされた平均の標準誤差は、満足するのに十分なバギングされた (ブートストラップ) サンプルがあるかどうかを判断するのに役立つと思います。しかし、因子が応答変数に及ぼす影響の不確実性を測定する場合、バギング平均の標準誤差は有用な情報を提供しません。それを行うのが Bagged Standard Dev です。したがって、信頼区間を作成するには、バギング平均を保存した後、プロファイラーを開き、バギング平均とバギング標準偏差を選択し、中間式を展開するためのボックスを選択すると、結果が目的の信頼区間になります。これは JMP ヘルプとは異なることに注意してください。
https://www.jmp.com/support/help/en/16.1/?os=win&source=application&utm_source=helpmenu&utm_medium=application#page/jmp/example-of-confidence-intervals-using-bagging.shtml# .
Re: バギングされた予測に関する概念的な質問バギング平均の標準誤差とは何か、なぜそれが小さいように見えるのかを説明してみましょう。
最初に、バギングされた予測を 3 つのブートストラップ サンプルだけで保存しようとします。
これが結果です。 6 つの新しい列があります。
これらの列が何であるかを見てみましょう。
最初の 3 つの列はすべて、データのブートストラップ サンプルからの予測列です。 ブートストラップ サンプルが 3 つあるので、そのうちの 3 つがあります。 ここで、3 つの予測式を示します。 そして、それらは異なります。
(ア)
(ロ)
(ハ)
次に、4 番目の列を見てください: Pred Formula Sales Bagged Mean 2.
(ニ)
したがって、行ごとのこれら 3 つの予測の平均です。
次に、5 番目の列を見てください: StdError Sales Bagged Mean 2.
(え)
それは何ですか？ ある種の平均の標準誤差のように見えます。 何の意味？ ブートストラップ予測の平均。 つまり、これは予測平均の StdError と同じではありません。予測平均は、見方を変えると、多くのブートストラップ サンプルの 1 つにすぎません。 . これで、Bagged Mean の StdErr が小さい理由が説明できるはずです。 また、ブートストラップ サンプルの数を増やすと、はるかに小さくなります。
最後の列を見ると、その式は次のとおりです。
(女)
これは、ブートストラップ予測の標準偏差です。 実際、この値は「StdErr Pred Sales」に近いはずであり、ブートストラップ サンプルの数が大きくなっても小さくなることはありません。 これは、「StdErr Pred Sales」のブートストラップ バージョンです。 モデルがデータにうまく適合していないと思われる場合、たとえば、「StdErr Pred Sales」が本の漸近分布を持たなくなったなど、仮定に違反している可能性がある場合は、ブートストラップされたバージョンでより正直な結果が得られる可能性があります。予測に間違ったモデルを使用する必要があります。
では、なぜ「StdError Sales Bagged Mean 2」を気にする必要があるのでしょうか。 (E) あそこ？ これは、十分なブートストラップ サンプルがあるかどうかを評価するための数量です。理想的には、値を非常に小さくしたい場合は、バギングされた値を信頼できます。
Re: バギングされた予測に関する概念的な質問私のカバレッジ データは、個々の予測標準誤差からのものでした。それらを回帰モデルから保存し、プロファイラーから取得したバギングされた標準偏差を使用しました。平均を見るには、バギングされた平均に Std Err Predicted と Std Error を使用します。私が言ったように（私が書いたものを読んでください）、各行の観測値が1つしかないため、平均予測間隔のカバレッジを計算する方法がわかりません-それを行う方法がある場合は教えてください。
そこで、私は個々の予測を使用し、JMP は個々の予測の標準誤差と平均予測を提供します (もちろん、前者は後者よりもはるかに大きくなります)。
あなたの他のコメントは私の問題に対処していません。モデルを比較して評価するいくつかの方法を知っています。私が興味を持っているのは、モデルに関連する不確実性を調べる方法です。予測精度ではなく、予測の変動性です。私が知っている唯一の方法は、等角予測です。プロファイラーは、モデル内の特徴の信頼区間を提供することで、そのような機能を提供しているように見えました。実際、NN などの機械学習モデルの解釈可能性の欠如に関する私の主張に反対することで、あなた自身がこれを提案したようです。
プロファイラーは、解釈可能性に向けて大きな一歩を踏み出したと思います。これは、特徴の変化が応答変数にどのように影響するかを示しています。これらの効果の標準誤差 (信頼区間) も提供できる場合は、本質的に回帰モデルと同じくらい多くの解釈を提供します。しかし、それは私が苦労していることです-私はそれらの信頼区間をそのように使用できるとは確信していません.
Re: バギングされた予測に関する概念的な質問次に、検証ホールド アウト セットのパフォーマンス メジャーを使用して、さまざまなモデルを評価します。
Re: バギングされた予測に関する概念的な質問"おおよその 95% 信頼区間 (個々の予測の標準誤差を使用して、対応する平均予測の周りに 2 つの標準誤差) を使用すると、実際の Y 値のカバレッジは、モデル予測の 900 行中 866 行 (約 95%) でした。バギングされた予測では、900 のうち 222 だけです。 "
平均の信頼区間と個々の観測値の信頼区間を混同していませんか? 前者は、モデルに偏りがないと仮定して、平均応答が配置されると予想される間隔です。 個々の観測がその間隔で発生することを期待するのはなぜですか?
"結果がいかに極端であるかを考えると、これは、モデルからの標準誤差 (少なくともこの適切に動作するモデルの場合) が予測の不確実性の正確な尺度であることを示唆しています。 "
いいえ、あなたの結論は合理的ではないと思います。 平均ではなく、個々の回答に基づいて「カバレッジ」を比較しています。 モデルは場所に関するもので、平均応答です。 モデルは平均応答を予測します。 信頼区間は、平均応答の不確実性に関するものです。 モデルの CI は、何度も何度もサンプリングした場合、モデルの 95% が真の応答平均を含む予測区間を持つことを示しています。 個々の観察については何も述べていません。
" NN、ランダム フォレスト、ブースト ツリーなどを使用して分類モデルを実行する場合、ロジスティック回帰と比較した 1 つの欠点は、これらの機械学習モデルが予測の不確実性の尺度を提供しないことです。 "
予測は未来についてです。 将来の観測を予測するパフォーマンスは、「正直な評価」の基礎です。 クロス検証は、選択中のモデルと選択後の最終モデルを正直に評価するための最良の方法の 1 つです。検証ホールド アウト セットまたはテスト ホールド アウト テストを調べて、不確実性を評価します。 これらのモデルは、推論ではなく予測に関するものです。 説明モデルとして役に立たないというわけではありませんが、完全に満足できるものではないかもしれません。 たとえば、すべてのモデルで設定された同じ検証ホールドアウトの R 2 乗は何でしょうか。 (モデルの選択に R 平方を使用していないことに注意してください。 私は R 平方を使用して、さまざまなタイプの選択されたモデルを評価しています。)
Re: バギングされた予測に関する概念的な質問私のシミュレートされた例では、データの品質やモデルの適切性について疑問を呈する理由はありません。これは観測データではなく、小さなサンプルでもありません (確かに、母集団 1000 のうち n=100 は大きくありませんが、信頼区間の範囲が非常にばらばらであるため、この例が何かを示していると思います)。バギングが不正行為であるとは言いません (負荷の高い用語です)。しかし、シミュレートされたケースであっても、それが提供する標準エラーを信頼できるとは思えません。データとモデルがより疑わしい場合に使用するのは非常に気が進まない.どこで使用できるかについてのガイダンスを提供できますか?敵対するつもりはありません。私は JMP とプロファイラーが大好きです。JMP が提供する信頼区間が役立つかどうかを試しているだけです。
Re: バギングされた予測に関する概念的な質問"では、なぜもっと広い信頼区間を選択するのでしょうか? "
データやモデルの質や妥当性に疑問を抱くからです。
モデルには偏りがある可能性が高いため、スクリーニング実験でバギングとその予測を使用しない可能性があります。 観測データの小さなサンプルに基づくモデルでは、バギングとその予測を使用しない可能性があります。
はっきりさせてください。 バギングは有効です。 不正行為ではありません。 しかし、それが常に適切または有益であるとは限りません。
残念ながら、プロファイラーのバギングは JMP が開発したものです。 外部参照はありません。
Re: バギングされた予測に関する概念的な質問シミュレーション例を添付します。無題のデータセットには、シミュレートされたデータと、1000 行のうち 100 行のランダム サンプルに基づく回帰モデルが含まれています。モデルとバギングされた予測から標準誤差を保存しました。無題のデータ セットのサブセットには、無作為標本に含まれていない 900 行が含まれます。おおよその 95% 信頼区間 (個々の予測の標準誤差を使用して、対応する平均予測の周りに 2 つの標準誤差) を使用すると、実際の Y 値のカバレッジは、モデル予測の 900 行中 866 行 (約 95%) でした。バギングされた予測では、900 のうち 222 だけです。各行に Y 観測値が 1 つしかないため、平均信頼区間のカバレッジの比較を生成する方法がわかりませんでした。
結果がいかに極端であるかを考えると、これは、モデルからの標準誤差 (少なくともこの適切に動作するモデルの場合) が予測の不確実性の正確な尺度であることを示唆しています。しかし、バギングされた標準誤差は小さすぎます。この例の単純さを考えると、バギングされた予測からの標準誤差に頼りたくないように思えます。これは妥当な結論だと思いますか。
さて、本当の潜在的な用途に。NN、ランダム フォレスト、ブースト ツリーなどを使用して分類モデルを実行する場合、ロジスティック回帰と比較した場合の欠点の 1 つは、これらの機械学習モデルが予測の不確実性の尺度を提供しないことです (等角予測などの別の手順を呼び出さずに、私が遊んでいたもの）。プロファイラーは、分類の平均確率とその標準誤差のバギングされた予測をすぐに提供してくれました。それは有用ですが、これらの標準誤差を使用して、これらの機械学習モデルの不確実性を表すことはできないと言いたいです。あれは正しいですか？おそらく、より一般的な質問は、バギングされた標準誤差を何に使用できるかということです。
Re: バギングされた予測に関する概念的な質問収束しています。
「で、もしそうなら、それぞれが何の質問に答えるか教えてもらえますか？」
できます。 私は実際にそうしました: 繰り返しますが、最初のペアは、元のモデル (線形回帰、ニューラル ネットワーク、パーティションなど) の予測における不確実性に関する質問に答えます。 2 番目のペアは、バギングを使用した予測の不確実性に関する質問に答えます。
これは、バギングされた予測よりもモデルの予測の方が不確実性が高いことを示しています。それでは、なぜモデル予測とその信頼区間を使用するのでしょうか?標準誤差が小さいことが常に良いとは限らないことを認識しています - 基礎となるモデルが良い場合のみです。しかし、私たちが見ているケースでは、同じモデルが両方の測定の根底にあり、平均予測はほぼ同じです。では、なぜもっと広い信頼区間を選択するのでしょうか?
カバレッジの問題があると思います-間隔が狭いと、真の値を十分にカバーできない可能性があります。いくつかのシミュレーションを試して、それを明らかにできるかどうかを確認しますが、2 つの標準誤差測定値の相互比較の精度を示す参考文献を知っていますか?
Re: バギングされた予測に関する概念的な質問"きっとそれは正しくない"
OK、あなたは私を手に入れました。 それはすべてでっち上げ、偽物です。 私はあなたをどこまで縛り付けることができるかを見ていました。
(真剣な議論が再開されます...)
"平均予測の変動性の適切な尺度はどれですか? "
予測のために推定されたものを使用します。 ペアリングの事…
私が説明したように、バギングは説明モデリングよりも予測モデリングに重点を置いています。 バギングは、予測の不確実性を減らします。この場合のバギングの使用は、データとモデルの品質と妥当性に対するあなたの信念に依存します。それは不正行為ではありません。 モデルが失敗した場合、それはデータまたはモデルの品質または有効性に問題があるためです。
"異なる質問に答えない限り、両方であることはできません。 "
それはまさに私が言ってきたことです。
"もしそうなら、それぞれが何の質問に答えるか教えてもらえますか？ "
できます。 私は実際にそうしました: 繰り返しますが、最初のペアは、元のモデル (線形回帰、ニューラル ネットワーク、パーティションなど) の予測における不確実性に関する質問に答えます。 2 番目のペアは、バギングを使用した予測の不確実性に関する質問に答えます。
Re: バギングされた予測に関する概念的な質問確かにそれは正しいことはできません ！あなたの例は私のものと同じように見えます-平均はほぼ同じですが、標準偏差は10倍異なります（使用する列のセットに応じて平方rt（M-1）が原因です.したがって、平均予測とそれに関連する標準偏差 (モデルまたはバギングのいずれかから) をペアリングするロジックはわかりますが、実際の効果はほぼ同じ平均予測を持つことですが、1 つの信頼区間は 10% になります。他のように広い。平均予測の変動性の適切な尺度はどれですか?異なる質問に答えない限り、両方であることはできません。もしそうなら、それぞれが何の質問に答えるか教えてもらえますか？
Re: バギングされた予測に関する概念的な質問"問題は、平均予測の信頼区間が必要な場合、どの標準誤差を使用すればよいかということです。違いは桁違いです！ " 予測に使用されたモデルの SE を使用します。保存された回帰モデルを使用する場合は、保存された SE または CI を使用します。 プロファイラーからバギングされた予測を使用している場合は、バギングされた SE を使用します。 Big Class データセットで :weight と :height を使用した結果を次に示します。 強調表示された予測データ列と SE データ列のペアは一緒に使用されます。
Re: バギングされた予測に関する概念的な質問私たちはほとんど同じページにいます。ここでは NN を無視し、私が提供した単純な回帰の例を使用すると、バギング平均からの標準誤差は回帰モデルからの標準誤差の約 10% です。これは M-1 の平方根 (ここでは M=100) に一致します。これは平均予測には当てはまります - 個々の予測では約 20% です (平方 rt (M-1) が前者には適用され、後者には適用されない理由はわかりませんが、それが非常に大きいとは思いません重要）。問題は、平均予測の信頼区間が必要な場合、どの標準誤差を使用すればよいかということです。違いは桁違いです！
さしあたって、回帰モデルからの標準誤差 (2 つのうち大きい方) を使用する必要があると仮定すると (これが当てはまると思われます)、バギングされた予測が何に役立つのかという問題が生じます。ここで、NN (および他の機械学習モデル) が登場すると思います。これらのモデルの多くには、プロファイラーによって提供されるような経験的に導出されたモデルがなければ、標準誤差はありません。そのため、バギングされた予測からの標準誤差を使用して、それらの予測の信頼区間を構築することは非常に有用であるように思われます。ただし、回帰の例から、これが程度の不確実性を桁違いに過小評価する可能性があるかどうか疑問に思っています。これはあまり役に立ちません。
Re: バギングされた予測に関する概念的な質問プロファイラーでバギングがどのように機能するかを確認しましょう。 適合モデルに基づいていることに注意してください。 当てはめたモデルを使用し、データをリサンプリングしてデータ セットまたはサンプル サイズを増やしますが、モデルは変更しません。 以下は、JMP ヘルプからの抜粋です。プロファイラーのバギング:
「バギングは、元のデータ テーブルに新しい列を自動的に作成します。 全てMバギングされた予測のセットは、非表示の列として保存されます。 最終的な予測は、「Pred Formula Bagged Mean」という名前の列に保存されます。 最終予測の標準偏差は、「 Bagged Std Dev」という名前の列に保存されます。 バギング平均の標準誤差は、「StdError バギング平均」という名前の列に保存されます。標準誤差は、標準偏差を で割ったものです。平方根( M-1 )。ここで、 はバギングされたレポート内の列を識別します。
標準誤差は、予測の精度に関する洞察を提供します。 標準誤差が非常に小さい場合、その観測値が正確に予測されていることを示します。 バギングの詳細については、Hastie et al. を参照してください。 ( 2009年）」
したがって、回帰分析と NN の SE を比較していません。 任意のモデルの SE と、プロファイラーでのバギングの SE を同じモデルで比較しています。 差は Sqrt( M-1 ) の係数になります。
Re: バギングされた予測に関する概念的な質問マーク
次に、私が投稿した最後のサンプル データセットを見ていただきたいと思います。信頼区間 (標準誤差) はほとんど一致していません。これは、単純な線形回帰のためであり、予測の標準誤差と、プロファイラーからバギングされた予測を保存した結果とを比較します。後者は前者よりはるかに小さいです。それが私が混乱している理由です。
Re: バギングされた予測に関する概念的な質問"重回帰の予測信頼区間は、エラー構造とランダム サンプリングに関する仮定から導き出された式を介して導き出されると考えています (最終的には、中心極限定理の根底にあるロジックから導き出されます)。一方、バギングされた予測は、信頼区間を導出するためのノンパラメトリックな経験的アプローチであるブートストラップから導出されていると思います。また、基になるデータに異常な分布がある場合や、ブートストラップに使用されるサンプル サイズが不十分でない限り、これら 2 つのアプローチは一般的に近いと思います。 "
はい！ つまり、CI の理論式と SAME 線形回帰モデルのブートストラップ CI を使用する場合、CI ESTIMATES は一致するはずです。
Re: バギングされた予測に関する概念的な質問重回帰の予測信頼区間は、エラー構造とランダム サンプリングに関する仮定から導き出された式を介して導き出されると考えています (最終的には、中心極限定理の根底にあるロジックから導き出されます)。一方、バギングされた予測は、信頼区間を導出するためのノンパラメトリックな経験的アプローチであるブートストラップから導出されていると思います。また、基になるデータに異常な分布がある場合や、ブートストラップに使用されるサンプル サイズが不十分でない限り、これら 2 つのアプローチは一般的に近いと思います。
私が添付したファイルでは、これらの問題は発生していないと思います。平均予測は 2 つのアプローチからほぼ同じですが、プロファイラーからの標準誤差は、理論的に導出された値からの標準誤差よりもはるかに小さくなっています。これが、プロファイラーの標準誤差の意味を誤解していると思わせる理由です。そうでなければ、理論的に導出された標準誤差を使用する人がいるでしょうか?
Re: バギングされた予測に関する概念的な質問"私の理解 (これは間違っている可能性があります) は、予測の標準誤差は回帰モデルで理論的に導出され、バギングされた予測のブートストラップの結果であるということです。理論的には、それらは似ているはずです (少なくとも十分なブートストラップ サンプルがあれば - 100 と 1000 を使用し、どちらも同様の結果が得られます) - しかし、そうではありません。 "
どの理論を指していますか？
Re: バギングされた予測に関する概念的な質問より完全にするために、単一の予測子を含む単純な小さなファイルを添付します。回帰モデルを構築し、予測と標準誤差 (平均と個別の両方) を保存しました。プロファイラーを使用して、バギングされた予測を保存しました。モデルとプロファイラーからの予測値の同等性 (この場合は完全) を示す 3 つの xy プロットがあります。標準誤差プロットは強い相関関係を示していますが、プロファイラーからの標準誤差がモデルからのものよりもかなり小さいことも示しています。バギング手順の標準誤差は、何か違うことを意味していると強く思います。これを明確にしていただければ幸いです。
Re: バギングされた予測に関する概念的な質問私はあなたの言うことに従いますが、私の質問は何か違うものになったと思います。NN は除外しましょう。プロファイラーは重回帰プラットフォームからも利用できるため、バギングされた予測の標準誤差が回帰モデルから保存されたものとどのように比較されるかを確認するためにいくつかの実験を行いました。完全には程遠いですが、それらは相関しています。個々の予測標準偏差は平均予測標準偏差よりもはるかに大きく、これはバギングされた平均を保存するときに得られる 2 つの標準誤差にも当てはまります。しかし、私を驚かせ、理解していないのは、バギングされた予測 (個別バージョンまたは平均バージョン) の保存による標準誤差が、回帰モデルの標準誤差よりも 1 桁小さい理由です。私の理解 (これは間違っている可能性があります) は、予測の標準誤差は回帰モデルで理論的に導出され、バギングされた予測のブートストラップの結果であるということです。理論的には、それらは似ているはずです (少なくとも十分なブートストラップ サンプルがあれば - 100 と 1000 を使用し、どちらも同様の結果が得られます) - しかし、そうではありません。
したがって、プロファイラーからの標準誤差は、回帰モデルからの標準誤差とは質的に異なるようです。なぜそうなのですか？
Re: バギングされた予測に関する概念的な質問NN は高度に非線形なアンサンブル モデルです。 それを、二次項を持つ可能性のある回帰モデルと比較してください。 これら 2 種類のモデルの標準誤差は大きく異なります。
個人的には、NN が解釈できない、または線形回帰モデルが解釈可能であるという考えには同意しません。 (ばかげていると思います。) 予測子 X の効果は、それを含むすべての項の線形結合です。 たとえば、「二次効果」について話すのはナンセンスです。 モデルには二次項しかありません。 では、モデルに X + X*X2 + X*X + X*X*X として現れる X の効果をどのように解釈すればよいでしょうか? 私たちはこれらの用語で考えることに慣れているだけです - 私たちは何年にもわたってそれにさらされ、それについて考える時間がありました. NN は、ほぼ同じ (線形予測子) であり、非線形活性化関数を通過し、ノードごとに同じものに追加されます。 私たちはもっと真剣に考えなければなりません。
いいえ、ありません。 あらゆる種類の関数 (モデル) で動作するプロファイラーがあります。
Re: バギングされた予測に関する概念的な質問マーク、ありがとう。それは多少役立ちます。NN がより小さい標準誤差を与える理由を説明できるかもしれません (ただし、両方のモデルがデータに非常によく適合しているにもかかわらず、その差の大きさにはまだ驚いています)。しかし、各予測に関連付けられた標準誤差に相関関係がほとんどない理由を説明しているようには見えません。私が投稿したデータは、2 つのモデル間の予測の各観測値の標準誤差の間に実質的に意味のある関係がないことを示しています。さて、重回帰モデルの場合、さまざまな観測に関連する標準誤差を決定するものについてある程度の感覚がありますが、NN の場合は実際にはわかりません。おそらくそれが彼らが互いに関連していない理由ですか？これは、NN モデルの解釈可能性の欠如に関連する次元ですか?
Re: バギングされた予測に関する概念的な質問はい。
Neural プラットフォームは、ほんの一握りの非表示ノードしかなくても、複雑なモデルを使用します。 回帰モデルに多くの項を追加することを想像してください。 RMSE はどうなりますか? その結果、SE はどうなるでしょうか。 回帰モデルの複雑さは NN の複雑さに匹敵しますか?
NN やその他の ML メソッドを誤用していると言っているのではありません。 それらはすべて予測に関するものであり、推論に関するものではないことを覚えておいてください。 したがって、見積もりの不確実性は重要ではなく、正確性/再現性/一般化がすべてです。 したがって、予測モデル (説明モデルではない) は、合計 MSE (バイアス + 分散) の測定値を使用してモデルを選択し、「正直な評価」または交差検証を使用して、選択されたモデルを確認します。
しかし重要な点は、平均応答予測が似ていたとしても、異なるモデルの SE が同じである理由はないということです。 この違いにより、アプリケーションで 1 つのモデルが有利になる場合があります。
Re: バギングされた予測に関する概念的な質問補遺 - 添付したファイルでは、重回帰からの標準誤差を (過大に) 見積もりました。保存した 95% 信頼区間を使用して推定しました。標準誤差をそのまま保存した改訂版を添付します。NN からの標準誤差は、検証セット内で明らかな相関関係がほとんどなく、(平均して) 重回帰からの半分未満の大きさであるように見えるため、私の質問は残ります。どちらのモデルもデータによく適合しています。したがって、バギング平均の標準誤差の解釈が、重回帰からの予測の標準誤差が解釈されるのと同じ方法で、予測に関連付けられた標準誤差として適切に解釈されるかどうか疑問に思っています。
