このウィッシュリストのリクエストのきっかけは何だったのでしょうか？
このヘルプページ（ https://www.jmp.com/support/help/en/19.1/#page/jmp/example-of-confidence-intervals-using-bagging.shtml ）では、バギングを使用してニューラルネットワーク予測モデルの信頼区間を生成する方法について説明しています。RASEを通常の誤差項の推定値として使用することで、これを予測区間に簡単に拡張できると思います。また、この予測区間の実装では、データポイントと予測区間の新しいプロファイラ可視化機能を使用できます。これにより、モデルがデータポイントをカバーしているかどうかを視覚的に確認できます。JMPは現在、モデルのポイント予測のみをモデルチェックします。これにより、誤差項も正しく推定されていることを確認できます。
どのような改善を望みますか？
以下は、バギングによって得られた信頼区間の出力例です。
RASEと正規誤差を使用して予測区間を計算し、JMP 18の新しい予測区間可視化を使用するように列プロパティを操作して、このようなプロットを作成しました。基本的には、ニューラルネットワークバギングからのデフォルトの信頼区間プロファイラ生成で、上のプロットではなく、下のプロットのようなものを生成したいと考えています。ヘルプページのタイヤトレッドの例のjmpテーブルを添付しましたので、私の計算と実装を確認できます。最初のスクリプト「Bagging Profiler」は、ヘルプページのものと同じです。2番目のプロファイラ「Profiler of Pred Formula ABRASION」は、データポイントと予測区間を追加した私のカスタムプロファイラです。
予測区間が計算されたので、プロファイラで視覚的に、また表で数値的に、データポイントのカバレッジを確認できます。
この考え方が重要なのはなぜですか？
ニューラルネットワークや同様の予測ブラックボックスモデルは予測能力に優れているはずなのに、不確実性をほとんど無視しているのは、私にとって非常に奇妙です。私は常に、誤差項を含めたモデルが既存データと新規データをうまく模倣しているかどうかを確認するために、予測区間が必要でした。信頼区間を生成するためのバギングは正しい方向への一歩でしたが、それでもデータを平均信頼区間と比較することでモデルを検証することはできません。データを予測区間と比較する必要があります。このアプローチは基本的に、誤差項自体の妥当性を確認し、実際のデータをモデルの予測区間と比較して、ほとんどの点がその中に収まっていることを確認する方法を提供します。これらすべてにより、モデルチェックの別の方法が可能になり、適合が良好で予測区間のカバレッジが良好に見える場合は、モデルに対する信頼性が高まります。この方法の素晴らしい点は、ニューラルネットワークのように、通常は信頼区間や予測区間を持たないほとんどのタイプのモデルに使用できることです。
ご提案いただきありがとうございます。現在検討中です。
