なぜ私の適合度不足のp値は非常に小さいのでしょうか？JMPコミュニティの皆様、こんにちは。先日、RSM設計に基づいた実験を終えました。データをソフトウェアに入力し、モデルを実行しました（交互作用とRSを考慮）。効果サマリーテーブルに基づいて、無関係な因子と交互作用は除外しました。しかし、適合度不足のp値は非常に小さいままです（下のスクリーンショットを参照）。モデルが過学習しているのではないかと心配しています。なぜなら、過学習しているにもかかわらず、RSq値は0.97～0.98と高いからです（因子間に非線形交互作用があるため、これが良い指標ではない可能性もあることは承知しています）。
ステップワイズモデリングも試してみましたが、適合度不足のp値は改善しませんでした。ここからどうすればよいか、あるいはデータに適合するモデルを見つけるために何を試せばよいか、ご助言いただけないでしょうか？現在行き詰まっており、求めている最適な条件を見つけることができません。よろしくお願いいたします。
基本的なデータ分析とモデリング予測モデリングと機械学習Re: なぜ私の適合度不足のp値は非常に小さいのでしょうか？こんにちは、 @Chemist9 さん。
コミュニティへようこそ！
適合度検定は、モデルがデータに適切に適合しているかどうかを評価するのに役立ちます。
このモデルレポートのスクリーンショットだけでは、お手伝いするのは非常に困難です。レポートのさまざまな部分（予測値と実測値のプロット、残差など）のスクリーンショットをもっと共有していただけませんか？できれば、匿名化されたデータセットを共有していただけると助かります。このテストで統計的に有意なp値が得られるということは、モデル誤差が純粋な誤差よりもかなり大きいことを示しており、モデルが適切でない可能性があります。
この状況は、あなたの例で発生する可能性のあるいくつかの理由から考えられます。
- 収集した結果/データに対してモデルが「単純すぎる」場合、たとえば、データの曲率をモデル化するためのいくつかの項が欠落している場合（2次項、相互作用、二次効果、または高次効果による）。どのような情報に基づいて、モデルからいくつかの項を削除しましたか（p値のみ）？想定した完全なモデルの挙動とパフォーマンスはどうですか？最適化と予測を目的としたRSMモデルを作成したので、モデルのRMSE（モデルの精度）や情報量規準（AICc/BIC）などの複数の指標を使用してモデルを改良し、モデルの複雑さと精度のトレードオフを評価してバランスを取ることをお勧めします。
- 複製されたデータの分散がモデルと比較して極めて低い場合、複製実験は他の実験とは独立していますか？これらの実験はどのように実行しましたか？それらは「真の」複製ですか？つまり、これらの実験を独立して作成し、測定したのですか（同じ実験を2回目、3回目に測定しただけではないのですか）？
また、 残差分析を通して回帰モデルの妥当性を確認することをお勧めします。回帰の前提条件が満たされているか、モデルの不適切さを示す可能性のあるパターンが残差に検出されていないかを確認してください。パターンが見られる場合は、モデルにいくつかの項が欠落しているか、データを正しく適合させるために変換が必要である可能性があります。
この回答がお役に立てば幸いです。
Re: なぜ私の適合度不足のp値は非常に小さいのでしょうか？@Victor_G さん、親切なご回答ありがとうございました！
私がこれまでに探求してきた内容の概要をお伝えします。
- 考えられるすべての二項交互作用と二次項を含めたモデルを実行してみました。次に、効果の要約表に示されているp値に基づいて、いくつかの項を除外しました。p値が0.05を超える項を削除しました（ただし、温度は他の因子との重要な交互作用があるため除外しました）。
- 重要でない相互作用を除去したモデルでは、正規化RMSEが5.66%となりました。これは、私が現在研究している冶金プロセスにおいては許容範囲内だと考えています。ただし、RMSEの良し悪しを判断する基準が異なる場合は、ぜひ教えてください。
- ご指摘いただいた情報基準（AICc/BIC）についてはまだ検討していません。ステップワイズパーソナリティを用いたモデリングで、この情報基準を取得することは可能でしょうか？
- はい、私の実験はそれぞれ独立して実施・測定しました。わずかなばらつきのために、モデルが既に細かい点まで気にし始めている可能性はありますか？
この議論をさらに深めるために、あなたが言及した関連グラフを以下に示します。
- 予測値と実際の値の比較：個人的にはパターン（S字など）は見られませんが、ほとんどの点が右上領域に集中しているようです。
- 予測値に対する残差：グラフにパターンがあるかどうかはわかりませんが、ランダムに分布しているとは思えません。
- スチューデント化残差：私の現在の理解に基づくと、すべての点が緑と赤の境界線の内側にあるため、データには除去する必要のある外れ値はありません。
今の私の問題は、これらのツールに関する知識が非常に限られているため、これからどう進めばいいのか分からないことです。
コミュニティの新規メンバーであり、JMPユーザーでもある私にとって、あなたの回答は大変参考になりました。今後の議論を楽しみにしています。ありがとうございました！
Re: なぜ私の適合度不足のp値は非常に小さいのですか？なるほど、これは参考になります。
実測値と予測値の比較グラフを見ると、低い値は過大評価され、高い値は過小評価されているように見えます。また、これらのグラフにあるいくつかの「点の列」についても非常に興味があります。これらは複製された点なのでしょうか、それともモデルに項が欠落しているために区別できない異なる点なのでしょうか？
情報基準は、最小二乗法適合レポートの適合概要パネルで利用できる追加の指標です。
はい、複製された点の分散が非常に小さい場合、適切なモデルを使用すれば、統計的に有意な適合不足検定が得られる可能性があります（そのため、「真の」複製について質問したのは、正しく実行したことを確認し、自然な実験的変動を過小評価しないようにするためです）。また、中心点の数が多いほど、統計的に有意な適合不足検定を得やすくなります。https 
/statease.com/blog/importance-center-points-central-composite-designs/# :~:text=The%206%20center%20point%20design,making%20the%20test%20almost%20meaningless を参照してください。
因子プロファイリングオプションからアクセスできるBox-Cox変換パネルを確認し、データに適合させるための小さな変換が必要かどうかを確認してください。パーセンテージ値の応答では、予測値が0～100の範囲内に収まるように、通常LogitPctまたはLogisticPct変換が必要です。これらの変換は、残差および実測値と予測値のプロットにおけるS字パターンを軽減するのに役立ちます。
このフォローアップがお役に立てば幸いです。
Re: なぜ私の適合度不足のp値は非常に小さいのでしょうか？こんにちは、 @Victor_G さん！
ご指摘いただいた方法を試してみたところ、モデルに若干の改善が見られたように思います。しかしながら、これが私のデータに最適なモデルであるかどうかはまだ確信が持てません。
あなたが言及している「点の列」は、まさに複製されたものです。
LogitPctとLogisticPctの両方を試したところ、私のデータセットにはLogitPctの方が適しているようです。LogisticPctと比較して、より現実的な予測プロファイラが得られ、AICcの値も低くなりました。また、これにより、以前発生していたY応答の最大値が100%に制限されました。しかし、RMSEは改善したものの、適合度不足のp値は依然として非常に小さいままです。中心点が原因で適合度不足のp値が低いままになっている可能性はありますか？実験は中心複合計画法-RSMに従って設計しました。
高次モデルの適用も検討しています。JMPで高次相互作用の可能性を提案してもらう方法はありますか？それとも、モデルの適合ウィンドウで手動で行う必要があるのでしょうか？
貴重なご意見をありがとうございました！
Re: なぜ私の適合度不足のp値は非常に小さいのでしょうか？こんにちは、 @Chemist9 さん。
はい、送っていただいたスクリーンショットを見る限り、モデルは確かにずっと良くなっているようですね。
RSMには中心点がいくつありますか？ StatEaseの以前のリンクを見ると、一般的な中心点の数は通常3～5個です。中心点の数が多い場合、適合度検定の感度が大幅に上昇し、検出された小さなp値が「偽陽性」である可能性があります。いくつかの中心点を「非表示にして除外」して、検定結果が同じかどうかを確認してみてください。
モデルの適合ウィンドウで、他の項を手動で追加することもできます。どのタイプの中央複合RSM設計を選択しましたか？面中心型ですか？もしそうであれば、因子ごとに3つの異なるレベルがあるため、モデルの次数は2に制限されます。それでも、主効果と二次効果の相互作用である部分三次項をモデルに追加してみることはできます。これらの項は通常まれですが、いずれかが有効であれば、モデルを大幅に改善できる可能性があります。
最後に、モデルの検証方法について考えてみましょう。
- このモデルの目的は何ですか？最適化、予測、知識構築などでしょうか？成功の基準は何ですか？
- モデルの動作は、あなたの専門知識や期待と一致していますか？
- 予測の精度は実用上許容できるレベルでしょうか？
- 実験空間全体にわたってモデルを検証する予定ですか（実験空間の未検証箇所で新たな実験を実施することによって）？それとも、モデルによって得られた最適値のみに関心がありますか？
これらの質問は網羅的なものではありません。これらの質問は、モデルの改善をいつ止めて、いつモデルを使い始めるべきかを判断するのに役立ちます。
この回答がお役に立てば幸いです。
Re: なぜ私の適合度不足のp値は非常に小さいのですか？ビクターの意見に同意します。おそらくあなたの二次モデルでは応答の変動を完全に説明できないでしょう。あなたのモデルはもっと複雑なので、高次の項の影響を調べてみるのは興味深いと思います。あなたの応答曲面法（RSM）は中心複合計画法（CCD）で作成されたものと想定しています。実験計画法（DOE）を拡張して三次モデルを作成し、適合度不足のp値への影響を調べてみるのも面白いかもしれません。
Re: なぜ私の適合度不足のp値は非常に小さいのですか？こんにちは、 @Chemist9 さん。「点の列」は、モデルに含まれていない何かの中にネストされていますか？つまり、それぞれの「点の列」は「実行」やその他のブロッキングファクター、あるいは実験単位からのものですか？
