Re: 検証データの RMSE が正しくありませんやあ@AAYH 、
コミュニティへようこそ！
トレーニング データのオーバーフィッティングが発生しているようです。 サンプル データ (匿名化されたデータなど) がないと、実行した手順とデータの種類を詳細に調査するのは少し困難です。 それにもかかわらず、ここにいくつかの質問があります。
- 入力間の相関関係を確認しましたか (メニュー [分析] -> [多変量分析] -> [多変量分析]) または
- プロセス因子間の多重共線性をチェックしましたか (「モデルの適合」プラットフォームで、パネル「パラメータ推定 (jmp.com) "、列パラメータを右クリックし、[列] -> [VIF] をクリックして値を確認します) ?
予防措置がなければ、相関または多重共線性が線形モデルのパフォーマンスを著しく「損なう」可能性があるため、これは調査する方向性になる可能性があります。
因子間に相関または多重共線性がある場合は、次のことを行う方が安全な場合があります。
- 多重共線性を処理できるモデルを選択する (たとえば、部分最小二乗法、ブートストラップ フォレスト)、または
- 入力を PCA で前処理し、線形モデルで主成分を使用する、または
- LASSO、Ridge、Elastic Net などのペナルティ付きメソッド (JMP Pro、一般化回帰) を使用して、より堅牢な線形回帰モデルを作成します。
この最初の調査がもたらすものをお知らせください。できればサンプル データを提供していただければ、他のメンバーがこの議論に参加しやすくなります。
Re: 検証データの RMSE が正しくありませんこんにちはビクター 回答ありがとうございます。その通りだと思います。 できるだけ早く調べます。
Re: 検証データの RMSE が正しくありませんこんにちは、スタットマンです。
私の質問に時間を割いて回答していただき、ありがとうございます。また、有効な情報を提供していただきありがとうございます。 できるだけ早く調べます。
Re: 検証データの RMSE が正しくありませんまた会ったね。
日が違うためにブロックした決定的なスクリーニング計画を作成しました。 ここで、制御されていない変数を最初から考慮に入れなかったために間違いを犯した可能性があることを知っています。
私は 3 つの変数 (UB1-3) を持っており、これらは 2 つの異なる生産実行 (ブロック 1 とブロック 2) で変更しました。 非制御変数 1 と 2 は測定されていますが、変更できません。 私の品質変数は、プロセスの最後に測定されます。 非制御変数 2 は日/ブロックに大きく依存し、非制御変数に影響します。 1 および UB1 ～ UB3。
現在持っているデータを使用できるかどうか、または別の実験を行う必要があるかどうかを知りたいだけです。 どうぞよろしくお願いいたします。
Re: 検証データの RMSE が正しくありませんやあ@AAYH 、
まず、この DSD は検証データによる RMSE の変更の問題に関連していますか、それとも別のものであり、特に関連していませんか? これが問題を説明するためのサンプル データセットなのか、それとも問題に追加されたものなのかを確認しようとしています。 この DoE の目的は何ですか? 2 番目の非制御変数のデータ テーブルに欠損値があります。
私がよく理解している場合、ブロック要因を追加しました（DSDの作成では、カテゴリー要因として作成しましたか？）、および記録したがDoEの方法でランダム化/制御されていない2つの制御不能変数。
すでに見てきたように、2 つの制御不能変数間、およびブロック変数と制御不能変数 1/2 の間には強い相関関係があり、新しいデータに対するモデルの予測パフォーマンスに大きな影響を与える可能性があります (スクリプト "1. 添付のデータテーブルの多変量)。
ブロックの乱数と制御不能な変数にいくつかの列プロパティを追加し (JMP プラットフォームで正しく使用できるように)、次の 2 つのモデルを実現しました。
- ランダム効果として「ブロック」を指定する、混合モデルのパーソナリティを持つもの (スクリプト「2.a. 混合フィット"),
- ランダム効果として「ブロック」を使用した標準最小二乗パーソナリティを持つもの (スクリプト「2.b. モデルの適合 (ランダム ブロックを使用)")。
当然のことながら、2 つのモデルは同様の結果を提供し、予想どおり、制御不能な変数 1 と 2 が応答の品質に重要な影響を与えているようです。 ランダム ブロック係数は重要ではないようです。
モデル自体は (期待するモデルの精度に応じて) 非常に正しく、R² は高く (0.87)、RMSE は非常に低く (約 0.5) あります。 ただし、多変量プラットフォーム (相関) で既に見られるように、いくつかの因子は相互に直線的に依存しているため、VIF が高くなり (2 つの非制御変数で約 20)、予測の分散が増加する可能性があります。
この共線性を減らす 1 つのオプションは、これら 2 つの変数から主成分を作成することです (スクリプト "3.a. 非制御変数 1&2 の PCA") を実行し、以前と同じタイプのモデルを実現します (ただし、非制御変数 1&2 を 2 つの主成分、スクリプト "3.b. モデルを PC に適合") :
これにより、R² と RMSE に関してモデルのパフォーマンスが変わることはありませんが、VIF を減らすと、パラメーター推定の分散を減らすのに役立ちます (この共線性の状況に関係するパラメーターの場合)。
あなたの最初の質問に関して、現在持っているデータを使用できるかどうかは、すべて目的 (説明および/または予測) と、データの「有用性」をどのように評価するか (予測精度?) に依存します。
この最初のデータテーブルから、すでに注目すべき重要な点がいくつかありますが、それ以上の情報がなければ、データの使用を解釈したり結論付けたりするのは困難です (制御されていない変数 1 と 2 の範囲の代表性、または欠損値に必要な修正)例えば...）。 しかし、2 つの制御されていない変数をより適切に考慮し、実験の因子としてそれらを制御できるようにするために、設計を拡張できる興味深い最初のステップです。
私が行ったことは、目的やニーズによっては最善のアプローチではない可能性があることに注意してください。また、同じタスクに対して他のオプションも利用できる可能性があることに注意してください。
Re: 検証データの RMSE が正しくありませんまず、私は問題を理解しているかどうかわかりませんか？ データテーブルを投稿できますか? 私を混乱させるのは、「新しい」データをどのように評価しているかに応じた明らかな矛盾ですか? これをどのように行ったか説明していただけますか? 予測と実際の差分は? (残差) 残差を分析しましたか?
多重共線性に関するビクターの優れた考えに加えて、ここに私のものがあります：
1. 適合モデルの実行に使用したデータのソースは? これは生産データですか？ 実験からですか？
2. あなたのデータは、将来の状況をどの程度代表していますか?
3. ビクターが示唆するように、データに関する多くの疑問があります。 モデルに関するすべての情報を提供する統計はありません。 R-sq 自体にはほとんど有用性がありません (モデルの DF を増やすと常に増加します)。 R-sq を調整済みの R-sq と比較したい。 これにより、モデルの過剰適合についての洞察が得られます。
検証データの RMSE が不正ですやあ
「フィットモデル」を使用して、さまざまなプロセスパラメータを使用して製品内の水分含有量を特定するモデルを作成しました。 モデルは良好で (Rsq=0.97)、RMSE はかなり低いです。 使用されている変数はすべて、対数ワースが制限を超えています。問題は、検証のために新しいデータを取り込みたいときに発生します。 ここでの予測は非常に悪いです。 検証したいデータは、テストセットで使用されるデータとそれほど変わりません。 検証データをテストセットデータとして含めると、それらはモデルに非常によく適合し、水分予測誤差は「元の」データと同様になります。
主効果と交互作用の両方で構成されるモデルがあります。 私の何が間違っているのでしょうか？
データの探索と視覚化
