反復実行による Svem 分析 DOE前回の DOE ディスカッション フォーラムでは、反復実行を伴う DOE の Svem 分析について議論されました。反復実行の結果を平均化することが提案されました。反復間に大きなばらつきがある場合はどうなりますか? 反復内のばらつきを推定するために、追加の「反復実行変数」を使用して Svem を実行した方がよいのではないでしょうか? 反復内のばらつきが重要である場合、Svem はこれを検出します。次の混合モデル分析では、反復変数をランダムとして割り当て、Svem が重要であると割り当てた固定効果から分離することができます。
実験計画法Re: 反復実行による Svem 分析 DOE申し訳ありませんが、私は DOE クラブの会議には出席しておらず、SVEM 分析には精通していません (ファイルはダウンロードしたので確認します)。実験の分析は個人の選択です。これを行うには多くの方法があります。コメントする前に、繰り返しではなく複製を意味していることを確認したいと思います。つまり、複製は同一の処理の組み合わせの独立した実行と見なされ、各実行は独立した実験ユニットを出力として持ちます。
以下は私の無知なコメントです:
1. データを要約すると、必ず情報が失われます。平均化する場合は、平均化したデータの変動も応答として考慮する必要があります。私の意見では、反復全体で平均化すると、情報 (および DF) が失われます。繰り返しを行う場合は、それは素晴らしいアイデアであり、モデルに対する変動の応答も考慮する必要があります。
2. これらが実際に複製である場合、複製間で何が変化するかを理解したいようです。複製間でどの因子 (ノイズ) が変化するかを特定して割り当てることができれば、因子効果の堅牢性について多くのことを学ぶことができます。これは、推論空間を拡大し、設計の精度を同時に高めるための優れた戦略です。
「できるものはブロックし、できないものはランダム化する」。GEP ボックス
ブロックで識別して割り当てることができるものを混同します。識別できなかった要因については、ランダム化が戦略となります。
Re: 反復実行による Svem 分析 DOEこんにちは@frankderuyck 、
SVEM 分析は次の 2 つの状況で非常に有効です。
- わずかに異なるデータ（トレーニングと検証で異なる重み）でトレーニングおよび検証されたさまざまな個別のモデルを積み重ねることで、非常に限られたデータで予測モデルを構築します。
- モデルのスタッキングにより、機械学習の方法で固有の個別実験（複製なし）の実用的な重要性を評価し、効果推定値の精度を高めます。
状況に関係なく、SVEM 技術がどのようなコンテキストで導入されたかを覚えておくことが重要です。つまり、他の検証技術を使用せずに、小さなデータセットがある場合に検証技術/フレームワークを提供するためです。
講演とプレゼンテーション: 実験の設計と分析を再考する? (2021-EU-30MP-776) - JMP ユーザー コミュニティ
SVEM: 実験の設計と分析におけるパラダイムシフト (2021-EU-45MP-779) - JMP ユーザーコミュニティ
したがって、概念的には、SVEM と反復を組み合わせるという考えについては複雑な気持ちです。これは、異なる概念、目的、検証方法論に依存する 2 つの異なるモデル構築方法論 (反復と統計モデリングを含む設計の統計的有意性とエラー/ノイズ推定に基づくスクリーニングと、予測精度とブートストラップ/モデル スタッキングに基づく予測モデリング) を統合しているように見えるからです。
反復がある場合、モデル構築に SVEM を使用するとデータ漏洩が発生するのではないかと心配しています。各実験にはランダムに (そして反相関的に) トレーニングと検証の重みがあるため、反復実行では、同じ処理を表している場合でも、トレーニングと検証に異なる重点が置かれる可能性があります。そのため、モデル構築には若干の偏りが生じる可能性があり (異なる重みを持つ反復を通じてトレーニング セットと検証セットに関する情報が得られるため)、「過信」が生じ、項の推定値の標準偏差が大幅に減少する可能性があります。
同じ例 (最大 30 回の実行を追加した Reactor 20 Custom JMP データセットと元の Reactor 20 Custom データセット) で反復間の変動性を増やすと、反復ありの設計で SVEM を使用する場合と、反復なしで SVEM を使用する場合の 2 つの状況が、推定値と標準誤差の点でかなり似ていることがわかります。
したがって、もう一度言いますが、これら 2 つの手法を統合するメリットはわかりません。2 つの (非常に) 異なる検証手法を統合しているだけであり、SVEM が作成された目的ではないからです。
また、SVEM を使用して反復内変動を推定することにも懐疑的です。標準的な分析で反復がある場合は、この情報をすでに取得でき、SVEM を使用するとブートストラップのように標準偏差の推定値が減少する可能性があります。ブートストラップの優れたインタラクティブな視覚化を参照してください。Seeing Theory - Frequentist Inference
この議論に興味のある方は、DoE Club Q4 の録音をご覧ください: Recordings DOE Club Q4 2024
回答が意味を成すことを願っています。他のメンバーからの意見にも興味があります。
Re: 反復実行による Svem 分析 DOEこんにちは、Victor。複製間の変動が低い場合、#replicates を増やしても影響はそれほどないと予想されます。しかし、複製間の変動がかなり大きい場合はどうでしょうか。各複製にブロッキング係数を導入して、このブロッキング効果を Svem に含めるのは興味深いことではありませんか?
Re: 反復実行による Svem 分析 DOEこんにちは、フランク。
それでも、SVEM 法は「設計に依存しない」ため、グループ化、ブロッキング構造、または複製の存在を考慮せず、ブロッキング効果の期間推定における「過信」/データ漏洩/標準偏差の減少につながる可能性があるため、これは良い考えではないと思います。
また、これは特定のタイプのブートストラップであるため、インタラクティブな視覚化で前述したように、標準偏差の推定値が減少する可能性があります。
編集: SVEM の詳細:
自己検証アンサンブルモデルの概要
Lemkus, T., Gotwalt, C., Ramsey, P., および Weese, M. (2021)。「実験計画のための自己検証アンサンブルモデル」ケモメトリクスとインテリジェントラボシステム219:104439.
Re: 反復実行による Svem 分析 DOE反復間の変動がそれほど大きくない場合は、平均結果をモデリングに使用できることに同意します。これは、反復の変動が著しい場合は異なります。添付ファイルには、プロセス ノイズが原因で反復間に大きな変動がある研究があります。ランダム効果として反復を含む混合モデルと、反復係数を含む SVEM は、同様の結果を示しています。ただし、反復結果を平均すると、一般化 AICC および SVEM モデルも同様の結果を示し、はるかに優れていますが、結果は混合および SVEM+反復とは異なります。反復平均を使用した後者の 2 つの分析では、より多くの効果が顕著です。このケースでは、大きな変動がある反復を平均化する際に注意する必要があることがわかります。また、SVEM+反復はランダム反復効果を非常によく拾います。
Re: 反復実行による Svem 分析 DOE分析のスクリーンショットは以下の通りです
1. 混合モデルとSVEM + 複製効果
2. 平均反復結果: 一般化フォワード選択 AICC & SVEM
Re: 反復実行による Svem 分析 DOE興味深いケーススタディです。 @frankderuyck さん、シェアしていただきありがとうございます。
用語の推定値とその標準偏差を比較すると、確かに SVEM を反復で使用すると標準偏差に影響があることがわかります。反復の変動性が中程度の私の例では、トレーニングと検証の重みのデータ漏洩により、モデル構築中に用語の推定値に関する情報がもたらされたため、SVEM によって用語の推定に関連する標準偏差が大幅に減少しました。
あなたの場合、反復間の変動性が非常に高いため、データ漏洩によってモデルのトレーニングと検証の間に情報がもたらされません (実際、この大きな反復変動性のためにモデルはさらに「失われる」可能性があります)。そのため、他の方法よりも項の推定値の標準偏差が高くなります。平均値または REML モデルで SVEM を使用すると、非常によく似た情報が得られ、平均値の一般化回帰順回帰では、過度に楽観的な標準偏差推定値が得られる可能性があります。
したがって、一般的なアドバイスとしては、複製を含む生データに SVEM を使用しないこと (これにより、データ漏洩によって偏ったモデル フィッティングが作成される) が考えられます。処理の平均値で SVEM を使用するか (ただし、内部処理の変動に関する情報は失われます)、複製を含む生データに他の方法 (REML/Fit Model アプローチ) を使用します。
@philramsey 、 @chris_gotwalt1 、そしてコミュニティの他の好奇心旺盛なメンバーの意見を聞きたいです。
Re: 反復実行による Svem 分析 DOE私は2段階のアプローチを提案します: (1) SVEM + 複製係数を使用して最も強い効果を除外し、(2) 後者を使用して複製をランダムとする混合モデルを構築します。
Re: 反復実行による Svem 分析 DOESVEM における複製効果の重みが低い場合は、複製平均を使用した通常の geneg/OLS を使用できます。
