DSD設計における「驚くべき」結果修士論文の一環として、6つの連続変数を用いた決定的なスクリーニングデザインを実施しました。JMPを用いて、17回の試行（ゼロレベルでの追加試行3回を含む）からなる標準的なデザインを作成しました。
結果には驚きました。かなりの数の交互作用効果と二次効果が極めて有意だったからです。当初は過学習を疑いましたが、それを裏付ける兆候は見当たりません。決定係数（R二乗）は良好で（これは予想通りです）、VIF値も高くなく、ダービン・ワトソン検定も特筆すべき結果はありません。さらに、PRESS値は0.044を達成しています。
DSD解析において厳密な遺伝的要因を除外した場合でも、これらの結果は同様または非常に類似している。その場合、2～3個の追加的な相互作用効果または二次効果が現れ、これらもまた非常に有意である。
私が知る限り、現時点では結果の妥当性を疑う理由は見当たりません。それとも何か見落としているのでしょうか？
実験計画法Re: DSD設計における「驚くべき」結果6因子設計としては、これは比較的「大きい」設計であり、6因子の応答曲面には推定可能な効果が27個しかないため、それらの効果の多くを推定できる可能性が高いです。中心点のランを見ると、3.915～4.018の範囲なので、残差標準偏差は約0.02です。したがって、0.2よりはるかに大きい効果は、有意である可能性が高いです。折り返し点を見ると、約0.6の差が見られます。
はい、それは十分にあり得ます。実際のデータテーブルを共有していただければ、さらに詳しく調査できます。
Re: DSD設計における「驚くべき」結果実際の実験に関する情報が不足しているため、回答する手段がほとんどありません。これは実際の物理実験（またはシミュレーション）ですか？測定誤差は事前に定量化されていましたか？MSEはどのように推定されましたか？応答の変化は実用的な価値がありましたか？統計的有意性は条件付きの記述です。MSEの推定値が現実の妥当な推定値であり（そして、その推定値が何を意味するのかを理解している）場合を除き、意味を持ちません。
Re: DSD設計における「驚くべき」結果こんにちは、@NominalGemsbok3 さん。
あなたが得られた結果に関して、補足的な提案や意見があるかもしれません。
- 実用的な観点から言えば、過学習の可能性を評価するためのより優れた指標があります。調整済みR二乗値と、R二乗値と調整済みR二乗値の差を最小化すること（R二乗値はモデルの項数が増えるにつれて増加する傾向がありますが、 調整済みR二乗値はモデルの複雑さ/項数を考慮し、複雑すぎるモデルにペナルティを与えます）、精度と複雑さのバランスをとるさまざまなモデルを比較するのに役立つ情報量規準（ AICcやBICなど）です。PRESS値（R二乗値とRMSE）も、リーブワンアウト交差検証に基づいているため、モデルのパフォーマンスに関する優れた指標となります。これにより、モデルトレーニングに使用されていないポイントのモデルのパフォーマンスを垣間見ることができます。これらの指標はすべて、モデル選択に役立ち、「 統計的有意性の崇拝」という罠に陥ることを防ぎます。
- また、統計的有意性と効果の実際的な重要性は異なります。信号対雑音比が非常に高い場合、たとえ実際的な重要性がなくても、統計的に有意な効果は容易に検出される可能性があります。専門知識を活用して、関連性のある重要な効果を絞り込み、モデル選択プロセスを導いてください。
- 有効成分の数に関して、安心できる点は以下のとおりです。
- 検出された有効項の数に対して、設計およびモデリング手法は適切に選択されています。JMP ヘルプの「適合決定スクリーニング」には、「最小実行サイズ DSD は、有効効果の数が実行数の約半分未満であり、効果の大きさが標準偏差の 2 倍を超える場合に、有効項を高い確率で正しく識別できます」と記載されています。17 回の元の実行 (+ 3 つの中心点を追加) から 9 つの有効項が検出され、RMSE が比較的低いことから、前述のように良好な状況にあると思われます。
- 効果階層の原則は尊重されています。効果の次数が高いほど、その効果が応答の変動を説明する可能性は低くなります。あなたの状況を見ると、主効果の 5/6 (83%)、2 因子交互作用の 3/15 (20%)、二次効果の 1/6 (16.7%) が有意として検出されています。有効効果の割合は高いように見えるかもしれませんが、Xiang Li、Nandan Sudarsanam、および Daniel D. Frey (2006 年 3 月) の論文「因子実験のデータにおける規則性」 https://doi.org/10.1002/cplx.20123 に示されているように、効果の次数の間には同様の規則性がある傾向があります。
あなたの結果は、関連性の高い予測因子の慎重な選択、実験および応答測定におけるノイズレベルの低さ、適切な設計選択とモデリング手法の賜物であると思われます。おめでとうございます！
この回答が、これらの肯定的な結果を信頼するのに役立つことを願っています。
Re: DSD設計における「驚くべき」結果これは実際の物理実験です。MSEは線形モデルの残差から推定されました。この推定値を検証するために、複製された中心点から純誤差（分散 ≈ 0.002）を取得しました。適合度検定では、モデルの不適切性は有意ではないことが示され（p = 0.79）、適合度不足の平均二乗は純誤差の平均二乗よりも小さくなりました。したがって、MSEは誤差分散の適切な推定値とみなすことができます。
Re: DSD設計における「驚くべき」結果心温まる詳細なご回答をいただき、誠にありがとうございます。
Re: DSD設計における「驚くべき」結果ご回答ありがとうございます。「実際のデータテーブル」とはどういう意味でしょうか？
Re: DSD設計における「驚くべき」結果コード化されたJMPファイルを送信することは可能ですか？GENREGモデルをいくつか試してみたいのですが。
Re: DSD設計における「驚くべき」結果こんにちは、
ここにコード化されたJMPファイルがあります。
Re: DSD設計における「驚くべき」結果簡単な分析（モデル適合）を行ったところ、結果があなたのものと全く異なりました。3つの主効果が最も大きな効果を示しています。適合モデルをあなたのデータテーブル（表1）に追加しました。
Re: DSD設計における「驚くべき」結果違いが生じるのは、これが確定スクリーニング設計であり、私がJMPのDoE → 確定スクリーニング → 確定スクリーニングの適合機能を使用して解析を行ったのに対し、あなたはそうしなかったためではないでしょうか？DSDは必ず適切な方法で解析すべきだと私は考えています。
Re: DSD設計における「驚くべき」結果DSDでは、多くの相互作用効果が相関（エイリアシングが強い）していることに注意してください（R > 0.7 cfr）。ピンク色のフィールドの下、および添付の表にある「デザイン評価 - 相関関係のカラーマップ」を参照してください。有効な因子が5つある場合は、DSDを拡張し、相互作用効果のエイリアシングを解除するために追加の実行を行う必要があります。
Re: DSD設計における「驚くべき」結果Fit Definitive Screening Designを実行して「モデルの作成」を選択すると、最終的にどのような結果が得られるでしょうか？p値の有意性は、複製された中心点に基づいていることに気づくでしょう。
Re: DSD設計における「驚くべき」結果DSDの結果では、5つの有意な純粋効果と、有意ではあるものの相関のある相互作用効果がいくつか見つかります。これらは追加の実行を追加することでエイリアシングを除去する必要があります。
Re: DSD設計における「驚くべき」結果添付の表では、フィットDSDプラットフォームを使用したDSD分析により、2つの有意な相関相互作用効果が検出されました。(1) factor1 * factor3はfactor2*factor5と相関しており、(2) factor4*factor5はfactor1*factor2と相関しています。
相関カラーマップのピンク色の領域に見られるように、因子6の2次相互作用効果によるエイリアシングも存在します。ただし、因子6はアクティブな効果ではないため、その相互作用は考慮していません。5つの有意な主効果からの反復相互作用により、非常に優れたモデルを構築できます。
Re: DSD設計における「驚くべき」結果こんにちは、@frankderuyck さん、 @NominalGemsbok3 さん。
最適なモデルというものは存在しません。その理由は、パフォーマンス指標の選択、閾値（例えばp値）、推定方法など、多岐にわたります。また、DSD（分散型デザイン）では、すべての効果を推定するのに十分な数の独立した処理（自由度）がないため、異なるものの競合する、優れたパフォーマンスを持つモデルが複数できてしまう可能性があります。DSDは、応答曲面モデルにおける過飽和デザインの一種と考えることができます。
@frankderuyck が指摘したように、設計構造上、相互作用効果間および二次効果間に部分的なエイリアス/相関が存在するため、モデルをより適切に構築するために実行回数を追加しない限り、検出された相互作用効果および二次効果がターゲットに及ぼす「真の」影響について（どのモデリング手法でも）100%確信を持つことはできません。ただし、設計構造によって主効果間および主効果と高次効果間の相関が回避されるため、主効果についてはより確信を持って推定できます。
「すべてのモデルは間違っているが、中には役に立つものもある」
この例では、ラスタープロットと呼ばれる特定の可視化を作成しようとしました（作成方法については、「実験計画法のモデル評価と選択に役立つラスタープロットまたはその他の可視化ツール」を参照）。これは、モデルに含まれる可能性のある項の組み合わせ爆発によるモデルの多様性を示すためです（切片の他に、6つの主効果、15の2因子交互作用、6つの二次効果から選択できる27の効果項があります）。プラットフォームStepwiseと「すべての可能なモデル」（強い遺伝的仮定を持つモデルでは最大10個の項）オプションを使用しました。以下は、R二乗値でソートされたモデルの結果です。各モデル（各行）に含まれる項（列）が示されています。
複数のモデルを比較する際には、AICc（数値が低いほど良い）などの情報量規準を用いる方が望ましい。なぜなら、AICcは項数が多すぎる場合にペナルティを与え、複雑さの異なるモデル間の比較をより適切に行うことができるからである。
ご覧のとおり、ほとんどのモデルは最初の 5 つの因子の主効果の存在について一致しています。因子 6 については結果が異なり、この主効果の存在について明確なパターンはありません。相互作用と二次効果についても、強いパターンを見つけるのは困難ですが、ほとんどの場合、いくつかの高次効果が含まれていないようです。相互作用因子 1 x 因子 6、因子 2 x 因子 4、因子 3 x 因子 5、因子 3 x 因子 6、因子 4 x 因子 6、因子 5 x 因子 6。二次効果については、因子 6 x 因子 6 はほとんどの場合、モデルに含まれていません。R 二乗値に基づいて最適なモデルを少し拡大すると、高次効果に関して興味深い観察結果があります。
モデルでは、因子1×因子3、因子4×因子5の交互作用がよく選択される傾向があります。さらに、因子2と因子4の二次効果もよく選択されます。これらの結果は、Fit Definitive Screeningプラットフォームから得られた結果と概ね一致しており、同じ主効果と高次効果が検出されています。
比較対象を3つの異なる推定方法に限定すると、異なるモデルと同等のモデルおよび項の組み合わせという状況も確認できます。例えば、Fit Definitive Screening、GenReg Normal Pruned Forward、GenReg Two Stage Forwardの推定方法では、モデルのパフォーマンスと含まれる項の両方を比較できます。
- パフォーマンス：ここでは、説明力を高めるために調整されたR二乗値（モデルが応答の変動をどれだけ説明しているか）を示します。
最初の2つの方法は、同様の性能を示していることがわかります。
- モデル内の用語：
最初の2つの推定方法は類似したモデルを提供するものの、高次効果に含まれる項は異なっている。両者が一致するのは、因子1×因子3の交互作用効果を含める点のみである。
したがって、適切な次のステップとしては、どのモデルが最も妥当か、ドメインエキスパートと協議し、 オーグメントデザインズプラットフォームを使用して最も関連性の高いモデルを確認または詳細化することが考えられます。例えば、モデルを拡張して、推定したい項を指定することもできます。
私の回答で使用したすべてのスクリプトを記載した表をご覧ください。
この回答がお役に立てば幸いです。
Re: DSD設計における「驚くべき」結果DSD は、より多くの潜在的因子から強い効果、特に主効果を選別するのに適したスクリーニング設計です。また、潜在的な二次効果と相互作用の兆候も示します。後者は相関関係にあることに注意してください (!) 相関関係のカラー マップを参照してください。 有効な効果が 3 つ以下であれば、DSD は RSM を生成します。しかし! 有意な効果が 3 つを超える場合は、純粋な相互作用と二次効果を決定するために DSD を拡張する必要があります。したがって、専門家とのブレインストーミングの後、相互作用効果が複数あると思われる場合は、強い効果を検出するのに十分な最小限または低い #DSD から始め、拡張とデエイリアシングのための予算に十分な実行回数を残しておきます。また、中心点の複製にあまり労力を費やしません。
Re: DSD設計における「驚くべき」結果非公式な話：通常の半分のグラフに、5つの有効な効果すべてが表示されず、3つの効果しか表示されないのは奇妙ですね。
Re: DSD設計における「驚くべき」結果正規分布/半正規分布のプロットを評価する際には注意が必要です（Danielを参照）。LenthのPSEを常に使用できるとは限りません。データを見ると、誤差の分布が複数あるように見えます。下位6つの値、その後の区切り、次に2、さらに別の区切り、そして5に注目してください。これは実験中にノイズが変化したことを示しています。これは実験中に特殊原因が発生した証拠とみなされるかもしれません。この半正規分布のプロットと一致するパレート図を見てください。推定値の「グループ化」がより容易にわかります。
余談ですが…中心点を複製することは、MSEを推定する優れた方法になり得ます。CPは、線形仮定が具体的ではないにもかかわらず、非常に効率的にテストするために使用できます。実験全体を通して十分な数（約8）をランダムに実行すれば、実験全体の安定性を評価することもできます。MRを実行順にプロットします。また、たとえば電流条件である場合、電流の両側のレベルをより太く設定して、方向性に関する洞察をより良く得ることができます。唯一の問題は、要因が連続でなければならないことです。
Re: DSD設計における「驚くべき」結果興味深いですね。では、このグラフをより効果的に活用して、活性効果を検出するにはどうすればよいでしょうか？
Re: DSD設計における「驚くべき」結果この方法の発明者であるカスバート・ダニエルの著作を読んでください。
Daniel, Cuthbert (1976) 『産業実験への統計学の応用』、Wiley (ISBN 0-471-19469-7)
Re: DSD設計における「驚くべき」結果線周辺のパターンは特別な原因を示唆しており、この場合はさらに考慮に入れるべき中程度から強い影響がいくつか見られます。
Re: DSD設計における「驚くべき」結果彼の本はもう読みましたか？お手伝いしましょう…はい、ランダム誤差の分布（平均が0の正規分布に従うはずです）の範囲外にあるモデル効果は確かに割り当て可能です（誤差の分布の一部である可能性のある効果とは異なるため、割り当てできません）。しかし、それは必ずしもLenthのアルゴリズムによって引かれた線ではありません。Danielは、正規プロットにLengthのアルゴリズムを図示していませんでした。彼はプロットを解釈し、誤差の分布がプロット上のどこに描かれていると思うかという解釈を使用しました（私は「太い」鉛筆テストを使用します）。彼は、正規プロットに「S」字型の曲線が見られることを指摘し、モデル効果以外の何かが実験に影響を与えていることを示唆しています。特殊原因はノイズにあり、モデル効果の結果ではありません。これは、ANOVAのMSEを膨張させることになります。
Re: DSD設計における「驚くべき」結果@statman の「太い鉛筆」基準に加えて、垂直方向のシフトは平均応答の変化、推定値のグループを通る直線の傾きの変化は標準偏差の差として考えてください。
Re: DSD設計における「驚くべき」結果半正規分布図は、非常に強い効果を検出するための最初のスクリーニングとして使用できると結論づけることができるでしょうか？ランダムな分布が見られず、実線付近にパターンが観察される場合、中程度の強い効果が示唆されます。
Re: DSD設計における「驚くべき」結果はい、モデル内の他の効果に対する相対的な強さです。ちなみに、これらのプロットは飽和モデルで作成することをお勧めします。
また、因子設定の符号が意味を持つ場合（つまり、連続因子の場合）、通常のプロットを使用して方向ベクトルを活用できます。彼の優れた著書を入手できない場合は、以下の論文をお読みください。
Daniel, Cuthbert (1959)「要因2水準実験の解釈における半正規プロットの使用」Technometrics、第1巻、第4号、11月
Re: DSD設計における「驚くべき」結果@statmanさんの最後の返信についてですが、スクリーニングプラットフォーム（古いものですが）は彼の推奨事項を実装しています。こちらをご覧ください。
Names Default to Here( 1 );
dt = Open( "$SAMPLE_DATA/Design Experiment/2x3x4 Factorial.jmp" );
dt << Screening( Y( :Y ), X( :X1, :X2, :X3 ) );
Re: DSD設計における「驚くべき」結果非常に興味深い事例と素晴らしい議論でした。共有していただきありがとうございます！
Re: DSD設計における「驚くべき」結果2段階スクリーニングプラットフォームでは、上記の結果である最適なAICc = -30 Fit Definitive Screeninを達成できないようです。
昨年、私は 7 因子 DSD のケースを投稿しましたhttps://community.jmp.com/t5/Discussions/Setting-Stage-1-P-value-in-Analyis-of-DSD-at-a-high-level-to/mp/837310#M101378では、これとは逆でした。2 レベルのスクリーニングで 5 つのアクティブ因子モデルをすぐに取得し、Fit DSD を使用して 5 つのアクティブ因子を検出するためにステージ 1 P 値を 0.4 に上げる必要がありました。興味深いですね。
Re: DSD設計における「驚くべき」結果有効な主効果の検出、および潜在的な相互作用と二次項の検出には、Fit DSD プラットフォームの使用をお勧めしますが、ステージ 1 の p 値はフィルター (!) であることに注意してください。低く設定しすぎると、モデルに入る可能性のある有効な効果がブロックされる可能性があります。Fit DSD は、ステージ 1 の p 値を 0.2 ～ 0.4 に設定して開始してください (これより高い値に設定すると、過学習が発生する可能性があります)。
