DSD分析の第1段階のP値を高く設定して、活性効果を検出する添付文書における7因子性分化疾患（DSD）の解析におけるステージ1のP値の設定について質問があります。
5 つのアクティブ因子を検出するには、ステージ 1 の P 値を 0.4 に設定する必要がありますが、デフォルト設定は 0.05 です。説明はありますか?
ステージ1のPのデフォルトである0.05は低すぎませんか？ステージ1のPの設定方法や目安はありますか？
実験計画法活性効果を検出するために、DSD 分析のステージ 1 P 値を高く設定するこんにちはフランクデルイック 、
応答が数式に基づいているため、示されている例は教育/トレーニング目的のものだと思いますか?
JMP ヘルプからの質問への回答として、次の点が参考になります。「最小実行サイズ DSD は、アクティブな効果の数が実行数の約半分未満で、効果サイズが標準偏差の 2 倍を超える場合、アクティブな用語を高い確率で正しく識別できます。 」(出典: Fit Definitive Screening Platform の概要)
あなたの場合、7 つの要素があり、そのうち 5 つが「アクティブ」として検出されることが予想されるため、比較的高い応答ノイズを持つ最小実行サイズの DSD を使用する場合、実行するのは非常に複雑なタスクになります。
応答式の「ノイズ」/変動性の部分を見ると、この最初の段階で検出したい要因の推定値のサイズ (-20.8 ～ 5.2) と比較して、ランダムな均一性の部分 (-25 ～ 25) が非常に大きいことがわかります。したがって、推定する効果サイズを指定したほとんどの要因については、式に追加したノイズ/変動性の部分と比較して、それらを検出して効果サイズを推定することが非常に難しい場合があります。また、5 つの「アクティブな」要因についても言及されていますが、混乱があると思います。これらの要因は、推定値の相対サイズが実験のノイズ/自然変動性と比較して十分に大きい場合にのみ、「アクティブ」と見なされます。0 以外の推定値を指定したからといって、アクティブ/重要と見なされるわけではありません。これは、信号対ノイズ比の問題であり、統計的有意性と実際的有意性の違いです。
調整する有意水準 (p 値のしきい値) は、設計と想定されるノイズ (予測される RMSE) に応じて、 設計の評価プラットフォームで推定できます。このプラットフォームでは、有意水準と予測される RMSE を調整して、検出力 (有効な場合に効果を検出する確率) を評価できます。
厳密には「厳密」ではないかもしれませんが、練習として、理論的な応答式を作成するときに、分析の出力が正しいかどうかを確認することができます。式のノイズ部分を確認するために新しい数式列を追加すると、標準偏差は約 12 と推定できます。
この値を予測 RMSE として使用し (おそらく RMSE の低い推定値として)、有意水準を 0.05 に固定し、式の理論的推定値を予測係数として使用すると (この RMSE による主効果の設計の検出力「ベースライン」を確認するために、式のヌル効果に「1」を残しました)、分析の出力と一致します。
X1 のみ、高い確率で検出できるほど効果サイズが大きいです。他の効果は、（応答の予測 RMSE と比較して）効果サイズが比較的低すぎます。同じ予測ノイズで有意しきい値を高くすると、主効果を検出する力が高まります。
教育目標に応じて、例としていくつかのオプション（単独または組み合わせ）を使用できます。
- 変動性（Y 式の応答におけるランダムな均一な部分）を減らすことで、検出（および推定）したいアクティブな効果のほとんどを検出できるようになります。
- You can increase design size, to enable easier detection of active effects. From JMP Help : "ただし、最小実行サイズ DSD に 4 回以上の適切に選択された実行を追加することで、高い確率で大幅に多くの効果を特定できます。" : フィット確定スクリーニングプラットフォームの概要
- 効果サイズ（数式内の因子推定値のサイズ）を大きくすると、ノイズや変動性が高くても効果を検出しやすくなります。
- 主な効果を検出するために、さまざまな分析プラットフォームを試すこともできます。Fit Two Level Screening Platform は、たとえば次のような異なる視点を提供する場合があります。
- 何を選択する場合でも、 デザイン評価プラットフォーム (およびさまざまなデザインの選択を比較するためのデザイン比較プラットフォーム) を学生に示して説明することは非常に重要です。これは、目的、モデルの複雑さ、効果の検出能力、エイリアシング プロパティなどに応じて、あらゆるデザインの長所と短所をより適切に評価できるためです。また、予想される RMSE と予想される係数に関する事前情報がある場合、調整する有意水準を評価するためにも使用できます。
私の回答があなたの例で何が起こっているかを理解するのに役立つことを願っています。
活性効果を検出するために、DSD 分析のステージ 1 P 値を高く設定するこんにちは、ビクターさん。詳しい回答をありがとうございます。はい、これはパイロット ケース スタディに基づく DOE トレーニング ケースです。パイロット ケース スタディでは、結果がかなりのノイズで不明瞭になり、実験予算が最大 25 回の実行に制限されていました。残念ながら、予備知識がなく、実用的なアプローチが必要でした。このスクリーニング スタディの主な目的は、DSD を拡張して RSM を取得できる強力な主効果を特定することです。そのため、4 回の追加 DSD 実行を含めず、17 回にとどめました。つまり、拡張できる予備実行が 8 回あるということです (予備実行が 4 回では少なすぎる可能性があります)。
注目すべき興味深い点は、しきい値 P を 0.4 に増やしても、DSD 分析で依然として 5 つの重要な要因が検出されることです。しきい値 P が 0.7 まで高くなった場合にのみ、2 つの小さい、重要でない効果 X6 と X7 が考慮され、(ROC 分析と同様に) モデルの特異性が低下します。5 つの強力な効果を使用して 17 回実行した DSD を 24 回に増やすと、非常に優れた有用なモデルが得られ、実験目標 (Y ターゲットの一致) が達成されます。
上で言及した Fit の 2 レベル スクリーニング プラットフォームは非常に気に入っています。私も X4 を選択したいと思います。
このケーススタディは、実用的なアプローチを使用すると、ノイズの多い結果や予算の制約があっても、DSD は「S」が表すとおり強力なスクリーニング ツールであることを示しています。私は今でも DSD をよく使用しています。
活性効果を検出するために、DSD 分析のステージ 1 P 値を高く設定するまた、SVEM の前方選択も効果的です。添付ファイルを参照してください。
活性効果を検出するために、DSD 分析のステージ 1 P 値を高く設定するこんにちはフランクデルイック 、
私は、特にノイズの多いデータの場合、SVEM の出力と (体系的な) 使用については複雑な気持ちです。
SVEM フォワード選択では、モデル内の用語を「選択」したり、特定の統計基準としきい値によってフィルタリングしたりするのではなく、さまざまなトレーニング/検証の反相関重みを使用してデータ ポイントを再サンプリングすることで、用語を可能な限り正確に推定しようとします。デフォルトでは、すべての用語が SVEM で考慮され、推定されます。
したがって、スクリーニングを通じて主な重要な効果を理解し、フィルタリングすることが目的である場合、これを行うための決定フレームワーク (統計基準、メトリック、しきい値) が不足しているため、SVEM はそれ以上役に立たない可能性があります。ただし、SVEM は予測的な考え方で正確な用語の推定を行う際に非常に役立ちます。
しかし ：
- 列/メトリック「非ゼロの割合」を統計メトリックとして使用してモデルを改良することもできますが、しきい値を定義するには p 値の場合と同じ困難があります。モデルに含めて「アクティブ」と見なすには、用語が 50% を超える非ゼロである必要がありますか? または別のレベルですか?
- SVEM モデルからのデータを視覚化することで、いくつかの重要な効果を強調表示し、実用的な重要性に基づいてそれらを選択できる可能性があります (たとえば、項の絶対値は 2 より大きい必要があります)。
しかし、繰り返しになりますが、この「受け入れ」しきい値の定義には、さらに調査すると興味深い可能性のあるいくつかの用語を時期尚早に除外しないようにするための、多くのドメインの専門知識と思考が必要になる場合があります。
また、残差パターンを見ると、奇妙なことが起こります。
この非ランダムな残差パターン (バイアス) を示す回帰モデルは信頼できません。ただし、主効果のみで SVEM GenReg を起動すると、モデルの複雑さを下げてこれを「改善」できます。
残差パターンに曲率があるようです。したがって、あなたの例では、応答式の相互作用と二次効果は、この単純なモデルでは調査されていないことは明らかであり、それがこの曲率パターンを説明できます。
特にこの例のようなノイズの多いデータの場合、モデルの構築と推定を複雑にすることは適切ではないと思います。
モデルの品質は常にデータの品質 (および精度) に関連付けられます。
活性効果を検出するために、DSD 分析のステージ 1 P 値を高く設定する私も同意します。最初のスクリーニングに基づく回帰モデルはまったく信頼できません。これはスクリーニングの目的ではなく、シーケンシャル ワークフローでさらに進める方法を示すだけです。上記の 3 つの分析ツール、DSD 分析、2 レベル フィット、SVEM はすべて、DSD の拡張に使用できる同じ 5 つの最も強力な効果を除外します。私はシーケンシャル アプローチが好きです。知識の家を築くには、最も強力な構成要素から始めて、他のより小さな重要な効果を研究するための堅固なフレームワークを取得する必要があります。
性分化疾患（DSD）の解析におけるステージ1のP値を高く設定して活性効果を検出するこの2段階スクリーニングでは、強い有意な二次効果が認められますが、これは信頼できるのでしょうか？このスクリーニングプラットフォームは2段階しかチェックしないのに、3段階の二次効果をどのように検出できるのでしょうか？
性分化疾患（DSD）の解析におけるステージ1のP値を高く設定して活性効果を検出するこんにちは、 @frankderuyckさん、
ガイドラインと詳細情報は、次のドキュメントでご覧いただけます: Fit Two Level Screening Platform の概要
モデルにおける項/効果の導入順序は、こちらで確認することもできます: 効果導入順序の統計詳細
このプラットフォームは、連続として扱われるため、複数レベルのカテゴリ因子または順序因子には推奨されません。
二次効果については、ほとんどの場合、モデルに入力する際に人為的に直交化されるため、p値と効果推定が不正確になる可能性があります。しかし、プラットフォームは3水準連続因子の高コントラスト二次効果を検出することができます。
私はこのプラットフォームをこのトピックで使用しました: OML (混合レベルに対する直交主効果スクリーニング設計) プランの発見 - JMP ユーザー コミュニティ。これにより、Fit Definitive Screening プラットフォームや Fit Model (一般化回帰) プラットフォームの 2 つの推定方法では検出されなかった 2 次効果を検出することができました。
したがって、Fit Two-Levels プラットフォームをテストして（ガイドラインと推奨事項に従って）、さまざまなプラットフォームのモデルを比較し、用語の選択に関してどのモデルが一致/不一致であるか、および最も関連性の高いモデルは何かを理解することは興味深いことです。
この回答がお役に立てれば幸いです。
