DSDの解釈と次のステップおはようございます。現在、JMP と DSD/最適化について学習中です。初めての実験を実行したので、分析と次のステップについてのフィードバックをいただきたいと思います。JMP Pro 17 を使用しています。
実験の目的: 磁性粒子への細菌の捕捉/回収を最大化する。
設定: 結果に影響を与える可能性があると思われる 7 つの変数を選択し、22 回の実行 (2 ブロック - これだけのサンプルを実行するには 2 日かかります) を使用してテストしました。モデルは 3 つの変数が重要であると返しましたが、変数の 2/3 はテスト範囲を拡大することでメリットが得られる可能性があります。これは予測プロファイラー グラフに基づいて言っています。これは可能かつ実行可能 (ある程度) なので、より広い範囲で再テストできます。
1. 7 つの変数すべてを使用して DSD を再実行する必要がありますか、それとも、2 つの変数の新しい範囲をカバーする重要な変数を使用して中心複合設計を実行するだけでよいですか。範囲の拡大が他の変数の重要度の低さに影響するとは思えないため、CCD を使用することをお勧めします。その後、CCD を使用して最適なパラメーターを予測できます。
2. 正しい範囲がなかったため、DSD モデルは使用する最適なパラメータを予測できなかったと思いますが、これは正しいでしょうか? それとも、どこかでその出力を見逃しているのでしょうか? 変数の 50% 未満が有意であったため、設計を最適化に使用できると考えました。
3. 出力から見落としている点はありますか? 繰り返しになりますが、私は初心者で、出力には理解すべきデータが大量に含まれています。私の目標は、最終的には細菌の回収率を最大化することなので、出力の残りの部分ではなく、重要な変数に焦点を当てました。アルファ値以外に、特に注目したり、注意を払うべき「もの」はありますか? DOE の無料オンライン クラスに関するメッセージを見つけたので、受講するつもりですが、自分のデータを使ってそのクラスで学んだことを「関連付ける」ことができるように、出力に対する具体的なフィードバックをいただければ幸いです。
フィット出力を添付しようとしましたが、JMP ファイルがサポートされていないというエラー メッセージが引き続き表示されます。PDF として添付しました。
ご協力/フィードバックをよろしくお願いします!
実験計画法DSD の解釈と次のステップについてこんにちは@Feline614 、
コミュニティへようこそ！
あなたのトピックについて正確にガイドするには情報が足りないかもしれませんが、私はあなたに何らかの支援とフィードバックを提供できるよう最善を尽くします。さらに詳しいガイダンスとして、より適切に評価して支援するために匿名化されたデータセット ( Anonymize Data (jmp.com) ) を共有していただけますか?
次のステップは、モデルの出力と統計的に有意な効果の検出に基づいています。「Fit DSD」（DSD に推奨される分析）を使用した 1 つの分析タイプのみを試したようですが、他のモデリング分析（JMP Pro をお持ちの場合は、「Pruned Forward Selection」（AICc/BIC 検証方法を使用）、「Two-Stage Forward Selection」、または最終的には「Best Subset」（主効果と高次項の多くの組み合わせを含む多くのモデルをテストするため、要因の数が限られている場合のみ）などの異なる推定方法を使用した一般化回帰、または代替モデルとしてステップワイズ回帰をテストするだけ）を試しましたか？
先に進む前に、さまざまなモデルが統計的効果の検出に関して一致しているかどうかを確認し、それらがどこで異なる可能性があるかを確認することは興味深いかもしれません。これにより、研究における重要な要素と効果について、より信頼性の高い概要が得られる可能性があります。
その他のご質問に関して：
- Augment Designsプラットフォームを使用すると、因子の範囲を変更し、異なる実験領域を探索できます。このオプションは、最初の DoE から得られた情報が保持されるため、拡張設計の実行回数を最小限に抑えることができるため、再実行や新しい DoE (CCD など) の作成よりも興味深いかもしれません。
すべての因子を保持するか、または有意なものだけを選択する必要があるかどうかについては、モデルに対するそれらの重要性/貢献度（統計的にも効果サイズ的にも）だけでなく、拡張でそれらの範囲が変更されるかどうかにも依存します。統計的に有意でなく効果サイズが低い 1 つの因子の範囲を変更しない場合は、実験予算を節約するために拡張 DoE からその因子を除外（および特定の値に固定）できる可能性があります。ただし、1 つの因子の範囲が変更された場合は、範囲に応じて応答に対して統計的に有意で重要にならないように、拡張に保持します。
- モデルは、回帰線から離れた 2 つのポイントを除いて、かなり正確であるように見えます。実験上の変更やエラーはありましたか? 要因の条件は「不安定」ですか、それとも応答に大きな不確実性を生み出していますか? これら 2 つのポイントを調査し、可能であれば繰り返して、「モデル エラー」と「実験エラー」を区別する価値があるかもしれません。 質問に答えるには、「予測の不確実性の許容しきい値」と応答ターゲットも知っておく必要があります。ここで、モデルの RMSE は 0.0797 ですが、実験の変動と比較するとどうでしょうか? この RMSE 値は、ドメインの専門知識から、また反復性/再現性の不確実性を考慮しても許容できるものですか? 取得したい最大の応答はどれくらいですか? これらの質問への回答は、モデルの品質とドメインの専門家の許容しきい値 (予測される平均応答と予測される分散応答の両方) によって決まります。
- 出力に関して確認すべき点がいくつかあるかもしれません: 適合度不足 (jmp.com)テストは統計的に有意であり、さまざまな要因によって説明できます。おそらく、反復の分散が低いこと (または、たとえば、完全な実験空間の変動を代表していない可能性がある中心点のみである場合の代表性) が原因である可能性があります (純粋誤差が低いため)、またはモデル内の高次効果が欠落していることが原因である可能性があります。
また、前述の 2 つの「奇妙な」点を確認し、 回帰の仮定を確認することもできます (「残差を正規分位数でプロット」で残差の正規分布仮定を確認し、「残差を予測値でプロット」で残差が 0 の周りにランダムに散らばっていることを確認します (等分散性と線形性の仮定) 、「残差を行でプロット」で実験の順序が結果に影響を与えないことを確認します (観測の独立性の仮定))。
また、ブロック変数をランダム効果（ここでのモデルでは固定効果ではなく）として使用してみることをお勧めします。これは、実験が行われた日を表していると理解しているため、週/時間のサブセットのみであり、平均応答に対する日の固定効果に特に関心があるのではなく、応答の変動性に対する日のランダム効果の影響に関心がある可能性が高いためです。モデルの適合プラットフォームを使用して混合モデルを適合し、ブロック効果をランダムとして指定することができます。 混合効果とランダム効果のモデルレポートとオプション（jmp.com）
日をランダム効果として使用すると、応答の変動性をより適切に評価するのにも役立ち、適合性の欠如テストにプラスの影響を与える可能性があります。変動はモデルエラーに起因しないため、この項は減少する可能性があります。
DSD を理解するのに役立つリソース:
決定的スクリーニング設計の紹介 - JMP ユーザー コミュニティ
決定的スクリーニング設計 - JMP ユーザー コミュニティ
フィット決定的スクリーニング プラットフォーム (jmp.com)
決定的スクリーニング設計を使用して、より少ない試験からより多くの情報を取得する - JMP ユーザー コミュニティ
そして、より一般的には、DoE について:
DoE リソース - JMP ユーザー コミュニティ
この回答がお役に立てば幸いです。
DSD の解釈と次のステップについてこんにちは@Victor_G時間を割いて詳細な返信を書いてくださり本当にありがとうございます!
匿名化されたデータセットを添付しました。
ご指摘のさまざまなモデル (添付) を実行しましたが、「2 段階フォワード選択」はオプションではありませんでした (グレー表示)。ステップワイズ アプローチでは 0.12 に 1 つの変数が追加されました。予測プロファイラーによると、この変数は結果に影響を与える可能性があるようですが、この特定の実験では、生物学的に有意であるとは考えられません (この実験を別のバクテリアで繰り返す予定で、それらのテストでは有意であると予想しています)。AICc とベスト サブセット AICc を使用した「プルーニング フォワード選択」では、1 つの変数が p=0.0564 に上昇しましたが、システムに有意な影響を与えることは生物学的に理にかなっています。BIC を使用した「プルーニング フォワード選択」と BIC を使用したベスト サブセットは、0.12 に変数が追加された以外はステップワイズと同様でした。<0.05 の変数も削除しましたが、他の要因の重要性は変わりませんでした。
全体的に、モデルが選択した変数には驚きませんでしたが、X_7 は確実に大きな影響を与えると考えていました。
これらのモデルを初心者レベルで説明している良いリソースはありますか? JMP に関するリソースはいくつか見つかりましたが、大学ではステップワイズ アプローチを学んだだけです。p 値の一般的な理解以外に、あなたが言及した他のモデルをどのように解釈すればよいのか、実際のところわかりません。
1. 拡張デザインを作成しました。2 つの変数 (X_4 と X_5) は、生物学的にこのシステムでは重要ではないはずなので削除しました (ただし、将来のテストでは重要になる可能性があります)。他のすべての要因は、より広い範囲でテストすることでメリットが得られると思われる、有意性を示した 2 つの要因 (X_6 と X_8) を除いて、そのままにしました。デフォルトの実行回数は変更しませんでしたが、ブロックしました。実行回数を変更する必要がありますか? 送信していただいたビデオ ( 決定的スクリーニング デザインを使用して、より少ない試行でより多くの情報を取得する - JMP ユーザー コミュニティ) の約 35:56 で、DSD の弱点は「スクリーニングの要因範囲には最適値が含まれていない場合があるため、後続のデザインは異なる範囲になります。実際には拡張できません」と述べられています。しかし、ご提案いただいたように、異なる値で拡張することはできますが、これは問題になりますか? データを分析するときに、何か別の操作を行う必要がありますか?
2. これらの 2 つのポイントを再実行できます。新しい結果を入力するときに、これらのポイントを置き換えるだけでよいのでしょうか、それとも新しい値を含む新しいブロックを作成する必要があるのでしょうか。新しいブロックを作成する必要がある場合、どのようにすればよいのでしょうか。なぜエラーになるのか説明できません。左側の 1 つのポイントは、細菌の濃度が低いために変動する可能性があります (ポアソン分布の問題)。右側のポイントは、私にとってはもう少し不可解ですが、細菌を扱っているので、時々外れ値があっても異常ではありません。
RMSE については、少し混乱しています。低い RMSE は良い値で、モデルが結果を予測するのに優れていることを反映しているはずです。私が行っていることと似たようなことをしている人に関する文献が見つからないため、何と比較すればよいかわかりません。システムについて私が知っていることに基づくと、この特定の実験では「ノイズ」があまり発生しないと思います。この特定のバクテリアとシステムでは、かなり一貫した結果が得られます (別のバクテリアでは変動性が大きくなりますが、それは来週の問題です)。
3. 2 つの「奇妙な」ポイントを再実行する予定です。添付ファイル「最小二乗法の適合」に回帰の仮定を追加しました。予測プロットによる残差には、何らかのクラスタリングがある可能性がありますか?
同意します。ブロッキングはランダム効果であるべきです。別のディスカッション投稿で、最初に設計を行うときにそれを実行できることがわかったのですが、チェックする「ボックス」が見つかりません (ランダムがデフォルトだと思っていましたが、そうではないようです)。ランダム効果にしましたが、偶数順序効果に影響しました。ただし、「適合性の欠如」ボックスはグレー表示されています... 理由や意味がよくわかりません。簡単に言うと、「偶数順序効果」がある場合、X_2*X_2 とはどういう意味ですか。X_2*X_3 のような場合や、2 つの変数の間に相互作用があることは理解できますが、変数がそれ自体とどのように相互作用するかは理解できません。
リソースをありがとうございます。特に「ヘルプ ページ」は大変役に立ちました。統計のレベルにはまだ圧倒されていますが、忍耐強く教えてくださり、より優れた科学者になれるよう助けてくださり感謝しています。これは私の多くの DSD の最初のものになりますが、「最も簡単な」ものから始めてよかったです。
DSD の解釈と次のステップについてこんにちは@Feline614 、
ご返信ありがとうございます。次回は、複数の Excel ファイルや PDF ファイルではなく JMP ファイルを提供する方が簡単かもしれません。JMP ファイルを使用すると、保存されたスクリプトを通じて分析を維持し、すべての列情報とプロパティを維持できます (特に DoE の場合、各要因に最大 3 つの列プロパティがある場合があり、Excel からデータをインポートするときに手動で追加する必要があります)。
作成したさまざまなモデルは、多くの類似点があり、かなり一貫しているように見えるので、それは良い兆候です。
DSD はそれらの検出に非常に効果的であるため (数が多すぎなければ)、どのモデルにも相互作用や二次効果が見られないことに驚いています。X2 から X8 までの相互作用項と二次効果を含めて (X1 は固定効果ブロックのままにして) 一般化回帰プラットフォームを再起動したところ、モデルは説明力 (R² が最大 0.95 まで増加) と予測力 (RASE が 0.05 まで減少) の両方の点でこれらの追加項の恩恵を受けているようです。X6 と X8 の間に相互作用があり、X2 に二次効果がある可能性があります。最初のモデルで確認された統計的に有意な不適合性テストは、これらの欠落した高次項に関連しているのではないかと疑っています。
モデルは、含まれる用語に関しても互いに非常によく一致しています。
DSD のこの初期段階のスクリーニングと最適化に関心がある場合、説明的 (最も重要な変数のみを保持) かつ予測的 (予測の改善/RASE/RMSE の低下に役立つ変数を保持) なモデルが必要なため、一般化回帰の検証方法に AICc などの情報基準を使用するのは理にかなっています。
一般化回帰に関するリソースを探しているなら、私の最初の考えは次のとおりです。
一般化回帰における線形モデルの適合
JMP® Pro の一般化回帰を使用してロバストな線形モデルを作成する
その他の点について:
- 拡張は、以前の分析で見つかったアクティブな要因を保持することで実行できます。X5 が有意/重要でない場合でも、モデルに保持されるため、保持します。次のフェーズで重要な可能性のある要因をすぐに削除するよりも、拡張フェーズで重要でない要因を保持することを好みます。
したがって、モデルの結果のみに基づいて (ドメインの専門知識に基づいて確認)、因子 X2、X5、X6、および X8 を拡張フェーズに保持します。実行回数に関しては、可能性のある因子範囲の変更、想定されるモデル、およびモデルに必要な確実性/精度に依存するため、何とも言えません。因子の数を少なく (4) 保持しているため、応答曲面モデルを想定して設計を拡張できます。そのため、[RSM] をクリックすると、選択した因子のすべての 2 因子相互作用と二次効果が追加されます。
あなたが言及した問題は、因子の範囲が初期スクリーニングと増強の間で切断/分離している場合に、より顕著になりますが、因子の範囲をもう少し増強したり、もう少し移動したりしたいだけなので、初期の設計実行の情報から依然として恩恵を受けることができます。
- 繰り返しますが、質問に対する明確な答えはありません。異なる結果が得られた場合は、実験を数回繰り返すことができます (測定された応答に対する信頼性を高めるため)。
新しい実験を「最初から」実行し、独立して測定したかどうかに応じて、値を含む新しい行を追加できます。これらの新しいポイントは、以前のポイントの複製になります。同じ実験で測定部分のみを繰り返す場合は、元の値を測定の平均に置き換えることができます。これらの新しいポイントは、実験の繰り返しのみです (したがって、独立した新しい実行はなく、行も追加されません)。
次に、これら 2 つのポイントの値の変更によってモデルの品質が向上するかどうかを比較できます。
- 残差には特定のパターンがないようです。クラスタリングは、応答測定値が高いか低いかのどちらかであり、中間値があまりないこと (2 つの「奇妙な」ポイントを除く) が原因である可能性があります。したがって、残差と予測値を比較すると、低い予測応答値と最高の予測応答値の 2 つのポイント クラスタが表示されます。
ブロックをランダム効果として使用する利点は、混合モデルを通じて、ブロック変数が応答分散に統計的に有意な影響を与えるかどうかを評価できることです。あなたのケースではそうではないようですので、このブロック変数をモデルから削除できます。このブロック変数を固定効果としてモデルを実行すると、このブロック効果が平均応答に統計的に有意な影響を与えないことも示されるため、今後の分析から削除できます。
項 X2.X2 に関しては、これは相互作用ではなく、 X2 の二次効果です。つまり、応答は二次関数/項 : Y = X2² (+ モデル内の他の項) によって X2 にリンクされます。
この回答のためにテストされたすべてのモデルとスクリプトを含む JMP ファイルを添付しました。
このフォローアップがお役に立てば幸いです。
DSD の解釈と次のステップについてビクター
すべてのデータを手作業で入力しなければならなかったことをお詫びします。また、遅れて申し訳ありませんが、次の結果のバッチで返信したいと考えていました。今回は正しい形式を添付したと思います。
拡張モデルを実行しました。私の「専門知識」に基づいて 1 つの用語のみを削除し、その他のすべての重要な要因と重要でない要因は元の DSD からそのまま残しました。実行 1 ～ 22 は元の DSD、実行 23 ～ 34 は拡張設計、実行 35 と 36 は行 5 の独立した複製、実行 37 と 38 は行 10 の独立した複製です (行 5 と 10 は元の DSD の「外れ値」でした)。
データを正しく実行し分析していることを確認できるように、ロジックをチェックしてもらえますか?
- 有意性を確認するために、ランダム効果としてブロッキングを含む混合モデルを実行しました。モデルでは有意ではなかったため、変数を削除できます。残差は以前ほど「ランダム」には見えませんが、それほどひどいとは思いません。
- AIC を使用した複数のモデルで一般化回帰を実行しました。すべての相互作用が追加されたと思います。前回相互作用を追加したとおっしゃっていたのは承知していますが、今回はモデル設計を正しく行ったことを確認したいと思います。
埋め込んだグラフはどうやって作成したのですか? 以下の手順を見つけましたが、提供されたような視覚的な比較は得られませんでした: https://www.jmp.com/support/help/en/16.1/?os=win&source=application#page/jmp/model-comparison.shtml#
- モデルに予測プロファイラーを追加しました。出力を最大化するための最適な条件を見つけようとしていたとき、モデルが 1.0 を超える値を予測していることに気付きました。ただし、出力は割合であり、理論的には 1 が可能な最高値です。次に、出力の範囲を最小 0、中間 0.5、最大 1 に変更してみましたが、予測プロファイルは変更されていないようでした...
生物学的に、有意とマークされた変数は意味をなします。私にとって意味をなさないのは、X_6 です。元の DSD 範囲は 1 ～ 5 でしたが、1 ～ 20 に拡張されました。生物学的に 20 を超える値にすると違いは生じないはずです。これは最小二乗モデルでは示されますが、他のモデルでは示されません。
どのモデルを選択すればよいか、どうすればわかりますか? 最大出力値が 1.0 であることをどのように説明しますか? 変数の最適なパラメータを調べるにはどうすればよいでしょうか?
- X_1 をモデルの変数として含めるように言われましたが、実際には変数にすべきかどうか確信が持てません。なぜなら、「現実世界」では、それは私が制御できる変数ではないからです。制御できるのは実験室環境だけです。ただし、出力は実際には回復した数と開始数の割合であり、X_1 は開始数であるため、出力変数の分母になります。X_1 は一定に保たれ、モデルはその定数に合わせて最適化されるべきだと思いました。しかし、X_1 が変化した場合に変数がどのように相互作用するかを知りたいという議論がありました。私の混乱は、変数 X_1 が出力の分母である場合、それを含める必要があるかどうかということだと思います。
ありがとう！
DSD の解釈と次のステップについてこんにちは@Feline614 、
X6 に関するコメントに関して、範囲を 20 に増やしていますが、テストされた範囲外でモデルの予測を外挿することはお勧めしません。したがって、X6 に関する応答の線形増加傾向が見られますが、この傾向は X6 が値 20 に達した後に停止する可能性があります。または、そうでない可能性があり、これはあなたにとって新しい事実/知識になります。ただし、この範囲外でテストしない限り、確信することはできません。範囲外に検証/テスト ポイントを作成し、測定値と予測値を比較して、X6 のテスト範囲外で線形増加傾向が停止するか異なる可能性があることを示すモデルからの偏差があるかどうかを確認できます。
最小二乗モデルには X6 の二次効果が含まれ、ドメイン知識によってサポートされているため、モデル構築にこれらの項 (X6 の主効果と二次効果) を強制的に含めることもできます: 高度なコントロール (jmp.com)
一般的な質問に関して言えば、選択すべき決定的なモデルはありません。統計的および実験的に意味がある場合（ドメインの専門知識）、いくつかの類似したモデルを選択できます。私が行うことは次のとおりです。
- このランダム ブロックの統計的有意性を評価するには、ランダム効果として X7 を使用して混合モデルを起動します。
- 複数の GenReg モデルを起動し、モデルに含まれる用語とモデルのパフォーマンスを比較して、どの用語が重要/アクティブであるかをより適切に把握します。統計的評価とドメインの専門知識に基づいて、有益なモデルを評価および選択します。
- ランダム ブロック効果は完全なモデルで有意であるため、前の 2 つの手順で得られた学習に基づいて、重要な用語を含む改良された混合モデルを構築します。ランダム ブロック効果が依然として有意であるかどうかを評価し、学習内容に最も適したモデル (混合モデルまたは一般化回帰モデルに基づくモデル) を作成します。モデルを検証すると、モデルに対する信頼度が高まります。また、モデルの比較プラットフォーム (jmp.com)を使用して、モデルの保存された予測式列を使用して、複数のモデルを組み合わせることもできます。
X1 については、これは目的と結果で何をしたいかに関係します。システムをラボ環境でのみ調査しますか、それとも調査結果を別の環境で使用したいですか? 2 番目のオプションの場合、この新しい環境で確認/検証を実行して、ラボ規模の調査結果を別の環境に転置/使用できることを確認します。分析の観点から、X1 がラボと他の環境で異なる方法で処理されても問題にならない場合があります。ラボ環境では、プロファイラーで制約を追加せずに望ましさを最大化できます。他の環境では、X1 の固定値がわかっているため、X1 値をロックし、他の要因を最適化して望ましさを最大化できます。 要因値の設定またはロック (jmp.com)
このフォローアップがお役に立てば幸いです。
