JMP DOEにおけるランダム実行順序と計画妥当性の検証
やあみんな、
現在、JMPで作成した実験計画法（DOE）を使用しており、ランダム化された実行順序の品質を評価したいと考えています。JMPは計画作成時に実行順序を自動的にランダム化しますが、そのランダム化の有効性を客観的に評価したいと考えています。
特に、JMP が次のような組み込み機能や確立されたワークフローを提供しているかどうかを知りたいです。
- 実行シーケンス全体にわたって傾向、体系的なパターン、またはドリフトを検出する。
- 因子レベルのクラスタリングまたは不均一な分布を識別する。
- ランダム性の正式な統計的検定（ラン検定、自己相関検定、独立性検定など）を実行する
- あるいは、実行順序が真のランダム化にどの程度近似しているかを定量化します。
JMP がこのタイプの評価を直接行う方法を提供していない場合、DOE 実行順序のランダム性を評価するための推奨される JSL スクリプト、アドイン、またはベストプラクティスのアプローチはありますか?
さらに、手動で実行順序を変更した後でも、実験設計の整合性と統計特性が維持されているかどうかを確認するためのツールが JMP で提供されているかどうかにも興味があります。
ご意見をよろしくお願いします。
ベイズナイト
実験計画法JMP DOEにおけるランダム実行順序と計画妥当性の検証こんにちは@ベイズナイト 、
コミュニティへようこそ！
ランダム化の欠如やモデル適合のオプションにおける時間感度による応答傾向を検出するのに役立つオプションが少なくとも 2 つあります。
- グラフィカル オプション:行ごとに残差をプロット: このプロットは、観測値の行順序から生じるパターンを検出するのに役立ちます。
- 統計検定オプション：ダービン・ワトソン検定：残差が一次自己相関を持つかどうかを検定する統計量。行が時間順に並んでいる場合（データテーブルと同じ順序で実験が行われている）のみ適切です。
他にも、管理図（ 管理図とウェストガードルールを用いて、因子レベルの再分割がトレンドに従っているかどうかを評価）や時系列分析オプションといったグラフィカルなオプションや統計的なオプションがあります。また、 階層的クラスタリングを用いて、点のクラスタリングが不均衡でないか、あるいは行の順序付けられたグループを形成しているかを確認することもできます。最後に、 多変量解析プラットフォームを用いて、因子と行の順序の間に有意な相関関係があるかどうかを確認することもできます。
デザインを評価するプラットフォームを用いた設計評価では、各評価における行の順序は考慮されません。設計実行時に時間傾向の可能性が疑われ、因子レベルの再分割を時間傾向に対してロバストなものにしたい場合は、以下の投稿をご確認ください。
https://community.jmp.com/t5/RD-Blog/How-to-create-an-experiment-design-that-is-robust-to-a-linear/ba-p/30138
カスタムデザインにおける定義された順序での共変量
この回答がお役に立てれば幸いです。
JMP DOEにおけるランダム実行順序と計画妥当性の検証こんにちはビクターG 、
温かい歓迎と情報提供をいただき、誠にありがとうございます。私の主な関心事は、実験を実行する前にランダム化された実行順序の品質を評価することです。回答が収集されてしまうと、非ランダムなシーケンスに起因する潜在的な問題に対処するには遅すぎます。評価する方法はありますか？
JMP DOEにおけるランダム実行順序と計画妥当性の検証元の投稿から、「実行順序が真のランダム化にどれだけ近いかを定量化する」ことを望んでいたとわかります。
本当のランダム化がどのようなものかを教えてください。そうすれば、自分がそれにどれだけ近いかを定量化する方法を見つけられるかもしれません。
結局のところ、DOE実行のランダム化は、実験の時間や順序に関連する可能性のある未知または予期しないエラー要因に対する保険のようなものです。これらのエラー要因が存在する場合、収集された応答データにその影響が現れます。だからこそ@Victor_Gがその洞察を提供したのです。
信頼できる乱数ジェネレータ（JMPには信頼できる乱数ジェネレータが搭載されています）を使用している限り、どのようなランダムパターンでも通常は適切です。ただし、特定の状況によっては適切ではない場合もありますので、その場合は具体的な状況を把握しておく必要があります。
例えば、ある装置が4回目の生産で必ずミスを起こすとします。このような状況では、有効なランダムパターンは、4回に1回、いずれかの因子を高い設定にするかもしれません。8回実行の計画であれば、これは十分にあり得ることです。しかし、これは結果に確実に影響を与えます。分析を実行し、そして最も重要なのは、結果を検証するまで、そのことを知ることはできません。私は、現実世界で「有効な」ランダムパターンにもかかわらず、これに似たようなことが起こるのを見たことがあります。
最後に、ご質問の統計解析と特性は、モデルの誤差項が独立しており、かつ同一に分布していることを前提としています。DOEの実行順序を手動で変更しても、この点は影響を受けません。実際、各実行が真に独立していることが分かっている場合は、ランダム化を行う必要すらありません。多くの人は、（前述のように）未知の誤差要因に対する保険として、ランダム化を行います。計画実行を手動で変更することで独立性が損なわれる場合は、計画（および解析）においてこれらの時間特性を考慮する必要があります。
この情報がお役に立てば幸いです。そして、すべての実験は検証されるべきであり、1、2、3、4、5という順序でさえもランダムなパターンである可能性があることを忘れないでください。
JMP DOEにおけるランダム実行順序と計画妥当性の検証私は別の視点を提示します。実験戦略の有効性を実験後に評価する「テクニック」は数多く存在します。計画にもっと時間をかけることをお勧めします。実験におけるランダム化は、未確認で未検証の要因（ここではノイズと呼びます）が実験の要因と交絡するのを防ぐためのテクニックだと私は考えています。もっと効果的な方法があると思います。では、そのノイズ効果はどこへ行くのでしょうか？そのノイズ効果について知りたいですか？ランダム化を用いることで、割り当て（シューハート）を防ぐことができます。私はノイズについて知りたいのです。どのようなノイズが重要なのでしょうか？どのように実験にノイズを導入すればよいのでしょうか？どのようにノイズに対して頑健になるのでしょうか？GEP Boxの意見に賛成です。
「できるものはブロックし、できないものはランダム化する」。
彼が言いたいのは、ノイズを識別できる場合、ノイズとブロックを混同させる方がランダム化よりも効果的だということです。ノイズは割り当て可能です。識別できないノイズ（なぜ識別できないのかは分かりません）の場合は、ランダム化しましょう。
いくつかの論文をお勧めします:
ユーデン、WJ、「ランダム化と実験」、テクノメトリクス、第14巻、第1号、1972年2月
ファン、マリリン（2000）「ランダム化すべきか、すべきでないか、それが問題だ」 ASQ統計部ニュースレター、第17巻、第1号、26
JMP DOEにおけるランダム実行順序と計画妥当性の検証こんにちは@ベイズナイト 、
すでに他の人たちがうまく述べていることに加えて、考慮すべき他の考えをいくつか提示したいと思います。
1. 実験を実行する前に、DOEの順序をどのように定量化する予定ですか？実験が何かの状態（サンプルの状態、装置、オーブンの温度など、DOEで考慮していないもの）に依存する場合、これはすべての実験を実行した後にのみデータに反映され、前述のように評価できます。
2. DOEのランダム性を事前に本当にテストしたい場合は、数百、数千のDOEを生成し、1から20までの実行があれば、それぞれの実行が選択される頻度に関する統計情報を収集できます。十分な数のDOEを生成すれば、選択プロセスにパターンは見られなくなります。では、どのDOEを選択すればよいのでしょうか？最もランダムなDOEはどれでしょうか？この作業はJSLスクリプトで実行でき、それほど時間はかかりません。もちろん、DOEの定義方法には細心の注意を払い、DOEを台無しにする可能性のある隠れた要因を排除する必要があります。たとえこの分析を行ったとしても、実行順序に影響を与える隠れた変数を考慮することはできません。
3. DOE が完了した後、既に述べたように、実行のランダム性を評価する方法はいくつかあります（行ごとの残差は、まず試してみるのに最適です）。また、「実行順序」列を追加して分析に含めることで、結果が実行順序に統計的に重要な依存性を持つかどうかを判断できます。完全にランダムな因子である「帰無因子」（JMP の自動検証について調べてみてください。JSL コードはありますが、組み込み機能ではありません）を含めることもできます。この帰無因子よりも統計的に重要度が低い、または同等の因子は無視できます。
事前の計画は鍵であり、多くの場合、議論の時間の大部分を占めます。綿密に計画されたDOEは、計画が不十分なDOEよりも分析時間が短縮され、より多くの洞察をより早く得ることができます。この点については、次のような点を検討してください。順序が重要だと考える根拠はありますか？もし「はい」の場合、その理由は？その根拠はどこから来ているのか？そして、それを設計にどのように組み込むことができるのか？結果に影響を与える可能性のある他の要因にはどのようなものがありますか？それらを考慮することはできますか？シグナルに含まれるノイズはどこから来ているのでしょうか？どのようにノイズを最小限に抑え、DOEでそれを考慮に入れることができるでしょうか？
これが役に立つことを願っています!
DS
JMP DOEにおけるランダム実行順序と計画妥当性の検証こんにちは@Dan_Obermiller 、
詳しいご回答ありがとうございます。
全くその通りです。「完璧な」あるいは「真の」ランダム化というものは存在しません。それでも、望ましくないパターン（例えば、同一の因子水準が長期間続く、周期的な構造など）を回避するという意味で、他のランダム化よりも優れたランダム化が存在する場合があります。
そのため、私は、乱数ジェネレーターの信頼や目視検査だけに頼るのではなく、JMP がこれらの側面を客観的に評価するためのツールを提供しているかどうかを調べたいと考えていました。
特に、微妙な時間関連のリスクや機器の動作が結果に影響を与える可能性がある状況で、実行順序の品質を評価する追加の方法を探しています。
貴重なご意見をいただき、改めて感謝申し上げます。大変参考になりました。
JMP DOEにおけるランダム実行順序と計画妥当性の検証こんにちは@SDF1
返信ありがとうございます。
DOEの定義/計画段階が重要であることには完全に同意します。まさにそれが、私がこの質問を提起した理由です。可能な限り強固な設計から始め、実行前にランダム化実行順序が堅牢であることを確認したいのです。
予見できない隠れた変数が存在する可能性もあることは承知していますが、私の主な焦点は次のとおりです。
- 堅牢なランダム実行順序を生成する方法
- 実験を実行する前にその品質を評価する方法。
ご意見をいただき、改めて感謝いたします。
JMP DOEにおけるランダム実行順序と計画妥当性の検証因子レベルの分布におけるパターンを回避したい場合は、「 パターンの探索」プラットフォームが望ましくない単変量パターンの検出に役立つかもしれません。
ランダム化のパターン（このランダム化プロセスの一部です）を確認する前に、 「設計評価」プラットフォームを使用して設計の特性とパフォーマンスを評価しましたか？ ランダム化の可能性のあるパターンよりも、サンプルサイズや検出力が不適切であったり、エイリアシング構造が不十分であったりする失敗シナリオの方が多く発生する可能性があります。
JMP DOEにおけるランダム実行順序と計画妥当性の検証こんにちは@BayesKnight さん：この件について、興味深く見守ってきました…正直に言うと、少し混乱しています。ご質問の趣旨は、「ランダム」な実行順序（JMP によって生成される）は本当にランダムなのか、ということだと思います。 @Dan_Obermiller さんがおっしゃったように、「信頼できる乱数生成器を使用している限り（JMP には信頼できる乱数生成器が搭載されています）、どのようなランダムパターンでも通常は適切です。」もちろん、「信頼できる」乱数生成器であっても、大部分は疑似乱数生成器です。そのため、通常はアルゴリズムを用いて、ランダムなシーケンスの特性を持つ乱数シーケンスを生成します。つまり、答えは「はい」です。
実行順序をランダム化する簡単な方法の一つは、各実行に対してUniform(0,1)の数値を生成することです。そして、そのU(0,1)に基づいて実行順序を並べ替えます。
私があなたに質問したいのは、あなたの質問のきっかけは何だったのかということです。
JMP DOEにおけるランダム実行順序と計画妥当性の検証こんにちは@statman
ご返信と参考文献の共有をありがとうございます。
設計を評価する方法はたくさんあることに同意しますが、おっしゃるとおり、それらのほとんどは実験が終了した後に使用されるものです。
私の目標は、最後に問題が見つかり、修正するには手遅れになるのを避けることです。
ランダム化やブロッキングの目的を疑問視しているわけではありません。ただ、起こりうる問題をできるだけ早く発見したいだけです。特に、ランダムな順序によって、設計を弱める可能性のあるパターンや傾向が誤って導入されないよう、事前に確認したいのです。
有益なご意見をいただき、改めて感謝申し上げます。
JMP DOEにおけるランダム実行順序と計画妥当性の検証こんにちは@ベイズナイト 、
JMPはDOE（実験計画法）に適したロバストなランダム化順序を生成します。その点については心配する必要はありません（むしろ、心配するべきではありません）。JMPはこの分野で35年以上にわたり業界をリードしてきました。もしJMPのソフトウェアが信頼できなければ、JMPが今もなお存続していることはあり得ないでしょう。
たとえDOEを実行する前に実行順序を定量化・評価する方法を作成したとしても、最終的に行うことはJMPのランダム化アルゴリズムをテストして、それが「真に」ランダムであるかどうかを判断することだけです。 @MRB3855が述べたように、（デジタル）乱数生成器は真にランダムではありません。お気に入りの音楽アプリで「ランダム」再生機能を試してみてください。実際には、プレイリスト内の各曲を一度優先的に再生してからリストを「再ランダム化」するため、「ランダム」再生には制限があります。これは真のランダム順序ではありません。
私も@MRB3855さんの意見に賛成です。そもそもDOEを実行する前にランダム性を評価するというこの疑問をなぜ持ち出したのですか？JMPが堅牢なランダム実行順序を提供しないのはなぜだと思いますか？
もしこれが事実であることを示唆する過去のデータがあるなら、まずはDOEの計画にもっと時間をかけて、ブロッキングなどの方法を用いてそれを考慮に入れるべきです。JMPのやり方を鵜呑みにして、JMP側に何か問題があると決めつけるのはやめましょう。そもそもDOEが適切に計画されていなかった可能性の方がはるかに高いのです。
DS
JMP DOEにおけるランダム実行順序と計画妥当性の検証こんにちは、 @BayesKnight さん。 @MRB3855 さんのおっしゃる通り、これは非常に興味深いスレッドですね。よく考えられた、様々な視点からの優れた回答が山ほどあります。どの回答にもご満足いただけていないようですが、ご指摘の通り、「ランダム性の質」を評価する方法があるかどうかを知りたいだけなようですね。ランダムはランダムであり、肉眼でパターンが見えても、それがランダムであるにもかかわらず、そう思わないこともあると思います。
因子レベルの順序を見て「十分に混ざっている」かどうかを確認する以外に、ランダム性の質を評価するための統計的手法として認められているものは、私の知る限り存在しません。おそらく、まさにそれを実行し、最も混ざり合ったように見える順序になるまでランダム化を続けることが答えなのでしょう。これは実行順序に偏りをもたらし、ランダム性を損なう可能性があると主張する人もいるでしょう（統計学者として私はおそらくそう言うでしょう）。
ちょっとした解決策としては、因子をY軸、実行順序をX軸にプロットし、因子レベル（-1、0、+1）を色で表したヒートマップを使用するという方法があります。パターンがあるかどうかを視覚的に評価するのに役立つと思います。
