モデルの縮小こんにちは、
DOE 分析の JMP 学習モデルによれば、モデル内の重要でない項は、重要でない高次相互作用から始めて削除できます (= モデルの削減)。
しかし、それは本当にそれほど単純なのでしょうか? 重要でない項を削除する前に考慮すべき他の事項はありますか? 重要でない項を削除することは、必ずしもこの要因が出力/応答変数にまったく影響を及ぼさない/影響が小さいことを意味するのでしょうか?
さらに、モデルの削減は REML/混合モデルにも適用されますか?
この件に関してご説明いただければ幸いです。
サラ
実験計画法Re: モデルの縮小それはそれほど単純ではありません。モデル項を削除するかどうかは、p 値の使用/乱用/誤用に関する進行中の議論と同列に位置付けられます。実際、私にとっては、それは同じコインの裏表のようなものです。
しかし、そうは言っても、モデル項を削除することは、パラメータ推定に関係する要因が「出力/応答変数にまったく/わずかな影響」を与えることを意味するわけではないと言っても過言ではありません。それは単に、その特定の推論空間で、モデルに項を含めないことを決定していることを意味します。その決定は、神と耳を傾けるすべての人に「影響はない/わずかな影響」があると宣言することとはまったく異なります。おそらく、選択したレベル (計画された実験をモデル化する場合) が狭すぎて、信号がノイズを上回ることができなかったのでしょう。推論空間のノイズが要因の効果を圧倒しているのかもしれません。また、「p 値」の解釈については触れませんが...すべての項は、ある p 値で「有意」です。その有意値を選択するのは誰ですか? どのような基準で?
そして、私が考えつく限りのほぼすべてのモデリング方法 (REML/混合など) についても同じことが言えると思います。
Re: モデルの縮小こんにちは、P_Bartellさん。
その問題の複雑さは理解しています。しかし、私の考えでは、ある時点で、実行した DOE の結果に基づいて推論を行えるようにしたいはずです。そうでなければ、DOE を実行する目的は何でしょうか... では、実用的な観点から、重要でない項をどう処理しますか?
ありがとう
サラ
Re: モデルの縮小もちろん、ピートは正しく、賢明なアドバイスをしています。特に推論スペースの問題です。実験を実行したとき、研究におけるノイズはどの程度代表的でしたか? 研究においてノイズはどのように処理されましたか? (例: 制限、ブロック、繰り返し、複製、分割プロットによる分割)? MSE の推定値は妥当であり、真のランダム誤差を表していますか? そうでない場合、統計的有意性は無意味です。統計的有意性は条件付きステートメントであることを忘れないでください。
モデル削減を行う際には、以下の点を考慮する必要があります。
1. 実用的な重要性。これは、効果と MSE の比較である統計的重要性とは関係ありません。要因/相互作用には実用的な重要性がありますか? 別の言い方をすると、科学的または工学的メリットの観点からモデルを評価する必要があります。興味深い用語と興味深くない用語の識別をサポートする合理的かつ論理的な仮説はありますか?
2. R 二乗 - R 二乗調整デルタ。モデルから不要な項を削除すると、デルタは減少します。R 二乗のサイズも調整されます。
3. 残差。どのように見えますか? 項を削除すると、外れ値や異常なパターンなどはありますか?
4. p 値。最初のカットでは役立つかもしれませんが、反復するにつれて役に立たなくなります (または役に立たなくなります)。重要でない平均二乗はどうなるでしょうか? DF とともに MSE に追加され、基本的に MSE が減少し、F 値が偏って増加します。
5. 有用性。モデルは有用でなければなりません。使命は、入手できる最も複雑なモデルを作成することではなく、予測可能で有用なモデルを作成することです。
もちろん、JMP の利点の 1 つは、モデルをすばやく変更して再評価できることです。
Re: モデルの縮小「そうでなければ、それを実行する目的は何ですか...」という質問に対する回答です。「それ」とは、計画された実験であると想定しています...研究環境ではなく業界からの、確かに多少偏った基準枠から回答します。
私たちが計画した実験を実施する主な目的は、決して「推論を行う」ことではありません。実際的な問題を解決することです。私が定義する「推論」 (新しい斬新な知識) を探すことが価値のない取り組みではないと言っているわけではありません。ただ、私たちがその方法を見つけられなかっただけです。では、これらの計画した実験を実施する究極の目的は何でしょうか。実際的な問題を解決するためであれば、私は両方の方法を試します。つまり、「重要でない」項を含むモデルと含まないモデルの両方を試し、目の前の実際的な問題を解決するという文脈でモデルの有用性を検討します。新しい知識であれば、「影響なし/最小限」などの包括的な発言をする前に、さまざまなノイズ (サプライヤー、機器、オペレーター、スケーラビリティなど) や迷惑な変数、因子レベルの間隔、測定システムのノイズなどのその他の問題の下で推論空間を拡大するための追加の実験を検討します。これは、1 回の実験で達成されることはほとんどありません。私が働いていたところでは、これを「表現リスクの理解」と呼んでいました。
これは、説明のための単純な例ですが、私たちが望んでいた以上に頻繁に遭遇した状況です。パイロット装置で DOE を実行し、「コーティング速度」は関心のある反応に影響しないという推論を行います。しかし、その後、生産装置にスケールアップすると、突然「コーティング速度」が影響するようになります。どうしてそうなるのでしょうか? 新しいプロセス...新しいノイズ。これは、実験が将来の状況に対してどの程度「代表的」であるかに関するものです。デミングは、列挙型研究と分析型研究に関連する問題について長々と書いています。
列挙的研究と分析的研究
この幅広い状況を理解することによってのみ、「影響なし/最小限」のような包括的な発言に自信を持って取り組むことができます。
Re: モデルの縮小これらの回答を考慮すると、JMP DOE 学習モジュールは DOE の分析を単純化しすぎていると私は主張します。
Re: モデルの縮小公平に言えば、JMP 学習モジュールは製品を紹介し、「製品を販売」するためのものです。私は 6 か月かけて、複数の実践的な実験と多くの実用的なケース スタディを使用して実験設計の基礎を教えています。私見では、これをオンラインで教えることはほぼ不可能です (ただし、コロナ禍で試してみました)。学習モジュールは、方法論を紹介し、おそらく事前の知識がない個人に潜在的なアプリケーションを紹介することを目的としています。これらのモジュールの最後に、方法論からメリットが得られる状況を特定できれば、モジュールは目的を果たしたことになります。
実験設計の使用に関して、私は Pete とは少し異なる見解を持っています。私の意見では、調査作業を推進する「動機」は 2 つあります。
1. 説明的 - 問題が存在し、その問題とその原因を理解しようとしています。もちろん、DOE はここで役立つかもしれませんが、私はこれらのイベントを理解するために、有向サンプリングと変動要素研究を使用する傾向があります。DOE を使用して問題を発生させることは確かにできますが、それがそもそも問題が発生した理由ではない可能性があります。
2. 予測 - 因果関係を理解して、研究者が有用な予測モデルを開発できるようにします。DOE が優れているのはここであり、DOE ほど強力な方法論は他にありません。
Re: モデルの縮小ご説明ありがとうございます。
もっと見る...重要でない項を削除するとモデルを簡素化できますが、コンテキスト、モデルの仮定、および潜在的な多重共線性を考慮することが重要です。重要でない項は、必ずしもその因子が効果を持たないことを意味するわけではなく、不十分な検出力または不適切な測定を示している可能性があります。モデルの削減は REML/混合モデルにも適用されますが、注意が必要です。大学時代、私は学術論文の執筆でよく助けを求めていました。調査を行った後、多くの肯定的なレビューがある DoMyPaper に出会いました。私は助けを求めて
domypaper.com を訪問することに決め、それは素晴らしい経験となりました。DoMyPaper には、学生のライティング スキルの向上を支援する専門家のチームがいます。現在、私は学術論文の執筆作業で助けを得るために彼らのサービスに頼っています。
Re: モデルの縮小こんにちは@SaraA さん
JMP モジュールで示される例は、統計の専門家ではない人が「始めてみたい」場合に設計と分析の基本を理解できるようにするために用意されています。データセットは簡単に追跡でき、分析は簡素化されているため、誰でも理解して試すことができます。
しかし、 @statmanが述べたように、モデリングのトピックは、p 値に「のみ」依存するよりもはるかに広範囲 (そして時には複雑) です。目的に応じて、モデルの評価と選択へのパスが異なる場合があります。
- 説明モデル 説明モードでは、応答に何らかの影響を与える用語に重点が置かれるため、統計的有意性 (p 値と、0.05 などの定義済みしきい値を使用) と実際的有意性 (推定値のサイズ、ドメインの専門知識に基づく選択) に基づいて、さまざまな用語を含める必要があるかどうかを評価できます。R²、調整済み R² (および最小化する必要のある 2 つの差) は、特定された用語によって説明される変動の量を理解し、調査対象のシステムを説明するために適切なモデルを選択するための優れた指標です。
- 予測モデル : 予測モードでは、予測エラーを最小限に抑えるのに役立つ用語に重点が置かれるため、実際のプロットと予測プロット、およびエラーのサイズ (残差プロット) の視覚化を通じて、予測パフォーマンスがどのように改善されるかに基づいて、さまざまな用語を含める必要があるかどうかを評価できます。RMSE は、どのモデルが最高の予測パフォーマンスを持っているかを評価するのに適したメトリックです (目標は RMSE を最小化することです)。
2つの部分の組み合わせにも興味があるかもしれません。そのため、さまざまな指標を使用してモデルを評価し、選択することができます。 情報基準 (AICc、BIC) は、モデルの予測パフォーマンスと複雑さの間の妥協点を見つけるのに役立ちます。これらの基準に基づいてモデルを評価および選択するには、低いほど良いです。また、同様ですがモデルの複雑さに対するペナルティを含まない最大尤度を使用することもできます。
p 値については慎重になり、「統計的有意性のカルト」を避けることをお勧めします。 解決済み: Re: 統計的有意性 - JMP ユーザー コミュニティ
モデルを作成するために、JMP にはさまざまなプラットフォーム ( モデルの適合と一般化回帰モデル、 2 レベル スクリーニングの適合、 決定的スクリーニングの適合など) が用意されています。これらのプラットフォームでは、設計の選択に応じて、さまざまな手法、推定、または検証基準が使用されます。これらを試して、モデルがいつどのように一致し、いつ/どこで一致しないかを確認できます。 ラスター プロットまたは次のような簡単なプロットを使用して、さまざまな結果をプロットしてみてください。
使用するプラットフォームに応じて、モデルがどの程度一致しているかを確認でき、目的に合わせて調整された特定のメトリックを使用すると、1 つまたは複数のモデルをより簡単に選択できます。
元の質問に戻ると、応答をモデル化する際に統計的有意性と実際的有意性を考慮する必要があり、結果として得られるモデルは、実験的検証だけでなくドメインの専門家にも提示する必要があります。
この補足的な回答が、遅くても役に立つことを願っています。
