効果の大きさを定義するには、対数ワース推定値とスケール推定値のどちらを使用しますか?コミュニティさん、こんにちは。
因子の影響の重要性を判断するのにどの基準がより適切であるかについて質問があります。それは「対数ワース」 (p 値の明確な視覚化) ですか、それとも「スケール推定値」ですか?
サンプル データの 1 つ (Donev 混合データ) を操作すると、ログワースとスケーリングされた推定値について次のような結果が得られました (下の画像)。
ログワース:
スケール推定値:
最初の画像でログワースが最も高いのが「グリオキサール」であることがわかりますが、こちらの方がインパクトのある効果だと思います。しかし、2 番目の図の「スケーリングされた推定値」を見ると、むしろ相互作用 Na2S2O3*グリオキサールのほうがより大きな影響を与えているように見えます。
これを理解するのを手伝っていただけますか?そして、どの要素がより大きな影響を与えるかを判断するために、実際に私のレポートのどの部分を見るべきでしょうか?
ありがとう、
ジュリアン
高度な統計モデリング基本的なデータ分析とモデリング実験計画法予測モデリングと機械学習Re: 効果の大きさを定義するのは対数ワース推定値とスケール推定値のどちらですか?こんにちは@Julianveda さん
統計的有意性と実際的な有意性という 2 つの異なる補完的な情報を比較しています。
統計的有意性とは、観察された結果または変数間の関係が偶然に発生した可能性を指します。言い換えれば、これは 2 つ以上の変数間に関係が存在することをどの程度確信できるかの尺度です。統計分析では、これは通常、p 値 (または対応する p 値の対数変換を使用して計算される対数ワース) を使用して評価されます。これは、少なくとも観察された結果と同じくらい極端な結果が得られる確率です。帰無仮説 (つまり、変数間に関係がないという仮説) が真であると仮定します。 p 値が特定のしきい値 (0.01、0.05、または 0.1 など) を下回る場合、結果は統計的に有意であるとみなされ、観察された関係が偶然に発生した可能性は低く、帰無仮説が棄却できることを示します。あなたの例のような混合物のコンテキストでは、p 値を使用した従来のモデル選択手法は役に立ちません。推定された効果間の多重共線性 (効果間のエイリアス) により、推定値の標準誤差が非常に大きく、誤解を招く歪んだ p-価値観。このディスカッションの詳細情報: https://community.jmp.com/t5/Discussions/Analysis-of-a-Mixture-DOE-with-stepwise-regression/mp/657089/highlight/true#M84611
実用的な重要性とは、統計結果の現実世界の重要性または関連性を指します。それは、観察された関係が実際的または意味のある意味を持つかどうかに関係します。実際の重要性は推定値のサイズによって示されます。項の (絶対値で) が大きいほど、考慮される応答の回帰モデルにおけるこの項の重要性と影響力が大きくなります。
統計的有意性と実際的な有意性は必ずしも密接に関連しているわけではないことに注意してください。結果は、統計的に有意であっても実際には有意ではない場合や、その逆の場合もあります。結果を解釈する際には、両方の重要性を考慮することが重要です。
この最初の回答がお役に立てば幸いです。
Re: 効果の大きさを定義するのは対数ワース推定値とスケール推定値のどちらですか?こんにちは@Victor_G さん
ご回答どうもありがとうございました。それは物事をより明確にするのに大いに役立ちました:smiling_face_with_smiling_eyes: そして同時に、それは補足的な質問も引き起こしました:
- 混合 doe の場合、p 値が理想的でない場合、モデル内の統計的に有意でない項を破棄するためのレポートからの最も適切な基準はどれでしょうか?
解決済み: Re: 段階的回帰による混合 DOE の分析 - JMP ユーザー コミュニティで言及されているように、一度に 1 つの項を削除して AIC および/または RMSE の進化を観察する方が良いですか?それとも、同じスレッドで説明されているように、後方選択を使用してモデルを選択しますか?
- 実際の重要性では、「スケール推定値」の効果の大きさとは別に、分野の知識も重要ですよね?モデルに 2 次項を保持し、それが実際に「スケール推定値」テーブルで最も高い効果を事前設定していましたが、(何らかの理由で) 最終的にその項が私たちの領域では意味をなさないと判断したと想像してみましょう。見積もりでは重要性が高いにもかかわらず、破棄しても完了できます。私は正しいでしょうか？
最高、
ジュリアン
Re: 効果の大きさを定義するのは対数ワース推定値とスケール推定値のどちらですか?こんにちは@Julianveda さん
この最初の回答がお役に立ててうれしいです。
ご質問に関して：
- 混合 DoE の場合、私は上記の理由から p 値に依存しません (私の記憶がよければ他のトピックでも)。
私は、想定される完全なモデルから始めます (これが、段階的前方選択ではなく段階的後方選択を好む理由です)。次に、必要に応じて、さまざまなモデルの RMSE レベルを比較したり、最尤推定を使用したりしてモデルを改良します ( JMP Pro の一般化回帰で利用可能)、または BIC/AICc などの情報量基準を使用して、モデルを過度に複雑にすることなく情報と予測性を追加する「適切な」項数を決定します。
同様に優れたモデルが多数存在する可能性があるため、ドメインの専門知識といくつかの選択/推定方法を使用すると、重要な用語とモデルを分類するのに役立ちます。
- ドメインの知識は、DoE の各ステップにおいて常に重要です。
ただし、モデル内の項を追加または削除するときは注意が必要です。これを行う理由は、ドメイン情報による統計モデリングを「支援」するため (同等に優れているが異なるモデルを分類するため) であり、統計的現実を歪めるためではありません。そして結果はあなたの判断と分野の専門知識に基づいて決定されます。また、モデリングは動的なプロセスであり、項を追加または削除すると、他の項の推定値も変更されるため、実際には注意が必要です。 DoE は仮説をテスト、検証、確認するためのツールですが、これまでに知られていることとは反対の新しいことを学ぶこともできます。これはおそらく、実験プロセスが以前は発見できるほど厳密ではなかったためです (一度に 1 要素ずつアプローチを使用するなど)。または実験結果がまばらである）。
したがって、ここであなたの質問に対する最終的な答えを提供することはできませんが、さまざまなモデルを試し、各モデルの動作 (残差分析、実際の対予測など) を確認し、新しいデータでモデルをテストすることはできます。これまでモデルで見られなかった、または設計で使用されたことのない新しい処理/要素の組み合わせに対応する検証ポイントを実行することでモデルをランク付けし、その結果を予測と比較できる必要があります。これらの新しい点に関して最もよく一致するモデルは、研究対象の物理システムの非常に良好な近似を表す可能性があります。
これらの回答がお役に立てば幸いです。
Re: 効果の大きさを定義するのは対数ワース推定値とスケール推定値のどちらですか?ありがとうございます@Victor_G 、
それは非常に明瞭で洞察力に富んでいました:)
ジュリアン
Re: 効果サイズを定義するには、Logworth と Scaled Estimates のどちらを使用しますか?Victor は、実用的分析と定量的分析という異なるタイプの分析について、優れた説明をしています。私は、それぞれの相対的な重要性について別の視点を提供し、3 つ目の分析を追加します。実用的重要性は、常に統計的重要性よりも重要です。結局のところ、実験の実行方法 (推論スペース、実験中に変化するノイズと変化しないノイズなど) を決定することで、統計的重要性を制御します。統計的に有意であっても、現実世界で役に立たないモデルは役に立ちません。分析の統計は列挙的であり、予測目的のモデルの開発は分析的であることを思い出してください。
デミング (デミング、W. エドワーズ (1975)、「行動の基礎としての確率について」。アメリカ統計学者、29(4)、1975、p. 146-152) データの使用には、列挙問題と分析問題の違いを理解することも必要です。「書籍で教えられている分散分析、t 検定、信頼区間、その他の統計手法は、興味深いものですが、予測の根拠を提供しず、生産順序に含まれる情報を埋もれさせてしまうため、不適切です。データ分析用のコンピューター パッケージと呼ばれるもののほとんどは、明らかに非効率な例を示しています。」
Victor が示唆しているように、p 値は混合設計にはほとんど役に立ちません。混合設計を実行する場合、SME (ドメイン知識) が重要です。まず、実験を実行する前に、応答のどのような変化が実際上重要であるかを判断します。
定量分析を実行する前に、データをプロットします。特に混合物の場合、最も重要な分析は混合物の応答面です。理論上、混合物は最適化戦略です。これは、混合物に何が含まれているべきかを既に知っていることを前提としています (処理要因を含む以前の実験を通じて)。統計的有意性はもはや重要ではありません。
分析の順序は、実用的>グラフィカル>定量的です。
