DoEにおける2つの等しい外れ値から除外することを選択するこんにちは、
データセット内のどの外れ値が真の外れ値である可能性が高いかを判断するために使用できる他の指標はありますか?
DoE を実行し、モデリング中に、2 つの等しい外れ値 (外部スチューデント化残差による: 48 と -48) があることに気付きました。どちらか一方を除外すると、モデルの調整 R2 は即座に 0.65 から 0.99 に大幅に改善され、もう一方の外れ値はトレンド内にあることがわかりました。
除外することを選択した外れ値に応じて、モデルに影響が及びます。あるケースでは線形効果と相互作用効果のみが得られ、別のケースでは二次効果も得られます (二次効果を期待していますが、確実ではありません)。
データセット内のどの外れ値が真の外れ値である可能性が高いかを判断するために使用できる他の指標はありますか? I want to avoid any scientific bias if at all possible. In looking at the experiment, I cannot identify anything incorrect in the execution of the conditions which would sway my decision.
実験計画法ウィンドウズRe: DoE で 2 つの等しい外れ値から除外することを選択するこんにちは翻訳者 、
スチューデント化残差は外れ値を識別するのに良い方法かもしれない 仮定モデルに基づいています。スチューデント化残差の計算方法の詳細については、こちらを参照してください: 行診断 (jmp.com)
「赤い制限の外側にあるポイントは、外れ値の可能性があるとみなす必要があります。緑の制限の外側にあるが赤い制限の内側にあるポイントは、外れ値の可能性があるとみなす必要がありますが、確実性は低くなります。 」定義からわかるように、外れ値の性質については、適合する想定モデルによって異なる可能性があるため、明確な確実性はありません。
おそらく、フィッティングしているモデルが単純すぎるか、収集されたすべてのポイントと測定値に関連していない可能性があります (これらの二次効果が関連している可能性があります)。
できることは、モデルに依存しない外れ値メソッドを使用してデータセットを分析し、これら 2 つのポイントが「奇妙」であるかどうか、または適切なモデルフィッティングの問題だけであるかどうかを確認することです。 マハラノビス距離やジャックナイフ距離などのモデルに依存しない外れ値検出メソッドは、指定されたモデルに依存せず、変数/要因/機能に基づいてポイント間の距離を比較するだけです。したがって、このタイプのメソッドによって識別された外れ値は、この点が「奇妙」に見え、他のポイントの要因分布の一部ではないことを示しています。
外れ値エピソード 3: マハラノビス距離 (および T2) を使用して外れ値を検出する
外れ値エピソード 4: ジャックナイフ距離を使用した外れ値の検出
提供された限られた情報と、特定のモデルフィッティングに関してのみ行われた診断から、統計的特性 (外れ値など)とドメインの専門知識 (誤った値、測定記録のタイプミス、測定システムのバグ/問題など)に基づいて「できる」ことが正当化されていない場合は、ポイントを削除しないでください。あなたの例では、2 つのモデルの結果を比較することができます。1 つはすべてのポイントを含むモデルで、もう 1 つは 2 つの「奇妙な」ポイントを「非表示にして除外」したモデルです (または、単にこれらの 2 つの外れ値ポイントを他のポイントよりも小さく重み付けするための列を追加します)。そして、結果が大きく異なるかどうかを確認します。ただし、 プレス RMSE/R2、 Cook の距離などの他のオプションの前に、 複数の線形回帰の仮定をチェックして、モデルが許容可能かどうかを確認できます。データにBox-Cox Y 変換を使用できるかもしれません。
この回答がお役に立てば幸いです。
Re: DoE で 2 つの等しい外れ値から除外することを選択する私の考えは次のとおりです。Victor に同意しますが、その治療で何が起こったかがわからないままデータを単に削除しないでください (それらのデータ ポイントは、研究で最も有益な情報となる可能性があります)。
1. デミングの用語を使用すると、皮肉なことに、実験における特殊原因データ ポイントはそれほど珍しいものではありません。これは、実験で非常に珍しいことを行っている (たとえば、太字レベル設定で要因を操作する) ためであると考えられます。これらの特定のデータ ポイントに関する疑問は、それらが実験の要因によるものか、それともノイズに起因するものかということです。
2. 実験から得られるデータの品質を診断する方法は数多くありますが、残差分析はその 1 つであり、モデルが定義され、モデルによって説明される変動が判明した後に残差分析が行われるため、非常に便利です。たとえば、データの品質を診断する他の方法は次のとおりです。
- Y を (Y ごとに) 最良から最悪の順に並べ替えます。MR チャートを取得します。MR チャートの両端にある OOC のポイントは、治療効果によるものではなく、ノイズによるものである可能性があります。(この方法は ANOG (良い結果の分析) と呼ばれます)
- 各処理の実際のデータを予測値と比較します (そのためには、事前にデータを予測する必要があります)。エンジニアリングをオフにしないでください。各処理で何が起こっていたかについての仮説は何ですか? 残差については、実際のデータはそれほど異常ではない可能性があることを覚えておいてください。モデルが特定の処理の結果をうまく予測できないという事実が重要です。これらの処理に対してモデルがうまく予測できないのはなぜでしょうか?
- ランク分析を実行します。データ テーブルを ANOG 形式で並べ替えたら、新しい列を追加して、ランクというラベルを付けます。その列に連続した番号を入力します (たとえば、16 回実行した実験の場合は、1 ～ 16 の番号が多数あります)。ランクを実際の Y とともに分析し、結果を比較します。ランクによって実際のデータの大きなジャンプが除去されるため、特殊原因データ ポイントのレバレッジ効果は最小限に抑えられます。
潜在的な特殊原因を予測していた場合は、繰り返しを実行でき、繰り返したデータ ポイントの 1 つが異常な場合でも、その処理の他の繰り返しを分析に使用できます。
DOE データの診断を実行することは常に良いことです。私のお気に入りの DOE 著者の 1 人 (Cuthbert Daniel) の言葉を言い換えると、次のようになります。
DOEにおける最も一般的な欠陥は
- 過飽和：治療回数に対して効果が多すぎる
- 過度の保守性: 望ましい推定値に対して観測数が多すぎる
- データの調査に失敗し、誤った値が検出される
- エイリアシングをすべて考慮に入れていない
- 誤差の分散を誤解しているために不正確になります。
ちなみに、モデルの改良には R-Square と R-Square Adjusted の差にもっと関心を持ち、R-Square Adjusted を使用してモデルの妥当性を評価する必要があります。
