モデルを縮小するときに外れ値を削除するのはいつですか?こんにちは、
モデルを削減するときに、外れ値がいつ出現するかを知るために、外部のスチューデント化された残差を監視します。モデル削減プロセス全体を通じて、これらの外れ値はいつ削除する必要がありますか?
モデルにすべての項が含まれているときに外れ値が見当たらないが、項を削除すると外れ値が表示される場合、その外れ値をすぐに削除して削減を続行しますか、それとも削減を続行してから最後に外れ値を削除しますか?
実験計画法ウィンドウズRe: モデルを縮小するときに外れ値を削除するタイミングはいつですか?こんにちは翻訳者 、
前回の投稿「DoE で 2 つの等しい外れ値から除外することを選択する」についての＠スタットマンと私からの返信を読みましたか?
明確にするために繰り返しますが、スチューデント化残差は外れ値を識別するのに良い方法かもしれません 仮定モデルに基づいています。スチューデント化残差の計算方法の詳細については、こちらを参照してください: 行診断 (jmp.com)
「赤い制限の外側にあるポイントは、外れ値の可能性があるとみなす必要があります。緑の制限の外側にあるが赤い制限の内側にあるポイントは、外れ値の可能性があるとみなす必要がありますが、確実性は低くなります。 」
これらを、データに適合したモデルの複雑さの妥当性のモデル診断として使用できます。これは、モデル内の項を削除/追加すると、どのポイントがモデルベースの外れ値になる可能性があるかの診断が変わるため、スチューデント化残差の結果がモデルに依存する方法/理由を特に示しています。これらのポイントの動作はモデルによって適切に説明/予測されませんが、他のすべてのケース/モデリング オプションで外れ値になるわけではありません。
モデルベースの外れ値分析に基づいてポイントを破棄/削除しないでください。これらのツールは、他の統計メトリックと基準 (R²/R² 調整、RMSE、p 値、AICc/BIC などの情報基準など) の助けを借りて、モデルを改良し、その複雑さを調整するのに最適です。
外れ値の識別と分析は、適切なツールを使用して、モデリングの前に行う必要があります。データセット内のポイントが外れ値である可能性があるかどうかを調べる場合は、マハラノビス距離、ジャックナイフ距離、T²距離などの距離に基づく多変量分析法を使用してみてください: 外れ値分析また、[ 外れ値の調査]メニューには、他のさまざまな分析も用意されています。
いずれにせよ、統計分析だけでは外れ値である可能性のあるポイントを除外するには不十分であり、これらの奇妙なポイントを調査し、これらのポイントの測定値が他のポイントと比較してどのように/なぜ奇妙に見えるのかを理解する必要があります。測定エラー、実験エラー、オペレーターの変更/エラー、あるいは予期しない何かが起こっているのでしょうか。
この回答がお役に立てば幸いです。
Re: モデルを縮小するときに外れ値を削除するタイミングはいつですか?こんにちは、ビクター。
私は回答を読みました。私の仕事では、分析結果に大きなばらつきがあることが多く、外れ値とみなされるような不安定な結果が簡単に説明できます。
私は通常、一般的な応答を評価するために、多変量プラットフォームを使用して JackKnife Z で分析を開始します。ただし、これによってモデルの外れ値が常に明らかになるわけではありません。たとえば、前回の DoE では、JackKnife は、外部スチューデント化残差によって常に検出される外れ値に対して 2 未満の値を示しています。この点が外れ値である理由を見つけることができませんでしたが、この点を削除しないと、モデルの調整 R^2 は 0.61 でしたが、点を削除すると調整 R^2 は 0.99 に増加しました。これに加えて、点を削除したモデルは「科学的に意味がある」のに対し、点を削除しないと、全体的に混乱していました。
外れ値を削除するときは常に、可能性のあるモデルを比較して、予測に大きな影響があるかどうかを確認します。この場合、モデル削減のポイント (開始時、中間、終了時) を削除するタイミングに応じて、異なるモデルが存在することがわかりましたが、実際の予測機能はほぼ同じでした。たとえば、あるケースでは、わずかな二次関数がありましたが、支配的な要因ではありませんでした。この場合、3 つのモデルはすべて同じように役立つ可能性が高いですが、最も可能性の高いモデルを決定するためのベスト プラクティスを知りたいと思います。
ポイントの削除には、スチューデント化残差プロセスに従うだけではないことを理解していますが、外れ値があることがわかっている場合、または外れ値が存在する可能性があると強く感じている場合は、モデルの収束結果に影響を与えるため、モデルの縮小の前、途中、または後にそれを削除するのが最善でしょうか。
Re: モデルを縮小するときに外れ値を削除するタイミングはいつですか?こんにちは翻訳者 、
アッセイの変動性が高いと予想される場合、ブロッキングを使用してこのノイズ源を考慮しますか?
ドメインの専門知識で検証できるモデルがあれば、エラーの可能性が減るはずです。奇妙に思えるテスト (または測定のみ) を繰り返すことはできますか? これにより、それが「体系的なエラー」なのか「ランダムなエラー」なのかを判断し、意思決定に役立てることができます。
モデルによって正確に記述されていない奇妙に見えるポイントを直接削除するのではなく、それらのポイントを引き続き使用しますが、モデルへの影響を少なくします。そのために、「通常の」ポイントには値 1 を設定し、「奇妙なポイント」にはそれより低い値を設定する「重み」列を作成し、この「重み」列をモデル ダイアログの重み変数として使用します。 フィット モデル起動ウィンドウの要素
モデルの収束を早めるためにポイントを削除すると、モデルに偏りが生じ、誤って楽観的なモデル結果が作成される可能性が高くなります。
これらのポイントのいくつかがあなたにとって意味のあるものであることを願っています。
