スチューデント化残差は外れ値を識別するのに良い方法だと思います。(間違っていたら訂正してください)。質問は、JMP 予測モデルでこれらの外れ値の影響をどのように除外するかということです。モデルはこれらの外れ値を自動的に回避しますか、それともより正確な予測を得るために外れ値を削除する必要がありますか?
こんにちは@Mathej01 、
スチューデント化残差は、想定モデルに基づいて外れ値を識別するのに適した方法です。スチューデント化残差の計算方法の詳細については、こちらをご覧ください: 行診断 (jmp.com)
「赤い制限の外側にあるポイントは、外れ値の可能性があるとみなす必要があります。緑の制限の外側にあるが赤い制限の内側にあるポイントは、外れ値の可能性があるとみなす必要がありますが、確実性は低くなります。 」定義からわかるように、外れ値の性質については決定的な確実性はなく、想定するモデルによって異なる可能性があります。
私は@P_Bartellのコメントに全面的に賛同し、同意します。外れ値の存在にはいくつかの説明がある可能性があります (潜在的な変数、ノイズ、異なる演算子など)。
外れ値に対処する前に与えるべき最大のアドバイスは、外れ値を知ることです。外れ値がどこから来たのか、どのような種類なのか (グローバル、ローカル/コンテキスト、集合的な外れ値)、そして外れ値を見つけるためのテクニックによって、外れ値は異なり、検出方法も異なり、作成されたモデルに異なる影響を与える可能性があります。
- グローバル外れ値: 単変量データでは、ボックス プロットで簡単に検出できます。多変量データでは、密度ベースのクラスタリング (DBSCAN、Optics など) または異常検出アルゴリズム (Isolation Forest) が役立つ場合があります。これらは、記録/測定エラー、または異常サンプルによって発生する可能性があります。
- コンテキスト (条件付き) 外れ値: 外れ値はデータのすべての次元で外れ値ではない可能性があるため、K 近傍法、マハラノビス距離、主成分分析、ジャックナイフ距離を調べると興味深い場合があります。これらの外れ値は、その異常値が特定のコンテキストから生じるため、モデルで検討すると興味深いものになります。
- 集合的な外れ値: このコンテキストではクラスタリング手法が役立つ可能性があります。K-Means、ガウス混合、階層的クラスタリング、およびその他のアルゴリズムを検討できます。これらはグループとして考えることができます。
すべての外れ値が（高）レバレッジ ポイントではないため、可能性のある外れ値がモデルに影響を与えるかどうかを知ることも良いアドバイスです。この外れ値が（これも）高レバレッジ ポイントであるかどうかを確認するために、このポイントの有無にかかわらず、同じモデルを並行して適合させることができます。実際と予測のプロット、残差プロット、 RMSE PRESS や R² PRESSなどの指標を調べて、外れ値がモデルに影響を与えるかどうかをより適切に評価します。
最後の 4 ～ 5 ポイントで変動が大きくなった原因を分析してみてください (高いノイズの原因となる特定の要因レベル、オペレーター/測定デバイスの変更など)。
この補足的な回答がお役に立てば幸いです。
