適合モデルで外れ値を予測する方法こんにちは、みんな、
現在、Fit Modelを使ってモデルを作成し、入力変数からの出力を予測し、予測値が外れ値かどうかを判断できるようにしようとしています。しかし、モデルを作成した後、赤で強調表示された外れ値を明確に指摘できないことに困っています。
データソースから外れ値を除外するなどのデータソースの前処理を試みた後、モデルをトレーニングしましたが、外れ値は実際には除去されませんでした。
外れ値を区別できるようにモデルをトレーニングする方法はありますか？
ありがとう
基本的なデータ分析とモデリングRe: 適合モデルで外れ値を予測する方法こんにちは@ファムバオ 、
外れ値の検出と分類は、様々なアプローチを試してみなければならない、非常に奥深い分野です。考慮すべき点の一つは、外れ値をどのように定義するかです（投稿ではこの点が明確ではありません）。モデルに適合しない外れ値を探しているのでしょうか、それとも赤い領域にある点が外れ値として定義されているのでしょうか？
簡単に考えてみましたが、試してみる価値のある領域がいくつかあります。
- Cooks D外れ値 - これは、ポイントを削除した場合にモデル係数がどの程度変化するかを定義します。一般的に、4/n（nは行数）を超える任意の値を閾値として設定するのが良いでしょう。このリンクには、Cooks Dに関するガイドだけでなく、多くのガイドが掲載されています。
- スチューデント化残差プロット - 行の残差を適切に視覚化し、特定の領域に入ったポイントを外れ値の可能性があると定義するのに役立ちます。
詳細については、 こことここの両方のリンクを確認してください。
ありがとう、
ベン
Re: 適合モデルで外れ値を予測する方法こんにちは@ファムバオ 、
私は@Ben_BarrInghに同意します。外れ値という話題を扱う際には、多くの可能性があります。
最初に考慮すべきことは、外れ値の性質です。モデルベース (特定のモデル適合にリンク) か、モデルに依存しないかです。
外れ値を識別する方法は、その性質によって異なります。
- マハラノビス距離のようなモデルに依存しない外れ値検出手法は、特定のモデルに依存せず、変数／因子／特徴に基づいて点間の距離を比較するだけです。したがって、この種の手法で検出された外れ値は、その点が「奇妙」であり、他の点の因子分布の一部ではないことを示しています。 多変量プラットフォームの外れ値分析のオプションを参照してください。
- モデルベースの外れ値検出法は、残差（スチューデント化残差、または PRESS RMSE/R2 などの他の指標）に基づいており、モデルによって適切に適合/予測されない外れ値を識別できます。これは、モデルに重要な項（相互作用や非線形効果など）が欠けているか、データに適していない可能性があることを示している可能性があります。他の診断パネル/ツールを使用して、モデルの統計的有意性、情報基準/RMSE/R2 などの目的に応じたさまざまな指標に基づいて、モデルがデータに適合しているかどうかを確認できます。また、検出されたモデルベースの外れ値がモデルに大きな影響を与えているかどうかを、Cook の距離を計算して確認することもできます。 https://www.jmp.com/en_us/statistics-knowledge-portal/what-is-multiple-regression/mlr-residual-analy...これらの点の値が高い、または異常な場合、これらの点が影響力を持ち、モデルにバイアスを与える可能性があることを示しています。モデルへの影響を減らすか、削除するかを決定する前に、これらの点が何であるか、そして測定値が有効かどうかを調査する必要があります。モデルを当てはめた後、「モデルの当てはめ」プラットフォームの「行診断」オプション、または「モデルの当てはめオプション」オプションを参照してください。
外れ値の原因/発生源と適切な処理には特に注意してください。外れ値を削除すると分析は容易になりますが、問題の解決や再発防止にはつながりません。
この回答がお役に立てれば幸いです。
Re: 適合モデルで外れ値を予測する方法こんにちは、 ビクターGと@Ben_BarrIngh 、
ご意見をいただき、誠にありがとうございます。私の場合、フィッティングモデルと統計に関する知識は限られています。そのため、もう少しアドバイスをいただければ幸いです。私の希望を明確にさせてください。下の画像では、赤いデータポイントは、当社の製造基準に基づく不良データポイントです。私が望んでいるのは、フィッティングラインから離れた不良データポイントを分離することです。1回目はモデル1を実行しましたが、不良データポイントはフィッティングラインからそれほど離れていないことがわかりました。2回目は、モデル1と同じ入力値を使用し、今回は1つのパラメータに対して2次の多項式を実行してみました。すると、不良データポイントはモデル1と比較してフィッティングラインから大きく離れていることがわかりました。
1. モデル1とモデル2の適合表の概要は比較すると同等ですが、モデル2の方が私が求めているもののようです。質問：適合線から遠く離れた、実際には不適切なデータポイントを分離する方法はありますか？
2. モデル1について、なぜ不良データポイントがフィットラインのすぐ近くにあるのか理解できません。これを分離する方法はありますか？
皆さんの回答をお待ちしています
Re: 適合モデルで外れ値を予測する方法JMPでは、回帰モデルや分類モデルなどのモデルをあてはめ、残差または予測誤差を分析することで、外れ値を予測できます。モデルをあてはめた後、残差、てこ比、または影響度が異常に大きいデータポイントを探します（例：クック距離やスチューデント化残差を使用）。JMPには、てこ比対残差プロットなどの視覚的なツールも用意されており、潜在的な外れ値を特定するのに役立ちます。フラグが付けられたポイントは、さらに詳しく調査して、真の異常値なのか、データ入力の問題なのかを判断できます。
Re: 適合モデルで外れ値を予測する方法こんにちは@ファムバオ 、
質問にはいくつかのトピックがあります。1 つはモデルのフィッティング (およびモデルの比較と検証) に関連し、もう 1 つは外れ値の検出に関連しています。
- モデルフィッティングに関しては、モデルの指標を比較し、残差を分析することをお勧めします。最後のスクリーンショットでは、モデル2に二次関数効果が追加されていることを除けば、モデルは非常に類似していることがわかります。この二次関数効果の追加は、R²/R²調整値とRMSEを比較した場合、わずかな利点しかありません。また、残差に非ランダムな曲率パターンを強制するため、モデルの評価と比較には特に注意が必要です。検証ポイントを使用したり、データセットをトレーニングセットと検証セットに分割したりすることで、データに最適なモデルを区別できる可能性があります。
- 外れ値検出に関しては、最初の回答で既に述べたように、多くの選択肢があります。これらの点が異常または異常であることが既にわかっている場合は、そのようにラベル付けして、どの要因（および範囲値）がこれらの点の原因となっている可能性があるかを理解してみてはいかがでしょうか？ 分類モデル（ロジスティック回帰など）を作成し、応答を2クラス（「正常」と「外れ値」など）とし、要因を入力変数（示されているモデルのように）とすることができます。
この分類モデルの結果/パフォーマンス (混同行列、誤分類率など) に応じて、どの要因が状況を引き起こしているかを調査し、予測確率の式を使用して、測定値に基づいて新しいポイントが奇妙/外れ値である確率を予測できます。
これらの提案がお役に立てば幸いです。
Re: 適合モデルで外れ値を予測する方法Victor_Gさんの2番目の指摘はまさにその通りだと思います。あなたが「悪い」と特定した点は、従来の用語で言う「外れ値」ではなく、回帰直線からそれほど離れていない点です。真の問題は、（専門知識に基づいて）それらのデータポイントに何か問題があることが分かっているということです。つまり、必要なのはそれらを予測するモデルであり、あなたが提示した回帰モデルではそれができません。別の回帰モデルを探す必要はありません。問題のあると分かっている点を予測する分類モデルが必要なのではないでしょうか。分類モデルは別の種類のモデルであり、JMPでも同じ手法のほとんどを使用できますが、連続変数ではなく名義尺度の応答変数を使用します。
Re: 適合モデルで外れ値を予測する方法ビクターさん、他のメンバーの皆さん、ありがとうございます。ぜひ提案を試してみます。
