外れ値に関する私のブログ シリーズへようこそ。 これまでのエピソードでは、次のことについて見てきました。
今日はマハラノビスについて簡単に (しかし必要な) レビューした後、ジャックナイフ距離について見ていきます。
マハラノビス距離の簡単な説明
エピソード 3 の 3 次元の 10 点データ セットを覚えていますか? 多変量散布図行列は次のようになります。 JMP :
Figure 1: Scatterplot matrix of 10 data points with one outlier (red)Figure 1: Scatterplot matrix of 10 data points with one outlier (red)Figure 1: Scatterplot matrix of 10 data points with one outlier (red)Figure 1: Scatterplot matrix of 10 data points with one outlier (red)Figure 1: Scatterplot matrix of 10 data points with one outlier (red)図 1: 1 つの外れ値 (赤) を含む 10 個のデータ ポイントの散布図マトリックス
赤い点は、他の 9 つの点と比較すると外れ値のように見えます。 これは、強調表示されたプロットで特に明らかです。
しかし、マハラノビス距離の計算を実行したところ、赤い点は「ひどい」外れ値であるようには見えませんでした。
Figure 2: Mahalanobis distance for 10 data point sample shown in Figure 1Figure 2: Mahalanobis distance for 10 data point sample shown in Figure 1Figure 2: Mahalanobis distance for 10 data point sample shown in Figure 1Figure 2: Mahalanobis distance for 10 data point sample shown in Figure 1Figure 2: Mahalanobis distance for 10 data point sample shown in Figure 1図 2: 図 1 に示す 10 データ点サンプルのマハラノビス距離
図 2 では、赤い点は重要な線よりも上にありますが、それほど重要ではありません。 これは、赤い点が明らかな外れ値であるように見える図 1 の散布図マトリックスに基づくと、直感に反するように見えます。
ただし、マハラノビスの計算では、データの共分散構造を考慮するときに全体からの距離を測定する必要があることに注意してください。 図 1 で強調表示されている散布図を取得し、それに直線を当てはめると、次のような結果が得られます (グラフ ビルダーから)。
Figure 3: Simple plot of X1 vs X2, including best-fit line (from ordinary least squares)Figure 3: Simple plot of X1 vs X2, including best-fit line (from ordinary least squares)Figure 3: Simple plot of X1 vs X2, including best-fit line (from ordinary least squares)Figure 3: Simple plot of X1 vs X2, including best-fit line (from ordinary least squares)Figure 3: Simple plot of X1 vs X2, including best-fit line (from ordinary least squares)図 3: X1 と X2 の単純なプロット (通常の最小二乗からの) 最適直線を含む
直線近似は、これら 2 つの変数 (X1 と X2) 間の共分散構造を視覚的に表現したものです。 赤い外れ値点は線の位置に大きな影響を与えることに注意してください。ラインをそれに向かって引き上げ、それ自体からラインまでの距離が本来よりも小さくなります。
さらに、線の適合性が低いため、赤い点がそれほど強い影響を与えていない場合に他のデータ ポイントが実際よりも線から離れているように見えます。 たとえば、データ ポイント 6 (図 3 のラベル) は線から遠く離れているように見え、この特定の最適な線が選択された場合は外れ値になる境界線上にある可能性があります。
外れ値を検出するより良い方法はあるでしょうか?
ジャックナイフテクニック
ジャックナイフ手法は非常にシンプルですが、非常に強力であり、「leave one out」手法を使用した計算に依存します。 概念的には、赤い外れ値をライン フィット計算から除外すると、次のような最適なラインを含む散布図が生成されます。
Figure 4: Simple plot of X1 vs X2, including best fit line based on all points EXCEPT for red outlierFigure 4: Simple plot of X1 vs X2, including best fit line based on all points EXCEPT for red outlierFigure 4: Simple plot of X1 vs X2, including best fit line based on all points EXCEPT for red outlierFigure 4: Simple plot of X1 vs X2, including best fit line based on all points EXCEPT for red outlierFigure 4: Simple plot of X1 vs X2, including best fit line based on all points EXCEPT for red outlier図 4: X1 と X2 の単純なプロット (赤い外れ値を除くすべての点に基づく最良適合線を含む)
これで、赤色の外れ値が本当に外れ値とみなされていることが明らかとなり、さらなる調査が必要になります。
一般に、エピソード 3 のマハラノビス距離を計算するための次の式を思い出してください。
ジャックナイフ距離を計算するには、「leave-one-out」手法を使用して、
ベクトルと
すべての点の行列興味のある場所を除いて。 次に、興味のある点を
ベクトルを計算し、現在ではジャックナイフ距離と呼ばれるマハラノビス距離を計算します。
関心のある点を離れるたびに、すべての点に対して計算を繰り返します。
の計算のうち
そして
。
ジャックナイフ プロットは次のようになります。
Figure 5: Jackknife distance plot for 10 point sampleFigure 5: Jackknife distance plot for 10 point sampleFigure 5: Jackknife distance plot for 10 point sampleFigure 5: Jackknife distance plot for 10 point sampleFigure 5: Jackknife distance plot for 10 point sample図 5: 10 点サンプルのジャックナイフ距離プロット
これで、赤い点が外れ値であることは明らかです。
ジャックナイフの歴史
あたりウィキペディア, ジョン・テューキーは、さまざまな状況で使用できる堅牢な多目的ツールであることから「ジャックナイフ」という名前を思いつきましたが、この技術はもともと1950年代初頭から中期にモーリス・クヌイユによって開発されました。
他のテクニックとの類似点
他の検証スキーム (K 分割検証など) やブートストラップ フォレストやブースト ツリー手法などに精通している場合は、分析から 1 つ (または複数) の観測を除外することが非常に一般的で強力な方法であることがわかるでしょう。統計分析をさらに活用しましょう。
次のエピソード
ずっと昔に戻ってエピソード1 , エピソード5にはTが関わると言いましたが、 2距離。 ただし、すでに指摘しましたが、第3話そのT 2は単にマハラノビス距離の 2 乗であるため、これについて説明する別のエピソードは必要ありません。
その代わりに、外れ値に関する私の 5 番目で最後のブログ投稿では、外れ値の多変量 K 最近傍検出について取り上げます。 乞うご期待！
ジャックナイフ外れ値の計算についての素晴らしい説明をありがとう。 これらの一連の投稿を本当に楽しんでいます!
グラフや図だけではなく、ジャックナイフ分析後に各データ ポイントの詳細な距離計算を取得する方法はありますか?
