外れ値に関する私の 2 回目のブログ記事へようこそ。 このエピソードでは、分位範囲を使用して外れ値を検出する方法を見ていきます。
第1話では、外れ値の説明と視覚的な識別について検討しました。 外れ値を特定する必要がある単純な 1 次元 (または単変量) のケースがあることを思い出してください。 これらは識別するのが最も簡単で、分位範囲はそれらを探す優れた方法です。
多次元の外れ値の検出については、私の次の投稿をお待ちください。
分位数とは何ですか?
分位数は非常に理解しやすいです。 20 個の一連の数字があるとします。 数値を最小値から最大値まで並べ替えることができます。 次に、これらのポイントを分位数にグループ化できます。分位数は、データの X% が下回るポイントを表す、並べ替えられたデータ内のカット ポイントによって識別されます。
分位数は通常、分数 (0 から 1) として表現されることに注意してください。 これらは、0 ～ 100 の範囲のパーセンタイルに正確に対応します。 この記事では、これらを同じ意味で使用します。
図 1 は、並べ替えの前後の 20 個の数値と、0.20 と 0.50 の分位数 (または 20番目そして50番目パーセンタイル)。
Figure 1: Data from 20 point sample, random order and sortedFigure 1: Data from 20 point sample, random order and sortedFigure 1: Data from 20 point sample, random order and sortedFigure 1: Data from 20 point sample, random order and sorted図 1: ランダムな順序で並べ替えられた 20 ポイントのサンプルからのデータ
50のカットポイント番目パーセンタイルはサンプルの中央値です。 (この場合、中央値は数値的には 32.5、つまり 40 と 25 の間の中間点です。)
他にもいくつかの興味深い定義があります。
- 四分位数。データを 25% のグループに分割します。 最初の四分位点は下位 25% に該当するデータ ポイントを表し、第 2 四分位点は 25% と 50% の間に該当します。
- 四分位範囲 (IQR)。2 がカバーする範囲を定義します。 ndそして3 rd四分位数。
分位点について話すとき、分布の形状については仮定が行われていないことに注意してください。
分位数の計算は JMP のどこにありますか?
分位数は次の 3 か所にリストされています。 JMP 。 ディストリビューション プラットフォームとグラフ ビルダーは両方とも同じ計算を使用します。 外れ値/分位範囲の探索 外れ値を使用すると、外れ値の感度に関してより高い柔軟性がユーザーに提供されます。 それぞれ見てみましょう。
配信プラットフォーム
分布では、すべての連続/数値データ ヒストグラムに表形式の分位点の概要が含まれます。 デフォルトでは、JMP は対象となるいくつかの分位数を表示します。 図 1 の「元のデータ」というラベルの付いた列で配布プラットフォームを使用すると、次の出力が得られます。
いくつかの一般的な分位数を図 2 の中央の表に示します。 このテーブルに表示される分位数を変更するには、赤いホットスポットを選択し、[表示オプション] を選択して、[分位数の増分を設定] または [カスタム分位数] を選択します。
図 2 には、箱ひげ図も表示されています。 図 2 では、プロットに示されているシンボルに注釈が付けられています。
ひげの端は、外れ値を検出する上で最も重要です。 ひげの長さは四分位範囲の最小値と最大値から測定され、ひげはその範囲の 1.5 倍の内側にある最後のデータ ポイントで終わることに注意してください。 これは、外れ値検出の一般的な経験則です。 これらのひげの外側にある点は、さらに調査する価値があるかもしれません。
しかし、図 1 と 2 に示すデータセットでは、この手法では外れ値は検出されません。 これは、特にサンプルサイズが小さい場合には珍しいことではありません。
図 3 は、前回のブログ投稿の 1,000 個のサンプル データに対するディストリビューション プラットフォームの出力を示しています。 これらのサンプルは、平均 0.0、標準偏差 1.0 のランダムな正規分布から抽出されます。 前回の投稿で外れ値として視覚的に特定された X1=4 の点も含めます。
Figure 3: Distribution platform output for 1,000 point sample from normal distributionFigure 3: Distribution platform output for 1,000 point sample from normal distributionFigure 3: Distribution platform output for 1,000 point sample from normal distributionFigure 3: Distribution platform output for 1,000 point sample from normal distribution図 3: 正規分布からの 1,000 ポイント サンプルの配信プラットフォームの出力
サンプル サイズが大きくなると、一部の点が外れ値のように見えます (少なくともひげの端で定義されるとおり)。 この特定のケースでは、データが 1,000 ポイントの正規分布母集団から取得されていることがわかっているため、値 4 を持つポイントが少なくとも 1 つ存在することはおそらく珍しいことではありません。 実際のケースでは、ひげを超えた点については追加の調査が必要になる場合があります。
グラフビルダーで箱ひげ図を作成する
グラフ ビルダーで箱ひげ図を生成することもできます。 グラフ ビルダーのセットアップ全体を図 4 に示します。
Figure 4: Graph Builder setup for Box & Whisker plot (1,000 point sample from normal distribution)Figure 4: Graph Builder setup for Box & Whisker plot (1,000 point sample from normal distribution)Figure 4: Graph Builder setup for Box & Whisker plot (1,000 point sample from normal distribution)Figure 4: Graph Builder setup for Box & Whisker plot (1,000 point sample from normal distribution)図 4: 箱ひげ図用のグラフ ビルダー設定 (正規分布からの 1,000 点のサンプル)
グラフの上にあるグラフ タイプのアイコン (赤丸で囲んだ部分) に注目してください。これにより、箱ひげ図プロット タイプが有効になります。
ディストリビューション プラットフォームと同様に、ウィスカーの長さは 1.5*四分位範囲であり、25 から下に伸びています。番目75 パーセンタイル以上番目パーセンタイル。
外れ値を調べる
他のウィスカー制限を選択したい場合はどうすればよいでしょうか?
上で述べたように、外れ値を特定するには、ウィスカーの長さ 1.5*IQR が一般的です。 これはおそらく大規模なサンプルの正規分布を観察することから来ていると思います。 四分位範囲を超える 1.5*IQR は、正規分布の 99.30% を包含することがわかります (各裾にデータの 0.3488% が残ります)。 これにより、正規分布の場合、比較的まれなイベントが識別されます。
しかし、正規分布がない場合はどうなるでしょうか? 分布が次のようになったらどうなるでしょうか?
Figure 5: Skewed distributionFigure 5: Skewed distributionFigure 5: Skewed distributionFigure 5: Skewed distribution図 5: 偏った分布
図 5 は、1.5*IQR 法による、N=100 点の偏った分布を示しており、上ヒゲを超えた 5 つの外れ値があります。 しかし、X1=3 の点は本当に外れ値なのでしょうか? あるいは、異常値の調査を正当化する他の点がひげによって隠されている可能性があります。 この 1.5*IQR ルールをどのように調整すればよいでしょうか?
JMP では、[分析/スクリーニング/外れ値の調査] でこれを実行し、[分位範囲の外れ値] オプションを選択できます。 このオプションを選択すると、図 5 にまとめた 100 点サンプルの入力画面が表示されます。
Figure 6: Quantile Range Outliers user interface and sample outputFigure 6: Quantile Range Outliers user interface and sample outputFigure 6: Quantile Range Outliers user interface and sample outputFigure 6: Quantile Range Outliers user interface and sample output図 6: 分位範囲外れ値のユーザー インターフェイスとサンプル出力
[分位範囲外れ値] パネルには 2 つの主な入力があります。
- 尾部分位数 (TQ)。 この分数は、ひげの計算で使用される分布内の最小カット ポイントを表します。 (1-末尾分位数) は、分布の上部カット ポイントを表します。 これらのカットポイント間の差は、後続の計算で使用される範囲を表します。
- 前述の IQR 計算の場合、尾部分位数は 0.25 となり、ひげが 25 から始まることを示します。番目そして75番目パーセンタイルであり、範囲は四分位範囲 (または 75) になります。番目-25番目パーセンタイル)。
- 分位範囲外れ値の末尾分位のデフォルト値は 0.1 で、ひげが 10 から始まることを示します。番目そして90番目パーセンタイルであり、長さは (90番目-10番目パーセンタイル）の範囲。
- Q. これは、ひげの長さを決定するために使用される乗数です。
- 前の IQR 計算では、これは 1.5 だったので、四分位範囲に 1.5 を乗算してひげの長さを求めました。
- 分位範囲外れ値の Q のデフォルト値は 3 で、ひげの長さが (90番目-10番目パーセンタイル) 範囲に 3 を乗算します。
分位範囲外れ値の出力は、図 6 のパネルの下部に示されています。 ここでは、列 X1 に 10 があったことがわかります。番目-1.283 のパーセンタイルと 90番目パーセンタイルは 1.65556 です。 ひげの端 (出力では下限しきい値と上限しきい値 [LT と HT] として示されます) は、次の計算に基づいています。
LT = 10番目分位数 – (90番目分位数 – 10番目分位数) * Q
= -1.283 – (1.65556 – -1.283) * 3
= -10.099
HT = 90番目分位値 + (90番目分位数 – 10番目分位数) * Q
= 1.65556 + (1.65556 – -1.283) * 3
= 10.4713
この場合、列内に上限しきい値を超える値は 12.0 の 1 つだけあり、図 6 に示すレポートの下部に表示されます。
末尾分位数と Q に対する感度
外れ値の検出感度は、明らかに尾部分位数と Q の値によって決まります。 従来の 1.5*IQR と 3*(90番目-10番目quantile) 方法は両方とも受け入れられますが、前者の方が外れ値の検出に非常に敏感です。 Quantile Range Outliers プラットフォームを使用して、特定のケースに必要に応じてこれらの値を調整できます。
末尾分位値と Q の選択の有効性は特定の分布によって異なりますが、正規分布を調べることで、それらの動作についてある程度の洞察を得ることができます。 以下の表は、尾部分位数と Q のいくつかの組み合わせと、ひげの外側に入る正規分布の尾部の値のパーセントを示しています。
Table 1: Percent of outliers detected in large sample normal distribution for various values of tail quantile and QTable 1: Percent of outliers detected in large sample normal distribution for various values of tail quantile and QTable 1: Percent of outliers detected in large sample normal distribution for various values of tail quantile and QTable 1: Percent of outliers detected in large sample normal distribution for various values of tail quantile and Q表 1: テール四分位数と Q のさまざまな値に対する大規模サンプル正規分布で検出された外れ値の割合
このアイデアを拡張すると、表 1 の量のより完全な全体像を示す等高線図を作成できます。
Figure 7: Percent of outliers detected in large sample normal distribution for various values of Tail Quantile and QFigure 7: Percent of outliers detected in large sample normal distribution for various values of Tail Quantile and QFigure 7: Percent of outliers detected in large sample normal distribution for various values of Tail Quantile and QFigure 7: Percent of outliers detected in large sample normal distribution for various values of Tail Quantile and Q図 7: 尾部四分位数と Q のさまざまな値に対する大規模サンプルの正規分布で検出された外れ値の割合
図 7 は、テール分位値の高い値と Q の低い値の組み合わせにより、外れ値に対する計算の感度が高くなる一方、TQ の値が低く、Q が高いと感度が低下することを明確に示しています。
次のエピソード
次回は話し合いますマハラノビス距離、複数の次元で外れ値を検出するために使用されます。
このシリーズのすべての投稿を表示外れ値を理解する。
