簡単なクイズ: 外れ値とは何ですか?
- モデリング結果に影響を与える可能性があるため、対処する必要がある奇妙なデータ ポイント。
- さらなる調査が必要となる奇妙なデータ ポイント。プロセスに対する新たな洞察が得られる可能性があります。
- マルコム・グラッドウェルの本当に良い本。 (外れ値、2008)
もちろん、答えは「上記のすべて」です。
データを観察する仕事に就いている人であれば、「外れ値」、つまりデータの通常のパターンに当てはまらない数値の読み取り値に遭遇したことがあるでしょう。 その結果、(たとえば) データの最小二乗近似が歪む可能性があります。 したがって、それらを迅速に特定し、適切に対処する必要があります。
これは、外れ値を検討するブログ シリーズの最初の記事です。 今日は、外れ値を視覚的に特定する方法を見ていきます。 次のエピソードでは、外れ値が一般に良いのか悪いのかを検討します。最後のエピソードでは、外れ値を検出するために使用されるさまざまな手段とアルゴリズムを検証します。
外れ値の例 - 視覚的な識別
外れ値を識別する最も簡単な方法の 1 つは、視覚的に行うことです。 傾向などを調べるためにデータをプロットしていることを願っています。データをプロットする方法によっては、外れ値が明らかになることがよくあります。 以下の例は、いくつかの簡単なプロットを使用して外れ値を説明するのに役立ちます。
例 1: 1 次元データ
図 1 は、正規分布母集団 (平均 = 0、標準偏差 = 1) から抽出された 1,000 個のサンプルのドット プロットを示しています。
Figure 1: An example with one-dimensional data.Figure 1: An example with one-dimensional data.Figure 1: An example with one-dimensional data.Figure 1: An example with one-dimensional data.図 1: 1 次元データの例。
X1=4 の点が赤色で強調表示されます。 この場合、平均から 4 標準偏差です。 正規分布 (上に示したものなど) の場合、これは非常に起こりにくいことです。 実際、平均 0、標準偏差 1 の正規分布から「4」が抽出される確率はわずか 0.01% であると予想されます。 これは間違いなく異常な観察です。
例 2: 2 次元データ、独立した正規分布変数
以下に示す例では、2 つの入力変数 X1 と X2 があります。
Figure 2: A 2D example, with independent and normally distributed variables.Figure 2: A 2D example, with independent and normally distributed variables.Figure 2: A 2D example, with independent and normally distributed variables.Figure 2: A 2D example, with independent and normally distributed variables.図 2: 独立した正規分布変数を含む 2D の例。
図 2 には、2 つの正規分布した独立変数 X1 と X2 があります。 それぞれの横にあるヒストグラムを使用して、正規性を推測できます。 (4,4) で赤くマークされた点に注目してください。 ここでも、X1 または X2 の平均値から遠く離れた位置にあるため、視覚的に明らかな外れ値が得られます。
例 3: 2 次元データ、正規変数と独立変数、さまざまな平均と標準偏差
2 変数の例をもう少し詳しく見てみましょう。 今回は、平均値と標準偏差が異なります。
Figure 3: A 2D example, with different means and standard deviations.Figure 3: A 2D example, with different means and standard deviations.Figure 3: A 2D example, with different means and standard deviations.Figure 3: A 2D example, with different means and standard deviations.図 3: さまざまな平均値と標準偏差を含む 2D の例。
約 (1,27) の点は外れ値とみなされる可能性があります。 これは X1 ディストリビューションの内側にありますが、明らかに X3 ディストリビューションの外側にあります。
しかし、(4,5) の赤い点はどうでしょうか? それは外れ値ですか？ 私たちの目はそれがそうかもしれないと教えてくれますが、どうやってそれを判断できるのでしょうか? アルゴリズム的にどのように評価するのでしょうか? (これに対する答えについては、今後のブログ投稿を待つ必要があります。)
例 4: 変数間に相関関係がある 2 次元データ
以下はさらに別の 2 次元の例で、今回は 2 つの変数間の相関関係を示しています。
Figure 4: A 2D example, with correlation between the two variables.Figure 4: A 2D example, with correlation between the two variables.Figure 4: A 2D example, with correlation between the two variables.Figure 4: A 2D example, with correlation between the two variables.図 4: 2 つの変数間の相関関係を示す 2D の例。
視覚的には、図 4 の (-3,6) にある赤い点が非常に明白です。 しかし、どちらかの変数を独立して見ると、この点が X1 次元と X4 次元の両方で適切に動作していることがわかります。 (これは、データをプロットすることが重要である理由を示す優れた例です。)
例 5: より複雑な 2 次元の外れ値
2 次元における別の奇妙な外れ値を以下の図に示します。
Figure 5: A trickier two-dimensional outlier.Figure 5: A trickier two-dimensional outlier.Figure 5: A trickier two-dimensional outlier.Figure 5: A trickier two-dimensional outlier.図 5: より複雑な 2 次元の外れ値。
繰り返しますが、これは目には明らかですが、アルゴリズムで検出するのはより困難です。 それでも、方法はあります！ (今後のブログ投稿を参照してください。)
例 6: 2 次元以上の次元
2 つ以上の次元がある場合はどうなるでしょうか? 物事を視覚化することがさらに難しくなります。 3 次元の場合は、3D 散布図を試し、それを回転させて外れ値を特定できます。 3 つ以上の次元の場合は、変数のすべてのペアをカバーする一連の散布図の作成を試みることができます (分析/多変量プラットフォームなど)。ただし、外れ値を見つけるのが難しい場合があることに注意してください。
次元が増加するにつれて、外れ値の特定を支援するために特別に開発されたアルゴリズムに目を向け始めます。これについては今後の投稿で説明します。
今後のブログエピソード
今後の投稿では、で利用可能なさまざまな外れ値アルゴリズムについて説明します。 JMP 、上記の例 (およびその他) でどのように機能するか、いつ使用するかが含まれます。 これらのアルゴリズムには次のものが含まれます。
このシリーズのすべての投稿を表示外れ値を理解する。
とても興味深いトピックです。共有してくれてありがとう!
前のコメントに追加すると、私たちは常に「PGA」を適用しようとしています。
- P実践的: データはどこから来たのか、どのように収集されたのか、どの期間など。
- G正論: 常に最初にデータをプロットし、それが意味があるかどうか、関係や「外れ値」などが見られるかどうかを確認してください。
- あ分析: その後、数値/統計分析を開始します ...
今後のブログも楽しみにしています！
素晴らしいブログシリーズ、ジェリーです！
私の経験では、「外れ値」の最も頻繁な原因はデータ入力エラーでした。 誰かが小数点を間違えたり、2 つの数値を反転したり、列内の次のデータ ポイント入力で「リターン」を押し損ねたり、データを手で入力しているときにキーボードのキーを押し損ねたりしました。 疑わしいデータがグラフィックに表示された場合は、必ず最初にソース データを確認してください。
このブログ シリーズでは、数値分析を行う前に、JMP で考えられるすべての方法でデータを常にプロットするというベスト プラクティスを強化します。
