素晴らしいブログシリーズジェリー！
私の経験では、「外れ値」の最も頻繁な原因はデータ入力エラーでした。 誰かが小数点を滑らせたり、2つの数値を反転したり、列の次のデータポイントエントリで「return」を押しなかったり、データの手動入力中にキーボードのキーを押しなかったりしました。 疑わしいデータがグラフィカルに表示される場合は、必ず最初にソースデータを確認してください。
このブログシリーズは、数値分析が機能する前に、JMPで考えられるあらゆる方法でデータを常にプロットするというベストプラクティスを強化しています。
非常に興味深いトピック、共有してくれてありがとう！
前のコメントに追加するために、私たちが常にしようとしているのは「PGA」を適用することです。
- P実用的：データはどこから来たのか、どのように収集されたのか、どの期間など。
- G raphical：常に最初にデータをプロットし、関係や「外れ値」などが見られる場合は、それが理にかなっているかどうかを確認してください。
- A分析：その後、数値/統計分析を開始します..。
今後のブログを楽しみにしています！
簡単なクイズ：外れ値とは何ですか？
- モデリング結果に影響を与える可能性があり、対処する必要がある奇妙なデータポイント。
- さらなる調査が必要な奇妙なデータポイント。プロセスへの新しい洞察を提供する可能性があります。
- マルコム・グラッドウェルによる本当に良い本。 （外れ値、2008年）
もちろん、その答えは「上記のすべて」です。
データを見るビジネスをしている場合、データの通常のパターンに含まれない数値の読み取り値である「外れ値」に時々遭遇します。 その結果、（たとえば）データの最小二乗近似が歪む可能性があります。 したがって、それらを迅速に特定し、適切に処理する必要があります。
これは、外れ値を調べるブログシリーズの最初のものです。 今日は、外れ値を視覚的に識別する方法について説明します。 次のエピソードでは、外れ値が一般的に良いか悪いかを調べます。最後のエピソードでは、外れ値を検出するために使用されるさまざまな手段とアルゴリズムを調べます。
外れ値の例-視覚的識別
外れ値を識別する最も簡単な方法の1つは、視覚的です。 うまくいけば、傾向などを探すためにすでにデータをプロットしています。データのプロット方法によっては、外れ値が明らかになることがよくあります。 以下の例は、いくつかの単純なプロットを使用して外れ値を説明するのに役立ちます。
例1：1次元データ
図1は、正規分布の母集団（平均= 0、標準偏差= 1）から抽出された1,000サンプルのドットプロットを示しています。
図1：1次元データの例。
X1 = 4のポイントは赤で強調表示されます。 この場合、平均から4標準偏差です。 正規分布（上記のような）の場合、これはほとんど発生しません。 実際、平均が0で標準偏差が1の正規分布から「4」を引くと予想されるのは、0.01％の時間だけです。 これは間違いなく珍しい観察です。
例2：2次元データ、独立変数および正規分布変数
以下に示す例では、X1とX2の2つの入力変数があります。
図2：独立変数と正規分布変数を使用した2Dの例。
図2には、2つの正規分布の独立変数、X1とX2があります。 それぞれの横にあるヒストグラムを使用して、正規性を推測できます。 （4,4）で赤でマークされたポイントに注意してください。 ここでも、X1またはX2のいずれかの手段から遠く離れているため、視覚的に明らかな外れ値があります。
例3：2次元データ、正規変数と独立変数、異なる平均と標準偏差
2変数の例でもう少し進んでみましょう。 今回は、さまざまな平均と標準偏差があります。
図3：平均と標準偏差が異なる2Dの例。
およそ（1,27）の点は、外れ値と見なされる可能性があります。 これはX1ディストリビューションの内側にありますが、明らかにX3ディストリビューションの外側にあります。
しかし、（4,5）の赤い点はどうですか？ 外れ値ですか？ 私たちの目はそうかもしれないと私たちに教えてくれますが、どうすればわかりますか？ アルゴリズムでそれをどのように評価しますか？ （これに対する答えについては、次のブログ投稿を待つ必要があります！）
例4：変数間の相関がある2次元データ
以下は、さらに別の2次元の例です。今回は、2つの変数間の相関関係があります。
図4：2つの変数間の相関関係がある2Dの例。
視覚的には、図4の（-3,6）の赤い点は目に見えます。 ただし、いずれかの変数を個別に見ると、このポイントがX1ディメンションとX4ディメンションの両方で適切に動作していることがわかります。 （これは、データをプロットすることが重要である理由の優れた例です！）
例5：トリッキーな2次元外れ値
2次元の別の奇妙な外れ値を次の図に示します。
図5：トリッキーな2次元の外れ値。
繰り返しになりますが、目には明らかですが、アルゴリズムで検出するのはより困難です。 それでも、方法はあります！ （今後のブログ投稿を参照してください。）
例6：3つ以上の次元
3つ以上の次元がある場合はどうなりますか？ 物事を視覚化することはより困難になります。 3次元の場合、3D散布図を試し、それを回転させて外れ値を特定できます。 3次元を超える場合は、変数のすべてのペアをカバーする一連の散布図を作成することができます（Analyze / Multivariateプラットフォームなど）が、外れ値を見つけるのは難しい場合があることに注意してください。
次元が増加するにつれて、外れ値を特定するために特別に開発されたアルゴリズムに目を向け始めます。これについては、今後の投稿で取り上げます。
今後のブログエピソード
今後の投稿では、で利用可能なさまざまな外れ値アルゴリズムについて説明します。 JMP 、上記の例（およびそれ以上）でどのように機能するか、いつ使用するかなど。 これらのアルゴリズムには次のものが含まれます。
このシリーズのすべての投稿を見る外れ値を理解する。
