で以前のブログ記事 、ダーティデータをカテゴリ別に整理することを検討しました。今回は、連続列の異常値の形でダーティデータをクリーニングする方法を見ていきます。
業界では、ほとんどの値が狭い範囲（たとえば、0.1から0.7の間）にあり、その範囲から外れている値がいくつかあります（99など、欠損値コード）。外れ値の最も一般的な例には、次のものがあります。
•値コードがありません。多くの場合9の文字列です。
•特に小数点の位置が誤っている場合は、明らかに誤ってコーディングされた値を手動で入力します。
•機器の故障。データがあるべき場所に機器の故障コードが挿入されます。
•電気的短絡が原因で電流サージが発生したり、電圧降下が発生するなど、異常な事態が発生した。
•Time-to-failure分布など、大きな値がまれではあるが現実的であるようなロングテール分布。
•いくつかの項目がきれいであると推定される項目の集合に入り込んだ、汚染の異常値。
探索して整理するためのコラムがわずかしかない場合は、手作業で行うのが妥当でしょう。ただし、数十、または数千の列では、いくつかの助けが必要です。Cols-> Modeling Utilitiesの“ Explore Outliers”機能は使用する新しいツールです。
最も直接的なアプローチは、いくつかのテール分位点を取得してから、テール分位点を超えたある範囲のクォンタイル間範囲を測定することです。の ANSUR Anthopometryデータ良いイラストを提供します。それは3,982人の個人にわたる131人の身体測定値を測定します。このデータを分析する前に、まず外れ値を確認して知っておく必要があります。
選択された各変数について、Explore Outliersは最初に10％および90％の分位数を計算して、ほとんどのデータの範囲に対する適切な推定値を決定します。10％と90％の分位数が同じであることを意味する膨大な数の関係がある場合、効用は値を得るためにさらに末尾に達します。次に、四分位数範囲に3（デフォルトの 'Q'スケーリング係数）を掛けて、四分位数範囲の3倍より10％分位点と90％分位点から外れている値を探します。これはかなり極端なデフォルトの外れ値選択基準ですが、少なくとも最初は最も遠い外れ値に関心があるでしょう。分位数と乗数を後で調整して、より敏感にすることができます。
ANSURデータのデフォルトスキャンでは、-999の値を持つ2つの列が明らかになりました。これは、10％および90％の末尾を超えた3つの四分位数範囲を超えています。この場合、それらが実数値ではなく欠損値コードであることは明らかです。
他の129個の変数は外れ値を表示しなかったので、「外れ値のある列のみを表示する」をチェックすることによって、行った列にもっと簡単に集中することができます。ディスプレイでこれらの列を選択すると、データテーブルの列が選択されます。
次に、これらの異常値に対処するためにとるべき行動を決定する必要があります。6つのアクションボタンがあります。行を選択し、[行]コマンド[次へ選択]を使用して、データテーブルビューを選択した各行に進めることができます。行に色を付けると、その行に異常値があることを強調できます。以下に示すように、データテーブルを参照するときにセルを色分けして目立つようにすることができます。行を除外して分析から除外することもできます。
この場合、外れ値は実際には欠損データを表しているので、残りの2つのアクションは明らかな選択肢を示します。その列に「欠損値コード」列プロパティをインストールする「欠損値コードに追加」をクリックするか、または「変更」をクリックするこれはハードウェア（NAN）の欠損値に変わります。 JMP 常に不足していると認識します。明確な意味を持つ欠損値コードが複数ある場合は、前のボタンを使用することをお勧めします。
ハイナインも欠損値コードとして使用されることが多いので、ハイナインもチェックしますが、すべてのハイナインはデータの上限からそれほど離れておらず、したがって欠損値を表す可能性は低いです。
外れ値は多変量の意味で外れていることがあります。つまり、各列の分位点の範囲に収まる可能性がありますが、データはクラスタになっていて、他の点から離れている点もあります。例としてFisherのIrisデータを使用すると、3つの種を表す3つのクラスターが実際にあることがわかります。種は広く分離されているので、一変量の異常値ではないにしても、異常値が他のすべての点から遠く離れている可能性がある空きスペースは十分にあります。これらの外れ値を見つけるためにk最近傍関数があります。各点について、その点から最近点、2番目に近い点、3番目に近い点などの距離を求めます。ここでは、最も近い点から遠い点を特定します。
散布図マトリックスでこの点を見ると、どの座標でも異常ではありませんが、他の点からはほど遠いことがわかります。花びらの長さと花びらの幅を基準にしてその位置を考慮すると、それはSepalの幅にはほど遠いです。私たちはたまたまこれらの房のアイデンティティを知っています、そして異例の特徴はそれがその種の他の人たちと比較して非常に低いSepal幅を持っているということです。
続けるために、我々は複数の異常値、すなわちそれらの最近傍点から遠くないがデータからはまだ遠く離れているそれらの点を有するかもしれない。これは、3番目の近接点からの各点の距離です。
2つの青いk = 3異常値の散布図行列を見ると、それらは互いに近くにありますが、他の点からは分離していますが、Sepalの幅とSepalの長さの散布図に焦点が当てられています。
したがって、多変量異常値を調べて、何が起こっているのかを見分けることができます。たとえば、完全に分離した種からの虹彩が混ざっていてFisher Irisのデータで誤認されている場合など、k最近傍の意味での異常値は汚染状況で発生する可能性があります。
いくつかのアクションは明らかですが、外れ値についてどうするかは状況によって異なります。欠損値コードがある場合は、解析プラットフォームがそれを欠損値として扱うように、欠損値コードプロパティを追加する必要があります。小数点の位置を間違えている場合は、それが明らかな場合はそれを訂正する必要があります。それが明確でない場合は欠落値に変更する必要があります。
外れ値を見つけると、重要な発見につながることがあります。彼らは自動的に収まらない汚れのように扱われるべきではありません。
このトピックは前のブログ投稿 。
注意： これはの一部です大きな統計 John Sallによる一連のブログ投稿。彼のすべてを読むビッグ統計の投稿 。
