809935_ja-JP

liliconcom

データ整合性の問題を示唆する異常なパターンの特定

方法をご覧ください:

• パターンを探索する
• 重複する値を識別する
  • 最も重複する値を検索 - 列内で最も頻繁に出現する値
  • 最長連続値を検索 - 列内の連続する行で繰り返される値
  • 最長重複シーケンスの検索 - 列内で繰り返される値のシーケンス
  • 列間で重複を検索 - 複数の列にわたって同じ行に表示される値のシーケンス
  • 希少性スコアを使用して重複を解釈する
    • 概念的には、パターンは、公平なコインを投げたときに連続して[希少価値]の表が出る可能性とほぼ同じです。
    • 統計的には、-Log2(p)、ここでpは値のランダムな順序を仮定したパターンの確率である。
• 異常な値を特定する
  • セル内のフォーマットされた幅を見つける - 全体と小数の両方
  • 疑わしい分数の長さを見つける
  • 均一すぎる疑わしい先頭桁を見つける
    • ベンフォードの法則に照らして、先頭の数字の分布を確認します。ベンフォードの法則によれば、多くの自然に発生する数字のグループでは、先頭の数字の分布は均一ではありません。

    • Log10( (d+1) / d)、ここでdは先頭の数字

• 連続する行のグループ（デフォルトは 10）内で、1 つの列が別の列と完全に線形関係にある、予期しない線形関係を識別します。
• 仕様限界プロパティを持つ列の仕様限界異常を特定する
  • セル内の限界が LSL または USL と完全に一致する仕様限界一致を検索します。
  • 仕様限界分布を比較して、仕様外の値を期待される仕様外の値と比較します。

リソース：

• 連分数に関するクルト・シュヴィッター

基本的なデータ分析とモデリング