273248_ja-JP

liliconcom

データ整合性の問題を示す可能性のある異常なパターンの特定

 

 

方法を参照してください:

• パターンを探索する
• 重複する値を特定する
  • 最も重複した値の検索 - 列内で最も頻繁に出現する値
  • 最長実行の検索 - 列内の連続する行で繰り返される値
  • 最長重複シーケンスの検索 - 列内で繰り返される値のシーケンス
  • 列間の重複の検索 - 複数の列にわたって同じ行に表示される値のシーケンス
  • 希少性スコアを使用して重複を解釈する
    • 概念的には、あるパターンは、公正なコインを投げたときに連続して[希少価値]の表が出る可能性とほぼ同じです。
    • 統計的には、-Log2(p);ここで、p は値のランダムな順序を仮定したパターンの確率です。
• 異常な値を特定する
  • セル内の書式設定された幅を見つける - 全体と小数点の両方
  • 疑わしい小数部の長さを特定する
  • 均一すぎる不審な先頭桁を特定する
    • ベンフォードの法則に照らして先頭の数字の分布を確認します。ベンフォードの法則とは、自然に発生する多くの数値グループでは、先頭の数字の分布が一様ではないというものです。

    • Log10( (d+1) / d)、d は先頭の数字です

• 連続する行のグループ (デフォルトは 10) 内で、ある列が別の列と正確な線形関係を持っている、予期しない線形関係を特定します。
• 仕様限界プロパティを持つ列の仕様限界の異常を特定する
  • セル内の制限が LSL または USL と正確に一致する仕様制限一致を検索します。
  • 「仕様制限分布の比較」では、仕様外の値と予想される仕様外の値を比較します。

 

リソース：

• クルト・シュヴィッター連分数について

基本的なデータ分析とモデリング