809935_zh-CN

liliconcom

识别可能表明数据完整性问题的异常模式

了解如何：

• 探索模式
• 识别重复值
  • 查找重复次数最多的值 - 列中最常出现的值
  • 查找最长运行 - 在列中的连续行中重复的值
  • 查找最长重复序列-列中重复的值序列
  • 跨列查找重复项-跨多列的同一行中出现的值序列
  • 使用稀有度分数来解释重复
    • 从概念上讲，模式就好比抛一枚公平硬币时连续出现 [稀有度值] 正面的概率
    • 从统计学上讲，-Log2(p)；其中 p 是假设值随机排序的模式概率
• 识别异常值
  • 在单元格内找到格式化的宽度 - 总体和小数
  • 找到可疑的分数长度
  • 找到过于统一的可疑前导数字
    • 根据本福特定律检查首位数字的分布，该定律指出，在许多自然出现的数字组中，首位数字的分布并不均匀

    • Log10( (d+1) / d)，其中 d 为首位数字

• 识别意外的线性关系，即在某些连续行组（默认值为 10）中，一列与另一列具有精确的线性关系
• 识别具有规格限属性的列的规格限异常
  • 找到规格限值匹配，其中单元格中的限值与 LSL 或 USL 完全匹配
  • 比较规格限值分布，将超出规格的值与预期超出规格的值进行比较

资源：

• Kurt Schwitt论连分数

基础数据分析与建模