273248_zh-CN

liliconcom

识别可能表明数据完整性问题的异常模式

 

 

了解如何：

• 探索模式
• 识别重复值
  • Find Most Duplicated Values - 列中出现频率最高的值
  • Find Longest Runs - 在列内连续行中重复的值
  • Find Longest Duplicated Sequences - 在列内重复的值序列
  • Find Duplicates Across Columns - 跨多列出现在同一行中的值序列
  • 使用稀有度分数来解释重复
    • 从概念上讲，当掷一枚公平的硬币时，一种模式与获得[稀有价值]正面的可能性差不多
    • 统计上，-Log2(p)；其中 p 是假设值随机排序的模式概率
• 识别异常值
  • 在单元格中找到格式化宽度 - 整体和小数
  • 找到可疑的分数长度
  • 找到过于统一的可疑前导数字
    • 根据本福德定律检查前导数字的分布，该定律说，在许多自然发生的数字组中，前导数字的分布是不均匀的

    • Log10( (d+1) / d)，其中 d 为前导数

• 识别意外的线性关系，其中在一组连续行（默认为 10）中，一列与另一列具有精确的线性关系
• 识别具有规格限属性的列的规格限异常
  • 找到规格限制匹配项，其中单元格中的限制与 LSL 或 USL 完全匹配
  • 比较规格限制分布以将超出规格的值与预期的超出规格的值进行比较

 

资源：

• 库尔特·施维特关于连分数

基础数据分析与建模