273248_es-ES

liliconcom

Identificación de patrones inusuales que podrían indicar problemas de integridad de datos

 

 

Vea cómo:

• Explora patrones
• Identificar valores duplicados
  • Buscar valores más duplicados: valores que aparecen con mayor frecuencia dentro de la columna
  • Buscar carreras más largas: valores que se repiten en filas consecutivas dentro de la columna
  • Buscar secuencias duplicadas más largas: secuencia de valores que se repite dentro de la columna
  • Buscar duplicados en columnas: secuencia de valores que aparece en las mismas filas en varias columnas
  • Utilice Rarity Score para interpretar las duplicaciones
    • Conceptualmente, un patrón es tan probable como obtener [valor de rareza] caras seguidas al lanzar una moneda justa
    • Estadísticamente, -Log2(p); donde p es la probabilidad del patrón suponiendo un orden aleatorio de valores
• Identificar valores inusuales
  • Ubique el ancho formateado dentro de las celdas, tanto en general como en decimales
  • Localice longitudes de fracciones sospechosas
  • Localice dígitos iniciales sospechosos que sean demasiado uniformes
    • Verifique la distribución de los dígitos principales con la Ley de Benford, que dice que en muchos grupos de números que ocurren naturalmente, la distribución de los dígitos principales no es uniforme

    • Log10( (d+1) / d), donde d es el dígito inicial

• Identifique relaciones lineales inesperadas donde, dentro de un grupo de filas consecutivas (el valor predeterminado es 10), una columna tiene una relación lineal exacta con otra columna
• Identificar anomalías de límite de especificación para columnas con propiedades de límite de especificación
  • Ubique coincidencias de límite de especificación donde los límites en las celdas coincidan exactamente con LSL o USL
  • Compare la distribución de límites de especificación para comparar los valores fuera de especificación con los valores esperados fuera de especificación

 

Recursos:

• kurt schwitter en fracción continua

Análisis y modelado de datos básicos