809935_es-ES

liliconcom

Identificación de patrones inusuales que podrían indicar problemas de integridad de los datos

Vea cómo:

• Explorar patrones
• Identificar valores duplicados
  • Buscar valores más duplicados: valores que aparecen con mayor frecuencia dentro de la columna
  • Buscar las series más largas: valores que se repiten en filas consecutivas dentro de una columna
  • Buscar secuencias duplicadas más largas: secuencia de valores que se repite dentro de la columna
  • Buscar duplicados en las columnas: secuencia de valores que aparecen en las mismas filas en varias columnas
  • Utilice la puntuación de rareza para interpretar las duplicaciones
    • Conceptualmente, un patrón es tan probable como obtener [valor de rareza] caras seguidas al lanzar una moneda justa.
    • Estadísticamente, -Log2(p); donde p es la probabilidad del patrón asumiendo un orden aleatorio de valores.
• Identificar valores inusuales
  • Localizar el ancho formateado dentro de las celdas, tanto en general como en decimales
  • Localizar longitudes de fracciones sospechosas
  • Localice dígitos iniciales sospechosos que sean demasiado uniformes
    • Verifique la distribución de los dígitos principales con la Ley de Benford, que dice que en muchos grupos de números naturales, la distribución de los dígitos principales no es uniforme.

    • Log10( (d+1) / d), donde d es el dígito principal

• Identificar relaciones lineales inesperadas donde, dentro de algún grupo de filas consecutivas (el valor predeterminado es 10), una columna tiene una relación lineal exacta con otra columna
• Identificar anomalías de límite de especificación para columnas con propiedades de límite de especificación
  • Localice las coincidencias de límites de especificación donde los límites en las celdas coinciden exactamente con LSL o USL
  • Compare la distribución de límites de especificaciones para comparar valores fuera de especificación con valores fuera de especificación esperados

Recursos:

• Kurt Schwitter sobre la fracción continua

Análisis y modelado de datos básicos