273248_fr-FR

liliconcom

Identification de modèles inhabituels pouvant indiquer des problèmes d'intégrité des données

 

 

Découvrez comment :

• Explorer les modèles
• Identifier les valeurs en double
  • Rechercher les valeurs les plus dupliquées : valeurs qui apparaissent le plus fréquemment dans la colonne
  • Rechercher les exécutions les plus longues : valeurs qui se répètent dans des lignes consécutives au sein d'une colonne
  • Rechercher les séquences dupliquées les plus longues - séquence de valeurs qui se répète dans la colonne
  • Rechercher des doublons dans les colonnes : séquence de valeurs qui apparaît dans les mêmes lignes sur plusieurs colonnes
  • Utilisez le score de rareté pour interpréter les duplications
    • Conceptuellement, un modèle est à peu près aussi probable que d'obtenir [valeur de rareté] face d'affilée en lançant une pièce équitable.
    • Statistiquement, -Log2(p); où p est la probabilité d'un modèle en supposant un ordre aléatoire des valeurs
• Identifier les valeurs inhabituelles
  • Localisez la largeur formatée dans les cellules - globale et décimale
  • Localisez les longueurs de fractions suspectes
  • Localisez les premiers chiffres suspects qui sont trop uniformes
    • Vérifiez la distribution des premiers chiffres par rapport à la loi de Benford, qui dit que dans de nombreux groupes de nombres naturels, la distribution des premiers chiffres n'est pas uniforme.

    • Log10( (d+1) / d), où d est le premier chiffre

• Identifiez les relations linéaires inattendues dans lesquelles, au sein d'un groupe de lignes consécutives (la valeur par défaut est 10), une colonne a une relation linéaire exacte avec une autre colonne.
• Identifier les anomalies de limite de spécification pour les colonnes avec des propriétés de limite de spécification
  • Localiser les correspondances de limite de spécification là où les limites dans les cellules correspondent exactement à LSL ou USL
  • Comparer la distribution des limites de spécifications pour comparer les valeurs hors spécifications aux valeurs hors spécifications attendues

 

Ressources:

• Kurt Schwitter sur fraction continue

Analyse et modélisation des données de base