Identifier des modèles inhabituels qui pourraient indiquer des problèmes d'intégrité des données
Découvrez comment faire :
- Explorer les modèles
- Identifier les valeurs en double
- Rechercher les valeurs les plus dupliquées - valeurs qui apparaissent le plus fréquemment dans la colonne
- Trouver les exécutions les plus longues - valeurs qui se répètent dans des lignes consécutives dans une colonne
- Rechercher les séquences dupliquées les plus longues - séquence de valeurs qui se répète dans une colonne
- Rechercher les doublons dans plusieurs colonnes : séquence de valeurs qui apparaît dans les mêmes lignes sur plusieurs colonnes
- Utilisez le score de rareté pour interpréter les doublons
- D'un point de vue conceptuel, un motif est à peu près aussi probable que d'obtenir [valeur de rareté] faces d'affilée en lançant une pièce de monnaie équitable.
- Statistiquement, -Log2(p) ; où p est la probabilité du modèle en supposant un ordre aléatoire des valeurs
- Identifier les valeurs inhabituelles
- Localiser la largeur formatée dans les cellules - à la fois globale et décimale
- Localiser les longueurs de fractions suspectes
- Localisez les premiers chiffres suspects qui sont trop uniformes
- Identifier les relations linéaires inattendues où, dans un groupe de lignes consécutives (la valeur par défaut est 10), une colonne a une relation linéaire exacte avec une autre colonne
- Identifier les anomalies de limite de spécification pour les colonnes avec des propriétés de limite de spécification
- Localisez les correspondances de limites de spécifications où les limites dans les cellules correspondent exactement à LSL ou USL
- Comparer la distribution des limites de spécification pour comparer les valeurs hors spécifications aux valeurs hors spécifications attendues
Ressources:
Analyse et modélisation de données de base
