273248_de-DE

liliconcom

Identifizieren ungewöhnlicher Muster, die auf Probleme mit der Datenintegrität hinweisen könnten

 

 

Erfahren Sie, wie Sie:

• Entdecken Sie Muster
• Identifizieren Sie doppelte Werte
  • Am häufigsten doppelte Werte suchen – Werte, die in der Spalte am häufigsten vorkommen
  • Längste Läufe suchen – Werte, die in aufeinanderfolgenden Zeilen innerhalb der Spalte wiederholt werden
  • Längste duplizierte Sequenzen suchen – Sequenz von Werten, die sich innerhalb der Spalte wiederholt
  • Spaltenübergreifend nach Duplikaten suchen – Folge von Werten, die in denselben Zeilen über mehrere Spalten hinweg angezeigt werden
  • Verwenden Sie den Seltenheitswert, um Duplikate zu interpretieren
    • Konzeptionell ist ein Muster ungefähr so wahrscheinlich, wie wenn man beim Werfen einer fairen Münze [Seltenheitswert] Köpfe hintereinander bekommt
    • Statistisch gesehen -Log2(p); Dabei ist p die Wahrscheinlichkeit eines Musters unter der Annahme einer zufälligen Reihenfolge der Werte
• Identifizieren Sie ungewöhnliche Werte
  • Suchen Sie die formatierte Breite innerhalb der Zellen – sowohl insgesamt als auch dezimal
  • Suchen Sie verdächtige Bruchlängen
  • Finden Sie verdächtige führende Ziffern, die zu einheitlich sind
    • Überprüfen Sie die Verteilung der führenden Ziffern anhand des Benfordschen Gesetzes, das besagt, dass in vielen natürlich vorkommenden Zahlengruppen die Verteilung der führenden Ziffern nicht gleichmäßig ist

    • Log10( (d+1) / d), wobei d die führende Ziffer ist

• Identifizieren Sie unerwartete lineare Beziehungen, bei denen innerhalb einer Gruppe aufeinanderfolgender Zeilen (Standard ist 10) eine Spalte eine exakte lineare Beziehung zu einer anderen Spalte hat
• Identifizieren Sie Anomalien der Spezifikationsgrenzen für Spalten mit Spezifikationsgrenzeneigenschaften
  • Suchen Sie nach Spezifikationsgrenzübereinstimmungen, bei denen die Grenzwerte in den Zellen genau mit LSL oder USL übereinstimmen
  • Vergleichen Sie die Verteilung der Spezifikationsgrenzen, um Werte außerhalb der Spezifikation mit erwarteten Werten außerhalb der Spezifikation zu vergleichen

 

Ressourcen:

• Kurt Schwitter auf Kettenbruch

Grundlegende Datenanalyse und Modellierung