809935_de-DE

liliconcom

Identifizieren ungewöhnlicher Muster, die auf Probleme mit der Datenintegrität hinweisen könnten

Erfahren Sie, wie Sie:

• Muster entdecken
• Identifizieren doppelter Werte
  • Am häufigsten duplizierte Werte finden - Werte, die am häufigsten in der Spalte vorkommen
  • Längste Läufe suchen - Werte, die sich in aufeinanderfolgenden Zeilen innerhalb der Spalte wiederholen
  • Längste duplizierte Sequenzen finden - Sequenz von Werten, die sich innerhalb einer Spalte wiederholen
  • Duplikate in mehreren Spalten suchen - Wertefolge, die in mehreren Spalten in denselben Zeilen vorkommt
  • Verwenden Sie den Rarity Score, um Duplikate zu interpretieren
    • Konzeptionell ist ein Muster ungefähr so ​​wahrscheinlich wie [Seltenheitswert] Kopf in einer Reihe beim Werfen einer fairen Münze
    • Statistisch gesehen -Log2(p); dabei ist p die Wahrscheinlichkeit eines Musters bei einer zufälligen Anordnung der Werte
• Identifizieren ungewöhnlicher Werte
  • Suchen Sie die formatierte Breite innerhalb der Zellen - sowohl insgesamt als auch als Dezimalstellen
  • Auffinden verdächtiger Bruchlängen
  • Auffinden verdächtiger führender Ziffern, die zu einheitlich sind
    • Vergleichen Sie die Verteilung der führenden Ziffern mit dem Benfordschen Gesetz, das besagt, dass in vielen natürlich vorkommenden Zahlengruppen die Verteilung der führenden Ziffern nicht einheitlich ist.

    • Log10( (d+1) / d), wobei d die führende Ziffer ist

• Identifizieren Sie unerwartete lineare Beziehungen, bei denen innerhalb einer Gruppe aufeinanderfolgender Zeilen (Standard ist 10) eine Spalte eine exakte lineare Beziehung zu einer anderen Spalte aufweist
• Identifizieren von Spezifikationsgrenzwertanomalien für Spalten mit Spezifikationsgrenzwerteigenschaften
  • Suchen Sie nach Spezifikationsgrenzwertübereinstimmungen, bei denen die Grenzwerte in Zellen genau mit LSL oder USL übereinstimmen
  • Vergleichen Sie die Spezifikationsgrenzverteilung, um Werte außerhalb der Spezifikation mit erwarteten Werten außerhalb der Spezifikation zu vergleichen.

Ressourcen:

• Kurt Schwitter über Kettenbrüche

Grundlegende Datenanalyse und Modellierung