Hallo,
Ich bin auf der Suche nach Inspiration, wie ich mich einem Datensatz nähern kann. Ich betrachte demografische Daten für eine Gruppe von Personen, bei denen ich potenzielle doppelte Personen identifizieren muss. Einige Teile der Daten sind korrekt (Geburtsdatum, Geschlecht, Land) und andere nicht (Größe, Gewicht). Dies bedeutet, dass Größe und Gewicht für zwei Personen zwar nicht identisch sind, aber tatsächlich gleich sein können.
Daher muss ich bei jeder Kombination aus "Geburtsdatum, Geschlecht, Land" prüfen, ob die Unterschiede in Größe und Gewicht für die verschiedenen potenziellen Paare sehr weit voneinander entfernt sind oder nicht.
Ich habe in übereinstimmende Paare geschaut, aber dann wäre es auf nur Sätze von zwei beschränkt, die identisch sein können und nicht zB Sätze von 3 oder mehr. Ich habe mich auch mit std dev für jede Kombination aus "Geburtsdatum, Geschlecht, Land" befasst, aber das würde die gesamte Gruppe betrachten und nicht diejenigen gruppieren, die innerhalb der Gruppe sehr nahe zu sein scheinen.
Ich habe einige Visualisierungen gemacht, die mir einen Teil des Weges ermöglichen, aber bei sehr großen Datenmengen muss ich in der Lage sein, die realistischeren Duplikate zu vergrößern (z. B. Körpergewichtsunterschiede innerhalb von 5 kg und Körpergröße innerhalb von 2 cm).
Was wäre hier ein guter Ansatz?
Br Julie
