你好
我正在寻找有关如何处理数据集的灵感。我正在查看一组人群的人口统计数据,需要识别潜在的重复人员。数据的某些部分准确(出生日期,性别,国家/地区),而其他部分则不准确(身高,体重)。这意味着,即使两个人的身高和体重不相同,他们实际上也可以是相同的。
因此,在每个“生日,性别,国家”组合中,我需要检查不同潜在对的身高和体重差异是否相距甚远。
我已经研究了匹配的对,但是它将仅限于两个可以相同的集合,而不是例如3个或更多的集合。我还研究了每种“出生日期,性别,国家/地区”组合的std dev,但这将着眼于整个小组,而不是将那些看起来非常接近小组的人聚集在一起。
我已经进行了一些可视化处理,但获得了非常大的数据集,因此我需要能够放大更逼真的重复项(例如,体重差异在5公斤以内,身高在2厘米以内)。
什么是这里的好方法?
朱莉(Br Julie)