比較組內的所有對你好,
我正在尋找有關如何處理數據集的一些靈感。 我正在查看一組人的人口統計數據,我需要在其中識別潛在的重複人員。 數據的某些部分是準確的(出生日期、性別、國家/地區),而其他部分則不准確(身高、體重)。 這意味著,即使兩個人的身高和體重不同,他們實際上也可以相同。
因此,在每個“出生日期、性別、國家/地區”組合中,我需要檢查不同潛在配對的身高和體重差異是否相距甚遠。
我已經研究過匹配的對,但它會被限制為只有兩個可以相同的集合,而不是例如 3 個或更多的集合。 我還研究了每個“出生日期、性別、國家/地區”組合的 std dev,但這會查看整個組,而不是將那些看起來非常接近的組聚集在一起。
我已經做了一些可視化,這讓我有些了解,但是隨著非常大的數據集的出現,我需要能夠放大更真實的副本(例如體重差異在 5 公斤以內和身高在 2 厘米以內)。
這裡有什麼好方法?
朱莉
分析圖形回复:比較組內的所有對您是否考慮過使用一些預先安排的數據進行聚類?
1. Cols Menu, Utilities, Combine Columns for Birth, Sex, Country(需要提前選擇列)。 使用“_”(下劃線)作為分隔符。 這將在您擁有這些組合的位置創建一個新列。 正如您所提到的,您只想檢查這三個固定參數的每個組合,這是將實際三列分組到一列的一種很好的有效方法。
2. 可以完成帶有標籤 Student ID 的身高和體重的層次聚類或 KMeans 聚類,以及作為 BY GROUP 的新組列。
由於您將有許多組合,其中只有一個人在一組數據中,您將收到警告。 對於其餘部分,您將獲得每組的樹狀圖。 如果它們很可能太相似,它們將被放入同一個集群中。
只是另一種方法,如果您有更多數據,這種方法會更好。 附上修改後的文件
回复:比較組內的所有對我對你的數據的理解是,數據集中的每個“人”都被識別為一個獨特的人,但即使他們的出生日期、性別和國家相同,他們也可能是也可能不是不同的人。我想你想看看他們的身高和體重(受測量誤差影響)是否“足夠接近”以相信他們真的是同一個人 - 如果他們“不夠接近”那麼他們將被視為不同的人(儘管具有相同的生日、性別和國家)。如果這是正確的,那麼我附加到您的示例數據的 Tabulate 腳本可能會有所幫助。其他人可能會提出更好的方法,但這可能會奏效。如果運行腳本並將製表保存為數據表,則可以使用 ColRank、ColMin 和 ColMax 等函數來調查存在多個潛在人員的情況。
這有點混亂,我很想看看是否有人有更好的方法來做到這一點。