我製作了一個包含 60,000 條推文的文件,其中提到了“夏威夷”和“Covid”。
如果我使用行選擇命令通過 Tweet.id(一個大概是唯一的數字)識別重複項,我會得到大約 23,000 個假定的重複項。 這是一個片段:

很明顯,在同一 tweets.id 下分組的記錄不是相同的記錄,根據作者 ID 判斷,最重要的是,根據文本判斷。在使用 jstor 應用程序讀入時,我將所有 ID 變量存儲為文本。
可以想像id號被截斷了嗎?Tweet id 大概是根據時間戳構建的,因此它們不太可能是連續的數字。
也許這個: https://developer.twitter.com/en/docs/twitter-ids
如果將 ID 保留在數字變量中,則會丟失一些 64 位整數數據,因為雙精度數中只有約 53 位的小數。