我制作了一个包含 60,000 条推文的文件,其中提到了“夏威夷”和“Covid”。
如果我使用行选择命令通过 Tweet.id(一个大概是唯一的数字)识别重复项,我会得到大约 23,000 个假定的重复项。 这是一个片段:

很明显,在同一 tweets.id 下分组的记录不是相同的记录,根据作者 ID 判断,最重要的是,根据文本判断。在使用 jstor 应用程序读入时,我将所有 ID 变量存储为文本。
可以想象id号被截断了吗?Tweet id 大概是根据时间戳构建的,因此它们不太可能是连续的数字。
也许这个: https://developer.twitter.com/en/docs/twitter-ids
如果将 ID 保留在数字变量中,则会丢失一些 64 位整数数据,因为双精度数中只有约 53 位的小数。