「ハワイ」と「コビッド」の両方に言及したツイートのファイルを60,000件作成しました。
行選択コマンドを使用して、おそらく一意の番号であるTweet.idによって重複を識別すると、約23,000の推定重複が得られます。 これはスニペットです：
明らかなことは、同じtweets.idの下でグループ化されたレコードは、作成者ID、そして最も重要なこととしてテキストで判断すると、同じレコードではないということです。jstorアプリケーションで読み込んだときに、すべてのID変数をテキストとして保存しました。
ID番号が切り捨てられていると考えられますか？ツイートIDは、おそらくタイムスタンプから部分的に作成されているため、連続した番号になる可能性は低くなります。
多分これ： https://developer.twitter.com/en/docs/twitter-ids
IDを数値変数に保持すると、doubleには53ビットの小数部しかないため、64ビット整数データの一部が失われます。
