Ich habe eine Datei mit 60.000 einigen Tweets erstellt, in denen sowohl „Hawaii“ als auch „Covid“ erwähnt werden.
Wenn ich den Zeilenauswahlbefehl verwende, um Duplikate nach Tweet.id zu identifizieren, einer vermutlich eindeutigen Nummer, erhalte ich etwa 23.000 mutmaßliche Duplikate. Dies ist ein Ausschnitt:
Klar ist, dass die Datensätze, die unter derselben tweets.id gruppiert sind, nicht die gleichen Datensätze sind, gemessen an der Autoren-ID und vor allem am Text.Ich habe alle ID-Variablen beim Einlesen mit der jstor-Anwendung als Text gespeichert.
Ist es denkbar, dass die ID-Nummern abgeschnitten wurden?Tweet-IDs sind vermutlich teilweise aus einem Zeitstempel aufgebaut, so dass es sich wahrscheinlich nicht um fortlaufende Nummern handelt.
vielleicht das: https://developer.twitter.com/en/docs/twitter-ids
Wenn Sie die ID in einer numerischen Variablen behalten, verlieren Sie einige der 64-Bit-Ganzzahldaten, da in einem Double nur ~53 Bruchbits vorhanden sind.
