J'ai produit un fichier de 60 000 tweets mentionnant à la fois "Hawaï" et "Covid".
Si j'utilise la commande Row Selection pour identifier les doublons par Tweet.id, un numéro vraisemblablement unique, j'obtiens quelque 23 000 doublons putatifs. Ceci est un extrait :
Ce qui est clair, c'est que les enregistrements regroupés sous le même tweets.id ne sont pas les mêmes enregistrements, à en juger par l'identifiant de l'auteur, et surtout, par le texte.J'ai stocké toutes les variables d'ID sous forme de texte lors de la lecture avec l'application jstor.
Est-il concevable que les numéros d'identification aient été tronqués ?Les identifiants de tweet sont vraisemblablement construits en partie à partir d'un horodatage, de sorte qu'ils ne sont probablement pas des nombres consécutifs.
Peut être ça: https://developer.twitter.com/en/docs/twitter-ids
Si vous conservez l'ID dans une variable numérique, vous perdrez une partie des données entières de 64 bits car il n'y a que ~ 53 bits de fraction dans un double.
