He producido un archivo de 60.000 tweets que mencionan tanto "Hawaii" como "Covid".
Si utilizo el comando Selección de fila para identificar duplicados por Tweet.id, un número presumiblemente único, obtengo unos 23.000 supuestos duplicados. Este es un fragmento:
Lo que está claro es que los registros agrupados bajo el mismo tweets.id no son los mismos registros, a juzgar por la identificación del autor y, lo más importante, por el texto.Guardé todas las variables de ID como texto al leer con la aplicación jstor.
¿Es concebible que los números de identificación se hayan truncado?Es de suponer que los ID de los tweets se crean en parte a partir de una marca de tiempo, por lo que no es probable que sean números consecutivos.
tal vez esto: https://developer.twitter.com/en/docs/twitter-ids
Si mantiene el ID en una variable numérica, perderá algunos de los datos enteros de 64 bits porque solo hay ~ 53 bits de fracción en un doble.
