Ho prodotto un file di 60.000 tweet che menzionano sia "Hawaii" che "Covid".
Se utilizzo il comando Selezione riga per identificare i duplicati tramite Tweet.id, un numero presumibilmente univoco, ottengo circa 23.000 duplicati putativi. Questo è un frammento:
Ciò che è chiaro è che i record raggruppati sotto lo stesso tweets.id non sono gli stessi record, a giudicare dall'id dell'autore e, soprattutto, dal testo.Ho memorizzato tutte le variabili ID come testo durante la lettura con l'applicazione jstor.
È ipotizzabile che i numeri identificativi siano stati troncati?Gli ID Tweet presumibilmente sono costruiti in parte da un timestamp, quindi non è probabile che siano numeri consecutivi.
forse questo: https://developer.twitter.com/en/docs/twitter-ids
Se mantieni l'ID in una variabile numerica, perderai alcuni dei dati interi a 64 bit perché ci sono solo ~ 53 bit di frazione in un doppio.
