나는 "Hawaii"와 "Covid"를 모두 언급하는 60,000개의 트윗 파일을 만들었습니다.
Row Selection 명령을 사용하여 아마도 고유 번호인 Tweet.id로 중복 항목을 식별하면 약 23,000개의 추정 중복 항목이 생성됩니다. 다음은 스니펫입니다.
분명한 것은 같은 tweets.id 아래 함께 그룹화된 레코드는 작성자 ID와 가장 중요한 텍스트로 판단할 때 동일한 레코드가 아니라는 것입니다.jtor 애플리케이션으로 읽을 때 모든 ID 변수를 텍스트로 저장했습니다.
ID 번호가 잘린 것을 생각할 수 있습니까?트윗 ID는 아마도 타임스탬프에서 부분적으로 구축되어 연속적인 숫자가 아닐 가능성이 높습니다.
아마도 이것은: https://developer.twitter.com/en/docs/twitter-ids
숫자 변수에 ID를 유지하면 double에 ~53비트의 분수만 있기 때문에 64비트 정수 데이터 중 일부를 잃게 됩니다.
