텍스트 탐색기: 주어진 문서에서 시작하여 유사한 문서를 찾습니다.그래서 나는 과거에 해결된 문제의 세부 사항을 포함하는 수천 개의 문서로 구성된 코퍼스를 갖게 되었습니다. 방대한 지식의 더미입니다. 각 문서에는 메타데이터(의심스러운 품질+누락)도 있습니다. 문서에는 수행된 작업에 대한 이야기를 알려주는 100개 이상의 토큰이 있습니다.
이 사용 사례를 상상해 보십시오. 필터와 메타데이터를 통해 지금 해결하려는 문제와 매우 유사한 문서(ID#5678)를 찾았습니다. #5678과 유사한 모든 문서를 어떻게 쉽게 찾을 수 있나요?
텍스트 탐색기 플랫폼에 대한 현재 지식을 사용하여 주제 분석을 수행한 다음 어떤 주제 #5678이 속하는지(예: #10) 조회한 다음 주제=10인 모든 문서를 살펴볼 수 있습니다.
이를 수행하는 더 좋은 방법이 있습니까?
폭풍우가 몰아치는 말레이시아 쿠알라룸푸르에서 미리 감사드립니다!
고급 통계 모델링데이터 탐색 및 시각화Re: 텍스트 탐색기: 주어진 문서에서 시작하여 유사한 문서를 찾습니다.안녕하세요, @markschahl !
주제 분석은 한 가지 방법입니다. 저는 SVD 플롯 자체의 팬이기도 합니다(아래 이미지의 예는 JMP Docs 1 및 JMP Docs 2 이기도 함). 줄거리의 중심에서 멀어지는 덩굴손은 비슷한 주제를 갖는 경향이 있습니다. 문서 SVD 및 용어 SVD 플롯은 데이터에 대해 약간 다른 보기를 제공합니다. 둘 다 살펴보고 싶을 것입니다. 운이 좋으면 관심 있는 문서가 덩굴손에 멀리 떨어져 있어 좋은 후보를 제공할 것입니다.
메타데이터와 토큰이 있으므로 Torch 추가 기능을 사용해 볼 수도 있습니다. 여기에는 트릭을 수행할 수 있는 일부 언어 모델이 있습니다.
Re: 텍스트 탐색기: 주어진 문서에서 시작하여 유사한 문서를 찾습니다.@MikeD_Anderson 의 제안 외에도 판별 및 대응 분석을 사용하여 좋은 결과를 얻을 수도 있습니다. 다음은 프로세스를 자세히 설명하는 블로그 항목입니다 .
Re: 텍스트 탐색기: 주어진 문서에서 시작하여 유사한 문서를 찾습니다.다른 솔루션이 있는 유사한 문제를 찾고 있기 때문에 솔루션을 설명하는 토큰을 제외하고 싶다고 생각합니다.
Re: 텍스트 탐색기: 주어진 문서에서 시작하여 유사한 문서를 찾습니다.제드:
감사해요. 나는 그것을 시도했다. Authors 대신 제조 플랫폼 유형을 사용했습니다(정유소나 화학 공장의 처리 장치 유형을 생각해 보세요). 설명 텍스트의 단어를 통해 제조 플랫폼을 예측할 수 있나요? 전체 오분류율은 60%였습니다. 분류 요약을 보면 가장 높은 예측 비율은 ~0.6이었습니다. 따라서 한 플랫폼의 문제는 해당 플랫폼에만 국한되지 않는다고 결론을 내리는 것이 안전합니다. 이는 플랫폼 전반에 걸쳐 공통된 장비/프로세스가 많기 때문에 의미가 있습니다. 솔루션을 찾기 위해 여러 플랫폼을 살펴봐야 한다는 내 가설은 타당해 보입니다...
Re: 텍스트 탐색기: 주어진 문서에서 시작하여 유사한 문서를 찾습니다.마이크:
흥미로운 점은 주제 분석을 SVD와 비교하는 것입니다. SVD에 따르면 ~56%가 동일한 내용에 대해 이야기하고 있습니다.
얼마나 많은 주제/클러스터를 요청해야 하는지 다시 생각하고 있습니다. 어떤 지침이 있습니까? 이것에 상응하는 scree-plot이 있습니까?
Re: 텍스트 탐색기: 주어진 문서에서 시작하여 유사한 문서를 찾습니다.크레이지:
문제를 해결하기 위해 어떤 도구/기술이 사용되었는지에 대한 많은 메타데이터가 있습니다. 나는 자유 형식의 텍스트 스토리를 통해 이를 교차 확인했습니다. 즉, 메타데이터나 스토리가 실제 진실을 신뢰할 수 있는지 확인했습니다. 귀하의 제안을 시도해 보겠습니다. JMP는 말뭉치에서 빈도가 높은 토큰입니다...
은퇴 후 잘 지내시길 바랍니다!
