文字瀏覽器:從給定文檔開始查找相似文檔因此,我有一個包含數千個文件的語料庫,其中包含過去已解決的問題的詳細資訊。這是一個巨大的知識堆。每個文件還有元資料(品質可疑+遺漏)。這些文件有 100 多個標記,講述了所做的事情。
想像一下這個用例:透過過濾器和元數據,我找到了一個非常接近我現在正在嘗試解決的問題的文檔(ID#5678)。如何輕鬆找到所有與#5678類似的文件?
根據我目前對 Text Explorer 平台的了解,我可以進行主題分析,然後尋找 #5678 屬於哪個主題(例如#10),然後查看 Topic=10 的所有文件。
有一個更好的方法嗎?
預先感謝來自暴風雨的馬來西亞吉隆坡!
進階統計建模數據探索和視覺化回覆:文字資源管理器:從給定文檔開始尋找類似文檔嘿, @markschahl !
主題分析是一種方法,我也喜歡 SVD 圖本身(下圖中的範例還有JMP 文件 1和JMP 文件 2 )。遠離情節中心的捲鬚往往有相似的主題。 doc SVD 和 term SVD 圖提供了略有不同的資料視圖。您會想看看兩者。運氣好的話,您感興趣的文件將位於卷鬚上很遠的地方,這應該會給您一些不錯的候選人。

由於您有元資料和令牌,您也可以嘗試 Torch 插件。它有一些可以解決這個問題的語言模型。
回覆:文字資源管理器:從給定文檔開始尋找類似文檔除了@MikeD_Anderson的建議之外,您還可以使用判別和對應分析來獲得良好的結果。 這是詳細介紹過程的部落格條目。
回覆:文字資源管理器:從給定文檔開始尋找類似文檔我認為您想要排除描述解決方案的標記,因為您正在尋找具有不同解決方案的類似問題。
回覆:文字資源管理器:從給定文檔開始尋找類似文檔傑德:
謝謝。我試過了。我沒有使用作者,而是使用了製造平台類型(想想煉油廠或化工廠中的處理單元類型)。我們能否從描述文本中預測製造平台?整體錯誤分類率為60%。查看分類摘要,最高預測率為~0.6。因此,可以肯定地得出這樣的結論:一個平台的問題並非該平台所獨有,這是有道理的,因為有許多跨平台通用的設備/流程。我的假設是我們應該跨平台尋找解決方案似乎是合理的...
回覆:文字資源管理器:從給定文檔開始尋找類似文檔麥克風:
有趣的是,將主題分析與 SVD 進行比較。 SVD 顯示約 56% 的人在談論相同的事情。
我正在重新考慮我應該詢問多少主題/集群。有什麼指導嗎?有等效的螢幕圖嗎?

回覆:文字資源管理器:從給定文檔開始尋找類似文檔克雷奇:
我有大量關於使用哪些工具/技術來解決問題的元資料。我一直在與自由格式的文字故事進行交叉檢查:即我可以相信元資料或故事的真實情況嗎?我會嘗試你的建議:JMP是語料庫中的高頻標記...
希望退休後對你有好處!