文本探索器:从给定文档开始查找类似文档因此,我有一个包含数千份文档的语料库,其中包含过去已解决的问题的详细信息。这是一大堆知识。每份文档还包含元数据(质量可疑+遗漏)。这些文档有 100 多个标记,讲述了所做的事情的故事。
想象一下这个用例:通过过滤器和元数据,我找到了一个文档(ID#5678),它与我现在要解决的问题非常接近。我如何才能轻松找到所有与 #5678 相似的文档?
凭借我目前对文本探索器平台的了解,我可以进行主题分析,然后查找主题#5678 属于哪个主题(比如#10),然后查看主题=10 的所有文档。
有一个更好的方法吗?
来自马来西亚吉隆坡的暴风雨提前致谢!
高级统计建模数据探索与可视化回复:文本探索器:从给定文档开始查找类似文档嘿, @markschahl !
主题分析是一种方法,我也是 SVD 图本身的粉丝(下图中的示例也是JMP Docs 1和JMP Docs 2 )。远离图中心的卷须往往具有相似的主题。文档 SVD 和术语 SVD 图提供的数据视图略有不同。您需要查看两者。幸运的话,您感兴趣的文档将位于卷须的远处,这应该会给您一些不错的候选。

既然您有元数据和令牌,您也可以尝试 Torch 插件。它有一些语言模型可能会奏效。
回复:文本探索器:从给定文档开始查找类似文档除了@MikeD_Anderson的建议之外,您还可以使用判别分析和对应分析获得良好的结果。 这里有一篇博客文章详细介绍了该过程。
回复:文本探索器:从给定文档开始查找类似文档我认为您想要排除描述解决方案的标记,因为您正在寻找具有不同解决方案的类似问题。
回复:文本探索器:从给定文档开始查找类似文档杰德:
谢谢。我试过了。我没有输入作者,而是输入了制造平台类型(比如炼油厂或化工厂中的加工单元类型)。我们能根据描述文本中的单词预测制造平台吗?总体误分类率为 60%。查看分类摘要,最高预测率为 ~0.6。因此,可以肯定地得出结论,一个平台的问题并不是该平台独有的,这是有道理的,因为有很多设备/流程是跨平台通用的。我的假设是我们应该跨平台寻找解决方案,这似乎是合理的……
回复:文本探索器:从给定文档开始查找类似文档麦克风:
有趣的是将主题分析与 SVD 进行比较。SVD 显示约 56% 的人正在谈论同一件事。
我正在重新考虑我应该请求多少个主题/集群。有什么指导吗?有没有与之相当的碎石图?

回复:文本探索器:从给定文档开始查找类似文档克雷格:
我有大量关于使用什么工具/技术来解决问题的元数据。我一直在用自由格式的文本故事进行交叉检查:即我可以相信元数据还是故事的真实性。我会尝试你的建议:JMP 是语料库中的高频标记...
祝你退休后过得愉快!