テキストエクスプローラー: 指定された文書から類似文書を検索しますつまり、私は過去に解決された問題の詳細を含む何千もの文書のコーパスを持っています。それは膨大な知識の山です。各文書にはメタデータ (疑わしい品質+省略) もあります。文書には、何が行われたかを伝える 100 以上のトークンがあります。
次のユースケースを想像してください。フィルターとメタデータを通じて、現在解決しようとしている問題に非常に近いドキュメント (ID#5678) を見つけました。 #5678 に類似するすべてのドキュメントを簡単に見つけるにはどうすればよいでしょうか。
Text Explorer プラットフォームに関する現在の知識があれば、トピック分析を実行し、トピック #5678 がどのトピック (たとえば #10) に属しているかを調べ、トピック = 10 であるすべてのドキュメントを調べることができます。
これを行うより良い方法はありますか?
嵐のマレーシア、クアラルンプールからよろしくお願いします！
高度な統計モデリングデータの探索と視覚化Re: テキスト エクスプローラー: 指定されたドキュメントから類似のドキュメントを検索するこんにちは、 @markschahl !
トピック分析は 1 つの方法ですが、私は SVD プロット自体も好きです (下の画像の例、JMP Docs 1およびJMP Docs 2も参照)。プロットの中心から遠ざかる蔓は、同様のテーマを持つ傾向があります。doc SVD プロットと term SVD プロットは、データのビューをわずかに異なります。両方を確認することをお勧めします。運が良ければ、関心のあるドキュメントは蔓のかなり外側に位置し、いくつかの良い候補が見つかるはずです。
メタデータとトークンがあるので、Torch アドインも試してみるとよいでしょう。このアドインには、役に立つ可能性のある言語モデルがいくつか含まれています。
Re: テキスト エクスプローラー: 指定されたドキュメントから類似のドキュメントを検索する@MikeD_Andersonの提案に加えて、判別分析と対応分析を使用しても良い結果が得られるかもしれません。 こちらにプロセスの詳細を説明したブログ記事があります。
Re: テキスト エクスプローラー: 指定されたドキュメントから類似のドキュメントを検索する異なる解決策を持つ類似の問題を探しているため、解決策を説明するトークンを除外する必要があると思います。
Re: テキスト エクスプローラー: 指定されたドキュメントから類似のドキュメントを検索するジェド：
ありがとうございます。試してみました。著者の代わりに製造プラットフォームの種類 (製油所や化学工場の処理ユニットの種類など) を入力しました。説明文の単語から製造プラットフォームを予測できますか? 全体的な誤分類率は 60% でした。分類の概要を見ると、予測された最高率は約 0.6 でした。したがって、1 つのプラットフォームの問題はそのプラットフォームに固有のものではないと結論付けても問題ありません。これは、プラットフォーム間で共通する機器やプロセスが多数あるため、理にかなっています。解決策はプラットフォーム間で探す必要があるという私の仮説は妥当に思えます...
Re: テキスト エクスプローラー: 指定されたドキュメントから類似のドキュメントを検索するマイク：
興味深いのは、トピック分析と SVD を比較することです。SVD では、約 56% が同じことについて話していることが示されています。
いくつのトピック/クラスターを要求すべきか考え直しています。何かアドバイスはありますか? これに相当するスクリープロットはありますか?
Re: テキスト エクスプローラー: 指定されたドキュメントから類似のドキュメントを検索するクレイグ：
問題を解決するために使用されたツールやテクニックに関するメタデータは十分にあります。私は、それを自由形式のテキスト ストーリーと照合しています。つまり、メタデータまたはストーリーのどちらを真実として信頼できるかということです。あなたの提案を試してみます。JMP はコーパス内の高頻度トークンです...
退職後の生活が順調であることを祈ります!
