Text Explorer Analysisで重要でない用語を削除するための戦略Text Explorerの分析から重要でない用語を削除する方法を決定するために人々がどのような戦略を使用しているのか興味があります。
私は顧客と仕事をしていて、彼らは用語の数をもっと扱いやすいものに、そして潜在的な意味論的分析が行われたときのパーセントの変化をもっと説明するものに減らしたいと思います。
彼らは、特異値合計パーセントの上位x％についてLSA、次にRotatedTopic Analysisを対話的に実行してから、用語を削除します。
どのようにして賢い方法で用語を削除しますか？
私は彼らが各トピックの各用語の絶対値を使用して、最も低いスコアを選ぶことを提案しました（それらの単語がどんなトピックにも貢献していないので）。
また、Gen Regを使用して結果変数に対してトピックをモデル化し、その結果にとって重要ではないトピックを見つけ、（LASSOを使用して）ゼロエンドトピックから上位の用語を削除しました。私はこのアプローチについてはよくわかりません。
他に何か考えやアイデアはありますか？これを公開コミュニティに投稿する必要がありますか？
テキストエクスプローラ分析で重要でない用語を削除するための戦略文書よりも出現頻度の高いすべての用語からストップワードを作成してみてください。私がグーテンベルクの本のプロジェクトのためにそれをしたとき、それは英語の定型文がなくなったので言語をより良く分離しました。少なくともそれが私が結果を解釈した方法です。
テキストエクスプローラ分析で重要でない用語を削除するための戦略多くの指針となる規則と規則がありますが、多くの例外があります。これまでのところルールはあなたを導いてくれるだけです。意味のある分析を行うには、ドメインの専門家が、無意味な用語を見つけてそれらを止めるために用語リスト（後でフレーズリスト）を調べるのにかなりの時間を費やす必要があります（ala Craige）。はい、リストを一度に1つの用語でキュレーションすることを意味します。
そのため、この分析は完全に自動化されたプロセスではありません。トークン化、用語化、およびフレーズのパラメータは役立ちますが、それらはそりこりであり、メスではありません。私がJMPのコースを書いている間に話したすべての専門家はアナリストがリストにこの時間を費やさなければならないと私に話しました。彼らはJMPよりもはるかに強力な分析システムであるSAS Text Minerを使用していましたが、それでもこの作業を避けることはできませんでした。
テキストエクスプローラはアナリストのための素晴らしいツールを提供します。解決策ではなくツール。
私はそれが分析によって答えられる質問を定義することが本当に役立つことを付け加えなければなりません。あなたが「この言葉を守るべきですか」と尋ねるとき、この一連の質問はあなたに役立つでしょう。または「この用語をどのように使用しますか」
テキストエクスプローラ分析で重要でない用語を削除するための戦略にサポートを追加する @markbailey 。共通の接続語などを捨てることは別として として @Craige_Hales これは非常に手動のプロセスであることを示唆しています。Markが言及している広いストロークを得るための良い本は、Minerの実用的なテキストマイニングです - しかし、それはあなたがそれをスライスする方法で多くの試行錯誤です。
Mテキストエクスプローラ分析で重要でない用語を削除するための戦略素晴らしい提案！用語とフレーズのキュレーションをすべて実行した後で、私は特に何かを探しています。それは「この単語は重要だと思う」という分析手法を超えたものです。私はCraigeの提案が大好きです！
トップタームを見つけるための分析的なテクニックがあるので、ボトムタームはどうでしょうか。
テキストエクスプローラ分析で重要でない用語を削除するための戦略こんにちはローラ、
私が昔から覚えていたことの1つは、SVD散布図マトリックスを生成し、そのプロットを用語とフェーズリストの両方からストップワードを見つけるのに役立つツールとして使用するという提案です。 いくつかのフレーズを選択すると、それはまた用語を強調表示します。 その後、「テキストを表示」をクリックして、用語/フレーズをそのまま使用するのか、それともストップワードとして追加するのかを確認できます。
ベスト、
ビル
テキストエクスプローラ分析で重要でない用語を削除するための戦略目的が結果変数に関連する重要な用語を除外することである場合は、DTM列を使用して直接変数選択のためにGenRegを実行することができます。 これは大きな後退であるため、終了するまでしばらく時間がかかります。トロントカジノのデータの例として、Lassoを1,787のバイナリDTMカラムで実行しました。完了までに約20分かかりました。私は、それらのうちの483個の有効（ゼロでない）項が統計的に有意であることを見出しました（p値<0.05）。
より視覚的な方法は、Word CloudのColoring / By Column Valueオプションを使用することです。結果変数によって単語を着色すると、どの単語が結果に関連付けられているかがわかります。混色のものは、結果と関連がないか、またはそれほど関連していません。
