トピックスコアの解釈私たちは、テキストエクスプローラーのアプローチに取り組んでおり、トピックスコアの解釈を伝えようとしています。 たとえば、トピック内の用語の正の値と比較した負の値。 いくつかの例を手伝ってくれる人を紹介してもらえますか?ヘルプメニューは、負の値の項が正の値に比べて発生する頻度が少ないことを示唆していますが、実際のデータセットを調べると、これはうまくいっていないようです。
したがって、それは、それぞれの一端が正で、一端が負である線形スケールのようです。 単語がスケールの一端に近いほど、正または負の用法を示します。 どんな視点でも大歓迎です。
Re:トピックスコアの解釈こんにちはローラ、
申し訳ありませんが、私はこの回答を読みましたが、ありがとうとは決して言いませんでした。どうもありがとう!これはとても役に立ちました。
-ジェフ
Re:トピックスコアの解釈技術的には逆も当てはまりますが、実際には、そのようなシナリオに遭遇することはないと思います。その理由は、大きな負荷のほとんどが負の場合にのみサインを反転させるためです。テキストデータでは、大きなポジティブを持つことはあまり一般的ではありませんそして負の負荷。そのような場合にのみ、逆を見つけることを期待します。要するに、トピックの意味を確実に理解するために、スコアと一緒にトピックの読み込みを調べる際に正しいことをしています。各トピック(たとえば、「製品への満足度」)にラベルを付けて、スコアを「高いスコアは製品への満足度が高い」という意味で解釈できるようにしたいとします。
ベスト、
〜ローラ
Re:トピックスコアの解釈ありがとう、これは私の直接の例に役立ちます。 同様の質問は、私も逆を期待する必要がありますか?たとえば、トピックスコアプロットの強い否定的な例で、テキストが強く否定的である必要があることを意味するポジティブなトピックスコアが得られますか?
Re:トピックスコアの解釈こんにちは @reese_sj 、
指摘してくれてありがとう!実際、特異値分解がすべて負の負荷のトピックにつながる場合があります。トピックの解釈を容易にするために、ローディングのサインは反転され、常にポジティブになります。これらの場合、トピックのスコアも反転する必要がありますが、現在は反転していません。私たちはそれを認識しており、今後のリリースでこれに対処する予定です。ここでは、トピックスコアを取得して-1で乗算する新しい数式列を作成します。反転する必要があるトピックスコアを特定する簡単な方法は、(1)レポートの「トピックスコアプロット」を見て、(2)最も極端なスコアの観測を選択して、(3)「テキストを表示」をクリックして、(4)トピック内のドキュメントと用語の対応を確認します。
「Pet Survey.jmp」データの例を次に示します。
私はテキストエクスプローラーを起動し、すべてのデフォルトで潜在セマンティック分析とトピック分析を実行しました。最初の2つのトピックの上位の読み込みは次のとおりです。
次に、スコアプロットを見て、トピック1の最高スコアのテキストを取得します。
肯定的なトピックの読み込みは、ドキュメントのコンテンツに対応しています。したがって、より高いトピック1のスコアは、もっと 「家を守る犬」について。
対照的に、トピック2の最も極端な値のテキストを調べると、より低いスコアは、もっと 「冬にそりに乗るハスキー」について
スコアを反転するタイミングを特定する最も簡単な方法は、最も極端な値が負であるが、そのトピックの負荷が正である場合です。
これにより、分析を進めることができますように!
ベスト、
〜ローラ
Re:トピックスコアの解釈トピックスコアの解釈に関する問題:
私の星の評価にプラスの影響を与えると思われるトピックがあります。DTMとインジケーターの列を使用して、トピック「Absolutley」と「Love」の2つの主要な用語を調べました。ご覧のように、単語の1つを使用すると星評価が上がり、両方の単語を使用するとさらに高くなります。 非常に小さいNであることに注意してください。

さらに掘り下げてみると、トピックを保存すると、カウントと用語のスコアリング方法の間に負の相関があるようです。 これは、負荷が正の場合でも発生します。 このトピックについて調べて見つけることができましたが、これをgenreg(または他のモデリングアプローチ)にロードした場合、効果が正しいかどうかはわかりません。それらが適切に扱われていることを確認するために、すべてのトピックと用語を手動で調べます。
以下に示すように、私がAbsolutelyとLoveという言葉を使用する場合、それらがより多く使用されるか、または一緒に使用されると、あらゆるモデリングアプローチと同様に、マイナスの影響を大きく引き起こします。

Re:トピックスコアの解釈ぜひやってみます。ありがとうございました。
Re:トピックスコアの解釈スコット、
目的が結果変数に関連する用語を選別することである場合は、DTM列を使用してGenRegを実行することをお勧めします。 これは大きな回帰であるため、完了するまでにしばらく時間がかかります。たとえば、ouctomeはYes / Noタイプの応答であり、18,000行のデータセットで1,782バイナリDTM列を使用してLassoを実行しました。完了するまでに約20分かかりました。483のアクティブな(ゼロ以外の)用語が見つかりました。統計的に有意なもののみを保持する場合(p値<0.05)、項の数はちょうど203です。
より視覚的なアプローチは、ワードクラウドのカラーリング/列の値によるオプションを使用することです。単語を結果変数で色分けすると、どの単語が結果に関連付けられているかを確認できます。色が混ざったものは、結果に関連しないか、あまり関連していません。
建
Re:トピックスコアの解釈ちなみに、私はパーセント記号を使用し、エントリは「ブリープ」として記録されました... おそらく別の再コーディングopporunity
(スマイリーフェイス)。
Re:トピックスコアの解釈私のトピックを進化させ、改善し続けるにつれて、ストップワードの追加に関するガイダンスを探しています。 各用語がすべてのトピックと相関していることはわかっていますが、各トピックの多様性を減らして、トピックと強い相関がある用語が少なくなるようにしたいと考えています。 これにより、関心のある特定のトピックに適切に対応できます。 現在のデータセットには結果変数があります。
次のアプローチについてコメントしていただけますか:トピック(特異値**ブリープ**パーセントカットオフに基づくトピックの数)を構築し、ドキュメントトピックベクトルを保存し、トピックでgenregを実行し、影響が最も少ないトピックを確認します。インパクトの少ない各トピックからリードタームを特定し、それをストップワードとして追加して、「実行可能な」ソリューションが見つかるまでサイクルを繰り返します
Re:トピックスコアの解釈ジェフ、
ご質問ありがとうございます。ローラの優れた説明に付け加えましょう。はい、トピックの読み込みという用語は、用語と対応する潜在的なトピックとの相関関係を表しています。ただし、ドキュメントトピックベクトル(つまり、トピックスコア)は、DTMが大きすぎてそうできないかもしれないという懸念からJMPによってスケーリングされないため、ドキュメントトピックベクトルとDTM列の間の相関は、報告された用語トピックと一致しません。ローディング。しかし、あなたが知ったように、彼らは非常に近いです。
建
Re:トピックスコアの解釈こんにちはあずきっく 、
すばらしい質問です。潜在的意味分析(LSA)およびトピック分析(TA)は、スパース特異値分解(SVD)に依存して、非常に効率的な方法でデータの構造を特徴付けます。つまり、数百または数千の列を持つドキュメントタームマトリックス(DTM)があるにもかかわらず、スパースSVDアルゴリズムでは、特異値と特異ベクトル(最も重要なもの)の一部のみを取得できます。
スパースSVDを引き続き利用するために、TAスコアはローテーションされたPCAとTAで異なる方法で計算されます(スコアは標準のPCAとLSAの間で同一であることに注意してください)。回転したPCAでは、スコアはDTMの相関行列と特異値の逆数によってスケーリングされます(DTMの相関行列の反転は、大きなコーパスでは扱いにくくなります。数千列の行列を反転すると想像してください)。一方、TAスコアはこのスケーリングを省略します。TAスコアは、回転した低次元空間へのDTMの単純な投影です。
さらに、計算の違いにもかかわらず、TAスコアはPCAスコア(> .90)と高度に相関していることがわかります。重要なことに、トピックの読み込みは、DTM列と対応するPCAコンポーネントの正確な相関関係です。したがって、TAスコアはPCAスコアの非常に優れた近似と考えることができます。
HTH、
〜ローラ
PSこれらは式です:
pcaScores = DTM_s * Inverse(DTM_cor)* evec * Diag(Sqrt(eval))* rotMat
taScores = DTM_s * evec * rotMat
ここで、DTM_sは標準化されたDTM、DTM_corはDTMの相関行列、evecはDTMの固有ベクトル(または右特異値)、evalはDTMの固有値(または平方特異値)、rotMatは回転行列。
Re:トピックスコアの解釈ありがとう!Re:トピックスコアの解釈そして、これを読んでいる他の人のために、のオンデマンドバージョンがあります @jiancao のウェブキャスト:
マーケティング分析と消費者調査 。
Re:トピックスコアの解釈こんにちはあずきっく 、あれは @jiancao 今日のMastering JMPウェブキャストで。
ここで彼にタグを付けることにより、彼はあなたの質問について通知され、必要に応じてチャイムできます。
ありがとう!
Re:トピックスコアの解釈こんにちはクリス、
私は「JMP Proを使用した拡張マーケティング分析と消費者調査(上級)」と呼ばれるJMPウェビナーを見たところです。
話者の名前を逃したのは恥ずかしいですが、彼はトピックのローディングを非常に直感的に解釈してくれたと思いました。私が彼を正しく理解していれば、トピック内の特定の単語のトピック読み込みは、ドキュメント用語マトリックス内のその単語のベクトルと対応するドキュメントトピックベクトルの間の相関として解釈できます。偽の例を作るために、「トピック1」があり、そのトピックの最初の用語が「オレンジ」であるとしましょう。「オレンジ」の負荷は0.85361と表示されます。ドキュメント用語マトリックスで「トピック1」と「オレンジ」のベクトルの間の相関を計算すると、0.85361になるはずです。
これはいい説明だと思い、自分で作り直してみましたが困っています。相関は近いですが正確ではありません。なぜそうなのか、何か考えはありますか?それが役立つ場合は、「Aircraft Incidents.jmp」ファイルの例を提供してみます。
どんな助けでもありがたいです!
おかげで、
-Jeff Swartzel
Re:トピックスコアの解釈ありがとうございました。 ドキュメンテーションに関してフォローアップの質問があります。 現在、トピック分析では、負の値は反発力を示し、正の値に比べて発生頻度が少ないと述べています。
file:/// C:/Program%20Files/SAS/JMPEA/14/Help/index.html#page/jmp%2FBA_Text_Explorer_19.html%23ww428969
Re:トピックスコアの解釈ありがとう、これはとても役に立ちます。
スコット
Re:トピックスコアの解釈こんにちはスコット-(1)SVDの結果はドキュメント用語マトリックス(DTM)のPCAと同一であり、(2)トピック分析はSVD結果のVARIMAXローテーション。これは、トピック分析がDTMの因子分析と数学的に同一であることを意味します。
これは、因子分析のテキストから収集できるすべての解釈ツールと経験則がトピック分析に適用されることを意味します。 これも
(1)スコアの符号には意味がありません。 JMP数値ツールは、各次元の最大荷重(回転されていない荷重)が正になるようにします。 この規則は、結果を再現可能でユニークなものにするために採用されました(それ以外の場合、5次元を要求すると、10次元では-1倍の結果になる可能性があります)。 荷重の規則は、スコアに適用され、適用される必要があります。
(2)中心化およびスケーリングされたSVDに基づくトピック分析には、従来の因子分析と同じ因子数の上限に関するルールがあります。 たとえば、1.0より大きい特異値が10個しかない場合、10個を超えるトピックを要求することはありません。
JMP R&Dの多変量解析の常駐エキスパートであるLaura Castro-Schiloは、テキストエクスプローラーと従来の多変量統計手法との間の対応の理解と活用に関する2つの優れたブログを書いています。
JMPerケーブル: テキストエクスプローラーの新しい外観
JMPerケーブル: 社会科学におけるテキスト分析:新しい可能性のスペクトル
@reese_sj 書きました:
私たちは、テキストエクスプローラーのアプローチに取り組んでおり、トピックスコアの解釈を伝えようとしています。 たとえば、トピック内の用語の正の値と比較した負の値。 いくつかの例を手伝ってくれる人を紹介してもらえますか?ヘルプメニューは、負の値の項が正の値に比べて発生する頻度が少ないことを示唆していますが、実際のデータセットを調べると、これはうまくいっていないようです。
したがって、それは、それぞれの一端が正で、一端が負である線形スケールのようです。 単語がスケールの一端に近いほど、正または負の用法を示します。 どんな視点でも大歓迎です。