50019_ja-JP

liliconcom

テキスト エクスプローラー - トピック分析のヘルプが必要

親愛なる - Text Explorer を使用して、輸送環境における興味深い「インシデント」データを分析しています。 私はトピック分析を使用しており、約 15 の適切な「トピック」を特定しました。 サンプル セット内の各トピックに「含まれている」ドキュメントの数を調べることは可能ですか?それを行う方法は見つかりませんでした。

どんなガイダンスも歓迎

ありがとう

Re: テキスト エクスプローラー - トピック分析のヘルプが必要

良いアプローチのように見えます-そこにいる誰かが、各トピックベクトルの関連性について「カットオフ」ポイントを選択する定量化可能な方法を知っているなら、それは素晴らしいでしょう

Re: テキスト エクスプローラー - トピック分析のヘルプが必要

ドキュメントのトピック ベクトルを使用できるはずです。誰かが各ベクトルの決定点を選択する定量化可能な方法を知っているかもしれません。

 

Names default to here( 1 );

dt = Open( "$Sample_data/Aircraft Incidents.jmp" );

te = dt << Text Explorer(
 Text Columns( :Final Narrative ),
 Latent Semantic Analysis(
  1,
  Maximum Number of Terms( 2128 ),
  Minimum Term Frequency( 10 ),
  Weighting( "TF IDF" ),
  Number of Singular Vectors( 100 ),
  Centering and Scaling( "Centered and Scaled" )
 ),
 Topic Analysis( 1, Number of Topics( 10 ) ),
 Tokenizing( "Basic Words" ),
 Language( "English" ),
 SendToReport(
  Dispatch( {}, "Term and Phrase Lists", OutlineBox, {Close( 1 )} ),
  Dispatch( {}, "SVD Plots", OutlineBox, {Close( 1 )} ),
  Dispatch( {}, "Topic Terms", OutlineBox, {Close( 1 )} ),
  Dispatch( {}, "Topic Scores Plots", OutlineBox, {Close( 0 )} )
 )
);

//Save the topic vectors
te << Save Document Topic Vectors;

//Decide what values relate to documents that contain the topic:
dt << Distribution(
 Continuous Distribution( Column( :Topic 1 ) ),
 Continuous Distribution( Column( :Topic 2 ) ),
 Continuous Distribution( Column( :Topic 3 ) ),
 Continuous Distribution( Column( :Topic 4 ) ),
 Continuous Distribution( Column( :Topic 5 ) ),
 Continuous Distribution( Column( :Topic 6 ) ),
 Continuous Distribution( Column( :Topic 7 ) ),
 Continuous Distribution( Column( :Topic 8 ) ),
 Continuous Distribution( Column( :Topic 9 ) ),
 Continuous Distribution( Column( :Topic 10 ) )
);

//Select rows with topic 1
dt << Select where( :Topic 1 > 5 );

//Or, count rows with topic 1:
Sum( (Column( dt, "Topic 1" ) << Get values) > 5 );
//returns 169