모두에게 - 텍스트 탐색기를 사용하여 운송 환경에서 몇 가지 흥미로운 "사건" 데이터를 분석하고 있습니다. 나는 주제 분석을 사용하고 있으며 약 15개의 합리적인 "주제"를 식별했습니다. 내 샘플 세트에서 각 주제를 "포함"하는 문서의 수를 찾을 수 있습니까? 그렇게 할 방법을 찾지 못했습니다.
모든 안내 환영
감사
좋은 접근 방식인 것 같습니다. 누군가 각 주제의 관련성에 대해 "컷오프" 포인트를 선택하는 정량화 가능한 방법을 알고 있다면 훌륭할 것입니다.
문서 주제 벡터를 사용할 수 있어야 합니다.아마도 누군가가 각 벡터에 대한 결정 지점을 선택하는 정량화 가능한 방법을 알고 있을 것입니다. 저는 시각적으로 그리고 문서를 확인하여 그렇게 했습니다.
Names default to here( 1 );
dt = Open( "$Sample_data/Aircraft Incidents.jmp" );
te = dt << Text Explorer(
Text Columns( :Final Narrative ),
Latent Semantic Analysis(
1,
Maximum Number of Terms( 2128 ),
Minimum Term Frequency( 10 ),
Weighting( "TF IDF" ),
Number of Singular Vectors( 100 ),
Centering and Scaling( "Centered and Scaled" )
),
Topic Analysis( 1, Number of Topics( 10 ) ),
Tokenizing( "Basic Words" ),
Language( "English" ),
SendToReport(
Dispatch( {}, "Term and Phrase Lists", OutlineBox, {Close( 1 )} ),
Dispatch( {}, "SVD Plots", OutlineBox, {Close( 1 )} ),
Dispatch( {}, "Topic Terms", OutlineBox, {Close( 1 )} ),
Dispatch( {}, "Topic Scores Plots", OutlineBox, {Close( 0 )} )
)
);
//Save the topic vectors
te << Save Document Topic Vectors;
//Decide what values relate to documents that contain the topic:
dt << Distribution(
Continuous Distribution( Column( :Topic 1 ) ),
Continuous Distribution( Column( :Topic 2 ) ),
Continuous Distribution( Column( :Topic 3 ) ),
Continuous Distribution( Column( :Topic 4 ) ),
Continuous Distribution( Column( :Topic 5 ) ),
Continuous Distribution( Column( :Topic 6 ) ),
Continuous Distribution( Column( :Topic 7 ) ),
Continuous Distribution( Column( :Topic 8 ) ),
Continuous Distribution( Column( :Topic 9 ) ),
Continuous Distribution( Column( :Topic 10 ) )
);
//Select rows with topic 1
dt << Select where( :Topic 1 > 5 );
//Or, count rows with topic 1:
Sum( (Column( dt, "Topic 1" ) << Get values) > 5 );
//returns 169
