您可能會得到一些與此相關的信息。 並連接到桌子。 而不是專業。
聚類的星座圖
// load some documents that might separate into some categories
dt1 = Open( "f:/gutenberg/books5000.jmp" ); // 5000 is too many, subset 36...
dt1 << selectwhere( Starts With( Loc Class, "D501" ) | Starts With( Loc Class, "TX:" ) | Starts With( Loc Class, "Q" ) | Starts With( Loc Class, "P" ) );
dt2 = dt1 << subset( selected rows( 1 ) );
Close( dt1, nosave );
originalnames = dt2 << getColumnNames();
te = dt2 << Text Explorer(
Text Columns( :text ), // the entire document is in one cell of the row
Add Stop Words(
{"agreement", "almost", "another", "company", "copyright holder", "electronic", "foundation", "gutenberg", "literary archive", "little",
"person or entity", "project", "public domain", "research", "without"}
),
Minimum Characters per Word( 6 ),
Stemming( "Stem for Combining" ),
Language( "English" )
);
te << savedocumenttermmatrix( Maximum Number of Terms( 300 ), Minimum Term Frequency( 25 ), Weighting( "TF IDF" ) );//BINARY would use ALL rather than !any, below
te << closewindow;
// remove all-connected columns
allnames = dt2 << getColumnNames();
For( iname = N Items( allnames ), iname > N Items( originalnames ), iname -= 1,
If( !Any( dt2[0, iname] ),
dt2 << deletecolumns( iname )
)
);
allnames = dt2 << getColumnNames();
cols = (N Items( originalnames ) + 1) :: N Items( allnames );
dt2 << Hierarchical Cluster( Y( allnames[cols] ),
Label( Transform Column( "Label", Character, Formula( Left( left(LoC Class,4)||:Subject||:Title, 20 ) ) ) ), // build your own identifier here
Method( "Ward" ), Standardize Data( 1 ), Dendrogram Scale( "Distance Scale" ),
Number of Clusters( 4 ), Constellation Plot( 1 ), Show Dendrogram( 0 ),
SendToReport(Dispatch({"Constellation Plot"},"Clust Hier",FrameBox,{Frame Size( 1056, 716 )}))
);嗨,Craige,
這太棒了! 我不是JSL專家,但可以使用我的數據。 我唯一不知道如何做的是創建一個標籤標識符,該標識符使用列名作為文檔術語矩陣中的術語。 我的文檔術語矩陣有252列。 每個列名稱均使用詞幹值和後綴TF IDF2自動格式化。 例如,一列命名為“ distribut·TF IDF 2”,另一列命名為“ mountain·TF IDF 2”。 我希望將星座點標籤作為詞幹,但不帶後綴(例如,distribut·或mountain·)。 是否有一種簡單的方法可以將文檔術語矩陣的列名中的值用作點標籤?
非常感謝您提供此腳本。
凱西
我不確定;我認為對於每一行,您都需要該行的3或4個最重要的單詞(列名),而它們可能是價值最大的單詞。 當您查看某些行時,這看起來正確嗎? 如果是這樣,那麼創建該標籤列將不是很多預處理步驟。
一次使用一行可能不是正確的答案。在圖中不必與鄰居是一個共同的詞。 除非兩個空間鄰居共享某些單詞。
嗨,Craige,
我剛剛意識到,您發送的腳本使用DTM中的值基於文檔中術語的相似用法來創建文檔集群。 在這種情況下,每個節點代表一個文檔,每個鏈接都基於來自聚類分析的距離值。 我正在嘗試做一些稍有不同的事情。
我想創建一個這樣的星座圖,其中每個節點代表DTM中的TERM,並且每個鏈接都基於某種描述關鍵字共現的統計信息。 這超出了我的專業知識。 我喜歡這樣的圖的想法,但是我不確定以某種方式重新格式化DTM是否合適,以便可以在術語以節點結尾的情況下進行聚類分析(或者我該怎麼做)。 這將實現我基於術語相關性在JMP中創建圖形的目標,可以將其用作交互式數據可視化中的全局過濾器。 但是,這種方式是否會創建不基於文本分析最佳實踐的圖形? 對於那些了解此領域的人來說,使用聚類分析來說明關鍵字共現是否不合適? 如果是這樣,是否有人在JMP中構建了可以進行關鍵字共現分析(使用適當的統計方法進行此類分析)的工具?我有興趣聽取社區對此的反饋意見。 抱歉,我的原始帖子不夠清晰。 Craige,當我需要對文檔進行聚類時,我一定會使用您在第一個響應中發送的腳本! 謝謝你。
只是添加到@Craige_Hales可以幫助您使用潛在類分析對行(文檔)進行分組,並使用潛在語義分析對列(術語)進行分組。 這些平台位於“分析”>“多變量方法”下。 (它們也是內置的,並且專門用於JMP Pro中的Text Explorer。)請參閱JMP文檔...
這個想法是JMP有很多可以協同工作的強大平台。 我的類比是一個圖形計算器。 有很多按鈕,通常需要一個以上的按鈕才能完成工作。 也就是說,沒有一個按鈕可以“完成所有操作”,但是您可以到達那裡。 您需要學習JMP作為第一種方法,而不是嘗試重新創建自定義應用程序。 為什麼要重新發明輪子?
自1994年以來,我一直是JMP的忠實擁護者,因此我意識到它的很多優點,以及如何通過不同的途徑解決不同的問題(這只是我所喜歡的事情之一)。 我總是從JMP開始。 我的專業社區由R用戶主導。 他們可以進行各種分析,但是R創建交互式數據可視化的能力(我的東西)甚至與JMP不在同一個聯盟中。 因此,我堅持使用JMP。 但是,隨著統計方法的發展,只有通過R或JMP Pro才可能進行較大比例的更新分析,而不能使用標準JMP許可證(例如,各種文本分析平台,基本模型選擇程序,這些都是本領域的標準做法) )。 這使我更難進行整體工作,開始在JMP中完成分析。 隨著JMP Pro和標準JMP的距離越來越遠,我發現自己正在向社區諮詢以尋求我可以使用標準JMP許可證解決的問題的可能解決方案。Craige的帖子是社區的一個很好的例子,該社區幫助我找到了在標準JMP中使用DTM對文檔進行分組的方法。 我最近的帖子詢問是否有可能使用標準JMP中的DTM對術語進行分組的類似解決方案。
在這種特定情況下,我試圖將關鍵字共現網絡圖形合併到我在標準JMP中創建的現有交互式可視化中。我不認為我要重新發明輪子。 我認為我要么陷入標準JMP許可的功能壁壘(也許),要么就缺乏實現這一點的知識/創造力(更有可能)。我買不起JMP Pro。 這是我的現實,我認為它不會很快改變。 您提到的潛在類分析和潛在語義分析平台僅在JMP Pro中可用。 當我問有關標準JMP許可證功能的問題並得到答复,告訴我我只能在JMP Pro中執行某項操作時,它並沒有真正幫助我。 如果我的問題可以幫助解決JMP Pro用戶的問題,我感到很高興,但是我仍然面臨嘗試在標準JMP中做一些比起JMP Pro用戶需要更多創造力和知識(JMP用戶社區的兩個驚人特性)的事情的初衷。我自己擁有。
我感謝JMP,JMP的技術支持人員(非常出色)以及這個用戶社區。 在我的預算變得前所未有的龐大之前,我可能會在這裡不斷詢問有關使用標準JMP許可證完成工作的創造性方法的問題(這有時可能會使人望而卻步)。 我同意Mark的觀點,那就是首先需要學習JMP(我享受25多年來一直很喜歡)。 儘管如此,我有時還是很難理解如何使用標準的JMP許可證來滿足不斷增長的分析和可視化需求。 我仍然希望有一種使用標準JMP來創建關鍵字共現網絡圖的合法方法,以將具有完全交互性並且可以另存為JMP表腳本的術語進行分組。 我不知道該怎麼做。 考慮到我正常的閱讀JMP文檔,搜索JMP社區帖子以及僅靠自己進行試驗的過程,我無法弄清楚該如何做。 如果沒有JMP Pro許可證就無法完成,那麼我會讓它漂移並將這種圖形類型保留在我的可視化範圍之外。
很抱歉得到您的長時間回复。 如果JMP的任何人都想在無法負擔JMP Pro的情況下考慮如何使用標準JMP的一些策略,那麼我將建議您一些建議(似乎是一個不錯的博客主題)。 也許這不是此討論板的主題。 如果不是,我對此表示歉意。 如果有人對此有任何建議,請隨時通過caseylott@ymail.com與我離線。