在Text Explorer Analysis中刪除不重要術語的策略我很好奇人們用什麼樣的策略來決定如何從Text Explorer分析中刪除不重要的術語。
我正在與一位客戶合作，他們希望將術語的數量減少到更易於管理的東西，並且可以解釋潛在的語義分析（在單數值下報告的累積百分比）時更多的百分比變化。
他們正在積極地進行LSA然後進行RotatedTopic分析，獲得奇異值累計百分比的前x％（他們希望達到70％），然後刪除術語。
我們如何以智能方式刪除條款？
我建議他們為每個主題使用每個術語的絕對值，並選擇最低分數（因為這些單詞對任何主題都沒有貢獻）。
他們還使用Gen Reg根據結果變量對主題進行建模，以找到對該結果不重要的主題，並從零主題中刪除頂級術語（使用LASSO）。我對這種方法不太確定。
還有其他想法或想法嗎？我應該把這個發佈到公共社區嗎？
Re：在Text Explorer Analysis中刪除不重要的術語的策略嘗試使用比文檔更多出現的所有術語製作停用詞。當我為Gutenberg項目的書籍做到這一點時，它使語言分離得更好，因為英語樣板文本消失了。至少我是如何解釋結果的。
Re：在Text Explorer Analysis中刪除不重要的術語的策略有許多指導原則和規則，但有許多例外。規則只能讓你到目前為止。有意義的分析需要領域專家花費大量時間檢查術語列表（以及後面的短語列表）以發現無意義的術語並阻止它們（ala Craige）。是的，我的意思是一次一個學期列出名單。
因此，這種分析不是一個完全自動化的過程。標記，篡改和短語參數有幫助，但它們是一個雪橇，而不是手術刀。我在為JMP編寫課程時與我交談過的所有專家告訴我，分析師必須把這段時間花在名單上。他們使用的是SAS Text Miner，這是一個比JMP更強大的分析系統，但仍然無法避免這項工作。
Text Explorer為分析師提供了很棒的工具。工具，而不是解決方案。
我應該補充一點，確定分析要回答的問題確實很有幫助。當你問“我應該保留這個詞嗎？”時，這套問題對你很有幫助。或者“我將如何使用這個術語？”
Re：在Text Explorer Analysis中刪除不重要的術語的策略添加支持 @markbailey 。除了拋棄常見的連接詞等 如 @Craige_Hales 建議，這是一個非常手動的過程。獲得馬克提到的廣泛筆劃的好書是Miner的實用文本挖掘 - 但是無論如何，你都會嘗試大量的試驗和錯誤。
中號Re：在Text Explorer Analysis中刪除不重要的術語的策略很棒的建議！在完成所有術語和短語策劃之後，我特意尋找一些東西 - 這是一種超越“我認為這個詞可能很重要”的分析技術。我喜歡Craige的建議！
我們使用ANALYTICAL技術來查找最高項，那麼底層條款呢？
Re：在Text Explorer Analysis中刪除不重要的術語的策略嗨勞拉，
我記得的一件事就是建議生成SVD散點圖矩陣並使用該圖作為工具來幫助從術語和解析列表中找到停用詞。 選擇一些短語，它也會突出顯示這些術語。 然後，您可以“顯示文字”以查看是否要保留術語/短語或將其添加為停用詞。
最好，
法案
Re：在Text Explorer Analysis中刪除不重要的術語的策略如果目標是篩選出與結果變量相關的importatnt術語，則可以直接使用DTM列運行GenReg以進行變量選擇。 由於它是一個大的回歸，它需要一段時間才能完成。對於多倫多賭場數據的例子，我用1,787二進制DTM列運行了Lasso。完成大約需要20分鐘。我發現它們中的483個有效（非零）項203具有統計學意義（p值<0.05）。
更直觀的方法是使用Word Cloud中的“著色/按列值”選項。通過結果變量對單詞著色可以讓您看到哪些單詞與結果相關聯。具有混合顏色的那些與結果沒有或沒有關聯。
