揚聲器 | 成績單 |
| 粘土巴克 | 謝謝，我叫克萊·巴克。 我是JMP小組的統計開發人員，今天我將要談論JMP pro 16中的新功能。 這就是術語選擇，我已經與我的同事Paris Faison和Ernest Pasour一起工作。 |
| 因此，文本數據在實踐中變得越來越普遍。 我們可能會對客戶對所生產產品的評論，對某些事件的描述或某些設備的維護日誌。 |
| 在此示例中，我來自幻燈片 |
| 飛機事故...樣本數據中的事故數據集。 |
| 每一行數據都是對某些航空事故，墜機或其他類型故障的描述。 |
| 因此，如果您從未使用過Text Explorer平台，它將在JMP 13中引入，我們主要使用它來幫助匯總和分析文本數據。 |
| 因此，它使執行諸如查看最頻繁或最常見的單詞和短語之類的常見任務變得容易，並且使諸如文檔的聚類或主題之類的主題的查找變得容易。 一切都由所謂的文檔術語矩陣驅動。 |
| 那麼，文檔術語矩陣是什麼？ 最容易想到的只是將其視為每個文檔是否包含特定單詞或短語的指標變量矩陣。 |
| 我們可以根據每個文檔中單詞出現的頻率來加權。 因此，每個文檔在我們的文檔術語矩陣中都是一行，而每一列都是一個單詞。 |
| 因此，對於這裡一個非常簡單的示例，第一行是“比薩包裝令人沮喪”。 所以我們的包裝是1 |
| 比薩餅為1，挫敗感為1，其他所有單詞均為0。 同樣，對於第二行，對於氣味，好吃，好吃的披薩，我們還有1，而在其他地方為0。 這只是每個文檔中出現的單詞的簡單摘要。 |
| 我還提到了文檔術語矩陣有幾個變體。 最簡單的是二進製文件。它只是一和零。 |
| 但是我們可能希望包括有關每個單詞出現頻率的信息，因此這是另一個略長的句子，其中比薩餅出現了多次。 |
| 在二進製文檔術語矩陣中，該披薩列仍為1，因為我們不在乎它出現的頻率。 對於三進制為2，因為三進制為零，一和二。 如果未出現該單詞，則為0；如果出現一次，則為1；如果出現多次，則為2。 |
| 無論在這裡是否發生四次，我們仍然將其編碼為2。 然後頻率真的很簡單。 這只是每個單詞在該文檔中出現的次數。 |
| 所以這是三個非常簡單的方法，我們還提供了TF-IDF加權，這有點像相對頻率，但是您可以在 |
| 文本資源管理器平台。 |
| 那麼下一步是什麼？ 接下來您可能要使用的下一件事是什麼？ |
| 您可能希望使用文本來幫助實現某些結果。 所以在這裡，我整理了一些家具評論，並且每個評論都有一個星級評定。 |
| 因此，我們可能會認為這些評論為我們提供了一些線索，說明為什麼有人會評價產品的較高或較低。 因此，在第一行中，“說明令人沮喪”，用戶只給我們打了3分。 如果那...如果這種模式發生了很多人都在評價... |
| 許多較低的評分與說明相關，這可能告訴我們我們需要改進家具隨附的說明。 |
| 因此，簡單的想法是將它們用作回歸模型。 我們要...我們將採用文檔術語矩陣， |
| 我們將其與我們的響應信息相結合，並且我們將進行回歸分析。 |
| 這將幫助我們理解為什麼客戶喜歡或不喜歡我們的家具或我們製造的任何產品。 |
| 它可以幫助我們根據描述對對象進行分類，稍後我們將進行介紹，或者也許我們想根據某些維護記錄來了解為什麼某些計算機出現故障或不發生故障。 |
| 而且我們做到這一點的方法確實很容易。 |
| 我們實際上只是在建立一個回歸模型，其中每個X或我們的預測變量都是項矩陣中的列之一。 因此，如果我們要對產品評分進行建模，那是一個簡單的線性回歸，如果 |
| 如果我們正在模擬二進制結果，例如客戶是否會推薦我們的產品 |
| 可能是數百個單詞，因此不要全部使用它們。 並非所有數據都會有用，因此我們將變量選擇技術應用於我們的回歸模型，我們將獲得一個更易於解釋且更合適的更簡單模型。 |
| 在底部，可以很容易地將這些指標變量與我們的響應等級（星級）結合起來進行可視化。 |
| 因此，我們將在JMP 16中使用的解決方案是將回歸模型引入Text Explorer平台。 如果您曾經使用廣義回歸平台進行變量選擇，那麼我們實際上是將該平台嵌入到Text Explorer中。 |
| 因此，如果您擁有JMP pro，您將在Text Explorer的紅色三角形菜單中看到術語選擇項。 |
| 這是我們真正感到興奮的。 它使構建和完善此類回歸模型變得輕鬆快捷。 |
| 因此，當您啟動該平台時，我們將在短短一分鐘內快速進行一些演示， |
| 在發布之初，它只是在詢問有關我們的響應以及我們想要適合的模型類型的信息。 |
| 因此，它既可以處理星級評定，也可以處理連續響應，並且當您指定連續響應時，它會提供一個過濾器，以便您可以根據響應過濾掉某些行中的某些行。 |
| 當我們有一個名義響應列時，我們選擇目標水平。 因此，在這種情況下，您會推薦我們的產品嗎？是或否。我們將為...建模 |
| 我們將建模建議等於否的建議。 |
| 如果我們有多個級別的響應（例如藍色，綠色，黃色），我們將選擇我們要建模的級別，我們將在幾分鐘內看到一個示例。 |
| 然後，在您指定響應後，我們將為平台提供一些有關我們要適合的模型類型的信息。 |
| 因此，當我們進行變量選擇時，我們將使用彈性網還是套索？ 這些都是內置在廣義回歸中的變量選擇技術。 以及我們將如何進行驗證？ 我們要使用AIC還是BIC？ |
| 此外，我們可以指定有關文檔術語矩陣的詳細信息。 我們可以選擇權重，還可以選擇要考慮的最大項數。 因此，如果我們要考慮前200個最頻繁出現的單詞，那就是現在的200個單詞。 |
| 那麼，當您啟動它並按下運行按鈕時會發生什麼呢？ 基本上它能做的一切 |
| 你需要做。 它可以在後台正確設置數據，因此您不必擔心。 它可以進行變量選擇，所以現在我們有一小部分單詞被認為對預測我們的反應很有用，並且可以輕鬆呈現結果 |
| 解釋報告，並且它是非常互動的，稍後我們將看到。 所以你以前可以做到這一點 |
| 將文檔術語矩陣保存到您的數據集中，自己啟動一個廣義回歸平台， |
| 但您不必再這樣做了。 這就是現在選擇術語的全部。 |
| 這樣的模型規範，我們怎麼知道，我們怎麼知道要選擇什麼？ |
| 可用的估計方法是彈性網和套索。 記住兩者之間區別的簡單方法 |
| 是彈性網傾向於選擇相關預測變量組。 因此，在這種情況下，當我們的預測變量都是單詞時， |
| 這意味著它將傾向於選擇傾向於同時出現的單詞組。 因此，如果您想到說明和手冊， |
| 由於使用手冊，這些詞經常在一起出現。 因此，這兩個預測變量將高度相關，並且彈性網可能會選擇它們兩者，而套索可能會選擇指令或手冊，但不一定會選擇兩者。 |
| 驗證方法，我們有AIC和BIC。 |
| 這樣的經驗法則是，AIC傾向於過度選擇模型，而BIC傾向於選擇不足。 所以在我們的規格中 |
| 只是AIC傾向於選擇較大的一組單詞，而BIC則會選擇較小的一組單詞。 |
| 就個人而言，我傾向於在設置中頻繁使用AIC，因為我寧願多說而不是少說一些單詞，但這確實是一個優先選擇的問題。 |
| 以及文檔術語權重... |
| 我的意思是文檔術語矩陣加權。 |
| 這真的取決於您的問題。 所以在這個例子中 |
| 油漆一詞在評論中多次出現。 這可能意味著審稿人非常... |
| 用...油漆對於那個審閱者來說非常重要，這在我們的回歸模型中可能是有意義的，所以我們想使用像頻率這樣的加權而不是二進制。 |
| 因此，一旦啟動術語選擇，您將最終到達像這樣的地方 |
| 左側所有文檔的摘要，以及我們在右側選擇的所有單詞的摘要。 我現在暫時跳過這一點；當我們開始進行演示時，更容易看到。 |
| 我們認為非常有用的另一件事是，我們有一個摘要，因此您可以使用術語選擇來擬合一系列模型，然後將它們全部概括在頂部，並可以在它們之間來回切換。 再過一會，我們將看到這一點。 |
| 因此，讓我們看一下平台。 |
| 首先，我們來看一下 |
| JMP樣本數據文件夾中的飛機事故數據集。 |
| 因此，表中的每一行都是一個事件。 我們知道飛機受到了多少損壞，有人受傷了，我們對此進行了描述。 因此，最後一列是對事件中發生的情況的準確描述。 |
| 因此，我們將啟動文本資源管理器，如果您以前從未使用過文本資源管理器，則左邊是最常出現的術語，右邊是最常出現的短語，所以是詞組。 |
| 所以我們想用這些詞來理解 |
| 這...導致撞車的原因是造成更多的傷害，甚至造成更大的傷害，甚至可能造成更嚴重的傷害。 因此，我們將轉到紅色三角形菜單，並要求選擇術語。 |
| 因此，現在我們看到了剛才正在查看的發射，我想進一步了解傷害。 特別是我想...我可能想區分飛機被摧毀的事件與損害較小的事件，因此我們將選擇要摧毀的目標高度。 |
| 我會提一下，這種提早停止功能可以節省時間。 所以 |
| 當我們進行變量選擇時，解決更大的問題可能會非常耗時。 如果您選中此復選框，它會說 |
| 我們認為我們有一個足夠好的模型；我們將繼續並儘早停止。 我傾向於取消檢查，除非我知道我還有更大的問題。 |
| 因此，我將其留給彈性網，AIC，然後開始運行。 |
| 因此，現在在後台發生的事情是它創建了我適合該回歸模型所需的數據，並且它在後台擬合了回歸模型，現在我有了摘要。 所以每個 |
| 每個文檔都在左面板上匯總，因此這是第一起飛機事故，這是第二起飛機事故，這是空白。 |
| 所以第一個是，飛機接觸了跑道側面的積雪。 |
| 並且我們已將所有重要的單詞都突出顯示，因此藍色單詞的係數為負，橙色單詞的係數為正。 |
| 如果我們對這些詞感興趣，我們可以看一下右邊的面板。 我傾向於按係數排序，因此您只需單擊頂部。 |
| 因此，在這種情況下，具有負係數的單詞被破壞的可能性較小。 因此，如果 |
| 該文檔中包含著陸一詞，如果飛機已經達到著陸點，則可能不是很嚴重的事件。 因此，這些可能性較小 |
| 毀了。另一方面，我們可以看看最積極的用語，這些是與被毀飛機最相關的詞語。 |
| 那些是火，見證人。 如果他們在採訪目擊者以描述事件，則可能意味著飛機上的任何人都無法進行採訪。 |
| 所以火，雷達，旋轉，夜晚，這些都是與 |
| 被摧毀。 |
| 現在，也許我們也對傷害級別感興趣，具體地說，我們將研究最嚴重的傷害級別。 |
| 我們將再次進行術語選擇。 |
| 我會接受這一點以保持快速。 |
| 所以現在我們可以做類似的事情，但現在要關注的是傷害水平。 |
| 因此，如果面試包括機長或著陸，那麼就傷害程度而言，這可能不是很嚴重。 |
| 但是，如果再次提到雷達，夜晚，山脈，這些是更嚴肅的話。 因此，我們可以快速地在這兩個之間來回切換...這兩個響應，看看哪些詞可以預測這兩個 |
| 傷害等級和傷害等級。 |
| 因此，讓我們看另一個例子。 |
| 所以這是我真正喜歡的。 之前，我在示例中談論披薩。 現在我們要談啤酒。 所以這些顯然是我心中親愛的。 |
| 所以我在這裡是我已經...根據一些啤酒評論，我下載了每種啤酒風格的描述 |
| 身體。 |
| 因此，每種啤酒都有其說明。 |
| 它說，啤酒來自哪裡。 所以我們有... |
| 美國，德國，愛爾蘭。 |
| 使用術語選擇來查看 |
