揚聲器 | 成績單 |
| 克萊·巴克 | 謝謝你，我叫克萊巴克。 我是 JMP 小組的統計開發人員，今天我將討論 JMP pro 16 中的一項新功能。 這就是所謂的術語選擇，我和我的同事 Paris Faison 和 Ernest Pasour 一起研究過這個問題。 |
| 因此文本資料在實踐中變得越來越普遍。 我們可能有客戶對我們生產的產品的評論，我們可能有一些事件的描述或某些設備的維護日誌。 |
| 在我的幻燈片上的這個例子中，這是來自 |
| 飛機事故...我們在樣本資料中擁有的事故資料集。 |
| 每行資料都是對某些航空事故、墜機或其他類型故障的描述。 |
| 因此，如果您從未使用過文字瀏覽器平台，它是在 JMP 13 中引入的，我們主要使用它來幫助匯總和分析文字資料。 |
| 因此，它可以輕鬆執行常見任務，例如查看最頻繁或最常出現的單字和短語，並且可以輕鬆執行諸如對文件進行聚類或查找主題（例如主題分析）之類的操作。 一切都是由所謂的文檔術語矩陣所驅動的。 |
| 那什麼是文檔術語矩陣呢？ 最簡單的方法是將其視為每個文件是否包含特定單字或短語的指示變數矩陣。 |
| 我們可以根據該字在每個文件中出現的頻率來衡量這一點。 因此，每個文檔都是文檔術語矩陣中的一行，每列都是一個單字。 |
| 因此，舉一個非常簡單的例子，第一行是「披薩包裝令人沮喪」。 所以我們有一個1用於包裝， |
| 1 代表披薩，1 代表令人沮喪，0 代表所有其他單字。 同樣，對於第二行，我們用 1 表示氣味、很棒、味道和披薩，而在其他地方用 0 表示。 它只是對每個文件中出現的單字的簡單總結。 |
| 我還提到過文檔術語矩陣有幾個變體。 最簡單的是二進制；只是 1 和 0。 |
| 但我們可能想要包含有關每個單字出現頻率的信息，因此這是另一個稍長的句子，其中 Pizza 出現了多次。 |
| 在二進位文件術語矩陣中，披薩列仍然是 1，因為我們不關心它出現的頻率。 對於三進制來說，它是 2，因為三進制是零、一和二。 如果該單字未出現，則為 0；如果出現一次，則為 1；如果出現多次，則為 2。 |
| 不管這裡是否出現四次，我們仍然編碼為2。 然後頻率就很簡單了。 這只是每個單字在該文件中出現的次數。 |
| 這三個非常簡單，我們還提供 TF-IDF 加權，這有點像相對頻率，但您可以了解有關這些加權方案的更多信息 |
| 文字瀏覽器平台。 |
| 那麼下一步是什麼？ 接下來您可能想使用的下一個東西是什麼？ |
| 您可能想要使用文字來幫助實現某些結果。 所以我在這裡編寫了一些家具評論，並且每條評論都有一個與之相關的星級，對吧。 |
| 因此，我們可能認為這些評論為我們提供了一些線索，說明為什麼有人會對產品評分更高或更低。 因此，在第一行中，“說明令人沮喪”，用戶只給我們打了 3 分。 如果…如果這種模式經常發生並且很多人都在評價… |
| 許多較低的評級與說明相關，這可能告訴我們需要改進家具隨附的說明。 |
| 所以簡單的想法就是使用它們作為迴歸模型。 我們將...我們將採用我們的文檔術語矩陣， |
| 我們將把它與我們的回應訊息結合起來，然後我們將進行回歸。 |
| 這將幫助我們了解為什麼客戶喜歡或不喜歡我們的家具或我們生產的任何產品。 |
| 它可以幫助我們根據描述對物件進行分類，稍後我們會看到其中的一些，或者也許我們想根據某些機器的維護記錄來了解為什麼某些機器會故障或不故障。 |
| 我們做到這一點的方法非常簡單。 |
| 我們實際上只是在製作一個迴歸模型，其中每個 X 或預測變數都是項矩陣中的列之一。 因此，如果我們對產品評級進行建模，那就是一個簡單的線性迴歸，如果我們 |
| 如果我們正在對二元結果進行建模，例如客戶是否會推薦我們的產品 |
| 可能有數百個單詞，最好不要全部使用。 並非所有資料都有用，因此我們將在迴歸模型中應用變數選擇技術，我們將得到一個更簡單的模型，該模型易於解釋且擬合良好。 |
| 在底部，很容易將這些指標變數與我們的回應評級、星級評級結合。 |
| 因此，我們將在 JMP 16 中採用的解決方案是將迴歸模型引入文字瀏覽器平台。 如果您曾經使用廣義回歸平台進行變數選擇，那麼我們實質上是將該平台嵌入到文字資源管理器中。 |
| 因此，如果您有 JMP pro，您將在文字資源管理器的紅色小三角選單中看到術語選擇項目。 |
| 這才是我們真正興奮的事。 它可以輕鬆快速地建立和完善此類迴歸模型。 |
| 因此，當您啟動這個平台時，我們將在一分鐘內完成一些演示，但速度很快， |
| 在發布之初，它只是詢問有關我們的回應以及我們想要適合的模型類型的信息。 |
| 因此，它可以處理連續響應，例如星級，並且當您指定連續響應時，它會提供一個過濾器，以便您可以根據響應過濾掉某些行。 |
| 當我們有名義回應列時，我們選擇目標等級。 那麼在這種情況下，您是否會推薦我們的產品，是或否。我們將要建模... |
| 我們將對建議進行建模，等於「否」。 |
| 如果我們有藍色、綠色、黃色等多級別回應，我們將選擇想要建模的級別，稍後我們會看到一個範例。 |
| 然後，在指定回應後，我們將向平台提供一些有關我們想要擬合的模型類型的信息。 |
| 那我們做變數選擇的時候，是用彈性網還是套索呢？ 這些都是廣義迴歸中內建的變數選擇技術。 我們將如何進行驗證？ 我們要使用 AIC 還是 BIC？ |
| 此外，我們可以指定有關文檔術語矩陣的詳細資訊。 我們可以選擇權重，也可以選擇我們想要考慮的最大項數。 因此，如果我們想要考慮最常出現的 200 個單詞，那就是現在設定為 200 的單字。 |
| 那麼當您啟動它並按下運行按鈕時會發生什麼？ 基本上它可以做所有事情 |
| 你需要做的。 它在幕後正確設置數據，因此您不必擔心。 它進行變數選擇，所以現在我們有一小部分單字，我們認為它們對於預測我們的反應有用，並且它以簡單的方式呈現結果 |
| 解釋報告，而且它具有很強的互動性，我們稍後會看到。 所以你過去可以透過以下方式做到這一點 |
| 將文檔項目矩陣儲存到您的資料集中，自行啟動廣義迴歸平台， |
| 但你不必再這樣做了。 現在就選擇而言，這就是全部。 |
| 那麼模型規格，我們怎麼知道是什麼，我們怎麼知道該選擇什麼？ |
| 可用的估計方法有彈性網和套索。 記住它們之間區別的簡單方法 |
| 是彈性網路傾向於選擇相關預測變數組。 所以在這種情況下，當我們的預測變數都是單字時， |
| 這意味著它會傾向於選擇往往一起出現的單字組。 所以如果你想到說明和手冊 |
| 由於使用說明書，這些字經常一起出現。 因此，這兩個預測變數將高度相關，彈性網路可能會選擇它們，而套索可能會選擇指令或手冊，但不一定兩者都選擇。 |
| 驗證方法，我們有AIC和BIC。 |
| 根據經驗，AIC 傾向於過度選擇模型，而 BIC 傾向於選擇不足。 所以在我們的規格中， |
| 只是AIC會傾向於選擇較大的單字集，而BIC會選擇較小的單字集。 |
| 就我個人而言，我傾向於在場景中大量使用 AIC，因為我寧願使用更多的單詞而不是更少的單詞，但實際上這是一個偏好問題。 |
| 以及文件術語權重... |
| 我的意思是文檔術語矩陣權重。 |
| 這實際上取決於你的問題。 所以在這個例子中， |
| 油漆這個詞在評論中多次出現。 這可能意味著審稿者非常...... |
| 採取...油漆對於審閱者來說非常重要，這在我們的回歸模型中可能有意義，因此我們希望使用頻率等權重而不是二進制。 |
| 那麼，一旦你啟動術語選擇，你最終會遇到這樣的情況，我們有 |
| 左邊是所有文件的摘要，右邊是我們選擇的所有單字的摘要。 我現在暫時跳過這個；當我們開始做簡報時更容易看到。 |
| 我們認為非常有用的另一件事是我們有一個摘要，因此您可以使用術語選擇來擬合一系列模型，然後將它們全部匯總在頂部，並且您可以在它們之間來回切換。 我們很快就會再次看到這一點。 |
| 那我們就來看看這個平台吧。 |
| 首先我們來看看這個 |
| JMP 範例資料資料夾中的飛機事故資料集。 |
| 所以我們表中的每一行都是一個事件。 我們知道飛機受損程度、受傷類型，我們有描述。 所以最後一篇專欄是對事件中發生的具體情況的描述。 |
| 因此，我們將啟動文字資源管理器，如果您以前從未使用過文字資源管理器，則左側有最常出現的術語，右側有最常出現的短語，即單字組。 |
| 所以我們想用這些字來理解 |
| 這......是什麼導致撞車造成更多，你知道，遭受更多損害或更嚴重的傷害。 因此，我們將轉到紅色小三角選單並要求選擇術語。 |
| 現在我們看到了我們剛才看到的這次發布，我想了解更多有關損壞的信息，對吧。 特別是我想...我可能想區分飛機被摧毀和較小損壞的事件，因此我們將選擇要摧毀的目標等級。 |
| 我要提到的是，提前停止是一種節省時間的功能。 所以 |
| 當我們進行變數選擇時，對於更大的問題可能會非常耗時。 如果你選中這個複選框，它會說 |
| 我們認為我們有一個足夠好的模型；我們要繼續前進並提前停下來。 我傾向於取消選中它，除非我知道我有一個更大的問題。 |
| 所以我會用彈性網、AIC 留下它，然後我們就開始運作。 |
| 所以現在後台發生的事情是它創建了我需要擬合這個迴歸模型的數據，並且它在幕後擬合迴歸模型，現在我有了我的總結。 所以每 |
| 每個文件都在左側面板上進行了總結，因此這是第一起飛機事故，這是第二起，這是空白的。 |
| 第一個是，飛機接觸了跑道一側的雪堆。 |
| 我們已經突出顯示了所有重要的單詞，因此藍色單字具有負係數，橙色單字具有正係數。 |
| 如果我們對這些單字感興趣，我們可以查看右側的面板。 我傾向於按係數排序，這樣您只需單擊頂部即可。 |
| 因此，在這種情況下，具有負係數的單字被破壞的可能性較小。 因此，如果 |
| 該文件包含“著陸”一詞，如果飛機已經到達著陸點，那麼這可能不是一個非常嚴重的事件。 所以這些可能性較小 |
| 被毀了。另一方面，我們可以看看最積極的術語，這些詞與被摧毀的飛機最相關。 |
| 這些字就像火一樣，證人。 如果他們採訪目擊者來描述事件，這可能意味著飛機上的任何人都無法接受採訪。 |
| 所以火、雷達、旋轉、夜晚，這些都是與 |
| 與被摧毀。 |
| 現在，也許我們也對受傷程度感興趣，具體來說，我們將關注最嚴重的受傷程度。 |
| 我們將再次進行術語選擇。 |
| 為了保持快速，我會接受這一點。 |
| 所以現在我們可以做同樣的事情，但現在要考慮的是傷害程度。 |
| 因此，如果受訪者包括機長或著陸人員，那麼就受傷程度而言，這些可能不是很嚴重。 |
| 但如果再提到雷達、夜晚、山脈，這些都是嚴肅得多的字眼。 因此，我們可以在這兩個反應之間快速來回切換，看看哪些字可以預測這兩個反應 |
| 傷害等級和傷害等級。 |
| 那麼讓我們來看另一個例子。 |
| 所以這是我真正喜歡的一件事。 早些時候，我在範例中討論了披薩。 現在我們要談談啤酒。 所以這些顯然是我心目中最親近的事。 |
| 所以我這裡得到的是我已經我已經...我根據一些啤酒評論下載了每種啤酒風格的描述 |
| 身體. |
| 所以每種啤酒都有一個描述。 |
| 上面還寫著啤酒是從哪裡來的。 所以我們有... |
| 美國、德國、愛爾蘭。 |
| 使用術語選擇來查看 |
