揚聲器 | 成績單 |
| 基拉阿爾霍恩 | 好的，歡迎來到我的演講，通過文本資源管理器了解客戶需求的演練。 我很高興 |
| 出席會議的是虛擬形式的 JMP 發現峰會。 我叫 Kira Alhorn，是 WL Gore and Associates 的一名統計學家。 |
| 而且，在開始介紹之前，我想快速向您介紹一下我們公司。 WL Gore and Associates 是一家全球材料科學公司，我們生產 |
| 針對不同行業的不同解決方案，從航空航天到醫療產品以及你們大多數人可能熟悉的產品 |
| 是我們的 Gore-tex 品牌。 這就是我們今天要關注的重點，Gore-tex 品牌正在生產耐用的防水透氣層壓織物。 |
| 這些層壓板被賣給我們的客戶或品牌合作夥伴，他們用這些層壓板製造產品。 更具體地說，我們今天將重點關注鞋子。 |
| 所以這是我的演講的簡短概述。 我將從背景和動機開始。 那麼我們在看什麼？ 我們正在查看鞋子描述以及我們為什麼對此感興趣。 |
| 之後剩下的演講將在 JMP 中完成。 我將使用 JMP 15 Pro，並向您展示如何使用文本瀏覽器 |
| 用於分析我們的鞋子描述。 如何在這些文本或鞋子描述中找到主題，以便這些主題可用於找到常見的鞋子描述或鞋子描述中的常見主題，並將其與我們擁有的不同類別的鞋子進行比較。 |
| 最後，這將只是一個非常簡短的介紹，我們使用一些預測模型來驗證我們的發現並獲得更多……它將更深入地了解不同的鞋子描述如何對鞋子進行分類。 |
| 所以想像一下你自己的櫥櫃和你櫥櫃裡的鞋子 |
| 你們每個人的櫥櫃里至少都會有一小部分或相當多的不同鞋子，問題是，為什麼你們有這麼多鞋子？ |
| 而且你的鞋子必須適合你的風格，也許你需要不同的顏色等等，這並不是你擁有不同鞋子的唯一原因。 |
| 另一個原因是你需要不同的鞋子。 想像一下，你有一雙跑鞋，你有幾雙休閒鞋，你可能還有登山鞋。 |
| 你之所以擁有這些，是因為每雙鞋都有不同或略有不同的功能，使這雙鞋可用於此最終用途，而你需要這些功能來實現最終用途。 |
| 所以我們想知道的是，如果我們查看品牌合作夥伴的鞋子描述，我們能否以某種方式找到不同鞋子的獨特之處？ 所以你會在這裡看到一個集合 |
| 不同的鞋子類別，現在對應於我們鞋子的不同最終用途。 |
| 現在的問題是，例如，如果客戶想要生產一雙新的登山鞋，我們應該在我們出售的用於登山鞋的層壓板中提供什麼功能配置？ |
| 那麼，這些鞋子的描述能否為我們提供一個可以提供給客戶的原型？ |
| 當然，這裡有趣的另一個方面是什麼，其他鞋子有何不同？ 那麼登山鞋和街頭鞋有什麼區別呢？為什麼我們需要這些差異？ |
| 這就是我們開始分析數據時的意圖。 |
| 因此，我想去 JMP。 |
| 在 JMP 中，我首先想向您展示我們收集的數據的外觀。 |
| 所以我們所做的就是訪問我們品牌合作夥伴的網頁，並從這些包裝中收集鞋子描述。 |
| 對於每一類鞋子，我們都有一定數量的鞋子描述，你會看到，我們只是將整個描述複製到我們的數據表中。 |
| 所以這可能會很長，也可能會很短，但我們所做的只是簡單的複制。 |
| 但另一方面，您可以想像，對於那個文本字段，我們不能做很多事情。 |
| 或者至少看起來我們做不到，因為 JMP 提供了做某事的巨大可能性。 還有什麼辦法呢？ 我們想從那篇長文本中提取信息，並以某種方式將其變成更易於消化的塊。 |
| 還有那些易消化的塊 |
| 可以使用文本資源管理器提取。 所以我想轉到文本資源管理器並將鞋子描述放入此處的文本列中。 |
| 這裡有很多選擇。 這些選項被輸入到切割我們鞋子描述的算法中，或者我們用文本分析語言調用描述文檔。 |
| 正如我提到的，這是將文檔切割成更小的信息片段，即那些易於消化的塊。 |
| 你將看到的是可消化的塊，也就是說，我們有那些術語，它們是信息的最小單位，我們有那些短語，這些術語經常一起出現，如果你把它們組合起來可能有意義。 |
| 所以你可以在這裡看到最常用的術語 |
| 在所有文件中，因此在所有鞋子描述中，都是舒適一詞。 |
| 所以首先我們做的是我們瀏覽了這裡的所有短語並看了一下。 有什麼道理嗎？ |
| 第一個已經說得通了。 因此，您在這裡看到 Gore 和 tex 術語作為單個術語出現，但當然，應該分析術語 Gore-tex 而不是 Gore 和 tex 是有道理的。 |
| 因此，您可以將所有有意義的短語添加到術語列表中。 所以我們添加了短語，您現在會在這裡看到，我們使用術語 Gore-tex 而不是單個術語 Gore。 |
| 所以這是我們處理數據的第一步。 第二步是檢查術語列表是否有重複項或 |
| 如果有任何術語沒有意義。 而且 JMP 已經有了非常好的處理，因為 JMP 已經排除了很多沒有意義的詞，比如 and, a, |
| 或者，不給您任何信息。 但是，總會有一些沒有意義的術語留下來，例如這個S。 |
| 你會用S做什麼？ 這告訴你關於鞋子的什麼信息？ 所以我們必須檢查所有的術語，如果有一個術語沒有意義，我們稱之為停用詞，我們將它們編輯到停用詞列表中以將它們排除在分析之外。 |
| 那是一回事。 我提到的另一件事是，我們需要檢查是否有重複，你會在這裡看到，例如，我們有術語 Gore tex |
| 和術語 GTX。 而GTX只是Gore-tex這個詞的縮寫，所以我們不應該把兩者分開分析，應該結合起來。 |
| 所以你有 Recode 功能，它與列幾乎相同，這是將這些功能組合起來的好工具 |
| ？？？數據。 所以你在這裡看到的是 Recode 函數，我將它們組合在一起。 |
| 現在你會看到這只是一個單一的術語 (Gore-tex)，而這實際上是我們數據中出現頻率最高的術語。 |
| 所以。 |
| 我們從 4,000 個術語開始，在所有清理之後我們最終得到的只有 100 個術語。 所以你看，我們還剩下 100 個術語，有了這些，我們可以做很多分析。 這些對於我們了解什麼是鞋子描述非常有用。 |
| 因此，您可以使用該列表查看最常用的術語，但 JMP 還提供了一個非常簡單的可視化工具。 |
| 點擊紅色小三角，可以添加詞云。 這個詞云根據單詞的大小，告訴你它在所有文件中的出現頻率，所以在所有鞋子描述中。 因此，Gore-tex、舒適和輕便是我們收集的鞋子描述中最常用的術語。 |
| 但你可能還記得這並不是我們想知道的，對吧？ 所以我們想知道，不同最終用戶的鞋子是什麼？ |
| 為此，我們可以在此處輕鬆添加本地數據過濾器，並將鞋子的最終用途用作過濾器。 因此，例如，我可能會對街頭冬鞋的所有描述中最常見的術語感興趣。 |
| 難怪冬季和保暖這兩個詞經常出現在街頭冬季鞋的描述中。 |
| 另一方面，以越野跑鞋為例，您會在這裡看到不同的重點。 你會發現那些不需要保暖，但它們需要透氣、輕便且合身。 |
| 因此，這些詞云非常非常適合讓我們首先了解我們最初的問題，即描述不同鞋型的特徵配置的是什麼。 |
| 我們並沒有就此結束。 我們想更進一步。 |
| 更進一步，如果您已經準備好所有數據，您能否以某種方式進行建模以找到鞋子配置的原型？ 對於該建模，JMP 中有不同的選項，我們決定採用 SVD。 |
| SVD 正在對我們的文檔術語矩陣執行主成分分析。 |
| 那是什麼意思？ 文檔術語矩陣包括每個文檔，因此，對於每個鞋子描述， |
| 每個術語的頻率。 因此，例如，對於第一個鞋子描述，我們多久使用一次 Gore-tex 術語，多久使用一次舒適度術語等等。 所以你可以想像這是一個非常巨大的矩陣。 |
| 現在的想法是，通過減少文檔術語矩陣維數的主成分分析，更好地掌握您的數據。 |
| 並且，能夠更好地可視化數據。 |
| 基於維度的減少，我們現在可以做一些建模。 什麼樣的建模對我們來說很有趣？ 所以我們感興趣的是什麼描述了鞋子的特定最終用途。 |
| 為了達到這一點，我們分析了鞋子描述中是否有任何主題？ 如果有主題，這些主題是否與某些最終用途相對應？ |
| 因此，在理想情況下，我們會在數據中找到九個主題，而這九個主題恰好代表一個鞋子類別。 因此，我們將為每隻鞋提供原型鞋配置或功能配置。 |
| 那麼讓我們看看如果我...您搜索九個主題會發生什麼。 我將在主題分析上單擊此處並輸入 9，因為我對九種不同的鞋子類別感興趣。 |
| 然後我得到的是一個主題列表，其中包含在這些主題中經常出現的術語。 例如，主題一包括鞋子 |
| 在他們的鞋子描述中有術語 superfit、textile、warm 等等。 所以我的第一個直覺是這些必須是街頭或街頭冬季鞋。 |
| 例如，主題二由鞋子描述組成，其中包括小屋、徒步旅行、多日等術語，所以這看起來像是徒步鞋。 |
| 但當然，作為一名統計學家，我不喜歡只給出直覺。 我真的很想知道什麼類別的鞋子屬於哪個主題。 為此，我正在對鞋子類別進行簡單的分佈，我將在此處添加本地數據過濾器以僅顯示 |
| 類別 |
| 那是... |
| 只顯示選中的鞋子。 |
| 這意味著什麼？ 我該如何使用它？ JMP 在這裡提供主題分數圖和這些主題分數圖 |
| 每個主題的每個鞋子描述都得一分。 |
| 所以鞋子描述的分數越高，這雙鞋越能代表這個話題。 |
| 所以我要做的是，我簡單地選擇所有那些對第一個主題有高分的鞋子，我會在其中看到 |
| 此處的直方圖表明那些是街頭和街頭冬季鞋。 所以基本上我的直覺是正確的。 那些由紡織品製成的鞋子，超級合腳，那些是街頭和街頭冬季鞋。 |
| 記住主題二，我們希望它是徒步鞋。 您會在此處的直方圖中看到，那些是徒步鞋。 |
| 你現在可以對所有主題都這樣做，我把它寫進了期刊。 |
| 你會看到做所有這些的一些困難。 因此，為每個主題分配一個鞋子類別或多個鞋子類別，您會看到兩個問題。 |
| 第一個問題，在這裡表示，您會看到某些鞋子類別，例如登山，不是由一個主題表示，而是由多個主題表示。 |
| 您還會看到這些主題是重疊的，例如，crampon 這個詞出現在兩個主題中。 |
| 也就是說，我們這裡的話題似乎太多了。 |
| 所以這些主題，理想情況下，每個鞋子類別都有一個主題，如果我們看到有重疊的主題對應多個類別，那麼九個似乎太多了。 |
| 但是這當然要有另外一個？？？所以如果登山鞋對應的話題不止一個，就需要有不是那麼清晰可辨的話題。 |
| 例如，請看第五個主題。 所以，喜歡最具代表性的鞋子。 你會看到這是一個巨大的集合。 |
| 有漸進鞋、公路跑鞋、街頭鞋等。 所以這些大多是有點重疊的類別，彼此沒有區別。 那麼想像一下越野跑鞋和公路跑鞋之間的區別在哪裡？ |
| 或者再進行下一步，越野跑和徒步有什麼區別？ |
| 這些鞋子有一定的重疊，如果有重疊，你就無法清楚地識別出該鞋類的一種特徵配置。 |
| 所以這也是非常有價值的學習。 當然，它是在管理您的不同層壓板組合。 您想知道，我是否需要為特定的最終用途使用特定的層壓板，或者它是否與我已有的其他層壓板非常相似？ |
| 所以我們最終做的是，我們想要有最終的主題集合，其中我們沒有任何主題對應於多個類別，我們手工完成了。 所以我們分析了不同數量的主題，最後我們有五個。 |
| 那五個主題，你會看到，對應了一定數量的品類，但是我們會看到，並不是所有的鞋類品類都可以用它來代表。 |
| 所以我們有兩個教訓。 學習第一是我們有一些鞋子描述的原型 |
| 鞋子類別。 另一方面，此處未命名的所有鞋品類別可能差別不大，或者可能沒有這種單一配置 |
| 在他們的鞋子描述中。 |
| 這只是 Text Explorer 提供的一個選項。 還有其他選擇，但我們專注於此並且效果很好。 |
| 說到這裡，我想離開 Text Explorer，只向您簡要介紹一下您可以進一步使用主題文檔術語矩陣做什麼。 |
| 所以在這裡，我有和以前一樣的數據集，但我導出了文檔術語矩陣。 因此，您會看到很多針對每個術語顯示的新列 |
| 該術語在特定鞋子描述中的頻率。 |
| 我們嘗試了不同的版本，所以我們有一個指示頻率的文檔術語矩陣；我們有一個只表明它被包含，它沒有被包含；等等。 我們最終得到了那個版本。 |
| 並利用 JMP Pro 的可能性，我們創建了一個驗證列，將我們的數據集拆分為訓練、驗證和測試數據。 訓練和驗證數據用於訓練我們的預測模型，測試數據用於測試。 |
| 在談論預測建模時，我們的目標是什麼？ 所以我們之前所做的是一種無監督技術，因為 |
| 我們只是搜索主題，然後與鞋子類別進行比較。 現在我們想要更主動一點，所以我們有了鞋的描述，我們可以明確地預測一個類別嗎？ |
| 我們嘗試了 JMP 15 Pro 提供的不同預測建模技術，最終得到了引導森林。 在這裡，我只想讓您了解結果的樣子以及我們可以使用這些結果做什麼。 |
| 所以你會在測試數據集中的混淆矩陣中看到結果，類別是什麼，特定的鞋子描述以及我使用我的引導森林預測了什麼？ |
| 而且，有趣的是，您會看到與我們之前看到的幾乎相同的結果。 所以有些類別可以與其他類別明顯區分開來， |
| 已經具有獨特功能配置的，還有其他人沒有的。 因此，以公路跑鞋為例。 |
| 我們已經在我們的第一次分析中發現，這些並不是唯一定義的。 我們也會在這裡看到，我預測很多鞋子都是公路跑鞋，實際上是其他鞋子。 |
| 所以這意味著這證實了我們之前的發現。 我們確切地看到使用無監督技術很好地描述的鞋子類別在這裡也得到了很好的描述，而那些沒有很好區分的鞋子在這裡也沒有那麼區分。 |
| 因此，這非常有趣，而且您現在可以使用此分析做很多其他事情。 你可以這樣做，例如， |
| 一個分析，什麼是...當我想區分某些鞋子時，最重要的問題是什麼？ 那麼這就是在區分鞋子類別時哪些術語貢獻最大的列貢獻？ |
| 或者，您可以使用 ROC 曲線進一步探索哪些鞋子類別可以非常區分，哪些不能。 |
| 最後但同樣重要的是，您可以使用此模型進行預測。 所以你可以在這裡輸入某些功能配置或鞋子描述 |
| 然後預測這個描述屬於某個鞋子類別的概率。 例如，在這種情況下，我們會預測這雙鞋可能是公路跑鞋。 |
| 時間關係我就不細說了，還是想趕緊總結一下。 那麼我們的主要發現是什麼？ 主要發現是 |
| Text Explorer 是一個非常棒的工具，絕對直觀，您可以使用它從非結構化文本數據中快速提取信息。 |
| 他們在哪里區分，在哪裡不區分？ 什麼是……那些鞋子需要什麼功能？ 但不知何故，這些發現證實了我們的預期。 |
| 並且這一確認，我們可以使用無監督技術或監督技術來做到這一點，所以他比較了主題分析，在這裡使用 SVD 和預測模型與引導森林，其他人可能同樣有效。 |
| 最後要感謝群？？？誰提出了這個問題。 他們收集了所有數據並清理了所有數據，並就此進行了很好的討論 |
| 不同技術的意義或意義。 所以如果沒有他們，你現在就不會聽到那個演講。 此外， |
| 我要感謝 TU Dortmund 大學的前同事 Jonas，他在文本分析方面向我諮詢。 |
| 最後，感謝您的關注，我很樂意通過電子郵件或 JMP 用戶社區回答任何問題。 請給我留言。 |
