揚聲器 | 成績單 |
| 基拉·阿爾霍恩（Kira Alhorn） | 好的，歡迎來到我的演講“通過文本瀏覽器了解客戶需求”。 我很高興 |
| 以虛擬格式出席的是JMP Discovery Summit。 我叫Kira Alhorn，我是WL Gore and Associates的統計學家。 |
| 而且，在開始演示之前，我想向您介紹我們的公司。 WL Gore and Associates是一家全球材料科學公司，我們正在生產 |
| 從航空航天到醫療產品，以及大多數人可能熟悉的領域，為非常不同的行業提供了截然不同的解決方案 |
| 是我們的Gore-tex品牌。 因此，這就是我們今天要關注的重點，Gore-tex品牌正在生產耐用的防水透氣面料層壓板。 |
| 並將這些層壓板出售給我們的客戶或品牌合作夥伴，這些客戶或品牌合作夥伴利用這些層壓板製造產品。 更具體地說，我們今天將專注於鞋子。 |
| 因此，這是我的演講的簡短概述。 我將從背景和動機開始。 那麼我們在看什麼呢？ 我們正在研究鞋子的描述，以及為什麼對此感興趣。 |
| 之後，其餘的討論將在JMP中完成。 我將使用JMP 15 Pro，並在那裡向您展示如何使用文本資源管理器 |
| 分析我們的鞋子描述。 如何在這些文本或鞋子描述中查找主題，以便可以使用這些主題在鞋子描述中查找常見的鞋子描述或常見主題，並將其與我們擁有的不同類別的鞋子進行比較。 |
| 最後，這只是一個非常簡短的介紹，我們使用一些預測模型來驗證我們的發現並獲得更多...它將更深入地了解不同的鞋子描述如何對鞋子進行分類。 |
| 因此，請想像一下您自己的櫥櫃和櫥櫃中的鞋子 |
| 你們每個人的櫥櫃里至少會有一小撮或一堆相當大的不同鞋子，問題是，為什麼您有這麼多鞋子？ |
| 而且您的鞋子必須適合您的風格，也許您需要不同的顏色等等，這不是您擁有不同鞋子的唯一原因。 |
| 另一個原因是您需要不同的鞋子。 想像一下，您有一雙跑鞋，幾雙休閒用途的鞋，您可能會穿登山鞋。 |
| 而您之所以擁有這些鞋，是因為每雙鞋子都具有不同或略有不同的功能，這使得此鞋子可用於此最終用途，並且您需要針對該最終用途的那些功能。 |
| 因此，我們想知道的是，如果我們查看品牌合作夥伴提供的鞋子描述，是否能以某種方式找到使不同鞋子與眾不同的原因？ 所以你會在這裡看到一個集合 |
| 不同的鞋子類別，這些類別現在與我們針對鞋子的不同最終用途相對應。 |
| 現在的問題是，例如，如果客戶想要生產一種新的遠足鞋，那麼我們應該為銷售用於遠足的鞋子出售的層壓板提供什麼功能配置？ |
| 那麼，這些鞋子的描述能否為我們提供可以提供給客戶的原型？ |
| 而且，當然，這裡有趣的另一個方面是什麼，其他鞋子又如何與眾不同？ 那麼那雙登山鞋和街頭鞋有什麼區別呢？為什麼我們需要這些差異？ |
| 這就是我們開始分析數據時的意圖。 |
| 因此，我想去JMP。 |
| 在JMP中，我首先要向您展示我們收集的數據的外觀。 |
| 因此，我們要做的只是訪問了品牌合作夥伴的網頁，並從這些包裝中收集了鞋子的描述。 |
| 對於每種鞋類別，我們都有一定數量的鞋描述，您將看到，我們只需將整個描述複製到我們的數據表中即可。 |
| 因此，這可能會很長，可能會很短，但是我們所做的不只是複制。 |
| 但是另一方面，您可以想像，對於該文本字段，我們不能做很多事情。 |
| 或至少看起來好像我們做不到，因為JMP提供了做某事的巨大可能性。 那該怎麼辦呢？ 我們希望從長文本中提取信息，並使其更易於消化。 |
| 那些可消化的塊 |
| 可以使用文本資源管理器提取。 因此，我想轉到“文本資源管理器”並將鞋子描述放入此處的文本列中。 |
| 這裡有很多選擇。 這些選項被輸入到削減鞋子描述的算法中，或者我們稱其為文本分析語言的描述文件。 |
| 正如我所提到的，這會將文檔切成較小的信息片段，這些易消化的片段。 |
| 您將看到的是可消化的塊，即，我們擁有這些術語，它們是信息的最小單位，而我們擁有的這些短語是經常在一起出現的術語，如果將它們組合在一起，可能會具有一定的含義。 |
| 所以您可以在這裡看到最常用的術語 |
| 在所有文件中，因此在所有鞋子描述中，術語“舒適性”。 |
| 所以首先我們要做的是瀏覽這裡的所有短語並進行查看。 有什麼道理嗎？ |
| 第一個已經很有意義。 因此，您會在此處看到術語Gore和tex作為單個術語出現，但是，當然應該對術語Gore-tex而不是Gore和tex進行分析是有意義的。 |
| 因此，您可以將所有有意義的短語添加到術語列表中。 因此，我們添加了短語，現在您將在這裡看到，我們使用術語Gore-tex而不是單個術語Gore。 |
| 因此，這是我們處理數據的第一步。 第二步是檢查術語表，是否有重複項或 |
| 如果有任何沒有意義的術語。 而且JMP已經具有非常好的處理能力，因為JMP已經排除了許多沒有意義的詞，例如和， |
| 或者，它不給您任何信息。 但是，總會有一些沒有意義的術語，例如此S。 |
| 您將如何處理S？ 那告訴你關於鞋子的什麼？ 因此，我們必須仔細研究所有術語，如果存在一個沒有意義的術語，則將其稱為停用詞，然後將其編輯為停用詞列表，以將其從分析中排除。 |
| 那是一回事。 我提到的另一件事是，我們需要檢查是否存在重複項，例如，在這裡您會看到術語Gore tex |
| 以及術語GTX。 GTX只是術語Gore-tex的縮寫，因此我們不應該分別分析它們，而應該將它們結合起來。 |
| 因此，您具有Recode功能，該功能與列的功能幾乎相同，這是將這些功能組合在一起的好工具 |
| ???數據。 因此，您在這裡看到的是Recode函數，我將它們都分組了。 |
| 現在您將看到，這只是一個術語（Gore-tex），實際上這是我們數據中最常用的術語。 |
| 所以。 |
| 我們從4,000個條款開始，到最後的清潔工作只有100個條款。 因此，您看到，我們還有100個術語，利用這些術語，我們可以進行很多分析。 這些對於我們了解鞋子的描述非常有用。 |
| 因此，您可以使用該列表查看最常用的術語，但是JMP也提供了非常簡單的可視化工具。 |
| 單擊紅色三角形，您可以添加詞云。 這個詞云使您在所有文檔中，在所有鞋履說明中，都可以按詞的大小獲得它的出現頻率。 因此，Gore-tex，舒適和輕便是我們收集的鞋子描述中最常用的術語。 |
| 但是您可能還記得這並不是我們想知道的，對吧？ 因此，我們想知道，針對不同最終用戶的鞋子是什麼？ |
| 為此，我們可以在此處輕鬆添加本地數據過濾器，並將鞋的最終用途用作過濾器。 因此，例如，我可能對街頭冬季鞋的所有描述中最常用的術語感興趣。 |
| 您會發現，冬天和保暖這兩個術語經常出現在街頭冬鞋的說明中，您將不會感到奇怪。 |
| 另一方面，以越野跑鞋為例，您會在這裡看到不同的側重點。 您會看到那些不需要保暖，但它們需要透氣，輕便且合身。 |
| 因此，這些詞云非常非常有用，可以讓我們首先了解我們最初的問題，因此，該如何描述不同類型的鞋子的功能配置。 |
| 而且我們並沒有因此而結束。 我們想更進一步。 |
| 進一步的步驟是，如果您已經準備好所有數據，則可以以某種方式進行建模以找到此鞋型配置原型嗎？ 對於該建模，JMP中有不同的選擇，我們決定採用SVD。 |
| SVD正在對我們的文檔術語矩陣進行主成分分析。 |
| 那是什麼意思呢？ 文檔術語矩陣包括每個文檔，因此，對於每個鞋子描述， |
| 每學期的頻率。 因此，例如，對於第一個鞋類描述，我們需要多久使用一次Gore-tex這個術語，對於我們來說，我們多久一次使用術語“舒適度”等等。 因此，您可以想像這是一個非常龐大的矩陣。 |
| 現在的想法是，通過主成分分析，減少文檔術語矩陣的維數，以更好地掌握數據。 |
| 並且，以便能夠更直觀地顯示數據。 |
| 基於縮小的尺寸，我們現在可以進行一些建模。 什麼樣的建模對我們來說很有趣？ 因此，我們對描述某種最終用途的鞋子感興趣。 |
| 為了達到這一點，我們分析了鞋子的描述中是否有任何主題？ 如果有主題，那麼這些主題是否與某些最終用途相對應？ |
| 因此，在理想的世界中，我們將在數據中找到9個主題，而這9個主題將恰好代表一個鞋類。 因此，我們將為每個鞋子提供原型鞋子配置或功能配置。 |
| 因此，讓我們看看如果我...您搜索九個主題，會發生什麼情況。 我將在此處單擊主題分析，並輸入9，因為我對9種不同的鞋類感興趣。 |
| 然後我得到的是主題列表，這些主題中經常出現哪些術語。 因此，例如，主題一包括鞋子 |
| 在鞋子的描述中有術語“超級合身”，“紡織”，“保暖”等。 因此，我的第一感覺就是必須穿街頭或街頭的冬季鞋。 |
| 例如，主題二由對鞋子的描述組成，其中包括術語小屋，徒步旅行，多日活動等，因此，這似乎就像徒步旅行的鞋子一樣。 |
| 但是，當然，作為一名統計學家，我對僅憑直覺感到不滿意。 我真的很想知道鞋子的類別屬於哪個主題。 為此，我正在對鞋子類別進行簡單分配，並在此處添加本地數據過濾器以僅顯示 |
| 類別 |
| 那是... |
| 以僅顯示已選擇的鞋子。 |
| 那是什麼意思？ 我該如何使用呢？ JMP在這裡提供主題得分圖和這些主題得分圖 |
| 每個主題的每種鞋子描述都有一個要點。 |
| 因此，鞋子描述的得分越高，則該鞋子在該特定主題中的代表性就越高。 |
| 所以我要做的是，我只選擇所有主題一得分高的鞋子，我會在那看到 |
| 直方圖顯示，這些是街頭和街頭冬季穿的鞋。 所以基本上我的直覺是正確的。 那些由紡織品製成的，具有超強耐穿性的鞋子，即街頭和街頭冬季鞋。 |
| 還有第二個主題，我們希望它會成為徒步旅行的鞋。 您將在該直方圖中看到這些是徒步鞋。 |
| 您現在就可以針對所有主題進行操作了，我將其添加到了日記中。 |
| 在執行所有這些操作時，您會發現一些困難。 因此，為每個主題分配一個或多個鞋類類別，您將看到兩個問題。 |
| 此處代表的第一個問題，您將看到某些鞋子類別（例如登山）不是由一個主題代表，而是由多個主題代表。 |
| 您還將看到這些主題是重疊的，例如，在兩個主題中都出現了“冰爪”一詞。 |
| 也就是說，這裡似乎有太多主題。 |
| 因此，理想情況下，這些主題希望每個鞋類類別都有一個主題，並且如果我們看到有多個主題重疊的主題對應多個類別，那麼似乎有9個主題太多了。 |
| 但是，這當然必須具有另一個???，因此，如果登山鞋與多個主題相對應，那麼就需要確定一些主題，而這些主題並沒有那麼清晰可辨。 |
| 因此，例如，看一下第五個主題。 因此，就像最具代表性的鞋子一樣。 您會看到這是一個巨大的集合。 |
| 有漸進鞋，公路跑鞋，街頭鞋等。 因此，這些類別大部分都是重疊的，彼此之間沒有區別。 那麼，試想一下越野跑鞋和越野跑鞋之間的區別是什麼？ |
| 還是下一步，越野跑和遠足有什麼區別？ |
| 這些鞋子存在某些重疊，如果存在這些重疊，則您將無法清楚地識別出該鞋子類別的一種功能配置。 |
| 因此，這也是非常有價值的學習。 當然，它可以管理您不同層壓板的產品組合。 您想知道嗎，我需要為特定的最終用途使用特定的層壓板，還是與我已經擁有的其他層壓板類似？ |
| 因此，我們最終要做的是，我們希望擁有最終的主題集合，而我們沒有與多個類別對應的任何主題，而我們是手工完成的。 因此，我們分析了不同數量的主題，最終得到五個主題。 |
| 您將看到，這五個主題對應於一定數量的類別，但是我們將看到並非所有鞋類都可以用它來表示。 |
| 因此，我們有兩次學習。 第一要學習的是我們有一些鞋子描述的原型 |
| 鞋類。 另一方面，此處未命名的所有鞋子類別可能差別不大或可能沒有一個配置 |
| 在他們的鞋子描述中。 |
| 那隻是Text Explorer提供的一個選項。 也有其他選擇，但是我們專注於此並且效果很好。 |
| 因此，我想離開文本資源管理器，僅向您簡要介紹如何進一步處理主題文檔術語矩陣。 |
| 因此，在這裡，我具有與以前相同的數據集，但是我導出了文檔術語矩陣。 因此，您會看到很多新列針對每個術語顯示 |
| 該術語在某種鞋子描述中的出現頻率。 |
| 並且我們嘗試了不同的版本，因此我們有了一個文檔術語矩陣來表示頻率；我們有一個指示僅包含它，不包含它；等等。 我們最終得到了那個版本。 |
| 利用JMP Pro的功能，我們創建了一個驗證列，將我們的數據集分為訓練，驗證和測試數據。 訓練和驗證數據用於訓練我們的預測模型，測試數據用於測試。 |
| 當談到預測建模時，我們的目標是什麼？ 所以我們之前所做的是一種無監督的技術，因為 |
| 我們只是搜索主題，然後將其與鞋子類別進行了比較。 現在我們想更加主動一些，因此我們有了鞋的描述，我們可以明確地預測類別嗎？ |
| 而且，我們嘗試了JMP 15 Pro提供的各種預測建模技術，並最終獲得了引導林。 在這裡，我只想給您一個關於結果看起來如何以及我們可以將結果用於什麼的想法。 |
| 因此，您將在測試數據集中的混淆矩陣中看到結果，分類是什麼，鞋子的描述是什麼，我使用引導森林預測了什麼？ |
| 而且，有趣的是，您將看到與以前幾乎相同的結果。 因此，某些類別可以與其他類別明顯區分開， |
| 已經具有獨特的功能配置，還有其他一些則沒有。 因此，例如在公路跑鞋中看看。 |
| 我們在第一次分析中已經發現，這些不是唯一定義的。 而且我們還將在這裡看到，我預測很多鞋子都是公路跑鞋，而實際上是其他鞋子。 |
| 因此，這證實了我們之前的發現。 我們確切地看到，使用這種無監督技術對鞋子的類別進行了很好的描述，而那些沒有很好區分的鞋子在這裡也沒有進行區分。 |
| 因此，這很有趣，而且使用此分析您現在可以做很多其他事情。 例如，您可以這樣做 |
| 分析，什麼是……當我想區分某些鞋子時最重要的問題是什麼？ 因此，在區分鞋子類別時，哪些術語對列的貢獻最大？ |
| 或者，您可以使用ROC曲線進一步探索哪些鞋類可以非常區分，哪些不能。 |
| 最後但並非最不重要的一點是，您可以使用此模型進行預測。 因此，您可以在此處輸入某些功能配置或鞋子描述 |
| 然後預測此描述屬於某個鞋類的可能性。 例如，在這種情況下，我們可以預測此鞋可能是公路跑鞋。 |
| 由於時間關係，我將不進一步詳細介紹，但希望快速進行總結。 那麼我們的主要發現是什麼？ 關鍵發現是 |
| Text Explorer是一個非常出色的工具，絕對直觀，您可以使用它來快速從非結構化文本數據中提取信息。 |
| 他們在哪里區別，他們在哪裡不區別？ 什麼是...這雙鞋需要什麼功能？ 但是這些發現以某種方式證實了我們的期望。 |
| 並證實了這一點，我們可以使用無監督技術或有監督技術來做到這一點，然後他將主題分析與SVD和預測模型與引導森林進行了比較，其他方法也可能工作得很好。 |
| 最後，我要感謝該小組？？？誰提出了這個問題。 他們收集了所有數據並清理了所有數據，對 |
| 不同技術的意義或廢話。 因此，如果沒有他們，您現在將不會收聽該講話。 另外， |
| 我要感謝多特蒙德大學前同事喬納斯（Jonas），他與我就文本分析進行了磋商。 |
| 最後，感謝您的關注，我們很高興通過電子郵件或JMP用戶社區回答任何問題。 請給我一張紙條。 |
