我們很高興邀請自然語言處理 (NLP) 專家兼 1440 諮詢公司數據科學主管 Manya Mayes 作為我們第一次會議的全體發言人以統計方式談論文本分析. 我們也很高興邀請她與另外兩位精明的文本分析從業者一起擔任小組成員：Weida Tong，食品和藥物管理局生物信息學和生物統計學主任；以及寶潔公司的科學家 Jeff Swartzel。
這些具有統計學頭腦的專家所傳達的實用專業知識以及他們分享的有趣例子令人鼓舞。 在直播期間，我們向小組提出了太多問題，以至於我們無法一一解答。 我們的特邀嘉賓已同意通過這篇博文回答他們。
您如何衡量和展示文本分析的投資回報率？
曼雅：正如您所料，衡量文本分析的投資回報率並不總是那麼容易。 在識別產品問題的早期預警時，可能永遠無法識別在成為福特探索者/凡世通輪胎問題之前解決的問題的真正投資回報率估計成本 $7.5B ）或豐田突然加速問題（導致$1.2B 罰款來自司法部和$2B在召回成本）。 如果兩家公司都對文本分析結果（使用美國國家公路交通安全管理局 [NHTSA] 數據和良好的文本分析功能很容易找到）採取行動，他們可能永遠不會真正知道他們節省了多少。 在標記和監督預測模型中使用文本分析提供了一種驗證 ROI 的方法，但這並不總是可行的。 此外，對於為未來公司業務決策和戰略提供信息的數據分析，可以通過驅動因素/敏感性分析來衡量每美元投資的回報。
傑夫：這很棘手，我經常在這個問題上掙扎，因為影響可能不一致。 有時，非常快速和輕鬆的工作會提供有價值的見解，而有時，高強度的分析可能會產生影響較小的結果。 作為文本分析的價值，我通常關注的事情是：1) 節省時間，2) 在問題之前進行干預的能力，3) 如果沒有技術，可能無法獲得的獨特見解，以及 4) 提高能力專注於重要的話題。
屏幕上的圖（滾輪與時間）是如何從文本資源管理器窗口生成的？
曼雅：在有關電動汽車的投訴樣本上使用文本資源管理器，我通過將它們添加到停止列表中刪除了一組低信息術語，然後我刪除了出現一兩次的術語，然後進行了潛在類分析。 潛在類別分析的結果（在JMP專業版) 包括一個 Cluster Probabilities by Row 窗口。 在該窗口中，它顯示了每個文檔最可能的集群。 可以右鍵單擊 Make Into Data Table。 下一個窗口包含作為數據表的結果，然後可以通過選擇“表”>“連接”將這些結果與原始數據連接回原始車輛投訴樣本，按行號匹配。 我只選擇了 whopy 輪組的行。 原始數據有一個 faildate 字段，然後可以使用 Graph > Graph Builder 繪製該字段。 在 Graph Builder 中，我使用了一個直方圖，將失敗日期作為我的 X 變量，並將響應比例設置為計數。 其餘部分主要是化妝品，我通過單擊圖例中的故障日期變量來更改顏色（有關更多詳細信息，請參見附圖）。 為了按模型獲取信息，我將車輛模型變量拖放到圖表的 X 組部分，並將車輛模型用作顏色變量。
為什麼負面情緒的分數低於正面情緒 (98 v. 100）？
曼雅：情緒分數介於 -100 到 100 之間。 我只是碰巧選擇了分數為 -98 的否定詞和分數為 100 的正面詞。
這些圖像表明，總體而言，正面文檔多於負面文檔。 分數顯示在整個文檔（評論）中計算的情緒，因此文檔可能具有總體正分，即使它包含負面部分和正面部分。
FDA 審查過程的文本分析更多地用於有針對性的審查工作，還是對閱讀文件的補充？
偉達：文本分析已在 FDA 中以廣泛的方式使用，包括研究和審查。 其中，信息檢索和文檔分類在審查過程中佔有重要地位。 此外，我們還研究了文本摘要、命名實體識別和情感分析，其中大部分是以監管科學為中心的努力。
您通過文本分析和其他分析方法獲得了哪些協同效應？
曼雅：將基於文本的信息結合到其他分析方法中是很常見的。 文本本質上被賦予了結構化的表示。 當應用於大量用例（客戶獲取、保留、欺詐、風險等）時，合併現在結構化的文本可以幫助提高機器學習監督模型的模型準確性。 它還可以幫助進行模型解釋，並且可以告知用於品牌、消息傳遞等的正確語言。 它還可以幫助進行無監督分類/聚類，其中術語與結構化數據（例如交易和人口統計信息）一起可以幫助描述聚類。
傑夫： JMP非常適合將文本分析的輸出直接連接到其他相關變量（時間、客戶評級、有意義的類別等）以進行建模（術語選擇和判別分析）。 相關的關鍵詞和主題也可以為其他地方的更多定性分析提供信息。
你如何看待詞袋方法與更高級的 NLP 方法？
曼雅：詞袋方法不考慮上下文或方向性，儘管可以包含短語，使分析更簡單快捷，同時仍然提供價值。 更高級的 NLP 確實提供了更多的上下文，儘管它仍然需要預訓練的模型，並且上下文可以更加本地化（例如，更有可能在一個句子中）。 更先進的 NLP 提供了更大的自動化，但可能會錯過數據科學家詳細了解數據時所涉及的細微差別。 本質上，這兩種技術各有優缺點。
傑夫：我聽起來像是破唱片，但我總是說，“將分析技術與問題聯繫起來。”通常，我能夠通過基本方法快速獲得有用的見解（尤其是在問題明確定義的情況下）。 人們會來找我問一些類似“我們不知道我們在尋找什麼，但我們想知道一切的一切。 我們可以通過 NLP 通往無所不知的道路嗎？” :grinning_face_with_sweat:我要么幫助他們專注於問題定義，要么開始通過潛在類分析、潛在語義分析或情感分析來探索文本。 此外，詞袋方法的優點是非常容易概念化和解釋，這是一個很好的起點。 以我有限的經驗，像 BERT 這樣的方法非常適合使用訓練有素的機器學習模型進行分類問題。
走向“高級監管科學”意味著什麼？
偉達： FDA 將監管科學定義為“開發新工具、標準和方法以評估 FDA 監管產品的安全性、有效性、質量和性能的科學。”從某種意義上說，先進的監管科學意味著採用新興技術和方法來改善 FDA 的運作。
JMP 如何促進您與他人的協作，尤其是與文本分析的協作？
曼雅： JMP 社區是與他人協作的絕佳平台。 文本分析是 JMP 社區以及 SKP（JMP統計知識門戶)，它將通過文本分析內容和協作變得更加活躍。
傑夫：在寶潔，我們擁有非常龐大的 JMP 用戶群，而且很多人都熟悉基礎知識。 共享 JMP 分析的輸出並與使用文本資源管理器的人進行工作會話很容易。 共享腳本和期刊使它變得非常容易。
您是否認為我們只是觸及了我們收集的所有文本數據可以做什麼的表面？
曼雅：最近，文本分析和 NLP 在功能上取得了一些巨大的飛躍，但還有更多。 表面上有一個很好的划痕，但通過附加功能，文本將被視為與結構化數據沒有任何不同。 就目前而言，人的因素仍然非常寶貴。
傑夫：是的，我認為建立一種由熟悉此類工作的基礎知識的人組成的文化是建立對分析文本數據的理解的最佳起點
您還與與您一起分析文本數據的人分享了什麼？
傑夫：有時我會提醒他們它並不比我們更聰明，這意味著分析技術將無法看到“我停止使用你的產品，因為它聞起來很有趣”這樣的句子並理解它一個人的水平。 奇怪的氣味可能是一個大問題的跡象，或者人們通常對這個產品說的話，或者甚至是被理解為以這種方式接受的有意改變的一部分，或者甚至是諷刺和諷刺的東西。 文本分析和 NLP 總是需要與領域知識和對我們想要回答的問題的好奇心相結合。 我們不能（還）按下按鈕就知道我們想知道的所有事情（甚至我們不知道我們可能想知道的）。
如果你錯過了直播活動，你可以觀看一經請求了解更多信息。 除了上述問題，我們的觀眾還提出了許多其他很好的問題。 了解更多關於“笨拙”的輪子、有趣的氣味以及您可以從您收集的一些文本數據中獲得的其他見解。
