我們非常榮幸地邀請到自然語言處理 (NLP) 專家、1440 Consulting 數據科學主管 Manya Mayes 作為我們首屆「統計學視角下的文本分析」主題研討會的主題演講嘉賓。同時，我們也很高興地邀請她與另外兩位資深的文本分析專家共同參與小組討論：一位是美國食品藥品監督管理局 (FDA) 生物資訊與生物統計學主任 Weida Tong，另一位是寶潔公司科學家 Jeff Swartzel。
這些精通統計學的專家們所展現的實務經驗和分享的精彩案例令人深受啟發。直播期間，我們收到了太多問題，無法一一解答。我們的來賓欣然同意透過這篇文章來回答這些問題。
如何衡量和展示文本分析的投資報酬率？
曼雅：正如您所預料的，衡量文字分析的投資報酬率並非易事。例如，在識別產品問題的早期預警時，如果問題在演變成福特探險者/凡士通輪胎事件（ 估計損失高達75億美元）或豐田突然加速事件（導致司法部罰款12億美元，召回成本高達20億美元）之前得到解決，那麼可能永遠無法確定真正的投資回報率。即使這兩家公司都根據文本分析結果採取了行動（利用美國國家公路交通安全管理局[NHTSA]的數據和優秀的文本分析能力很容易找到這些結果），它們也可能永遠無法真正了解自己節省了多少成本。在標記和監督預測模型中使用文字分析提供了一種驗證投資回報率的方法，但這並非總是可行。此外，對於用於指導公司未來業務決策和策略的數據分析，可以透過驅動因素/敏感度分析來衡量每投資一美元的回報。
傑夫：這個問題很棘手，我常常為此糾結，因為文本分析的影響並不穩定。有時，快速簡便的工作就能帶來寶貴的洞見，而有時，耗費大量精力的分析卻可能收效甚微。我通常認為文本分析的價值體現在以下幾個方面：1）節省時間；2）能夠提前乾預問題；3）獲得一些如果沒有這項技術可能無法獲得的獨特見解；4）能夠更專注於重要議題。
螢幕上的圖表（旋轉輪與時間的關係圖）是如何從文字瀏覽器視窗產生的？
成年人：我使用文字瀏覽器分析了電動車投訴樣本，首先將一些低資訊量詞彙添加到停用詞列表中，然後刪除了出現一次或兩次的詞彙，最後進行了潛在類別分析。潛在類別分析的結果（在JMP Pro中）包含一個「按行聚類機率」視窗。此視窗顯示了每個文件最可能的聚類。您可以右鍵單擊並選擇“轉換為資料表”。下一個視窗包含以資料表形式呈現的結果，然後可以透過選擇「表」>「連接」並將這些結果與原始資料連接起來，按行號匹配，從而將這些資料表重新連接到原始車輛投訴樣本中。我只選擇了“whompy wheel”聚類的行。原始資料有一個 faildate 字段，可以使用“圖形”>“圖形生成器”繪製該字段。在圖形產生器中，我使用了一個直方圖，以 faildate 作為 X 變量，並將回應尺度設為「計數」。其餘部分主要是外觀上的調整，我透過點擊圖例中的故障日期變數來更改顏色（詳見附圖）。為了獲取按車型劃分的信息，我將車輛型號變數拖放到圖表的「X組」部分，並將其用作顏色變數。
為什麼負面情緒的得分低於正面情緒的得分（98 分對 100 分）？
成年人：情感得分範圍在-100到100之間。我碰巧選擇了得分為-98的負面詞彙和得分為100的正面詞彙。
這些圖片顯示，整體而言，正面文件的數量多於負面文件。得分反映的是整個文件（評論）的情感傾向，因此即使文件中包含正面和負面的部分，其整體得分也可能是正面的。
FDA審查過程中的文本分析更多是用於有針對性地進行審查工作，還是作為閱讀文件的補充？
魏達：文本分析在FDA得到了廣泛應用，包括研究和審查兩個面向。其中，資訊檢索和文件分類在審查過程中發揮重要作用。此外，我們也研究了文本摘要、命名實體識別和情感分析，這些研究大多以監管科學為中心。
文本分析與其他分析方法相比，能帶來哪些綜效？
將文字資訊與其他分析方法結合是一種常見的做法。文本本質上是被賦予了結構化的表示形式。這種結構化的文本有助於提高機器學習監督模型的準確率，並可應用於各種用例（例如客戶獲取、客戶留存、詐欺、風險等）。它還有助於模型解釋，並為品牌推廣、訊息傳遞等提供合適的語言。此外，它還有助於無監督分類/聚類，其中文本術語與交易和人口統計資訊等結構化資料結合使用，可以幫助描述聚類結果。
傑夫： JMP非常適合將文字分析的輸出結果與其他相關變數（時間、客戶評分、有意義的類別等）直接關聯起來，用於建模（詞項選擇和判別分析）。相關的關鍵字和主題還可以為其他方面的定性分析提供資訊。
您如何看待詞袋模型方法與更高階的自然語言處理方法？
詞袋模型雖然可以包含短語，但並未考慮上下文或方向性，這使得分析更簡單快捷，同時也能提供一定的價值。更高級的自然語言處理（ NLP）技術能夠提供更多上下文信息，但它仍然需要預訓練模型，並且上下文可能更加局部化（例如，更可能存在於句子內部）。更高級的NLP技術提供了更高的自動化程度，但當資料科學家深入了解資料時，它可能會忽略一些細微差別。總而言之，這兩種技術各有優缺點。
傑夫：我感覺自己像個複讀機，但我總是說：「把分析方法和問題連結起來。」 通常情況下，我可以用一些基本方法快速獲得有用的見解（尤其是在問題定義清晰的情況下）。人們會來問我類似這樣的問題：「我們不知道自己在尋找什麼，但我們想知道關於一切的一切。我們能用自然語言處理（NLP）來實現全知全能嗎？」 :grinning_face_with_sweat: 我會幫助他們明確問題定義，或者開始用潛在類別分析、潛在語義分析或情感分析來探索文本。此外，詞袋模型方法的優點在於它非常容易理解和解釋，而且是一個很好的起點。以我有限的經驗來看，像 BERT 這樣的方法非常適合使用訓練有素的機器學習模型來解決分類問題。
邁向「先進監管科學」意味著什麼？
魏達： FDA將監管科學定義為「開發新的工具、標準和方法，以評估FDA監管產品的安全性、有效性、品質和性能的科學」。從某種意義上說，先進的監管科學意味著運用新興技術和方法來改善FDA的運作。
JMP 如何促進您與他人以及在文字分析方面的協作？
成年人： JMP社群是一個與他人合作的絕佳平台。文本分析是JMP社群的一部分，SKP（JMP 統計知識入口網站）也是如此，SKP即將更活躍地進行文本分析內容和協作。
傑夫：在寶潔，我們擁有非常龐大的JMP用戶群，很多人都熟悉它的基本操作。使用文字瀏覽器（Text Explorer）可以輕鬆分享JMP分析結果，並與他人合作。共享腳本和期刊也讓一切變得更加方便。
你認為我們對所收集的所有文字資料的利用還只是冰山一角嗎？
成年人：最近，文字分析和自然語言處理（NLP）的能力取得了巨大進步，但仍有很大的發展空間。目前只是冰山一角，隨著功能的進一步完善，文字將與結構化資料一樣受到重視。就目前而言，人的因素仍然非常重要。
傑夫：是的，我認為培養一批熟悉這類工作基本原理的人才，是理解文字資料分析的最佳起點。
除了以上內容，你還會與那些和你一起分析文字資料的人分享哪些資訊？
傑夫：有時候我會特意提醒他們，分析技術並不比我們聰明，也就是說，它們無法理解像「我停止使用你們的產品是因為它味道怪怪的」這樣的句子背後的含義。這種怪味可能預示著一個大問題，也可能是人們對這款產品的常見評價，甚至可能是故意做出的改變，只是被理解為會引起這種反應，也可能是一種諷刺或反諷。文本分析和自然語言處理始終需要結合領域知識和對我們想要解答的問題的好奇心。我們（目前）還無法一鍵取得所有我們想知道的資訊（甚至包括我們可能想知道但自己卻不知道的資訊）。
如果您錯過了直播，可以點播觀看，獲取更多精彩內容。除了以上問題，我們還收到了觀眾提出的許多其他優秀問題。了解更多關於「砰砰作響」的輪子、奇怪的氣味以及您可以從收集到的文字資料中獲得的其他見解。
