駕馭 JMP® 的強大功能：利用大數據和社群媒體進行競爭對手分析
2015年JMP探索大會
James Wisnowski，Adsurgo LLC
沙烏地基礎工業公司（SABIC）的弗洛爾·卡斯蒂略
Adsurgo LLC 的 Andrew Karl
拉辛（Heath Rushing），Adsurgo LLC
抽象的：
相對於全球人口，物聯網中的感測器（例如智慧型手機）數量現在是全球人口的兩倍，而社群媒體帳號的數量也是全球人口的兩倍。由此產生的數據量的爆炸式增長對於那些能夠在大量非結構化和不確定的噪聲中找到信號的人來說意味著巨大的機會。最近的一個項目表明，JMP 用戶需要有效地搜尋和分析大量有關創新技術、相關成熟度等級、當前應用和主要競爭對手的開源資料。獨特的挑戰包括需要從這些不同的網站架構（沒有無關程式碼）以及附加的 PDF 和 PowerPoint 文件（這些文件並不總是可用格式）中提取文字。一旦語料庫開發完成，文字就會被匯入 JMP，以快速識別感興趣的關鍵主題和相關文件。這些步驟是使用直覺的 JMP 介面對 R 中的文字探勘例程進行的。使用 JMP 資料視覺化、聚類分析和決策樹功能進行文字分析，可以比傳統方法更好地表徵市場。本次演講將示範一系列 JMP 腳本和平台，以有效搜尋大量相關網站並監控社群媒體管道（例如 Twitter）、收集大量非結構化資料並回答重點研究問題。
介紹：
儘管競爭情報 (CI) 這個術語只是在最近幾十年才被用來描述一家公司獲取其他構成商業威脅的組織的資訊的行為，但這種做法已經存在了幾個世紀。與軍事情報類似，我們可以想像一家企業專注於競爭對手、產品和客戶的外部力量，以準確評估其需要執行什麼策略才能在充滿挑戰的環境中蓬勃發展。我們可以從受經濟和市場力量支配的戰略環境以及日常所需的戰術情報（例如匹配競爭對手的價格）的角度來考慮競爭情報。反競爭情報也是企業想要保護自己的專有資訊和其他敏感資訊的地方。工具和資料來源需要跟上動態發展的方法，以有效地了解商業競爭對手並預測他們未來的反應。本文闡述了 SAS Institute 的 JMP 軟體在競爭激烈的市場分析領域中取得和分析資料的價值。
競爭情報週期：
圖 1 中的競爭情報週期是基於軍事情報模型的眾多構造之一，用於描述尋找其他企業的可利用市場資訊並應用分析來發現可操作資訊的過程。它從定義階段開始，弄清楚您真正想要調查的維度，以便制定可靠的攻擊計劃。第二階段重點在於取得正確的資料來源來進行研究。第三階段旨在應用分析方法將原始數據轉化為見解，最終形成一個描述景觀的引人入勝的故事。最後階段涉及將這些資訊提供給能夠根據情報採取行動的正確團隊。
圖 1. 競爭情報週期
數據是 CI 過程的動力。過去，只有 CI 專業人員才能存取有意義的資料和網站。如今，大數據改變了這一現狀，組織中的每個人都可以透過有針對性的「拖網」從他們的專業領域帶來一些有價值的東西。 CI 資料的來源包括年度報告、演講、新聞稿（內部和外部）、財務分析、貿易展覽、專利申請、公司網站和社交媒體等等。通常這些都是“開源的”，但您可能需要特殊權限才能存取。有許多專有資料庫甚至可能已經提供一些分析功能，例如鄧白氏的胡佛、Salesforce、DataSift、湯森路透等。大部分原始數據來自互聯網搜索，然後仔細提取相關數據元素。 CI 收集工作必然會面臨來自不同來源和格式的非結構化文字資料的挑戰，需要付出巨大努力才能組裝出用於分析的連貫資料集。
分析和生產階段通常將多個資料來源組織成多種結構。眾所周知的 SWOT 技術將檢視競爭對手的優勢、劣勢、機會和威脅。 PESTLE 方法評估一個產業和競爭對手的政治、經濟、社會、技術、法律和環境層面。哈佛大學教授麥可‧波特的五力理論（進入障礙、當前競爭對手、替代威脅、供應商議價能力、買方議價能力）經受住了時間的考驗。波特也提出了四角模型（驅動因素/文化、當前策略、管理假設和能力）來預測競爭對手的未來舉動。其他分析架構則以矩陣的形式呈現，以競爭對手為縱列，以分銷管道、技術優勢、定價、市場份額、客戶關注度、財務穩定性、勞動力、設施、合作夥伴關係等關鍵績效指標為行。這些框架所面臨的挑戰是準確地填充資料元素，因為許多都是定性評估，取決於您能多好地找到可靠的資料來源。我們討論了 JMP 中的幾種可以幫助找到和探索這些關鍵數據的方法。
公司網站分析的競爭情報資料：
A瓦納什·考西克 描述了許多可用於分析網路流量的工具，以獲得有關來源、人口統計、跳出動態和產品情緒的令人驚訝的深刻資訊。他將這些細分為以網站為中心（關注競爭對手的網站）和以生態系統為中心（專注於行業和特定技術）。以網站為中心的應用程式的範例有 Google Analytics、Compete、 SimilarWeb、Marketing Grader、Majestic 和 AdBeat（用於線上廣告指標）。這些工具提供有關每個網站的詳細資訊（例如來源、跳出率、訪問的頁面、關鍵字等），但不幸的是，它僅對您自己的網站免費。
以生態系統為中心的工具的一個例子是 Google Trends ( https://www.google.com/trends/ ) 。圖 2 顯示了「大數據」這個術語隨時間的變化，毫不奇怪，它在過去 3 年裡開始流行。情節中有一些字母，它們從網路上選擇了當時代表性的故事，或許可以解釋為什麼會出現高峰或低谷。此外，還提供了熱門地理區域和相關搜尋字詞（例如大數據 Hadoop）。
Google Trends 可以匯出數據，讓我們能夠使用 JMP 的功能進行自己的分析。例如，喬丹·斯皮思是一位 22 歲的高爾夫球手，他最近表現出色，躋身世界第一。在體育界經常聽到這樣的說法：高爾夫運動的吸引力正在下降，也許斯皮思可以扭轉這種趨勢。圖 3 中的圖表不僅顯示出下降趨勢，而且還顯示出非常週期性的模式，這可能對我們的競爭分析和行銷角色有用。
圖 2. Google Trends「大數據」時間序列圖
圖 3.「高爾夫」的 Google 趨勢時間序列圖
從資料匯出中，我們可以使用 JMP 在 Graph Builder 中建立我們自己的自訂時間序列圖，以更清晰地標記這些事件，並且我們可以使用季節性 ARIMA 預測未來的成長，如圖 4 所示。公司可以使用這些類型的高級分析來預測市場走向和廣告活動的時機。
圖 4. ARIMA 組時間序列圖和「高爾夫」的預測
來自社群媒體的競爭情報數據：
過去十年，從社群媒體網站取得的新型情報資料呈現爆炸性成長。現在，各種類型的通訊被記錄得比以往任何時候都多，我們有機會在所有這些嘈雜的非結構化資料中找到 CI 訊號。部落格和公告板是收集行業和公司特定資訊的絕佳場所。您可以在 LinkedIn 和其他專業網站上關注公司、員工、技術團體、工作機會和前員工。 Facebook、Twitter 和 Instagram 等網站上的貼文也提供了了解市場和競爭對手趨勢的機會。挑戰在於有效地收集這種非結構化數據，這種數據的特點是一種新的非正式英語語言，它有多種表達同一個字的方式——想想你今晚會如何給某人發短信「今晚」這個詞。
我們編寫了一個 JMP 腳本語言 (JSL) 腳本，該腳本呼叫統計程式語言 R 來下載與關鍵字相關的指定持續時間內的所有（或隨機樣本） Twitter 提要。該腳本收集從現在到未來預定時間段的數據，儘管收集回顧性數據的 Twitter 檔案確實存在，但需要付費。傳回的資料包括實際的推文、位置、時間和其他人口統計欄位。許多公司收集即時推文來了解大眾對主要產品發布的反應——無論是他們自己的產品還是競爭對手的產品。例如，在勒布朗詹姆斯宣布重返克利夫蘭後，我們運行了 5 分鐘的腳本，因為我們所有關於產品和公司的 Twitter 數據都是專有的。圖 5 中產生的詞雲在刪除常用詞（the、and、or、...）和冒犯性語言後，可以深入了解最常出現的術語（最大字體）。此外，我們還對推文進行了情緒分析，將通常與正面情緒相關的約 1,500 個單字清單、與負面情緒相關的約 2,000 個單字清單以及在那 5 分鐘內從 4,000 條推文中收集的所有單字進行交叉製表。一則推文可能包含多個正面和負面的詞語，也可能兩者都不包含。總計有 3,533 個正面詞彙和 1,626 個負面詞彙。詞雲和情感分析是使用用於文本挖掘的 JMP 插件進行的，該插件還調用 R 進行文本分析例程。
圖 5. 2014 年夏季 Twitter JSL 腳本介面和「勒布朗」詞雲
從競爭對手網站抓取的競爭情報資料：
一家公司網站的架構本身就是一份有用的策略情報，因為他們會仔細選擇在網路上展示什麼，包括當前的能力和客戶，以及他們正在為未來的改進所做的工作。其他卓越的數據機會包括會議/研討會、領導力、白皮書連結、新聞報道連結、最佳實踐、技術討論、招募資訊以及搜尋引擎優化中的關鍵字。獲取此數據的一種方法是手動複製並貼上感興趣的文字。另外，自動化網頁抓取實用程式具有更快、更全面的優勢，儘管可能會傳回過多或無關的資訊。
我們開發了 JSL 程式碼來從任何網站上抓取文字數據，同時追蹤元數據，例如網站上文字的位置。 Spider 腳本再次呼叫 R 並且只要求您輸入感興趣的網站。由於網站的結構不同，您可以選擇要進行的抓取類型。抓取選項包括選擇所有文字、新聞頻道或預設設定。您也可以選擇要抓取的深度，其中等級 0 是您指定的網頁，等級 1 是該網頁加上所有連結的網頁，依此類推。
例如，一種流行的綠色能源技術是液體乾燥劑空調，它通過去除水分子來實現冷卻效果，而不是像傳統的冷空氣或冷媒系統那樣通過將溫度降低到露點以下來去除濕氣。在 Google 上快速搜尋商用液體乾燥劑空調，就會發現有兩家領先的公司，Advantix Systems 和 Kathabar。我們使用 JSL 腳本抓取了這兩個網站的數據，並創建了一個 JMP 數據表，其中每一行代表一個網頁。圖 6 顯示了 Spider 介面以及文字探勘插件產生的詞雲。
圖 6. JSL Spider 介面和來自www.kathabar.com的詞雲
詞雲再次代表了單字的頻率。雖然這個原始字數統計很有用，但它並不能提供關於哪些詞語一起出現以及可能存在哪些主題的資訊。為了將非結構化文字轉換為平面文件，以便進行字數以外的統計分析，通常會形成一個文檔術語矩陣 (DTM)，其中每個文檔（在我們的示例中為網頁）作為一行，整個語料庫中使用的每個唯一單字作為單獨的列。矩陣條目是每個術語在特定行中出現的頻率，但最好只使用二進位表示來指示該詞是否出現。基於單字在行中出現次數的加權方案是另一種常用的轉換。也就是說，每行都出現的單字可能不具有太大的辨別能力，無法在分析上提供幫助。 DTM 的問題在於它通常非常大且非常稀疏；因此，標準統計方法可能無法檢測出有用的關係。
解決大型稀疏 DTM 的一個方法是將其投影到更小的維度空間中，類似於主成分分析 (PCA)。更好的解決方案是採用比列數或字數更低的維度對 DTM 進行奇異值分解 (SVD)（將其減少到 100 到 300）。這個 SVD 可以被認為是 DTM M=UDV'。 U 矩陣中的特徵向量表示文檔，V 矩陣中的特徵向量表示單詞，D 矩陣對角線上的奇異值來自解釋每個 SVD 列所解釋的變異性比例的特徵值。
查看 V 矩陣的前兩個特徵向量的二元圖有助於找出文字資料中的主要主題以及找到組合在一起的單字。圖 7 顯示了 Kathabar 範例的前 2 個 SVD 的雙變數圖。這裡我們看到一組詞語圍繞著提供客製化液體乾燥劑解決方案，另一組詞語建議使用低能耗設備來控制空氣溫度和濕度。
圖 7. 首先從 Kathabar V 矩陣和乾燥劑的多元距離中取得 SVD 特徵向量。
我們也可以使用降秩 SVD 中 V 矩陣的特徵向量的多元距離。這些距離顯示了組合在一起的單詞，讓您可以選擇語料庫中的任何單字來查找密切相關的術語。在圖7的右側面板中，我們可以看到與乾燥劑最接近的單字不出所料是：液體、系統、製程、乾燥、產品、應用、可靠和製造。
專利的競爭情報數據:
專利申請是衡量公司技術實力的良好指標。幸運的是，有許多優秀的專利搜尋引擎可供您免費存取所有摘要、圖紙和文字字段，以收集有關競爭對手受保護財產的數據並了解技術狀況。世界智慧財產權組織的 PATENTSCOPE（https://patentscope.wipo.int/search/en/result.jsf) 用於提取液體乾燥劑空調專利摘要。摘要的每一段在 JMP 資料表中構成單獨的一行。使用消費者研究平台（分析>消費者研究>分類>回應角色=多個，分配給自由文字的文字資料列），我們可以看到字數，並快速製作專利摘要中出現的熱門術語的帕累托圖。
圖 8. JMP 自由文字介面和專利資料的詞頻統計。
我們也可以使用 JMP 為最常見的 200 個單字（例如）形成指示列，以使用分析 > 多元方法 > 多元 > 成對相關性來查看某些術語是否相關。圖 9 突顯了一些高度相關的詞對，如介質過濾器、強腐蝕性殘留物、微孔膜等。
圖 9. 來自專利資料多變量平台的成對相關性
使用 JMP 文字探勘外掛程式進行主題擷取可提供更多資訊。圖 10 中前兩個 SVD 的圖表給出了這些專利想要實現的總體思路：一種需要使用液體乾燥劑（停用詞）對空氣進行除濕從而產生最適用於潮濕氣候的冷卻效果的技術；大多數液體乾燥劑存在的風險是使用噴灑在過濾介質上，這會增加進入空氣空間的風險；這些專利使用膜來消除這種風險。
圖 10. 專利的前兩個 SVD 向量
來自技術期刊文章的市場情報：學術文獻中詳細介紹了許多技術進步，這表明這些進步對於描繪技術前景非常有幫助。為了更了解液體乾燥劑技術的現狀和商業應用的準備情況，我們下載了過去三年清潔能源領域知名期刊出版物中 45 篇最近審查的技術文章。這些便攜式文件檔案（pdf）很難轉換成文本，然後轉換成 JMP 資料表，因為文字字元實際上更多的是圖像，而大量的數學方程式無法很好地轉換成文字。我們嘗試了多種方法（開源和專有）來清晰地讀取這些 pdf 文件，並得出結論，使用 AdobeAcrobat Standard 或 Pro 將 pdf 保存為 MS Word 富文本文件 (rtf)，使用光學字符識別 (OCR) 功能是一個很好的中間步驟。接下來，我們開發了一個 MS Word 巨集來開啟一個 Word 文件檔案並將其儲存為文字文件，以便在我們的巨集中使用，該巨集將一個文字資料夾讀入 JMP 表中以形成語料庫。我們還必須更新文字探勘插件的 JSL 腳本，以便可以選擇刪除非字母數字字元。這些引用被刪除了，因為它們不必要地干擾了文字分析。
JMP 文本挖掘插件圖 11 中的詞頻與專利講述了類似的故事：這種綠色能源技術是一種通過再生液體乾燥劑（例如 LiCl）進行除濕來冷卻空氣以降低能耗的系統，從而通過膜將有毒乾燥劑與氣流分離來冷卻空氣。
圖 11. 期刊文章中液體乾燥膜的詞頻。
執行 SVD 之後，我們可以使用 U 矩陣的特徵向量值對類似期刊文章進行聚類。這些文獻主要依照作者線索以及液體乾燥劑的一般研究領域進行聚集（圖 12）。對於主題提取，我們使用來自 SVD 的 V 矩陣。這些期刊中的一些選定主題（圖 13）包括：1）驗證液體乾燥劑作為空調解決方案的比較實驗，以及透過節能的再生方法提高效率； 2）透過實驗預測不同入口參數值下的傳質速率和效率比；3） 使用混合電動壓縮機和液體乾燥劑去除蒸汽的替代方法。
圖 12. 液體乾燥劑期刊文章的聚類分析結果
圖13. 液體除濕空調薄膜摘要主題
V 矩陣的前兩個特徵向量圖（圖 14）顯示了基於摘要的這些研究工作的一些一般主題：能量再生、改善除濕、模擬、質量傳遞、實驗預測、模型、溫度和膜以及水蒸氣的熱過程。
圖 14. 液體除濕空調期刊摘要前兩個特徵向量的二元圖
主題擷取中另一個有用的技巧是查看特定字詞與 V 矩陣的多元距離。這些多元距離是在聚類分析過程中由 JMP 計算的，並透過保存距離矩陣來獲得。您可以選擇一個特定的單字並找出與其最密切相關的單字。圖 15 中顯示的幾個有趣的字詞提供了這些期刊文章摘要中的以下資訊：
- 成本－關注的是投資回收期、主要安裝、鍋爐和儲存的主要驅動因素
- 可靠性－生產有空氣冷卻子系統的多區域和天花板單元
- 鋰乾燥劑為氯化鋰水溶液；主要問題是與周圍環境接觸（有毒），微孔膜是解決方案
- 飛沫－直接接觸有害，需要消除以確保經濟可行性
圖 15. 液體乾燥劑期刊摘要與 V 矩陣的多元距離。
概括：
競爭情報分析有許多框架，例如 SWOT、波特五力模型和四角模型，這些框架都依賴目前可靠的資料輸入。 CI 資料來源數量激增並變得民主化，因此整個企業的員工都可以找到有關其競爭對手的可利用資訊。問題在於資料不一定易於檢索，而且大多是吵雜且非結構化的。 JMP 和 JSL 腳本的分析工具有助於收集和理解來自網站、社群媒體、專利和技術期刊文章等來源的資料。與軍事類比一樣，目標是從非結構化開源資訊轉變為影響組織戰略方向的「機密」情報報告。
參考：
詹姆斯·巴格拉瑪和洛薩·賴切爾。增強隱式重啟 Lanczos 雙對角化方法。 2005，SIAM 科學計算雜誌，第卷27，第 19-42 頁。
巴伯拉，巴布羅。 streamR：透過 R 存取 Twitter 流 API。 [線上] 2014 年。 http 
/CRAN.R-project.org/package=streamR 。
Czepiel，John 和 Kerin，Roger。競爭對手分析。 [線上] 2011。http://pages.stern.nyu.edu/~jczepiel/Publications/CompetitorAnalysis.pdf.
伊娃ngelopoulos, Nicholas, Zhang, Xiaoni, & Prybutok, Victor R.潛在語意分析：五項方法論建議。 2012 年，《歐洲資訊系統期刊》卷21，頁70-86。
夥計們，伊恩。 wordcloud：詞雲。克蘭。 [線上] 2014 年。http://cran.r-project.org/web/packages/wordcloud/index.html.
考希克，阿瓦尼什。透過競爭情報分析取得壓倒性勝利：最佳指標、報告。[線上] 2015 年。http://www.kaushik.net/avinash/competitive-intelligence-analysis-tools-metrics-reports-techniques/.
朗，鄧肯·坦普爾。 RCurl: R.克蘭的通用網路（HTTP/FTP/...）客戶端介面。 [線上] 2015.http://cran.r-project.org/web/packages/RCurl/index.html.
馬丁。戰略架構：競爭對手分析與競爭情報。 [線上] 2015 年。http://www.entrepreneurial-insights.com/competitor-analysis-competitive-intelligence/.
梅塔耶爾，埃斯特爾。您的競爭情報或策略規劃團隊應該掌握的頂級分析技術。 [線上] 2015 http://competia.com/50-competitive-intelligence-analysis-techniques 。
世界智慧財產權組織Patentscope。 [線上] 2015 年。https://patentscope.wipo.int/search/en/result.jsf
