利用 JMP® 的強大功能：利用大數據和社群媒體進行競爭對手分析
2015 年 JMP 探索大會
James Wisnowski，Adsurgo LLC
Flor Castillo，SABIC
Adsurgo LLC 的 Andrew Karl
拉辛（Heath Rushing），Adsurgo LLC
抽象的：
相對於全球人口，現在物聯網中的感測器（例如智慧型手機）數量是原來的兩倍，而社群媒體帳號數量也是相當的。由此帶來的數據量的爆炸式增長，為那些能夠在大量非結構化和不確定噪聲中找到信號的人提供了巨大的機會。最近的一個項目表明，JMP 用戶需要有效地搜尋和分析大量有關創新技術、相關成熟度等級、當前應用和主要競爭對手的開源資料。獨特的挑戰包括需要從這些不同的網站架構（沒有無關程式碼）以及附加的 PDF 和 PowerPoint 文件（這些文件並不總是可用格式）中提取文字。語料庫開發完成後，將文字匯入 JMP，以快速識別感興趣的關鍵主題和相關文件。這些步驟是使用直覺的 JMP 介面對 R 中的文字探勘例程進行的。使用 JMP 資料視覺化、聚類分析和決策樹功能進行文字分析可以比傳統方法更好地表徵市場。本次演講將示範一系列 JMP 腳本和平台，以有效搜尋大量相關網站並監控社群媒體管道（如 Twitter）、收集大量非結構化資料並回答重點研究問題。
介紹：
儘管競爭情報 (CI) 一詞只是在最近幾十年才開始用來描述一家企業獲取對其他組織構成商業威脅的資訊的行為，但這種做法已經存在了幾個世紀。與軍事情報類似，我們可以想像一家企業專注於競爭對手、產品和客戶的外部力量，以準確評估需要執行什麼策略才能在充滿挑戰的環境中蓬勃發展。我們可以從受經濟和市場力量支配的戰略環境以及日常所需的戰術情報（例如匹配競爭對手的價格）的角度來考慮競爭情報。反競爭情報也是企業希望保護自己的專有資訊和其他敏感資訊的地方。工具和資料來源需要跟上動態發展的方法，才能有效地了解商業競爭對手並預測他們未來的反應。本文闡述了 SAS Institute 的 JMP 軟體在競爭激烈的市場分析領域中取得和分析資料的價值。
競爭情報週期：
圖 1 中的競爭情報週期是基於軍事情報模型的眾多構造之一，用於描述尋找其他企業的可利用市場資訊並應用分析來發現可操作資訊的過程。它從定義階段開始，明確您真正想要調查的維度，以便制定可靠的攻擊計劃。第二階段重點在於取得正確的資料來源來進行研究。第三階段旨在運用分析方法將原始資料轉化為見解，最終形成一個描述景觀的引人入勝的故事。最後階段涉及將這些資訊提供給能夠根據情報採取行動的正確團隊。
圖 1. 競爭情報週期
數據是 CI 過程的動力。過去，只有 CI 專業人員才能存取有意義的資料和網站。現在，大數據改變了這一現狀，組織中的每個人都可以透過有針對性的「拖網搜尋」從他們的專業領域帶來一些有價值的東西。 CI 資料來源包括年度報告、演講、新聞稿（內部和外部）、財務分析、貿易展覽、專利申請、公司網站和社交媒體等。通常這些都是“開源的”，但您可能需要特殊權限才能獲得存取權限。有許多專有資料庫，甚至可能已經提供一些分析功能，例如鄧白氏的 Hoover、Salesforce、DataSift、湯森路透等。 CI 收集工作必然會面臨來自不同來源和格式的非結構化文字資料的挑戰，需要付出巨大努力才能組裝出連貫的資料集進行分析。
分析和生產階段通常將多種來源的資料組織成多種結構。眾所周知的 SWOT 技術會檢視競爭對手的優勢、劣勢、機會和威脅。 PESTLE 方法評估一個產業和競爭對手的政治、經濟、社會、技術、法律和環境層面。哈佛大學教授麥可‧波特的五力理論（進入障礙、現有競爭對手、替代威脅、供應商議價能力、買方議價能力）經受住了時間的考驗。波特還有一個四角模型（驅動因素/文化、當前策略、管理假設和能力）來預測競爭對手的未來舉動。其他分析架構則以矩陣的形式，以競爭對手為列，以分銷管道、技術優勢、定價、市場份額、客戶關注度、財務穩定性、勞動力、設施、合作夥伴關係等關鍵績效指標為行。這些框架所面臨的挑戰是準確填充資料元素，因為許多都是定性評估，取決於您能多好地找到可靠的資料來源。我們討論了 JMP 中的幾種可以幫助找到和探索這些關鍵數據的方法。
合作網站分析的競爭情報資料：
A瓦納什·考西克 描述了許多可用於分析網路流量的工具，以獲得有關來源、人口統計、跳出率動態和產品情緒的令人驚訝的深刻資訊。他將這些分為以網站為中心（關注競爭對手的網站）和以生態系統為中心（專注於行業和特定技術）。以網站為中心的應用程式的範例有 Google Analytics、Compete、SimilarWeb、Marketing Grader、Majestic 和 AdBeat（用於線上廣告指標）。這些工具提供有關每個網站的詳細資訊（例如來源、跳出率、訪問的頁面、關鍵字等），但不幸的是，它僅對您自己的網站免費。
以生態系統為中心的工具的一個例子是 Google Trends ( https://www.google.com/trends/ ) 。圖 2 顯示了「大數據」這個術語隨時間的變化，毫不奇怪，它在過去 3 年中已經流行起來。情節中有一些字母，它們從網路上選擇了當時代表性的故事，或許可以解釋為什麼會出現高峰或低谷。此外，還提供了熱門地理區域和相關搜尋字詞（例如大數據 Hadoop）。
Google Trends 可以匯出數據，讓我們能夠使用 JMP 的功能進行自己的分析。例如，喬丹·斯皮思是一位 22 歲的高爾夫球手，他最近表現出色，躋身世界第一。在體育圈經常聽到這樣的說法：高爾夫運動的受歡迎程度正在下降，也許斯皮思可以扭轉這種趨勢。圖 3 中的圖表不僅顯示出下降趨勢，而且還顯示出非常週期性的模式，這可能對我們的競爭分析和行銷角色有用。
圖 2. Google 趨勢「大數據」時間序列圖
圖 3.「高爾夫」的 Google 趨勢時間序列圖
從資料匯出中，我們可以使用 JMP 在 Graph Builder 中建立我們自己的自訂時間序列圖，以更清晰地標記這些事件，並且我們可以使用季節性 ARIMA 預測未來的成長，如圖 4 所示。公司可以使用這些類型的高級分析來預測市場走向和廣告活動的時機。
圖 4. ARIMA 組時間序列圖和「高爾夫」的預測
來自社群媒體的競爭情報數據：
過去十年，從社群媒體網站取得的新型情報資料呈現爆炸性成長。現在，各種類型的通訊都被記錄得比以往更加頻繁，我們有機會在所有這些嘈雜的非結構化資料中找到 CI 訊號。部落格和公告板是收集行業和公司特定資訊的絕佳場所。您可以在 LinkedIn 和其他專業網站上關注公司、員工、技術團體、工作機會和前員工。 Facebook、Twitter 和 Instagram 等網站上的貼文也提供了了解市場和競爭對手趨勢的機會。挑戰在於有效地收集這種非結構化數據，這種數據的特點是一種新的非正式類似英語的語言，它有多種表達同一個字的方式——想一想你今晚會如何給別人發短信說「今晚」這個詞。
我們編寫了一個 JMP 腳本語言 (JSL) 腳本，該腳本調用統計程式語言 R 來下載與關鍵字相關的指定持續時間內的所有（或隨機樣本） Twitter 資訊。該腳本收集從現在到未來預定時間段的數據，不過用於收集回顧性數據的 Twitter 檔案確實存在，但需要付費。傳回的資料包括實際的推文、位置、時間和其他人口統計欄位。許多公司收集即時推文以了解公眾對主要產品發布的反應——無論是他們自己的產品還是競爭對手的產品。舉個例子，在勒布朗詹姆斯宣布他將重返克利夫蘭後，我們運行了 5 分鐘的腳本，因為我們所有關於產品和公司的 Twitter 數據都是專有的。圖 5 中的詞雲在刪除常用詞（the、and、or、...）和冒犯性語言後，可以深入了解最常出現的術語（最大字體）。此外，我們還對推文進行了情緒分析，將通常與正面情緒相關的約 1,500 個詞語的列表、與大約 2,000 個負面情緒相關的詞語的列表與那 5 分鐘內從 4,000 條推文中收集的所有詞語進行交叉製表。一則推文可能包含多個正面和負面的詞彙，也可能什麼都沒有。總計有 3,533 個正面詞彙和 1,626 個負面詞彙。詞雲和情感分析是使用用於文本挖掘的 JMP 插件進行的，該插件還調用 R 進行文本分析例程。
圖 5. 2014 年夏季 Twitter JSL 腳本介面和「勒布朗」詞雲
從競爭對手網站抓取的競爭情報資料：
一家公司網站的架構本身就是一份有用的策略情報，因為他們會仔細選擇在網路上展示什麼，包括當前的能力和客戶，以及他們正在為未來的改進而進行的工作。其他卓越的數據機會包括會議/研討會、領導力、白皮書連結、新聞報道連結、最佳實踐、技術討論、招募資訊以及搜尋引擎優化中的關鍵字。獲取此數據的一種方法是手動複製並貼上感興趣的文字。另外，自動化網頁抓取實用程式具有更快、更全面的優勢，儘管可能會傳回過多或無關的資訊。
我們開發了 JSL 程式碼來從任何網站上抓取文字數據，同時追蹤元數據，例如網站上文字的位置。 Spider 腳本再次呼叫 R 並且只要求您輸入感興趣的網站。由於網站的結構不同，您可以選擇要進行的抓取類型。抓取選項包括選擇所有文字、新聞頻道或預設設定。您也可以選擇要抓取的深度，其中 0 級是您指定的網頁，1 級是該頁面加上所有連結的頁面，依此類推。
舉例來說，一種流行的綠色能源技術是液體乾燥劑空調，它通過去除水分子來實現冷卻效果，而不是像傳統的冷空氣或製冷劑系統那樣通過將溫度降低到露點以下來去除濕氣。在 Google 上快速搜尋商用液體乾燥劑空調，就會出現兩家領先的公司，Advantix Systems 和 Kathabar。我們使用 JSL 腳本抓取了兩個網站的數據，創建了一個 JMP 數據表，其中每一行代表一個網頁。圖 6 顯示了 Spider 介面以及文字探勘插件產生的詞雲。
圖 6. JSL Spider 介面與結果字雲（來自www.kathabar.com ）
詞雲再次代表了單字的頻率。雖然這個原始字數統計很有用，但它並不能提供太多關於哪些詞語一起出現以及可能存在哪些主題的資訊。為了將非結構化文字轉換為平面文件，以便進行除字數之外的統計分析，通常會形成一個文檔詞矩陣 (DTM)，其中每個文檔（我們示例中的網頁）作為一行，整個語料庫中使用的每個唯一單字作為單獨的列。矩陣條目是每個術語在特定行中出現的頻率，但最好只使用二進位表示來表示該詞是否出現。根據單字在行中出現的次數的加權方案是另一種常用的轉換。也就是說，在每一行中出現的單字可能不具有太大的辨別能力，無法在分析上提供幫助。 DTM 的問題在於它通常非常大且非常稀疏；因此，標準統計方法可能無法檢測出有用的關係。
解決大型稀疏 DTM 的一個方法是將其投影到更小的維度空間中，類似於主成分分析 (PCA)。一個更好的解決方案是在比列數或字數更低的維度上對 DTM 進行奇異值分解 (SVD)（將其減少到 100 到 300）。這個 SVD 可以被認為是 DTM M=UDV'。 U 矩陣中的特徵向量表示文檔，V 矩陣中的特徵向量表示單詞，D 矩陣對角線上的奇異值來自解釋每個 SVD 列解釋的變異性比例的特徵值。
查看 V 矩陣的前兩個特徵向量的雙變量圖有助於找出文字資料中的主要主題以及找到組合在一起的單字。圖 7 顯示了 Kathabar 範例的前 2 個 SVD 的雙變數圖。這裡我們看到一組字詞是關於提供客製化的液體乾燥劑解決方案，另一組字詞建議使用低能耗設備來控制空氣溫度和濕度。
圖 7. 首先根據 Kathabar V 矩陣和乾燥劑的多元距離對 SVD 特徵向量進行分析。
我們也可以使用來自降秩 SVD 的 V 矩陣的特徵向量的多元距離。這些距離顯示了分組在一起的單字，讓您可以選擇語料庫中的任何單字來尋找密切相關的術語。在圖7的右側面板中，我們可以看到最接近乾燥劑的單字毫不意外地是：液體、系統、製程、乾燥、產品、應用、可靠和製造。
專利的競爭情報數據:
專利申請可以很好地衡量一家公司的技術狀況。幸運的是，有許多優秀的專利搜尋引擎可供您免費存取所有摘要、圖紙和文字字段，以收集有關競爭對手保護財產的數據並了解技術狀況。世界智慧財產權組織的 PATENTSCOPE（https://patentscope.wipo.int/search/en/result.jsf) 用於提取液體乾燥劑空調專利摘要。摘要的每一段在 JMP 資料表中構成單獨的一行。使用消費者研究平台（分析 > 消費者研究 > 分類 > 回應角色 = 多個，分配給自由文本的文本資料列），我們可以看到字數，並快速製作出專利摘要中出現的熱門術語的帕累托圖。
圖 8. JMP 自由文字介面和專利資料的詞頻計數。
我們也可以使用 JMP 為最常見的 200 個單字（例如）形成指示列，以使用分析 > 多元方法 > 多元 > 成對相關性來查看某些術語是否相關。圖 9 突顯了一些高度相關的詞對，如介質過濾器、強腐蝕性殘留物、微孔膜等。
圖 9. 來自專利資料多元平台的成對相關性
使用 JMP 文字探勘外掛程式進行主題擷取可提供附加資訊。圖 10 中的前兩個 SVD 圖給出了這些專利想要做的事情的總體思路：一種需要使用液體乾燥劑（停用詞）對空氣進行除濕從而產生最適用於潮濕氣候的冷卻效果的技術；大多數液體乾燥劑的風險是在過濾介質上噴灑，這會增加其進入空氣空間的風險；這些專利使用薄膜來消除這種風險。
圖 10. 專利的前兩個 SVD 向量
來自技術期刊文章的市場情報：學術文獻中詳細介紹了許多技術進步，這表明這些進步對於描繪技術前景非常有幫助。為了更了解液體乾燥劑技術的現狀和商業應用的準備情況，我們下載了過去三年清潔能源領域知名期刊出版物中 45 篇最近審查的技術文章。這些便攜式文件檔案（pdf）很難轉換成文本，然後轉換成 JMP 資料表，因為文字字元實際上更多的是圖像，而大量的數學方程式無法很好地轉換成文字。我們嘗試了多種方法（開源和專有）來乾淨地讀取這些 pdf 文件，並得出結論，使用 AdobeAcrobat Standard 或 Pro 將 pdf 保存為 MS Word 富文本文件 (rtf)，使用光學字符識別 (OCR) 功能是一個很好的中間步驟。接下來，我們開發了一個 MS Word 巨集來開啟一個 Word 文件檔案並將其儲存為文字文件，以便在我們的巨集中使用，該巨集將一個資料夾中的文字檔案讀入 JMP 表中以形成語料庫。我們還必須更新文字探勘插件的 JSL 腳本，以便可以選擇刪除非字母數字字元。這些引用被刪除了，因為它們不必要地干擾了文字分析。
JMP 文本挖掘插件圖 11 中的詞頻與專利講述了類似的故事：這種綠色能源技術是一種通過再生液體乾燥劑（例如 LiCl）進行除濕來冷卻空氣以降低能耗的系統，其中膜將有毒乾燥劑與氣流分離來冷卻空氣。
圖 11. 期刊文章中液體乾燥劑膜的字詞頻率。
執行 SVD 之後，我們可以使用 U 矩陣中的特徵向量值對類似期刊文章進行聚類。這些文獻主要依照作者線索以及液體乾燥劑的一般研究領域進行聚集（圖 12）。對於主題提取，我們使用來自 SVD 的 V 矩陣。這些期刊中的一些選定主題（圖 13）包括：1）驗證液體乾燥劑作為空調解決方案的比較實驗，並透過節省能源的再生方法提高效率； 2）透過實驗預測不同入口參數值下的質傳速率和效率比； 3）使用混合電動壓縮機和液體乾燥劑去除蒸氣的替代方法。
圖 12. 液體乾燥劑期刊論文的聚類分析結果
圖 13. 液體乾燥劑空調膜摘要主題
V 矩陣的前兩個特徵向量的圖（圖 14）顯示了基於摘要的這些研究工作的一些一般主題：能量再生、改善除濕、模擬、質量傳遞、實驗預測、模型、溫度和膜以及水蒸氣的熱過程。
圖 14. 液體除濕空調期刊摘要前兩個特徵向量的雙變量圖
主題擷取中另一個有用的技巧是查看特定字詞與 V 矩陣的多元距離。這些多元距離是由 JMP 在聚類分析過程中計算的，透過保存距離矩陣來獲得。您可以選擇一個特定的單字並找出與之最密切相關的單字。圖 15 顯示了一些感興趣的詞語，它們從這些期刊文章的摘要中提供了以下資訊：
- 成本－關注的是回收期、主要安裝、鍋爐和儲存的主要驅動因素
- 可靠性－生產有空氣冷卻子系統的多區域和天花板裝置
- 鋰乾燥劑為氯化鋰水溶液；主要問題是與周圍環境接觸（有毒），微孔膜是解決方案
- 飛沫－直接接觸是有害的，需要消除，以確保經濟可行性
圖 15. 液體乾燥劑期刊摘要與 V 矩陣的多元距離。
概括：
競爭情報分析有許多框架，例如 SWOT、波特五力模型和四角模型，它們都依賴目前可靠的資料輸入。 CI 資料來源數量激增並變得民主化，因此整個企業的員工都可以找到有關其競爭對手的可利用資訊。問題在於資料不一定易於檢索，而且大多是雜訊和非結構化的。 JMP 和 JSL 腳本的分析工具有助於收集和理解來自網站、社群媒體、專利和技術期刊文章等來源的資料。與軍事類比一樣，目標是從非結構化開源資訊轉變為影響組織戰略方向的「機密」情報報告。
參考：
Baglama，James 和 Reichel，Lothar。增強型隱式重啟 Lanczos 雙對角化方法。 2005，SIAM 科學計算雜誌，第卷27，第 19-42 頁。
巴貝拉，巴布羅。 streamR：透過 R 存取Twitter Streaming API。
Czepiel，John 和 Kerin，Roger。競爭對手分析。 [線上] 2011。http://pages.stern.nyu.edu/~jczepiel/Publications/CompetitorAnalysis.pdf.
伊娃ngelopoulos, Nicholas, Zhang, Xiaoni, & Prybutok, Victor R.潛在語意分析：五項方法論建議。 2012 年，《歐洲資訊系統期刊》，第卷21，第 70-86 頁。
費洛斯，伊恩。 wordcloud：詞雲。克蘭。 [線上] 2014 年。http://cran.r-project.org/web/packages/wordcloud/index.html.
考希克，阿瓦尼什。透過競爭情報分析取得壓倒性勝利：最佳指標、報告。[線上] 2015 年。http://www.kaushik.net/avinash/competitive-intelligence-analysis-tools-metrics-reports-techniques/.
朗，鄧肯‧坦普爾。 RCurl: R.克蘭的通用網路（HTTP/FTP/...）客戶端介面。 [Online] 2015.http://cran.r-project.org/web/packages/RCurl/index.html.
馬丁。戰略架構：競爭對手分析與競爭情報。 [線上] 2015 年。http://www.entrepreneurial-insights.com/competitor-analysis-competitive-intelligence/.
梅塔耶爾，埃斯特爾。您的競爭情報或策略規劃團隊應該掌握的頂級分析技術。 [線上] 2015 http://competia.com/50-competitive-intelligence-analysis-techniques 。
世界智慧財產權組織Patentscope。 [線上] 2015 年。https://patentscope.wipo.int/search/en/result.jsf
