利用 JMP® 的力量：大數據和社交媒體進行競爭對手分析
2015 年 JMP 探索會議
James Wisnowski，Adsurgo LLC
弗洛爾·卡斯蒂略，SABIC
安德魯·卡爾，Adsurgo LLC
希思·拉欣 (Heath Rushing)，Adsurgo LLC
抽象的：
相對於全球人口，現在物聯網中的傳感器（例如智能手機）數量是全球人口的兩倍，社交媒體帳戶的數量也相當。 由此產生的數據量爆炸性增長對於那些能夠在大量非結構化和不確定噪聲中找到信號的人來說意味著巨大的機會。 最近的一個項目提出了 JMP 用戶有效搜索和分析大量有關創新技術、相關成熟度水平、當前應用程序和主要競爭對手的開源材料的需求。 獨特的挑戰包括需要從這些不同的網站架構（沒有無關代碼）以及附加的 PDF 和 PowerPoint 文件中提取文本，而這些文件並不總是可用的格式。 語料庫開發完成後，文本將被導入 JMP，以快速識別感興趣的關鍵主題和相關文檔。 這些步驟是使用 R 中文本挖掘例程的直觀 JMP 界面完成的。 與傳統方法相比，使用 JMP 數據可視化、聚類分析和決策樹功能的文本分析能夠更好地描述市場。 本演講將演示一系列 JMP 腳本和平台，用於有效搜索相關網站的分數並監控社交媒體渠道（例如 Twitter）、收集大量非結構化數據並回答重點研究問題。
介紹：
儘管競爭情報 (CI) 一詞在過去幾十年才被用來描述公司獲取有關構成業務威脅的其他組織的信息的行為，但這種做法已經存在了幾個世紀。 與軍事情報類似，我們可以想像一個企業專注於競爭對手、產品和客戶的外部力量，以準確評估它需要執行什麼策略才能在充滿挑戰的環境中蓬勃發展。 我們可以從受經濟和市場力量支配的戰略環境以及日常所需的戰術情報（例如匹配競爭對手的價格）來思考競爭情報。 反競爭情報是企業也希望保護自己的專有信息和其他敏感信息的領域。 工具和數據源需要跟上動態發展的方法，以有效地了解業務競爭對手並預測他們未來的反應。 本文闡述了 SAS Institute 的 JMP 軟件在競爭激烈的市場分析領域獲取和分析數據的價值。
競爭情報週期：
圖 1 中的競爭情報週期是基於軍事情報模型的眾多構造之一，用於描述尋找其他企業的可利用市場信息並應用分析來發現可操作信息的過程。 它從定義階段開始，準確找出您真正想要調查的維度，以便您可以製定可靠的攻擊計劃。 第二階段的重點是獲取正確的數據源來塑造研究。 第三階段旨在應用分析方法將原始數據轉化為見解，最終產生一個描述景觀的引人入勝的故事。 最後一個階段是將這些信息提供給可以根據情報採取行動的正確團隊。
圖1。 競爭情報週期
數據是 CI 流程的動力。 過去，只有 CI 專業人員才能訪問有意義的數據和站點。 現在，隨著大數據的出現，這種情況發生了變化，組織中的每個人都可以通過集中的“拖網”從他們的專業領域中帶來一些有價值的東西。 CI 數據的來源包括年度報告、演講、新聞稿（內部和外部）、財務分析、貿易展覽、專利申請、公司網站和社交媒體等。 通常這些都是“開源”的，儘管您可能需要特殊權限才能獲得訪問權限。 許多專有數據庫甚至可能已經提供了一些分析功能，例如 Dunn and Bradstreet 的 Hoover、Salesforce、DataSift、湯森路透等。大部分原始數據將來自互聯網搜索，然後仔細提取相關數據元素。 CI 收集工作必然會面臨來自不同來源和格式的非結構化文本數據的挑戰，需要付出巨大的努力來組裝一致的數據集進行分析。
分析和生成階段通常將多個數據源組織成多個構造中的任意一個。 眾所周知的 SWOT 技術將著眼於競爭對手的優勢、劣勢、機會和威脅。 PESTLE 方法評估行業和競爭對手的政治、經濟、社會、技術、法律和環境維度。 哈佛大學教授邁克爾·波特的五力（進入壁壘、當前競爭對手、替代威脅、供應商討價還價能力、買方討價還價能力）經受住了時間的考驗。 波特還有一個四角模型（驅動因素/文化、當前戰略、管理假設和能力）來預測競爭對手的未來行動。 其他分析框架形成矩陣，以競爭對手為列，以分銷渠道、技術優勢、定價、市場份額、客戶關注度、財務穩定性、勞動力、設施、合作夥伴關係等關鍵績效指標為行。 這些框架面臨的挑戰是準確填充數據元素，因為許多是定性評估，取決於您如何找到可靠的數據源。 我們討論 JMP 中的一些可以幫助查找和探索這些關鍵數據的方法。
鈷來自網站分析的競爭情報數據：
A瓦納什·考西克描述了許多可用於分析網絡流量的工具，以獲得有關來源、人口統計、跳出動態和產品情緒的令人驚訝的深刻信息。 他將其分為以網站為中心的（著眼於競爭對手的網站）和以生態系統為中心（著眼於行業和特定技術）。 以站點為中心的應用程序的示例包括 Google Analytics、Compete、SimilarWeb、Marketing Grader、Majestic 和 AdBeat（用於在線廣告指標）。 這些工具提供有關每個站點的詳細信息（例如來源、跳出率、訪問的頁面、關鍵字等），但不幸的是它僅對您自己的站點免費。
以生態系統為中心的工具的一個例子是 Google Trends（ https://www.google.com/trends/ ） 。 圖 2 顯示了“大數據”一詞隨時間的變化情況，毫不奇怪，它在過去 3 年中得到了廣泛應用。 情節上的信件從網絡上選擇了當時某個時間點的代表性故事，這些故事可以提供有關為什麼會出現高峰或低谷的見解。 此外，還提供了熱門地理區域和相關搜索詞（例如大數據 Hadoop）。
Google Trends 可以導出數據，使我們能夠使用 JMP 的功能進行自己的分析。 例如，喬丹·斯皮思 (Jordan Spieth) 是一位 22 歲的高爾夫球手，他在最近的表現出色，達到了世界排名第一。 在體育界，經常聽到高爾夫作為一項運動的興趣正在下降，也許斯皮思可以扭轉這一趨勢。 圖 3 中的圖當然不僅顯示了下降趨勢，而且顯示了一種非常週期性的模式，可能在我們的競爭分析和營銷角色中有用。
圖 2. “大數據”的谷歌趨勢時間序列圖
圖 3. “高爾夫”的谷歌趨勢時間序列圖
從數據導出中，我們可以使用 JMP 在圖形生成器中創建我們自己的自定義時間序列圖，以更清楚地標記這些事件，並且我們可以使用季節性 ARIMA 來預測未來的增長，如圖 4 所示。 企業可以使用這些類型的高級分析來預測市場走向和廣告活動的時機。
圖 4. ARIMA 集團時間序列圖和“高爾夫”預測
來自社交媒體的競爭情報數據：
過去十年，可以從社交媒體網站吸收的新型情報數據呈爆炸式增長。 現在，所有類型的通信被記錄的次數比以往任何時候都多，我們有機會在所有這些嘈雜的非結構化數據中找到 CI 信號。 博客和公告板是收集行業和公司特定信息的絕佳狩獵場。 您可以在 LinkedIn 和其他專業網站上關注公司、員工、技術團體、工作機會、前員工。 在 Facebook、Twitter 和 Instagram 等網站上發帖也提供了了解市場和競爭對手趨勢的機會。 面臨的挑戰是有效地收集這種非結構化數據，其特徵是一種新的非正式的類似英語的語言，有多種方式來表達同一個單詞——想想你如何向某人發送這個單詞今晚。
我們編寫了一個 JMP 腳本語言 (JSL) 腳本，該腳本調用統計編程語言 R 來下載與關鍵字相關的指定持續時間內的所有（或隨機樣本）Twitter 源。 該腳本收集從當前時間到未來預先指定時間段的數據，儘管用於收集回顧數據的 Twitter 檔案確實需要付費。 返回的數據包括實際的推文、位置、時間和其他人口統計字段。 許多公司收集實時推文，以了解公眾對主要產品發布的反應——無論是他們自己的產品還是競爭對手的產品。 舉個例子，在勒布朗·詹姆斯宣布他將返回克利夫蘭後，我們運行了該腳本 5 分鐘，因為我們所有關於產品和公司的 Twitter 數據都是專有的。 圖 5 中生成的詞云在刪除常用詞（the、and、or、...）和攻擊性語言後，可以深入了解最常出現的術語（最大字體）。 此外，我們還對推文進行了情感分析，將大約 1,500 個通常與積極情緒相關的單詞列表、大約 2,000 個消極單詞列表以及 5 分鐘內 4,000 條推文中收集的所有單詞進行交叉製表。 一條推文可能有多個正面和負面的詞語，也可能兩者都沒有。 總計有 3,533 個正面詞彙和 1,626 個負面詞彙。 詞云和情感分析是使用用於文本挖掘的 JMP 插件進行的，該插件還調用 R 來進行文本分析例程。
圖 5. 2014 年夏季“LeBron”上的 Twitter JSL 腳本接口和 Wordcloud
來自抓取競爭對手網站的競爭情報數據：
公司網站的架構本身就是一個有用的戰略情報，因為他們會仔細選擇在網上展示的內容，包括當前的能力和客戶以及他們正在為未來改進所做的工作。 其他特殊的數據機會包括會議、領導力、白皮書鏈接、新聞報導鏈接、最佳實踐、技術討論、職位發布和搜索引擎優化中的關鍵詞。 獲取此數據的一種方法是手動複製並粘貼感興趣的文本。 或者，自動網絡抓取實用程序具有更快和更全面的優點，但可能會返回太多或無關的信息。
我們開發了 JSL 代碼來從任何網站抓取文本數據，同時跟踪元數據，例如文本在網站上的位置。 Spider腳本再次調用R，只需要您輸入感興趣的網站即可。 由於網站的結構不同，您可以選擇要進行的抓取類型。 抓取選項包括選擇所有文本、新聞報導或默認設置。 您還可以選擇要爬網的深度，其中級別 0 是您指定的網頁，1 是該頁面加上所有鏈接的頁面，依此類推。
例如，一種流行的綠色能源技術是液體乾燥劑空調，它通過去除水分子來實現冷卻效果，而不是傳統的冷空氣或製冷劑系統通過將溫度降低到露點以下來去除濕度。 谷歌對商用液體乾燥劑空調的快速搜索顯示了兩家領先公司：Advantix Systems 和 Kathabar。 我們使用 JSL 腳本抓取兩個站點，以創建一個 JMP 數據表，其中每一行代表一個網頁。 圖 6 顯示了 Spider 界面以及文本挖掘插件生成的詞云。
圖 6. JSL Spider 界面和生成的 Wordcloud www.kathabar.com
詞云再次代表了單詞的頻率。 儘管這種原始字數統計很有用，但它並不能提供太多關於哪些單詞一起出現以及可能出現哪些主題的信息。 要將非結構化文本轉換為平面文件以進行字數統計之外的統計分析，通常會形成一個文檔術語矩陣 (DTM)，其中每個文檔（我們的示例為網頁）作為一行，並且整個文檔中使用的每個唯一單詞語料庫作為單獨的列。 矩陣條目是每個術語在特定行中出現的頻率，儘管最好使用二進製表示來指示該單詞是否出現。 基於單詞在行中出現的次數的加權方案是另一種常用的轉換。 也就是說，每行中出現的單詞可能沒有太大的區分能力來幫助分析。 DTM 的問題在於它通常非常大且非常稀疏；因此，標準統計方法可能無法檢測到有用的關係。
針對大型且稀疏的 DTM 的一種解決方案是將其投影到更小的維度空間中，就像主成分分析 (PCA) 一樣。 更好的解決方案是在比列數或字數更低的維度中對 DTM 進行奇異值分解 (SVD)（將其減少到 100 到 300）。 該 SVD 可以被認為是 DTM M=UDV'。 U 矩陣中的特徵向量表示文檔，V 矩陣中的特徵向量表示單詞，D 矩陣對角線上的奇異值來自解釋每個 SVD 列解釋的變異性比例的特徵值。
查看 V 矩陣中前兩個特徵向量的二元圖有助於了解文本數據中的主要主題以及查找組合在一起的單詞。 圖 7 顯示了 Kathabar 示例的前 2 個 SVD 的雙變量圖。 在這裡我們看到單詞分組提供定制液體乾燥劑解決方案另一個小組建議控制空氣溫度和濕度的低能耗設備。
圖 7. 首先從 Kathabar V 矩陣得到 SVD 特徵向量和乾燥劑的多元距離。
我們還可以使用來自降階 SVD 的 V 矩陣特徵向量的多元距離。 這些距離顯示組合在一起的單詞，使您可以選擇語料庫中的任何單詞來查找密切相關的術語。 在圖 7 的右側面板中，我們可以看到最接近的單詞乾燥劑不足為奇：液體、系統、過程、乾燥、產品、應用、可靠、和生產。
來自專利的競爭情報數據:
專利申請是衡量公司技術狀況的良好晴雨表。 幸運的是，有許多優秀的專利搜索引擎可以讓您免費訪問所有摘要、附圖和文本字段，以收集有關競爭對手受保護財產的數據並了解技術狀況。 世界知識產權組織的 PATENTSCOPE（ https://patentscope.wipo.int/search/en/result.jsf ）用於提取液體乾燥劑空調專利的摘要。 摘要的每個段落在 JMP 數據表中形成單獨的行。 使用消費者研究平台（分析>消費者研究>分類>響應角色=多個，分配給自由文本的文本數據列），我們可以查看字數統計，并快速製作出現在專利摘要中的頂級術語的帕累托圖。
圖 8. JMP 自由文本界面和專利數據的詞頻計數。
我們還可以使用 JMP 為最常見的 200 個（例如）單詞形成指標列，以使用分析>多元方法>多元>成對相關性。 圖 9 突出顯示了一些高度相關的單詞對，例如介質過濾器、強腐蝕性殘留物、微孔膜等等。
圖 9. 專利數據多元平台的成對相關性
使用 JMP 文本挖掘插件進行主題提取可提供更多信息。 圖 10 中前兩個 SVD 的繪圖給出了這些專利試圖實現的總體思路：一種需要使用液體乾燥劑（停用詞）對空氣進行除濕的技術，從而產生最適用於潮濕環境的冷卻效果。氣候；大多數液體乾燥劑存在的風險是在過濾介質上使用噴霧，這會增加殘留到空氣空間的風險；這些專利使用膜來消除這種風險。
圖 10. 專利的前兩個 SVD 向量
來自技術期刊文章的市場情報：學術文獻中詳細介紹了許多技術進步，這表明這些技術進步對於描繪技術景觀非常有幫助。 為了更好地了解液體乾燥劑技術的現狀以及商業應用的準備情況，我們從過去三年來清潔能源領域的知名期刊出版物中下載了 45 篇最近引用的技術文章。 這些便攜式文檔文件 (pdf) 很難轉換為文本，然後轉換為 JMP 數據表，因為文本字符實際上更多是圖像，並且大量數學方程無法很好地轉換為文本。 我們嘗試了多種方法（開源和專有）來清晰地閱讀這些 pdf 文件，並得出結論，使用 AdobeAcrobat Standard 或 Pro 將 pdf 保存為 MS Word 富文本文件 (rtf)，使用光學字符識別 (OCR) 功能是一個不錯的選擇。好的中間步驟。 接下來，我們開發了一個 MS Word 宏來打開 Word 文檔文件並將它們另存為文本文件，以便在我們的宏中使用，該宏將文本文件的文件夾讀入 JMP 表以形成語料庫。 我們還必須更新文本挖掘插件的 JSL 腳本，以便可以選擇刪除非字母數字字符。 這些引用已被刪除，因為它們不必要地干擾了文本分析。
JMP 文本挖掘插件中的圖 11 中的詞頻講述了與專利類似的故事：這種綠色能源技術是一種冷卻空氣的系統，通過再生液體乾燥劑（例如 LiCl）進行除濕從而冷卻空氣來減少能耗。空氣中的膜將有毒乾燥劑與氣流分開。
圖 11. 液體乾燥劑膜的期刊文章詞頻。
執行 SVD 後，我們可以使用 U 矩陣中的特徵向量值對期刊文章進行聚類。 這些文檔很大程度上按照作者路線以及液體乾燥劑的一般研究領域進行分類（圖 12）。 對於主題提取，我們使用 SVD 中的 V 矩陣。 這些期刊的一些精選主題（圖 13）包括：1) 驗證液體乾燥劑作為空調解決方案的比較實驗以及通過節能再生方法提高效率的比較實驗； 2）在允許不同入口參數值的情況下進行實驗來預測傳質速率和效率比； 3）使用混合電動壓縮機和液體乾燥劑去除蒸汽的替代方法。
圖 12. 液體乾燥劑期刊文章的聚類分析結果
圖 13. 液體除濕空調膜摘要專題
V 矩陣的前兩個特徵向量圖（圖 14）顯示了這些基於摘要的研究工作的一些一般主題：能量再生、改善除濕、模擬、傳質、實驗預測、模型、溫度和膜以及熱用水蒸氣進行處理。
圖 14. 液體乾燥劑空調期刊摘要前兩個特徵向量的雙變量圖
主題提取中的另一個有用技術是查看特定單詞與 V 矩陣的多元距離。 這些多元距離是由 JMP 在聚類分析期間計算的，並通過保存距離矩陣獲得。 您可以選擇一個特定的單詞並找出哪些單詞與其最密切相關。 圖 15 中顯示的一些感興趣的單詞提供了這些期刊文章摘要中的以下信息：
- 成本——關注的是投資回收期、主要安裝、鍋爐和存儲的主要驅動因素
- 可靠性——生產帶有空氣冷卻子系統的多區域和吊頂單元
- 鋰乾燥劑為氯化鋰水溶液；主要關注的是與周圍環境的接觸（有毒），微孔膜是溶液
- 直接接觸的液滴是有害的，需要消除才能在經濟上可行
圖 15. 液體乾燥劑期刊摘要的 V 矩陣的多元距離。
概括：
競爭情報分析有許多框架，例如 SWOT、波特的 5 力和 4 角，它們依賴於當前且可靠的數據輸入。 CI 數據源猛增並變得民主化，因此整個企業的員工都可以找到有關競爭對手的可利用信息。 問題是數據不一定容易檢索，大多是嘈雜且非結構化的。 JMP 和 JSL 腳本中的分析工具有助於收集和理解來自網站、社交媒體、專利和技術期刊文章等來源的數據。 與軍事類比一樣，目標是從非結構化開源信息過渡到影響組織戰略方向的“機密”情報報告。
參考：
詹姆斯·巴格拉瑪和洛薩·賴切爾。 增強隱式重啟 Lanczos 雙對角化方法。 2005，SIAM 科學計算雜誌，卷。 27，第 19-42 頁。
巴貝拉、巴勃羅. StreamR：通過 R 訪問 Twitter Streaming API。 [在線]2014年。 http://CRAN.R-project.org/package=streamR 。
約翰·切皮爾和羅傑·科林。 競爭對手分析。 [在線]2011年。 http://pages.stern.nyu.edu/~jczepiel/Publications/CompetitorAnalysis.pdf 。
伊娃ngelopoulos、Nicholas、Zhang、Xiaoni 和 Prybutok，Victor R.潛在語義分析：五項方法建議。 2012，歐洲信息系統雜誌，卷。 21，第 70-86 頁。
同胞們，伊恩. wordcloud：詞云。 克蘭。 [在線]2014年。 http://cran.r-project.org/web/packages/wordcloud/index.html 。
考希克，阿瓦尼什。 通過競爭情報分析粉碎它：最佳指標、報告。 [在線]2015年。 http://www.kaushik.net/avinash/competitive-intelligence-analysis-tools-metrics-reports-techniques/ 。
朗，鄧肯·坦普爾。 RCurl：R 的通用網絡（HTTP/FTP/...）客戶端接口。 克蘭。 [在線]2015年。 http://cran.r-project.org/web/packages/RCurl/index.html 。
馬丁。 戰略框架：競爭對手分析和競爭情報。 [在線]2015年。 http://www.entrepreneurial-insights.com/competitor-analysis-competitive-intelligence/ 。
梅泰耶，埃斯特爾。 您的競爭情報或戰略規劃團隊應掌握的頂級分析技術。 [在線]2015年http://competia.com/50-competitive-intelligence-analysis-techniques 。
世界知識產權組織專利範圍。 [在線]2015年。 https://patentscope.wipo.int/search/en/result.jsf
