利用 JMP® 的力量：用於競爭對手分析的大數據和社交媒體
JMP 發現大會 2015
James Wisnowski, Adsurgo LLC
弗洛爾·卡斯蒂略，SABIC
安德魯·卡爾，Adsurgo LLC
希思拉興，Adsurgo LLC
抽象的：
相對於全球人口，現在物聯網中有兩倍多的傳感器（例如智能手機）和同等數量的社交媒體賬戶。 由此產生的數據量爆炸式增長為那些能夠在大量非結構化和不確定噪聲中找到信號的人提供了巨大的機會。 最近的一個項目表明 JMP 用戶需要有效地搜索和分析關於創新技術、相關成熟度級別、當前應用程序和主要競爭對手的大量開源材料。 獨特的挑戰包括需要從這些不同的網站架構（沒有多餘的代碼）以及附件的 PDF 和 PowerPoint 文件中提取文本，這些文件並不總是可用的格式。 語料庫開發完成後，文本被導入 JMP 以快速識別感興趣的關鍵主題和相關文檔。 這些步驟是使用 R 中文本挖掘例程的直觀 JMP 界面完成的。 與傳統方法相比，使用 JMP 數據可視化、聚類分析和決策樹功能的文本分析能夠更好地表徵市場。 本次演講將展示一系列 JMP 腳本和平台，以有效搜索相關網站的分數並監控社交媒體（如 Twitter），收集大量非結構化數據，並回答重點研究問題。
介紹：
儘管競爭情報 (CI) 這一術語僅在過去幾十年中才被用於描述公司獲取有關構成業務威脅的其他組織的信息的行為，但這種做法已經存在了幾個世紀。 類似於軍事情報，我們可以將企業想像成專注於競爭對手、產品和客戶的外部力量，以準確評估它需要執行什麼戰略才能在充滿挑戰的環境中茁壯成長。 我們可以從由經濟和市場力量支配的戰略環境以及每天所需的戰術情報（例如匹配競爭對手的價格）的角度來考慮競爭情報。 反競爭情報是企業也希望保護自己的專有信息和其他敏感信息的地方。 工具和數據源需要跟上動態發展的方法，以有效地了解業務競爭對手並預測他們未來的反應。 本文闡述了 SAS Institute 的 JMP 軟件在競爭激烈的市場分析領域中獲取和分析數據的價值。
競爭情報週期：
圖 1 中的競爭情報週期是基於軍事情報模型的眾多結構之一，用於描述在其他企業中尋找可利用的市場信息並應用分析來發現可操作信息的過程。 它從定義階段開始，準確地確定您真正想要調查的維度，以便您可以製定可靠的攻擊計劃。 第二階段的重點是獲得正確的數據源來塑造研究。 第三階段尋求應用分析方法將原始數據轉化為洞察力，最終產生描述景觀的引人入勝的故事。 最後一個階段涉及將此信息提供給可以根據情報採取行動的正確團隊。
圖1。 競爭情報週期
數據是推動 CI 流程的動力。 過去，只有 CI 專業人員才能訪問有意義的數據和站點。 現在，大數據改變了這種情況，組織中的每個人都可以通過專注的“拖網”從他們的專業領域帶來一些有價值的東西。 CI 數據的來源包括年度報告、演講、新聞稿（內部和外部）、財務分析、貿易展覽、專利申請、公司網站和社交媒體等等。 這些通常是“開源的”，儘管您可能需要特殊權限才能獲得訪問權限。 存在許多專有數據庫，甚至可能已經有一些分析可用，例如 Dunn 和 Bradstreet 的 Hoover、Salesforce、DataSift、Thomson Reuters 等。大部分原始數據將來自互聯網搜索，然後仔細提取相關數據元素。 CI 收集工作必然會面臨來自不同來源和格式的非結構化文本數據的挑戰，需要付出大量努力來組裝一個連貫的數據集以進行分析。
分析和生產階段通常將多個數據源組織成多個結構中的任何一個。 眾所周知的 SWOT 技術將著眼於競爭對手的優勢、劣勢、機會和威脅。 PESTLE 方法評估一個行業和競爭對手的政治、經濟、社會、技術、法律和環境維度。 哈佛教授邁克爾波特的五力（進入壁壘、當前競爭對手、替代威脅、供應商議價能力、買方議價能力）經受了時間的考驗。 波特還有一個四角模型（驅動因素/文化、當前戰略、管理假設和能力）來預測競爭對手的未來行動。 其他分析框架形成矩陣，以競爭對手為列，以分銷渠道、技術優勢、定價、市場份額、客戶關注度、財務穩定性、勞動力、設施、合作夥伴關係等關鍵績效指標為行。 這些框架中的任何一個都面臨著準確填充數據元素的挑戰，因為許多都是定性評估，取決於您找到可靠數據源的程度。 我們討論了 JMP 中可以幫助查找和探索這些關鍵數據的一些方法。
公司來自網站分析的競爭情報數據：
一個瓦納什·考西克描述了許多可用於分析網絡流量的工具，以獲得關於來源、人口統計、反彈動態和產品情緒的令人驚訝的深刻信息。 他將這些分解為以網站為中心，關注競爭對手的網站，而以生態系統為中心，關注行業和特定技術。 以站點為中心的應用程序的示例有 Google Analytics、Compete、SimilarWeb、Marketing Grader、Majestic 和 AdBeat（用於在線廣告指標）。 這些工具提供有關每個站點的詳細信息（例如來源、跳出率、訪問的頁面、關鍵字……），但不幸的是，它僅對您自己的站點免費。
以生態系統為中心的工具的一個例子是谷歌趨勢（ https://www.google.com/trends/ ) . 圖 2 顯示了隨著時間的推移“大數據”一詞的出現，這並不奇怪，它在過去 3 年中開始流行。 情節上的字母選擇了當時網絡上的一個具有代表性的故事，可以提供關於為什麼會有高峰或低谷的見解。 此外，還提供了排名靠前的地理區域和相關搜索詞（例如大數據 Hadoop）。
Google Trends 可以導出數據，使我們能夠使用 JMP 的功能進行自己的分析。 例如，喬丹·斯皮思（Jordan Spieth）是一名 22 歲的高爾夫球手，他最近一年的表現非常出色，排名世界第一。 在體育界聽到高爾夫作為一項運動的興趣正在下降的情況並不少見，也許斯皮思可以扭轉這一趨勢。 圖 3 中的圖當然不僅顯示了下降趨勢，而且還顯示了一種非常週期性的模式，可能對我們的競爭分析和營銷角色有用。
圖 2。 “大數據”的谷歌趨勢時間序列圖
圖 3。 “高爾夫”的谷歌趨勢時間序列圖
從數據導出中，我們可以使用 JMP 在 Graph Builder 中創建我們自己的自定義時間序列圖，更清楚地標記這些事件，我們可以使用季節性 ARIMA 預測未來的增長，如圖 4 所示。 公司可以使用這些類型的高級分析來預測市場走向和廣告活動的時間安排。
圖 4。 “高爾夫”的 ARIMA Group 時間序列圖和預測
來自社交媒體的競爭情報數據：
在過去的十年中，可以從社交媒體網站吸收的新型情報數據出現爆炸式增長。 現在比以往任何時候都更多地記錄各種類型的通信，我們有機會在所有這些嘈雜的非結構化數據中找到 CI 信號。 博客和公告板是收集行業和公司特定信息的絕佳場所。 您可以在 LinkedIn 和其他專業網站上關注公司、員工、技術團隊、工作機會、前員工。 在 Facebook、Twitter 和 Instagram 等網站上發帖也提供了了解市場和競爭對手趨勢的機會。 挑戰在於有效地收集這種非結構化數據，這種非結構化數據的特點是一種新的非正式的類似英語的語言，有多種表達同一個詞的方式——想想你將如何給某人發短信今晚.
我們編寫了一個 JMP 腳本語言 (JSL) 腳本，該腳本調用統計編程語言 R 來下載所有（或隨機樣本）的 Twitter 提要，並在指定的持續時間內與關鍵字相關。 該腳本收集從當前時間到未來預先指定時間段的數據，儘管收集追溯數據的 Twitter 檔案確實存在，但需要付費。 返回的數據包括實際的推文、位置、時間和其他人口統計字段。 許多公司收集實時推文，以了解公眾對主要產品發布的反應——無論是他們自己的還是競爭對手的。 例如，在勒布朗詹姆斯宣布他將返回克利夫蘭後，我們運行了 5 分鐘的腳本，因為我們所有關於產品和公司的 Twitter 數據都是專有的。 圖 5 中生成的詞云在刪除常用詞（the、and、or、...）和攻擊性語言後，可以深入了解最常出現的術語（最大字體）。 此外，我們通過對大約 1,500 個通常與積極情緒相關的單詞的列表、大約 2,000 個負面單詞的列表以及在那 5 分鐘內從 4,000 條推文中收集的所有單詞進行交叉製表來對推文進行情緒分析。 一條推文可能有多個正面和負面的詞，也可能一個都沒有。 總數為 3,533 個肯定詞和 1,626 個否定詞。 wordcloud 和情感分析是使用用於文本挖掘的 JMP 插件進行的，該插件還調用 R 用於文本分析例程。
圖 5。 2014 年夏季“勒布朗”的 Twitter JSL 腳本界面和 Wordcloud
來自競爭對手網站的競爭情報數據：
公司網站的架構本身就是一個有用的戰略情報，因為他們會根據當前的能力和客戶以及他們正在為未來改進而做的工作，仔細選擇要在其在線展示中顯示的內容。 其他特殊的數據機會包括會議/會議、領導力、白皮書鏈接、新聞報導鏈接、最佳實踐、技術討論、職位發布和搜索引擎優化中的關鍵詞。 獲取此數據的一種方法是手動複製和粘貼感興趣的文本。 或者，自動網絡抓取實用程序具有更快和更全面的優點，儘管可能會返回太多或無關的信息。
我們開發了 JSL 代碼來從任何網站抓取文本數據，同時跟踪元數據，例如網站上文本的位置。 Spider 腳本再次調用 R 並且只需要您輸入感興趣的網站。 由於網站的結構不同，您可以選擇要進行的抓取類型。 抓取選項包括選擇所有文本、新聞報導或默認設置。 您還可以選擇要抓取的深度，其中級別 0 是您指定的網頁，1 是該頁面加上所有鏈接的頁面，依此類推。
例如，一種流行的綠色能源技術是液體乾燥劑空調，它通過去除水分子來實現冷卻效果，而不是通過將溫度降低到露點以下來去除濕度的傳統冷凍空氣或製冷劑系統。 Google 對商用液體乾燥劑空調的快速搜索顯示了兩家領先的公司 Advantix Systems 和 Kathabar。 我們使用 JSL 腳本抓取兩個站點，以創建一個 JMP 數據表，其中每一行代表一個網頁。 圖 6 顯示了 Spider 界面以及來自文本挖掘插件的結果詞云。
圖 6. JSL Spider 界面和生成的 Wordcloud www.kathabar.com
wordcloud 再次代表了單詞的頻率。 雖然這個原始字數很有用，但它並不能提供關於哪些詞一起出現以及可能存在哪些主題的信息。 要將非結構化文本轉換為平面文件以進行超出字數的統計分析，通常會形成一個文檔術語矩陣 (DTM)，其中每個文檔（我們示例中的網頁）為一行，並且在整個文檔中使用的每個唯一單詞語料庫作為一個單獨的列。 矩陣條目是每個術語在特定行中出現的頻率，儘管最好只使用二進製表示來指示單詞是否出現。 基於單詞在行中出現次數的加權方案是另一種常用的轉換。 也就是說，出現在每一行中的單詞可能沒有太大的辨別力來幫助分析。 DTM 的問題在於它通常非常大而且非常稀疏。因此，標準統計方法可能無法檢測到有用的關係。
大型稀疏 DTM 的一種解決方案是將其投影到更小的維度空間中，就像主成分分析 (PCA) 一樣。 更好的解決方案是將 DTM 的奇異值分解 (SVD) 放在比列數或單詞數更低的維度上（將其減少到 100 到 300）。 這個 SVD 可以被認為是 DTM M=UDV'。 U 矩陣中的特徵向量表示文檔，V 矩陣中的特徵向量表示單詞，D 矩陣對角線上的奇異值來自解釋每個 SVD 列解釋的變異性比例的特徵值。
查看 V 矩陣中前兩個特徵向量的雙變量圖有助於找出文本數據中的主要主題以及找到組合在一起的單詞。 圖 7 顯示了 Kathabar 示例的前 2 個 SVD 的雙變量圖。 在這裡，我們看到單詞分組提供定制的液體乾燥劑解決方案和另一組建議控制空氣溫度和濕度的低能耗設備。
圖 7。 首先是來自 Kathabar V 矩陣的 SVD 特徵向量和乾燥劑的多元距離。
我們還可以使用從 V 矩陣的特徵向量到降階 SVD 的多元距離。 這些距離顯示組合在一起的單詞，使您可以選擇語料庫中的任何單詞來查找密切相關的術語。 在圖 7 的右側面板中，我們可以看到最接近乾燥劑不足為奇：液體、系統、工藝、乾燥、產品、應用、可靠、和生產。
來自專利的競爭情報數據：
專利申請提供了一個公司技術概況的良好晴雨表。 幸運的是，有許多出色的專利搜索引擎可供您免費訪問所有摘要、圖紙和文本字段，以收集有關競爭對手受保護財產的數據並了解技術狀態。 來自世界知識產權組織的 PATENTSCOPE ( https://patentscope.wipo.int/search/en/result.jsf ) 用於提取液體乾燥劑空調專利的摘要。 摘要的每一段在 JMP 數據表中形成一個單獨的行。 使用消費者研究平台（分析>消費者研究>分類>響應角色=多個，分配給自由文本的文本數據列)，我們可以看到字數，并快速製作出出現在專利摘要中的頂級術語的帕累托圖。
圖 8。 專利數據的 JMP 自由文本界面和字頻計數。
我們還可以使用 JMP 為最常見的 200 個（例如）單詞形成指標列，以查看某些術語是否相關，使用分析>多元方法>多元>成對相關. 圖 9 突出顯示了一些高度相關的詞對，例如介質過濾器，強腐蝕性殘留物，微孔膜等等。
圖 9。 專利數據多元平台的成對相關性
使用 JMP 文本挖掘插件提取主題提供了附加信息。 圖 10 中前兩個 SVD 的圖給出了這些專利試圖做的總體思路：一種需要使用液體乾燥劑（停用詞）對空氣進行除濕的技術，從而產生最適用於潮濕環境的冷卻效果氣候；大多數液體乾燥劑的風險是在過濾介質上使用噴霧，這會增加攜帶進入空氣空間的風險；這些專利使用膜來消除這種風險。
圖 10。 專利的前兩個 SVD 向量
來自技術期刊文章的市場情報：學術文獻中詳細介紹了許多技術進步，這表明這些進步對描繪技術前景非常有幫助。 為了更好地了解液體乾燥劑技術的現狀和商業應用的準備情況，我們從過去三年的清潔能源領域的知名期刊出版物中下載了 45 篇最近引用的技術文章。 這些可移植文檔文件 (pdf) 難以轉換為文本然後轉換為 JMP 數據表，因為文本字符實際上是更多的圖像，並且大量的數學方程不能很好地轉換為文本。 我們嘗試了多種方法（開源和專有）來乾淨地閱讀這些 pdf 文件，並得出結論，使用 AdobeAcrobat Standard 或 Pro 使用光學字符識別 (OCR) 功能將 pdf 保存為 MS Word 富文本文件 (rtf)良好的中間步驟。 接下來，我們開發了一個 MS Word 宏來打開一個 Word 文檔文件並將它們保存為文本文件，以便在我們的宏中使用，該宏將文本文件文件夾讀取到 JMP 表中以形成語料庫。 我們還必須更新文本挖掘插件的 JSL 腳本，以便可以選擇刪除非字母數字字符。 引用已被刪除，因為它們不必要地干擾了文本分析。
來自 JMP 文本挖掘插件的圖 11 中的詞頻講述了與專利類似的故事：這種綠色能源技術是一種通過再生液體乾燥劑（例如 LiCl）來冷卻空氣以減少能源消耗的系統，以除濕從而冷卻空氣，膜將有毒乾燥劑從氣流中分離出來。
圖 11。 液體乾燥劑膜的期刊文章詞頻。
執行 SVD 後，我們可以使用 U 矩陣中的特徵向量的值對期刊文章進行聚類。 這些文件非常符合作者路線以及液體乾燥劑內的一般研究領域（圖 12）。 對於主題提取，我們使用來自 SVD 的 V 矩陣。 這些期刊中的一些選定主題（圖 13）包括：1) 驗證液體乾燥劑作為空調解決方案的比較實驗，以及通過節能的再生方法提高效率； 2) 實驗以預測傳質速率和效率比，同時允許不同的入口參數值； 3) 使用混合電動壓縮機和液體乾燥劑去除蒸汽的替代方法。
圖 12。 液體乾燥劑期刊文章的聚類分析結果
圖 13。 液體除濕空調膜文摘選題
V 矩陣的前兩個特徵向量的圖（圖 14）顯示了基於摘要的這些研究工作的一些一般主題：能量再生、改進除濕、模擬、傳質、實驗預測、模型、溫度和膜以及熱用水蒸氣處理。
圖 14。 液體乾燥劑空調前兩個特徵向量的二元圖
主題提取的另一個有用技術是查看特定單詞與 V 矩陣的多元距離。 這些多元距離由 JMP 在聚類分析期間計算，並通過保存距離矩陣獲得。 您可以選擇一個特定的單詞並找出與它最密切相關的單詞。 圖 15 中顯示的一些感興趣的詞提供了這些期刊文章摘要中的以下信息：
- 成本——關注的是投資回收期、主要安裝、鍋爐和存儲大驅動因素
- 可靠性——生產帶有空氣冷卻子系統的多區域和天花板單元
- 鋰乾燥劑為氯化鋰水溶液；主要問題是與周圍環境接觸（有毒），微孔膜是溶液
- 直接接觸的飛沫是有害的，需要消除以使經濟可行
圖 15。 液體乾燥劑期刊摘要的 V 矩陣的多元距離。
概括：
競爭情報分析有許多框架，例如 SWOT、Porter 的 5 Forces 和 4 Corners，它們依賴於當前和可靠的數據輸入。 CI 數據源激增並變得民主化，因此整個企業的員工都可以找到有關其競爭對手的可利用信息。 問題是數據不一定很容易檢索，大多是嘈雜和非結構化的。 JMP 和 JSL 腳本的分析工具有助於從網站、社交媒體、專利和技術期刊文章等來源收集數據並從中理解數據。 與軍事類比一樣，目標是從非結構化開源信息轉變為影響組織戰略方向的“機密”情報報告。
參考：
Baglama，James 和 Reichel，Lothar。 增強的隱式重啟 Lanczos 雙對角化方法。 2005 年，SIAM 科學計算雜誌，卷。 27，第 19-42 頁。
巴貝拉，巴勃羅。 streamR：通過 R 訪問 Twitter 流 API。 [在線] 2014. http://CRAN.R-project.org/package=streamR .
Czepiel，約翰和克林，羅傑。 競爭對手分析. [在線] 2011. http://pages.stern.nyu.edu/~jczepiel/Publications/CompetitorAnalysis.pdf .
伊娃ngelopoulos, Nicholas, Zhang, Xiaoni 和 Prybutok, Victor R.潛在語義分析：五項方法論建議。 2012，歐洲信息系統雜誌，卷。 21，第 70-86 頁。
研究員，伊恩。 wordcloud：詞云。 克蘭。 [在線] 2014. http://cran.r-project.org/web/packages/wordcloud/index.html .
考希克，阿瓦尼什。 用競爭情報分析粉碎它：最佳指標，報告. [在線] 2015. http://www.kaushik.net/avinash/competitive-intelligence-analysis-tools-metrics-reports-techniques/ .
朗，鄧肯寺。 RCurl：R 的通用網絡（HTTP/FTP/...）客戶端接口。 克蘭。 [在線] 2015. http://cran.r-project.org/web/packages/RCurl/index.html .
馬丁. 戰略框架：競爭對手分析和競爭情報. [在線] 2015. http://www.entrepreneurial-insights.com/competitor-analysis-competitive-intelligence/ .
梅塔耶，埃斯特爾。 您的競爭情報或戰略規劃團隊應掌握的頂級分析技術。 [在線] 2015 http://competia.com/50-competitive-intelligence-analysis-techniques .
世界知識產權組織專利範圍。 [在線] 2015. https://patentscope.wipo.int/search/en/result.jsf
