利用 JMP® 的强大功能：利用大数据和社交媒体进行竞争对手分析
2015 年 JMP 探索大会
James Wisnowski，Adsurgo LLC
Flor Castillo，SABIC
Adsurgo LLC 的 Andrew Karl
希思·拉辛（Heath Rushing），Adsurgo LLC
抽象的：
相对于全球人口，物联网中的传感器（例如智能手机）数量是全球人口的两倍，社交媒体账户数量也是全球人口的两倍。由此产生的数据量爆炸式增长为那些能够在大量非结构化和不确定噪音中找到信号的人提供了巨大的机会。最近的一个项目提出了 JMP 用户需要高效搜索和分析大量有关创新技术、相关成熟度级别、当前应用和主要竞争对手的开源材料的需求。独特的挑战包括需要从这些不同的网站架构（没有无关代码）以及并非总是可用格式的附加 PDF 和 PowerPoint 文件中提取文本。语料库开发完成后，将文本导入 JMP 以快速识别关键感兴趣的主题和相关文档。这些步骤是使用直观的 JMP 界面和 R 中的文本挖掘例程完成的。使用 JMP 数据可视化、聚类分析和决策树功能进行文本分析可以比传统方法更好地表征市场。本次演讲将演示一系列 JMP 脚本和平台，以有效搜索大量相关网站并监控社交媒体渠道（如 Twitter）、收集大量非结构化数据并回答重点研究问题。
介绍：
尽管竞争情报 (CI) 一词在最近几十年才被用来描述一家公司获取其他对业务构成威胁的组织信息的行为，但这种做法已经存在了几个世纪。与军事情报类似，我们可以想象一家企业专注于竞争对手、产品和客户的外部力量，以准确评估其需要执行什么战略才能在充满挑战的环境中蓬勃发展。我们可以从受经济和市场力量支配的战略环境以及日常所需的战术情报（例如匹配竞争对手的价格）的角度来考虑竞争情报。反竞争情报是企业也希望保护自己的专有信息和其他敏感信息的地方。工具和数据源需要跟上动态发展的方法，以有效地了解业务竞争对手并预测他们未来的反应。本文阐述了 SAS Institute 的 JMP 软件在竞争市场分析领域获取和分析数据的价值。
竞争情报周期：
图 1 中的竞争情报周期是基于军事情报模型的众多构造之一，用于描述寻找其他企业的可利用市场信息并应用分析来发现可操作信息的过程。它从定义阶段开始，确定您真正想要调查的维度，以便制定可靠的攻击计划。第二阶段侧重于获取正确的数据源以进行研究。第三阶段旨在应用分析方法将原始数据转化为见解，最终产生一个描述形势的引人入胜的故事。最后一个阶段涉及将这些信息提供给能够根据情报采取行动的合适团队。
图 1. 竞争情报周期
数据是 CI 流程的推动力。过去，只有 CI 专业人员才能访问有意义的数据和网站。现在，随着大数据的出现，这种情况已经改变，组织中的每个人都可以通过有针对性的“搜索”从他们的专业领域带来一些有价值的东西。CI 数据的来源包括年度报告、演讲、新闻稿（内部和外部）、财务分析、贸易展览、专利申请、公司网站和社交媒体等等。通常这些都是“开源”的，但您可能需要特殊权限才能获得访问权限。许多专有数据库甚至可能已经提供一些分析功能，例如 Dunn and Bradstreet 的 Hoover、Salesforce、DataSift、Thomson Reuters 等。许多原始数据将来自互联网搜索，然后仔细提取相关数据元素。CI 收集工作必然会面临来自不同来源和格式的非结构化文本数据的挑战，需要付出巨大努力才能组装出一个连贯的数据集进行分析。
分析和生产阶段通常将多个数据源组织成许多结构中的任何一个。众所周知的 SWOT 技术将研究竞争对手的优势、劣势、机会和威胁。PESTLE 方法评估行业和竞争对手的政治、经济、社会、技术、法律和环境维度。哈佛大学教授迈克尔·波特的五力模型（进入壁垒、当前竞争对手、替代威胁、供应商议价能力、买方议价能力）经受住了时间的考验。波特还有一个四角模型（驱动因素/文化、当前战略、管理假设和能力）来预测竞争对手的未来举动。其他分析框架形成矩阵，以竞争对手为列，以关键绩效指标（如分销渠道、技术优势、定价、市场份额、客户关注度、财务稳定性、劳动力、设施、合作伙伴关系等）为行。这些框架的挑战在于准确填充数据元素，因为许多都是定性评估，取决于您能多好地找到可靠的数据源。我们讨论了 JMP 中的几种可以帮助查找和探索这些关键数据的方法。
合作来自网站分析的竞争情报数据：
A瓦纳什·考西克 介绍了许多可用于分析网站流量的工具，以获得有关来源、人口统计、跳出率动态和产品情绪的惊人见解。他将这些工具分为以网站为中心（关注竞争对手网站）和以生态系统为中心（关注行业和特定技术）。以网站为中心的应用程序的示例包括 Google Analytics、Compete、SimilarWeb、Marketing Grader、Majestic 和 AdBeat（用于在线广告指标）。这些工具提供有关每个网站的详细信息（例如来源、跳出率、访问的页面、关键字等），但不幸的是，它们仅适用于您自己的网站。
以生态系统为中心的工具的一个例子是 Google Trends ( https://www.google.com/trends/ ) 。图 2 显示了“大数据”一词随时间的变化情况，不出所料，在过去 3 年里，该词已迅速流行起来。图上的字母表示当时网络上的代表性故事，这些故事可能有助于了解为什么会出现高峰或低谷。此外，还提供了热门地理区域和相关搜索词（例如大数据 Hadoop）。
Google Trends 可以导出数据，这样我们就可以利用 JMP 的功能进行自己的分析。例如，乔丹·斯皮思是一位 22 岁的高尔夫球手，他今年表现出色，最近跻身世界第一。在体育圈，人们经常听说高尔夫运动的受欢迎程度正在下降，也许斯皮思可以扭转这一趋势。图 3 中的图表不仅显示了下降趋势，而且还显示了非常周期性的模式，这可能对我们的竞争分析和营销角色有用。
图 2. Google 趋势“大数据”时间序列图
图 3.“高尔夫”的 Google 趋势时间序列图
从数据导出中，我们可以使用 JMP 在 Graph Builder 中创建我们自己的自定义时间序列图，以更清晰地标记这些事件，并且我们可以使用季节性 ARIMA 预测未来的增长，如图 4 所示。公司可以使用这些类型的高级分析来预测市场走向和广告活动的时机。
图 4. ARIMA 组时间序列图和“高尔夫”的预测
来自社交媒体的竞争情报数据：
过去十年，社交媒体网站中出现了一种新型情报数据的爆炸式增长。现在，各种类型的通信被记录的次数比以往任何时候都多，我们有机会在这些嘈杂的非结构化数据中找到 CI 信号。博客和公告板是收集行业和公司特定信息的绝佳场所。您可以在 LinkedIn 和其他专业网站上关注公司、员工、技术团体、工作机会和前雇员。Facebook、Twitter 和 Instagram 等网站上的帖子也提供了了解市场和竞争对手趋势的机会。挑战在于有效地收集这种非结构化数据，这种数据的特点是一种新的非正式英语语言，有多种表达同一个词的方式——想想你今晚会如何给别人发短信说“今晚”这个词。
我们编写了一个 JMP 脚本语言 (JSL) 脚本，该脚本调用统计编程语言 R 来下载与关键词相关的指定持续时间内的所有（或随机样本）Twitter 信息。该脚本收集从当前时间到未来预定时间段的数据，尽管确实存在用于收集回顾性数据的 Twitter 档案，但需要付费。返回的数据包括实际推文、位置、时间和其他人口统计字段。许多公司收集实时推文，以了解公众对主要产品发布（无论是他们自己的还是竞争对手的产品）的反应。例如，在勒布朗詹姆斯宣布他将返回克利夫兰后，我们运行了该脚本 5 分钟，因为我们关于产品和公司的所有 Twitter 数据都是专有的。图 5 中生成的词云在删除常用词（the、and、or、...）和冒犯性语言后，深入了解了最常出现的术语（最大字体）。此外，我们还对推文进行了情绪分析，方法是将大约 1,500 个通常与积极情绪相关的单词列表与大约 2,000 个消极情绪单词列表进行交叉制表，并将 5 分钟内收集的 4,000 条推文中的所有单词进行交叉制表。一条推文可能包含多个积极和消极词汇，也可能一个都没有。总计有 3,533 个积极词汇和 1,626 个消极词汇。词云和情绪分析是使用 JMP 文本挖掘插件进行的，该插件还调用 R 进行文本分析例程。
图 5. 2014 年夏季 Twitter JSL 脚本界面和“勒布朗”词云
从竞争对手网站抓取的竞争情报数据：
一家公司网站的架构本身就是一份有用的战略情报，因为他们会仔细选择在网上展示哪些内容，包括当前的能力和客户，以及他们正在为未来的改进而努力的内容。其他出色的数据机会包括会议/研讨会、领导力、白皮书链接、新闻报道链接、最佳实践、技术讨论、招聘信息和搜索引擎优化中的关键词。获取这些数据的一种方法是手动复制和粘贴感兴趣的文本。或者，自动网页抓取实用程序具有更快、更全面的优势，尽管可能会返回过多或无关的信息。
我们开发了 JSL 代码来从任何网站抓取文本数据，同时跟踪元数据，例如文本在网站上的位置。Spider 脚本再次调用 R，只需要您输入感兴趣的网站。您可以选择要进行的抓取类型，因为网站的结构各不相同。抓取选项包括选择所有文本、新闻报道或默认设置。您还可以选择要抓取的深度，其中级别 0 是您指定的网页，级别 1 是该页面加上所有链接页面，依此类推。
例如，一种流行的绿色能源技术是液体干燥剂空调，它通过去除水分子来实现冷却效果，而不是传统的冷空气或制冷剂系统，后者通过将温度降低到露点以下来去除湿气。在 Google 上快速搜索商用液体干燥剂空调，会显示两家领先的公司，Advantix Systems 和 Kathabar。我们使用 JSL 脚本抓取了这两个网站，以创建一个 JMP 数据表，其中每行代表一个网页。图 6 显示了 Spider 界面以及文本挖掘插件生成的词云。
图 6. JSL Spider 界面和结果词云（来自www.kathabar.com ）
词云再次代表了单词的频率。虽然这个原始的单词计数很有用，但它并不能提供很多关于哪些单词一起出现以及可能存在哪些主题的信息。要将非结构化文本转换为平面文件以进行除单词计数之外的统计分析，通常需要形成一个文档词矩阵 (DTM)，其中每个文档（我们的示例为网页）作为一行，而整个语料库中使用的每个唯一单词作为单独的列。矩阵条目是每个词在特定行中出现的频率，尽管最好只使用二进制表示来指示单词是否出现。基于单词在行中出现次数的加权方案是另一种常用的转换。也就是说，出现在每一行中的单词可能没有太多的辨别能力来提供分析帮助。DTM 的问题在于它通常非常大且非常稀疏；因此，标准统计方法可能无法检测到有用的关系。
解决大型稀疏 DTM 的一个方法是将其投影到更小的维度空间中，就像主成分分析 (PCA) 一样。更好的解决方案是在比列数或单词数更低的维度中对 DTM 进行奇异值分解 (SVD)（将其减少到 100 到 300）。此 SVD 可以被认为是 DTM M=UDV'。U 矩阵中的特征向量表示文档，V 矩阵中的特征向量表示单词，D 矩阵对角线上的奇异值来自解释每个 SVD 列的变异性比例的特征值。
查看 V 矩阵中前两个特征向量的双变量图有助于找出文本数据中的主要主题以及找到分组在一起的单词。图 7 显示了 Kathabar 示例的前 2 个 SVD 的双变量图。在这里，我们看到单词分组为提供定制液体干燥剂溶液，另一组建议使用低能耗设备来控制空气温度和湿度。
图 7. 首先根据 Kathabar V 矩阵和干燥剂的多元距离对 SVD 特征向量进行分析。
我们还可以使用降秩 SVD 中 V 矩阵的特征向量的多元距离。这些距离显示了组合在一起的单词，这允许您选择语料库中的任何单词来查找密切相关的术语。在图 7 的右侧面板中，我们可以看到最接近干燥剂的单词不出所料是：液体、系统、工艺、干燥、产品、应用、可靠和制造。
来自专利的竞争情报数据:
专利申请是衡量一家公司技术概况的良好指标。幸运的是，有许多出色的专利搜索引擎可供您免费访问所有摘要、图纸和文本字段，以收集有关竞争对手受保护财产的数据并了解技术状况。世界知识产权组织的 PATENTSCOPE（https://patentscope.wipo.int/search/en/result.jsf) 用于提取液体干燥剂空调专利的摘要。摘要的每一段在 JMP 数据表中形成单独的一行。使用消费者研究平台（分析 > 消费者研究 > 分类 > 响应角色 = 多个，文本数据列分配给自由文本），我们可以看到字数，并快速制作专利摘要中出现的热门术语的帕累托图。
图 8. JMP 自由文本界面和专利数据的词频计数。
我们还可以使用 JMP 为最常见的 200 个单词（例如）形成指示列，以使用“分析”>“多变量方法”>“多变量”>“成对相关性”查看某些术语是否相关。图 9 突出显示了一些高度相关的词对，如介质过滤器、强腐蚀性残留物、微孔膜等。
图 9. 来自专利数据多元平台的成对相关性
使用 JMP 文本挖掘插件进行主题提取可提供更多信息。图 10 中前两个 SVD 的图给出了这些专利试图实现的总体思路：一种需要使用液体干燥剂（停用词）对空气进行除湿从而产生冷却效果的技术，最适用于潮湿气候；大多数液体干燥剂的风险是使用喷洒在过滤介质上，这会增加进入空气空间的风险；这些专利使用膜来消除这种风险。
图 10. 专利的前两个 SVD 向量
来自技术期刊文章的市场情报：学术文献详细介绍了许多技术进步，这表明这些进步对于描绘技术前景非常有帮助。为了更好地了解液体干燥剂技术的现状和商业应用的准备情况，我们下载了过去三年清洁能源领域知名期刊出版物中 45 篇最近审阅的技术文章。这些便携式文档文件 (pdf) 很难转换成文本，然后转换成 JMP 数据表，因为文本字符实际上更多的是图像，而大量的数学方程式不能很好地转换成文本。我们尝试了多种方法（开源和专有）来干净地读取这些 pdf 文件，并得出结论，使用 AdobeAcrobat Standard 或 Pro 将 pdf 保存为 MS Word 富文本文件 (rtf)，使用光学字符识别 (OCR) 功能是一个很好的中间步骤。接下来，我们开发了一个 MS Word 宏来打开一个 Word 文档文件并将其保存为文本文件，以供我们的宏使用，该宏将一个文本文件文件夹读入 JMP 表以形成语料库。我们还必须更新文本挖掘插件的 JSL 脚本，以便能够删除非字母数字字符。这些引用被删除，因为它们不必要地干扰了文本分析。
JMP 文本挖掘插件图 11 中的词频与专利讲述了类似的故事：这种绿色能源技术是一种通过再生液体干燥剂（例如 LiCl）进行除湿来冷却空气以降低能耗的系统，其中膜将有毒干燥剂与气流分离来冷却空气。
图 11. 期刊文章中液体干燥剂膜的词频。
执行 SVD 后，我们可以使用 U 矩阵中的特征向量值对期刊文章进行聚类。这些文档的聚类非常符合作者线以及液体干燥剂的一般研究领域（图 12）。对于主题提取，我们使用 SVD 中的 V 矩阵。这些期刊中的一些选定主题（图 13）是：1）比较实验，验证液体干燥剂作为空调解决方案以及通过节省能源的再生方法提高效率；2）实验预测质量传递速率和效率比，同时允许不同的入口参数值；3）使用混合电动压缩机和液体干燥剂去除蒸汽的替代方法。
图 12. 液体干燥剂期刊论文的聚类分析结果
图 13. 液体干燥剂空调膜摘要主题
V 矩阵的前两个特征向量的图（图 14）显示了基于摘要的这些研究工作的一些一般主题：能量再生、改善除湿、模拟、质量传递、实验预测、模型、温度和膜以及水蒸气的热过程。
图 14. 液体除湿空调期刊摘要前两个特征向量的双变量图
主题提取中另一种有用的技术是查看特定单词与 V 矩阵的多元距离。这些多元距离由 JMP 在聚类分析期间计算，并通过保存距离矩阵获得。您可以选择一个特定的单词并找出哪些单词与其最密切相关。图 15 中显示的几个感兴趣的单词提供了这些期刊文章摘要中的以下信息：
- 成本——关注的是回收期、主要安装、锅炉和存储的主要驱动因素
- 可靠性——生产带有空气冷却子系统的多区域和吊顶装置
- 锂干燥剂是氯化锂的水溶液；主要问题是与周围环境接触（有毒），微孔膜是溶液
- 飞沫——直接接触是有害的，需要消除，以确保经济可行性
图 15. 液体干燥剂期刊摘要与 V 矩阵的多元距离。
概括：
竞争情报分析有许多框架，例如 SWOT、波特五力分析和四角分析，这些框架都依赖于最新且可靠的数据输入。CI 数据源数量激增，并变得民主化，因此整个企业的员工都可以找到有关其竞争对手的可利用信息。问题是数据不一定易于检索，大多是嘈杂且非结构化的。JMP 和 JSL 脚本中的分析工具有助于收集和理解来自网站、社交媒体、专利和技术期刊文章等来源的数据。与军事类比一样，目标是从非结构化的开源信息过渡到影响组织战略方向的“机密”情报报告。
参考：
Baglama, James 和 Reichel, Lothar。增强型隐式重启 Lanczos 双对角化方法。2005年，SIAM 科学计算杂志，第 27 卷，第 19-42 页。
Barbera, Pablo。streamR：通过 R 访问 Twitter Streaming API。[在线] 2014。http 
/CRAN.R-project.org/package=streamR 。
Czepiel, John 和 Kerin, Roger。竞争对手分析。[在线] 2011 年。http://pages.stern.nyu.edu/~jczepiel/Publications/CompetitorAnalysis.pdf.
伊娃ngelopoulos, Nicholas、Zhang、Xiaoni 和 Prybutok, Victor R.潜在语义分析：五项方法论建议。2012年，《欧洲信息系统杂志》，第 21 卷，第 70-86 页。
Fellows，Ian。wordcloud：词云。CRAN 。 [在线] 2014 年。http://cran.r-project.org/web/packages/wordcloud/index.html.
Kaushik，Avanish。通过竞争情报分析取得压倒性胜利：最佳指标、报告。[在线] 2015 年。http://www.kaushik.net/avinash/competitive-intelligence-analysis-tools-metrics-reports-techniques/.
Lang, Duncan Temple。RCurl：R.克兰的通用网络（HTTP/FTP/...）客户端接口。 [在线] 2015。http://cran.r-project.org/web/packages/RCurl/index.html.
马丁。战略框架：竞争对手分析和竞争情报。[在线] 2015 年。http://www.entrepreneurial-insights.com/competitor-analysis-competitive-intelligence/.
Metayer, Estelle。您的竞争情报或战略规划团队应掌握的顶级分析技术。 [在线] 2015 http://competia.com/50-competitive-intelligence-analysis-techniques 。
世界知识产权组织 Patentscope。[在线] 2015 年。https://patentscope.wipo.int/search/en/result.jsf
