驾驭 JMP® 的强大功能：利用大数据和社交媒体进行竞争对手分析
2015年JMP探索大会
James Wisnowski，Adsurgo LLC
沙特基础工业公司（SABIC）的弗洛尔·卡斯蒂略
Adsurgo LLC 的 Andrew Karl
希思·拉辛（Heath Rushing），Adsurgo LLC
抽象的：
相对于全球人口而言，物联网中传感器（例如智能手机）的数量如今已是全球人口的两倍，社交媒体账户的数量也与之相当。由此带来的数据量爆炸式增长，对于那些能够在这海量非结构化和不确定的噪声中找到信号的人来说，意味着巨大的机遇。最近的一个项目要求JMP用户高效地搜索和分析大量开源资料，涵盖创新技术、相关成熟度水平、当前应用和主要竞争对手。独特的挑战包括需要从这些不同的网站架构（不包括无关代码）以及并非总是可用格式的附加PDF和PowerPoint文件中提取文本。语料库开发完成后，将文本导入JMP，以快速识别关键的关注主题和相关文档。这些步骤是使用直观的JMP界面和R语言文本挖掘程序完成的。使用JMP数据可视化、聚类分析和决策树功能进行文本分析，可以比传统方法更好地表征市场特征。本次演讲将演示一系列 JMP 脚本和平台，以有效搜索大量相关网站并监控社交媒体渠道（例如 Twitter）、收集大量非结构化数据并回答重点研究问题。
介绍：
虽然竞争情报 (CI) 这一术语最近几十年才被用于描述企业获取其他构成商业威胁的组织信息的行为，但这种做法已存在数百年。类似于军事情报，我们可以想象一家企业关注竞争对手、产品和客户的外部力量，以准确评估其需要执行的战略，从而在充满挑战的环境中蓬勃发展。我们可以从受经济和市场力量支配的战略环境以及日常所需的战术情报（例如，匹配竞争对手的价格）的角度来理解竞争情报。在反竞争情报领域，企业也希望保护自己的专有信息和其他敏感信息。工具和数据源需要跟上动态发展的方法，才能有效地了解业务竞争对手并预测其未来的反应。本文阐述了 SAS Institute 的 JMP 软件在竞争性市场分析领域采集和分析数据的价值。
竞争情报周期：
图1中的竞争情报周期是基于军事情报模型的众多概念之一，用于描述寻找其他企业可利用的市场信息并应用分析技术发现可操作信息的过程。它始于定义阶段，明确您真正想要调查的维度，以便制定可靠的行动计划。第二阶段侧重于获取正确的数据源以开展研究。第三阶段致力于应用分析方法将原始数据转化为洞察，最终形成一个引人入胜的市场格局描述。最后阶段涉及将这些信息提供给能够根据情报采取行动的合适团队。
图 1. 竞争情报周期
数据是持续集成 (CI) 流程的动力。过去，只有持续集成 (CI) 专业人员才能访问有意义的数据和网站。如今，大数据改变了这一切，组织中的每个人都可以通过专注的“拖网”从其专业领域获取有价值的信息。持续集成 (CI) 数据来源包括年度报告、演讲、新闻稿（内部和外部）、财务分析、贸易展会、专利申请、公司网站和社交媒体等等。这些数据通常都是“开源”的，但您可能需要特殊权限才能访问。许多专有数据库甚至可能已经提供一些分析功能，例如邓白氏 (Dunn and Bradstreet) 的 Hoover、Salesforce、DataSift、汤森路透 (Thomson Reuters) 等。许多原始数据来自互联网搜索，然后仔细提取相关数据元素。持续集成 (CI) 数据收集工作必然会面临来自不同来源和格式的非结构化文本数据的挑战，需要付出巨大努力才能整合成一个用于分析的连贯数据集。
分析和生产阶段通常会将多种数据源组织成多种结构。众所周知的 SWOT 方法会考察竞争对手的优势、劣势、机会和威胁。PESTLE 方法会评估一个行业及其竞争对手的政治、经济、社会、技术、法律和环境维度。哈佛大学教授迈克尔·波特的“五力模型”（进入壁垒、现有竞争对手、替代威胁、供应商议价能力、买方议价能力）经受住了时间的考验。波特还提出了“四角模型”（驱动因素/文化、当前战略、管理假设和能力），用于预测竞争对手的未来动向。其他分析框架则以竞争对手为纵列，以关键绩效指标（例如分销渠道、技术优势、定价、市场份额、客户关注度、财务稳定性、员工队伍、设施、合作伙伴关系等）为横列，构成矩阵。这些框架的挑战在于如何准确地填充数据元素，因为许多数据元素是定性评估，取决于能否找到可靠的数据源。我们讨论了 JMP 中的几种可以帮助查找和探索这些关键数据的方法。
公司来自网站分析的竞争情报数据：
A瓦纳什·考西克 介绍了许多可用于分析网站流量的工具，从中获取关于来源、人口统计数据、跳出率动态和产品情绪的惊人信息。他将这些工具细分为以网站为中心的工具（关注竞争对手网站）和以生态系统为中心的工具（关注行业和特定技术）。以网站为中心的应用程序示例包括 Google Analytics、Compete、 SimilarWeb、Marketing Grader、Majestic 和 AdBeat（用于在线广告指标）。这些工具提供有关每个网站的详细信息（例如来源、跳出率、访问过的页面、关键词等），但遗憾的是，它们仅适用于您自己的网站。
以生态系统为中心的工具的一个例子是 Google Trends ( https://www.google.com/trends/ ) 。图 2 显示了“大数据”一词随时间的变化情况，不出所料，该词在过去 3 年里迅速流行起来。图中的字母代表了当时网络上具有代表性的事件，这些事件或许可以解释出现高峰或低谷的原因。此外，图中还提供了热门地理区域和相关搜索词（例如大数据 Hadoop）。
Google Trends 可以导出数据，让我们能够利用 JMP 的功能进行分析。例如，22 岁的乔丹·斯皮思 (Jordan Spieth) 是一位出色的高尔夫球手，最近一年表现出色，跻身世界第一。在体育圈，高尔夫运动的受欢迎程度正在下降，这种说法并不罕见，或许斯皮思可以扭转这一趋势。图 3 中的图表不仅显示了下降趋势，还展现了一种周期性模式，这可能有助于我们的竞争分析和市场营销工作。
图 2. Google Trends“大数据”时间序列图
图 3.“高尔夫”的 Google 趋势时间序列图
从数据导出中，我们可以使用 JMP 在 Graph Builder 中创建我们自己的自定义时间序列图，以更清晰地标记这些事件，并且我们可以使用季节性 ARIMA 预测未来的增长，如图 4 所示。公司可以使用这些类型的高级分析来预测市场走向和广告活动的时机。
图 4. ARIMA 组时间序列图和“高尔夫”的预测
来自社交媒体的竞争情报数据：
过去十年，我们见证了一种可从社交媒体网站获取的新型情报数据的爆炸式增长。现在，各种类型的通信被记录的次数比以往任何时候都多，我们有机会在这些嘈杂的非结构化数据中找到 CI 信号。博客和公告板是收集行业和公司特定信息的绝佳场所。您可以在 LinkedIn 和其他专业网站上关注公司、员工、技术团体、工作机会和前雇员。Facebook、Twitter 和 Instagram 等网站的帖子也提供了了解市场和竞争对手趋势的机会。挑战在于有效地收集这种非结构化数据，它的特点是一种新的非正式英语语言，同一个词有多种表达方式——想一想您今晚会如何给某人发短信“tonight”这个词。
我们编写了一个 JMP 脚本语言 (JSL) 脚本，该脚本调用统计编程语言 R 来下载与关键词相关的指定时长内的所有（或随机样本）Twitter 推送。该脚本收集从当前时间到未来预定时间段的数据，尽管也有付费的 Twitter 存档用于收集回顾性数据。返回的数据包括实际推文、位置、时间和其他人口统计字段。许多公司收集实时推文以了解公众对主要产品发布（无论是他们自己的还是竞争对手的）的反应。例如，在勒布朗·詹姆斯宣布他将重返克利夫兰后，我们运行了该脚本 5 分钟，因为我们所有关于产品和公司的 Twitter 数据都是专有的。图 5 中生成的词云在删除常用词（the、and、or、...）和冒犯性语言后，深入了解了最常出现的术语（最大字体）。此外，我们还对这些推文进行了情绪分析，将大约1,500个通常与积极情绪相关的词汇列表和大约2,000个消极情绪词汇列表与这5分钟内收集的4,000条推文中的所有词汇进行交叉制表。一条推文可能包含多个积极和消极词汇，也可能两者都不包含。最终统计结果显示，积极词汇为3,533个，消极词汇为1,626个。词云和情绪分析是使用JMP文本挖掘插件进行的，该插件也调用R进行文本分析。
图 5. 2014 年夏季 Twitter JSL 脚本界面和“勒布朗”词云
从竞争对手网站抓取的竞争情报数据：
一家公司网站的架构本身就是一份有用的战略情报，因为它会仔细选择在网络上展示哪些内容，包括当前能力和客户，以及未来改进的方向。其他绝佳的数据机会包括会议/研讨会、领导力、白皮书链接、新闻报道链接、最佳实践、技术讨论、招聘信息以及搜索引擎优化中的关键词。获取此类数据的一种方法是手动复制粘贴感兴趣的文本。或者，使用自动化网页抓取工具的优势在于速度更快、内容更全面，但可能会返回过多或无关的信息。
我们开发了 JSL 代码，用于从任何网站抓取文本数据，同时跟踪文本在网站上的位置等元数据。Spider 脚本再次调用 R，只需输入您感兴趣的网站即可。由于网站结构各异，您可以选择要执行的抓取类型。抓取选项包括选择所有文本、新闻报道或默认设置。您还可以选择要抓取的深度，其中 0 级表示您指定的网页，1 级表示该网页及其所有链接网页，依此类推。
例如，一种流行的绿色能源技术是液体除湿空调，它通过去除水分子来实现冷却效果，而不是像传统的冷风或制冷剂系统那样通过将温度降低到露点以下来去除湿气。在谷歌上快速搜索一下商用液体除湿空调，就会出现两家领先的公司：Advantix Systems 和 Kathabar。我们使用 JSL 脚本抓取了这两个网站的数据，创建了一个 JMP 数据表，每行代表一个网页。图 6 显示了 Spider 界面以及文本挖掘插件生成的词云。
图 6. JSL Spider 界面和来自www.kathabar.com的词云
词云再次代表了词汇的频率。虽然原始的词数统计很有用，但它并不能提供太多关于哪些词一起出现以及可能存在哪些主题的信息。为了将非结构化文本转换为平面文件以便进行词数统计以外的统计分析，通常需要构建一个文档词条矩阵 (DTM)，其中每个文档（例如网页）作为一行，而整个语料库中使用的每个唯一词作为单独的列。矩阵元素是每个词条在特定行中出现的频率，尽管最好只使用二进制表示来指示该词是否出现。另一种常用的转换方案是基于词在各行中出现次数的加权方案。也就是说，在每一行中出现的词可能没有太大的区分能力，无法在分析中发挥作用。DTM 的问题在于它通常非常庞大且非常稀疏；因此，标准的统计方法可能无法检测到有用的关系。
解决大型稀疏 DTM 问题的一种方法是将其投影到维度小得多的空间，类似于主成分分析 (PCA)。更好的解决方案是在低于列数或词数的维度上对 DTM 进行奇异值分解 (SVD)（将其减少到 100 到 300）。此 SVD 可以理解为 DTM M=UDV'。U 矩阵中的特征向量代表文档，V 矩阵中的特征向量代表词，D 矩阵对角线上的奇异值来自解释每个 SVD 列所解释变异性比例的特征值。
查看 V 矩阵前两个特征向量的二元图有助于识别文本数据中的主要主题，并找到分组的单词。图 7 展示了 Kathabar 示例的前两个 SVD 的二元图。在这里，我们可以看到，一组单词围绕着“提供定制液体干燥剂溶液”进行分组，另一组单词则建议使用低能耗设备来控制空气温度和湿度。
图 7. 首先从 Kathabar V 矩阵和干燥剂的多元距离中获取 SVD 特征向量。
我们还可以使用降秩奇异值分解 (SVD) 得到的 V 矩阵的特征向量的多元距离。这些距离显示了分组的单词，这使得我们可以选择语料库中的任意单词来查找密切相关的术语。在图 7 的右侧面板中，我们可以看到与“干燥剂”最接近的单词不出所料是：液体、系统、工艺、干燥、产品、应用、可靠和制造。
来自专利的竞争情报数据:
专利申请是衡量一家公司技术实力的晴雨表。幸运的是，市面上有很多优秀的专利搜索引擎，可以免费访问所有摘要、图纸和文本字段，从而收集竞争对手受保护知识产权的数据，并了解其技术现状。世界知识产权组织的 PATENTSCOPE（https://patentscope.wipo.int/search/en/result.jsf) 用于提取液体除湿空调专利的摘要。摘要的每一段在 JMP 数据表中都占一行。使用消费者研究平台（分析 > 消费者研究 > 分类 > 响应角色=多个，文本数据列分配给自由文本），我们可以查看字数，并快速绘制专利摘要中出现的热门术语的帕累托图。
图 8. JMP 自由文本界面和专利数据的词频统计。
我们还可以使用 JMP 为最常见的 200 个单词（例如）创建指示列，以便使用“分析”>“多变量方法”>“多变量”>“成对相关性”来查看某些术语是否具有相关性。图 9 突出显示了一些高度相关的词对，例如介质过滤器、强腐蚀性残留物、微孔膜等等。
图 9. 来自专利数据多变量平台的成对相关性
使用 JMP 文本挖掘插件进行主题提取提供了更多信息。图 10 中前两个 SVD 的绘图大致概括了这些专利的意图：一项需要使用液体干燥剂（停用词）对空气进行除湿，从而产生冷却效果的技术，尤其适用于潮湿气候；大多数液体干燥剂的风险在于，它需要喷洒在过滤介质上，这会增加残留物进入空气空间的风险；而这些专利使用膜来消除这种风险。
图 10. 专利的前两个 SVD 向量
来自技术期刊文章的市场情报：学术文献中详细介绍了许多技术进步，这表明这些进步对于描绘技术前景非常有帮助。为了更好地了解液体干燥剂技术的现状及其商业应用的准备情况，我们下载了过去三年清洁能源领域知名期刊出版物中 45 篇近期审阅的技术文章。这些便携式文档文件 (pdf) 很难转换为文本，然后再转换为 JMP 数据表，因为文本字符实际上更像是图像，而且大量的数学方程式无法很好地转换为文本。我们尝试了多种方法（包括开源和专有方法）来清晰地读取这些 pdf 文件，并得出结论，使用 AdobeAcrobat Standard 或 Pro 将 pdf 保存为 MS Word 富文本文件 (rtf)，并使用光学字符识别 (OCR) 功能将其保存为 rtf 文件是一个很好的中间步骤。接下来，我们开发了一个 MS Word 宏来打开一个 Word 文档文件并将其保存为文本文件，以供我们的宏使用，该宏将一个包含文本文件的文件夹读入 JMP 表以形成语料库。我们还必须更新文本挖掘插件的 JSL 脚本，以便能够删除非字母数字字符。这些引用被删除了，因为它们会不必要地干扰文本分析。
JMP 文本挖掘插件图 11 中的词频与专利讲述了类似的故事：这种绿色能源技术是一种通过再生液体干燥剂（例如 LiCl）进行除湿来冷却空气以降低能耗的系统，从而通过膜将有毒干燥剂与气流分离来冷却空气。
图 11. 期刊文章中液体干燥膜的词频。
执行 SVD 分解后，我们可以使用 U 矩阵的特征向量值对类似期刊文章进行聚类。这些文献主要沿着作者线索以及液体干燥剂领域的一般研究方向进行聚类（图 12）。我们使用 SVD 分解后的 V 矩阵进行主题提取。这些期刊中的一些选定主题（图 13）包括：1）验证液体干燥剂作为空调解决方案的比较实验，以及通过节能再生方法提高效率的实验；2）在允许不同入口参数值的情况下预测传质速率和效率比的实验；3）使用混合电动压缩机和液体干燥剂去除蒸汽的替代方法。
图 12. 液体干燥剂期刊文章的聚类分析结果
图13. 液体除湿空调膜摘要主题
V 矩阵的前两个特征向量图（图 14）显示了基于摘要的这些研究工作的一些一般主题：能量再生、改善除湿、模拟、质量传递、实验预测、模型、温度和膜以及水蒸气的热过程。
图 14. 液体除湿空调期刊摘要前两个特征向量的二元图
主题提取中另一个有用的技巧是查看特定词汇与 V 矩阵的多元距离。这些多元距离由 JMP 在聚类分析过程中计算，并通过保存距离矩阵获得。您可以选择一个特定的词汇，并找出与其最相关的词汇。图 15 中显示的几个感兴趣的词汇提供了这些期刊文章摘要中的以下信息：
- 成本——关注的是投资回收期、主要安装、锅炉和存储的主要驱动因素
- 可靠性——生产带有空气冷却子系统的多区域和天花板单元
- 锂干燥剂是氯化锂水溶液；主要问题是与周围环境接触（有毒），微孔膜是溶液
- 飞沫——直接接触有害，需要消除以确保经济可行性
图 15. 液体干燥剂期刊摘要与 V 矩阵的多元距离。
概括：
竞争情报分析框架众多，例如 SWOT 分析、波特五力模型和四角模型，都依赖于最新且可靠的数据输入。竞争情报数据源数量激增，并已变得普及，企业员工可以找到关于竞争对手的可利用信息。问题在于，这些数据并不一定易于检索，而且大多充满噪声且非结构化。JMP 和 JSL 脚本等分析工具有助于收集并理解来自网站、社交媒体、专利和技术期刊文章等来源的数据。如同军事类比一样，目标是从非结构化的开源信息过渡到能够影响组织战略方向的“机密”情报报告。
参考：
Baglama, James 和 Reichel, Lothar。增强型隐式重启 Lanczos 双对角化方法。2005年，SIAM 科学计算杂志，第 27 卷，第 19-42 页。
Barbera, Pablo。streamR：通过 R 访问 Twitter 流 API。[在线] 2014 年。http 
/CRAN.R-project.org/package=streamR 。
Czepiel, John 和 Kerin, Roger。竞争对手分析。[在线] 2011。http://pages.stern.nyu.edu/~jczepiel/Publications/CompetitorAnalysis.pdf.
伊娃ngelopoulos, Nicholas、Zhang, Xiaoni 和 Prybutok, Victor R.潜在语义分析：五项方法论建议。2012年，《欧洲信息系统杂志》，第 21 卷，第 70-86 页。
费洛斯，伊恩。wordcloud：词云。CRAN 。 [在线] 2014。http://cran.r-project.org/web/packages/wordcloud/index.html.
Kaushik, Avanish.利用竞争情报分析取得压倒性胜利：最佳指标、报告。[在线] 2015 年。http://www.kaushik.net/avinash/competitive-intelligence-analysis-tools-metrics-reports-techniques/.
Lang, Duncan Temple. RCurl: R.克兰的通用网络 (HTTP/FTP/...) 客户端接口。 [在线] 2015.http://cran.r-project.org/web/packages/RCurl/index.html.
马丁。战略框架：竞争对手分析与竞争情报。[在线] 2015。http://www.entrepreneurial-insights.com/competitor-analysis-competitive-intelligence/.
Metayer, Estelle。竞争情报或战略规划团队应掌握的顶级分析技巧。 [在线] 2015 http://competia.com/50-competitive-intelligence-analysis-techniques 。
世界知识产权组织Patentscope。[在线] 2015年。https://patentscope.wipo.int/search/en/result.jsf
