利用 JMP® 的力量：用于竞争对手分析的大数据和社交媒体
JMP 发现大会 2015
James Wisnowski, Adsurgo LLC
弗洛尔·卡斯蒂略，SABIC
安德鲁·卡尔，Adsurgo LLC
希思拉什，Adsurgo LLC
抽象的：
相对于全球人口，现在物联网中有两倍多的传感器（例如智能手机）和同等数量的社交媒体账户。 由此产生的数据量爆炸式增长为那些能够在大量非结构化和不确定噪声中找到信号的人提供了巨大的机会。 最近的一个项目表明 JMP 用户需要有效地搜索和分析关于创新技术、相关成熟度级别、当前应用程序和主要竞争对手的大量开源材料。 独特的挑战包括需要从这些不同的网站架构（没有多余的代码）以及附件的 PDF 和 PowerPoint 文件中提取文本，这些文件并不总是可用的格式。 语料库开发完成后，文本被导入 JMP 以快速识别感兴趣的关键主题和相关文档。 这些步骤是使用 R 中文本挖掘例程的直观 JMP 界面完成的。 与传统方法相比，使用 JMP 数据可视化、聚类分析和决策树功能的文本分析能够更好地表征市场。 本次演讲将展示一系列 JMP 脚本和平台，以有效搜索相关网站的分数并监控社交媒体（如 Twitter），收集大量非结构化数据，并回答重点研究问题。
介绍：
尽管竞争情报 (CI) 这一术语仅在过去几十年中才被用于描述公司获取有关构成业务威胁的其他组织的信息的行为，但这种做法已经存在了几个世纪。 类似于军事情报，我们可以将企业想象成专注于竞争对手、产品和客户的外部力量，以准确评估它需要执行什么战略才能在充满挑战的环境中茁壮成长。 我们可以从由经济和市场力量支配的战略环境以及每天所需的战术情报（例如匹配竞争对手的价格）的角度来考虑竞争情报。 反竞争情报是企业也希望保护自己的专有信息和其他敏感信息的地方。 工具和数据源需要跟上动态发展的方法，以有效地了解业务竞争对手并预测他们未来的反应。 本文阐述了 SAS Institute 的 JMP 软件在竞争激烈的市场分析领域中获取和分析数据的价值。
竞争情报周期：
图 1 中的竞争情报周期是基于军事情报模型的众多结构之一，用于描述在其他企业中寻找可利用的市场信息并应用分析来发现可操作信息的过程。 它从定义阶段开始，准确地确定您真正想要调查的维度，以便您可以制定可靠的攻击计划。 第二阶段的重点是获得正确的数据源来塑造研究。 第三阶段寻求应用分析方法将原始数据转化为洞察力，最终产生描述景观的引人入胜的故事。 最后一个阶段涉及将此信息提供给可以根据情报采取行动的正确团队。
图1。 竞争情报周期
数据是推动 CI 流程的动力。 过去，只有 CI 专业人员才能访问有意义的数据和站点。 现在，大数据改变了这种情况，组织中的每个人都可以通过专注的“拖网”从他们的专业领域带来一些有价值的东西。 CI 数据的来源包括年度报告、演讲、新闻稿（内部和外部）、财务分析、贸易展览、专利申请、公司网站和社交媒体等等。 这些通常是“开源的”，尽管您可能需要特殊权限才能获得访问权限。 存在许多专有数据库，甚至可能已经有一些分析可用，例如 Dunn 和 Bradstreet 的 Hoover、Salesforce、DataSift、Thomson Reuters 等。大部分原始数据将来自互联网搜索，然后仔细提取相关数据元素。 CI 收集工作必然会面临来自不同来源和格式的非结构化文本数据的挑战，需要付出大量努力来组装一个连贯的数据集以进行分析。
分析和生产阶段通常将多个数据源组织成多个结构中的任何一个。 众所周知的 SWOT 技术将着眼于竞争对手的优势、劣势、机会和威胁。 PESTLE 方法评估一个行业和竞争对手的政治、经济、社会、技术、法律和环境维度。 哈佛教授迈克尔波特的五力（进入壁垒、当前竞争对手、替代威胁、供应商议价能力、买方议价能力）经受了时间的考验。 波特还有一个四角模型（驱动因素/文化、当前战略、管理假设和能力）来预测竞争对手的未来行动。 其他分析框架形成矩阵，以竞争对手为列，以分销渠道、技术优势、定价、市场份额、客户关注度、财务稳定性、劳动力、设施、合作伙伴关系等关键绩效指标为行。 这些框架中的任何一个都面临着准确填充数据元素的挑战，因为许多都是定性评估，取决于您找到可靠数据源的程度。 我们讨论了 JMP 中可以帮助查找和探索这些关键数据的一些方法。
公司来自网站分析的竞争情报数据：
一个瓦纳什·考西克描述了许多可用于分析网络流量的工具，以获得关于来源、人口统计、反弹动态和产品情绪的令人惊讶的深刻信息。 他将这些分解为以网站为中心，关注竞争对手的网站，而以生态系统为中心，关注行业和特定技术。 以站点为中心的应用程序的示例有 Google Analytics、Compete、SimilarWeb、Marketing Grader、Majestic 和 AdBeat（用于在线广告指标）。 这些工具提供有关每个站点的详细信息（例如来源、跳出率、访问的页面、关键字……），但不幸的是，它仅对您自己的站点免费。
以生态系统为中心的工具的一个例子是谷歌趋势（ https://www.google.com/trends/ ) . 图 2 显示了随着时间的推移“大数据”一词的出现，这并不奇怪，它在过去 3 年中开始流行。 情节上的字母选择了当时网络上的一个具有代表性的故事，可以提供关于为什么会有高峰或低谷的见解。 此外，还提供了排名靠前的地理区域和相关搜索词（例如大数据 Hadoop）。
Google Trends 可以导出数据，使我们能够使用 JMP 的功能进行自己的分析。 例如，乔丹·斯皮思（Jordan Spieth）是一名 22 岁的高尔夫球手，他最近一年的表现非常出色，排名世界第一。 在体育界听到高尔夫作为一项运动的兴趣正在下降的情况并不少见，也许斯皮思可以扭转这一趋势。 图 3 中的图当然不仅显示了下降趋势，而且还显示了一种非常周期性的模式，可能对我们的竞争分析和营销角色有用。
图 2。 “大数据”的谷歌趋势时间序列图
图 3。 “高尔夫”的谷歌趋势时间序列图
从数据导出中，我们可以使用 JMP 在 Graph Builder 中创建我们自己的自定义时间序列图，更清楚地标记这些事件，我们可以使用季节性 ARIMA 预测未来的增长，如图 4 所示。 公司可以使用这些类型的高级分析来预测市场走向和广告活动的时间安排。
图 4。 “高尔夫”的 ARIMA Group 时间序列图和预测
来自社交媒体的竞争情报数据：
在过去的十年中，可以从社交媒体网站吸收的新型情报数据出现爆炸式增长。 现在记录所有类型的通信比以往任何时候都多，我们有机会在所有这些嘈杂的非结构化数据中找到 CI 信号。 博客和公告板是收集行业和公司特定信息的绝佳场所。 您可以在 LinkedIn 和其他专业网站上关注公司、员工、技术团队、工作机会、前员工。 在 Facebook、Twitter 和 Instagram 等网站上发帖也提供了了解市场和竞争对手趋势的机会。 挑战在于有效地收集这种非结构化数据，这种非结构化数据的特点是一种新的非正式的类似英语的语言，有多种表达同一个词的方式——想想你将如何给某人发短信今晚.
我们编写了一个 JMP 脚本语言 (JSL) 脚本，该脚本调用统计编程语言 R 来下载所有（或随机样本）的 Twitter 提要，并在指定的持续时间内与关键字相关。 该脚本收集从当前时间到未来预先指定时间段的数据，尽管收集追溯数据的 Twitter 档案确实存在，但需要付费。 返回的数据包括实际的推文、位置、时间和其他人口统计字段。 许多公司收集实时推文，以了解公众对主要产品发布的反应——无论是他们自己的还是竞争对手的。 例如，在勒布朗詹姆斯宣布他将返回克利夫兰后，我们运行了 5 分钟的脚本，因为我们所有关于产品和公司的 Twitter 数据都是专有的。 图 5 中生成的词云在删除常用词（the、and、or、...）和攻击性语言后，可以深入了解最常出现的术语（最大字体）。 此外，我们通过对大约 1,500 个通常与积极情绪相关的单词的列表、大约 2,000 个负面单词的列表以及在那 5 分钟内从 4,000 条推文中收集的所有单词进行交叉制表来对推文进行情绪分析。 一条推文可能有多个正面和负面的词，也可能一个都没有。 总数为 3,533 个肯定词和 1,626 个否定词。 wordcloud 和情感分析是使用用于文本挖掘的 JMP 插件进行的，该插件还调用 R 用于文本分析例程。
图 5。 2014 年夏季“勒布朗”的 Twitter JSL 脚本界面和 Wordcloud
来自竞争对手网站的竞争情报数据：
公司网站的架构本身就是一个有用的战略情报，因为他们会根据当前的能力和客户以及他们正在为未来改进而做的工作，仔细选择要在其在线展示中显示的内容。 其他特殊的数据机会包括会议/会议、领导力、白皮书链接、新闻报道链接、最佳实践、技术讨论、职位发布和搜索引擎优化中的关键词。 获取此数据的一种方法是手动复制和粘贴感兴趣的文本。 或者，自动网络抓取实用程序具有更快和更全面的优点，尽管可能会返回太多或无关的信息。
我们开发了 JSL 代码来从任何网站抓取文本数据，同时跟踪元数据，例如网站上文本的位置。 Spider 脚本再次调用 R 并且只需要您输入感兴趣的网站。 由于网站的结构不同，您可以选择要进行的抓取类型。 抓取选项包括选择所有文本、新闻报道或默认设置。 您还可以选择要抓取的深度，其中级别 0 是您指定的网页，1 是该页面加上所有链接的页面，依此类推。
例如，一种流行的绿色能源技术是液体干燥剂空调，它通过去除水分子来实现冷却效果，而不是通过将温度降低到露点以下来去除湿度的传统冷冻空气或制冷剂系统。 Google 对商用液体干燥剂空调的快速搜索显示了两家领先的公司 Advantix Systems 和 Kathabar。 我们使用 JSL 脚本抓取两个站点，以创建一个 JMP 数据表，其中每一行代表一个网页。 图 6 显示了 Spider 界面以及来自文本挖掘插件的结果词云。
图 6. JSL Spider 界面和生成的 Wordcloud www.kathabar.com
wordcloud 再次代表了单词的频率。 虽然这个原始字数很有用，但它并不能提供关于哪些词一起出现以及可能存在哪些主题的信息。 要将非结构化文本转换为平面文件以进行超出字数的统计分析，通常会形成一个文档术语矩阵 (DTM)，其中每个文档（我们示例中的网页）为一行，并且在整个文档中使用的每个唯一单词语料库作为一个单独的列。 矩阵条目是每个术语在特定行中出现的频率，尽管最好只使用二进制表示来指示单词是否出现。 基于单词在行中出现次数的加权方案是另一种常用的转换。 也就是说，出现在每一行中的单词可能没有太大的辨别力来帮助分析。 DTM 的问题在于它通常非常大而且非常稀疏。因此，标准统计方法可能无法检测到有用的关系。
大型稀疏 DTM 的一种解决方案是将其投影到更小的维度空间中，就像主成分分析 (PCA) 一样。 更好的解决方案是将 DTM 的奇异值分解 (SVD) 放在比列数或单词数更低的维度上（将其减少到 100 到 300）。 这个 SVD 可以被认为是 DTM M=UDV'。 U 矩阵中的特征向量表示文档，V 矩阵中的特征向量表示单词，D 矩阵对角线上的奇异值来自解释每个 SVD 列解释的变异性比例的特征值。
查看 V 矩阵中前两个特征向量的双变量图有助于找出文本数据中的主要主题以及找到组合在一起的单词。 图 7 显示了 Kathabar 示例的前 2 个 SVD 的双变量图。 在这里，我们看到单词分组提供定制的液体干燥剂解决方案和另一组建议控制空气温度和湿度的低能耗设备。
图 7。 首先是来自 Kathabar V 矩阵的 SVD 特征向量和干燥剂的多元距离。
我们还可以使用从 V 矩阵的特征向量到降阶 SVD 的多元距离。 这些距离显示组合在一起的单词，使您可以选择语料库中的任何单词来查找密切相关的术语。 在图 7 的右侧面板中，我们可以看到最接近干燥剂不足为奇：液体、系统、工艺、干燥、产品、应用、可靠、和生产。
来自专利的竞争情报数据：
专利申请提供了一个公司技术概况的良好晴雨表。 幸运的是，有许多出色的专利搜索引擎可供您免费访问所有摘要、图纸和文本字段，以收集有关竞争对手受保护财产的数据并了解技术状态。 来自世界知识产权组织的 PATENTSCOPE ( https://patentscope.wipo.int/search/en/result.jsf ) 用于提取液体干燥剂空调专利的摘要。 摘要的每一段在 JMP 数据表中形成一个单独的行。 使用消费者研究平台（分析>消费者研究>分类>响应角色=多个，分配给自由文本的文本数据列)，我们可以看到字数，并快速制作出出现在专利摘要中的顶级术语的帕累托图。
图 8。 专利数据的 JMP 自由文本界面和字频计数。
我们还可以使用 JMP 为最常见的 200 个（例如）单词形成指标列，以查看某些术语是否相关，使用分析>多元方法>多元>成对相关. 图 9 突出显示了一些高度相关的词对，例如介质过滤器，强腐蚀性残留物，微孔膜等等。
图 9。 专利数据多元平台的成对相关性
使用 JMP 文本挖掘插件提取主题提供了附加信息。 图 10 中前两个 SVD 的图给出了这些专利试图做的总体思路：一种需要使用液体干燥剂（停用词）对空气进行除湿的技术，从而产生最适用于潮湿环境的冷却效果气候；大多数液体干燥剂的风险是在过滤介质上使用喷雾，这会增加携带进入空气空间的风险；这些专利使用膜来消除这种风险。
图 10。 专利的前两个 SVD 向量
来自技术期刊文章的市场情报：学术文献中详细介绍了许多技术进步，这表明这些进步对描绘技术前景非常有帮助。 为了更好地了解液体干燥剂技术的现状和商业应用的准备情况，我们从过去三年的清洁能源领域的知名期刊出版物中下载了 45 篇最近引用的技术文章。 这些可移植文档文件 (pdf) 难以转换为文本然后转换为 JMP 数据表，因为文本字符实际上是更多的图像，并且大量的数学方程不能很好地转换为文本。 我们尝试了多种方法（开源和专有）来干净地阅读这些 pdf 文件，并得出结论，使用 AdobeAcrobat Standard 或 Pro 使用光学字符识别 (OCR) 功能将 pdf 保存为 MS Word 富文本文件 (rtf)良好的中间步骤。 接下来，我们开发了一个 MS Word 宏来打开一个 Word 文档文件并将它们保存为文本文件，以便在我们的宏中使用，该宏将文本文件文件夹读取到 JMP 表中以形成语料库。 我们还必须更新文本挖掘插件的 JSL 脚本，以便可以选择删除非字母数字字符。 引用已被删除，因为它们不必要地干扰了文本分析。
来自 JMP 文本挖掘插件的图 11 中的词频讲述了与专利类似的故事：这种绿色能源技术是一种通过再生液体干燥剂（例如 LiCl）来冷却空气以减少能源消耗的系统，以除湿从而冷却空气，膜将有毒干燥剂从气流中分离出来。
图 11。 液体干燥剂膜的期刊文章词频。
执行 SVD 后，我们可以使用 U 矩阵中的特征向量的值对期刊文章进行聚类。 这些文件非常符合作者路线以及液体干燥剂内的一般研究领域（图 12）。 对于主题提取，我们使用来自 SVD 的 V 矩阵。 这些期刊中的一些选定主题（图 13）包括：1) 验证液体干燥剂作为空调解决方案的比较实验，以及通过节能的再生方法提高效率； 2) 实验以预测传质速率和效率比，同时允许不同的入口参数值； 3) 使用混合电动压缩机和液体干燥剂去除蒸汽的替代方法。
图 12。 液体干燥剂期刊文章的聚类分析结果
图 13。 液体除湿空调膜文摘选题
V 矩阵的前两个特征向量的图（图 14）显示了基于摘要的这些研究工作的一些一般主题：能量再生、改进除湿、模拟、传质、实验预测、模型、温度和膜以及热用水蒸气处理。
图 14。 液体干燥剂空调前两个特征向量的二元图
主题提取的另一个有用技术是查看特定单词与 V 矩阵的多元距离。 这些多元距离由 JMP 在聚类分析期间计算，并通过保存距离矩阵获得。 您可以选择一个特定的单词并找出与它最密切相关的单词。 图 15 中显示的一些感兴趣的词提供了这些期刊文章摘要中的以下信息：
- 成本——关注的是投资回收期、主要安装、锅炉和存储大驱动因素
- 可靠性——生产带有空气冷却子系统的多区域和天花板单元
- 锂干燥剂为氯化锂水溶液；主要问题是与周围环境接触（有毒），微孔膜是溶液
- 直接接触的飞沫是有害的，需要消除以使经济可行
图 15。 液体干燥剂期刊摘要的 V 矩阵的多元距离。
概括：
竞争情报分析有许多框架，例如 SWOT、Porter 的 5 Forces 和 4 Corners，它们依赖于当前和可靠的数据输入。 CI 数据源激增并变得民主化，因此整个企业的员工都可以找到有关其竞争对手的可利用信息。 问题是数据不一定很容易检索，大多是嘈杂和非结构化的。 JMP 和 JSL 脚本的分析工具有助于从网站、社交媒体、专利和技术期刊文章等来源收集数据并从中理解数据。 与军事类比一样，目标是从非结构化开源信息转变为影响组织战略方向的“机密”情报报告。
参考：
Baglama，James 和 Reichel，Lothar。 增强的隐式重启 Lanczos 双对角化方法。 2005 年，SIAM 科学计算杂志，卷。 27，第 19-42 页。
巴贝拉，巴勃罗。 streamR：通过 R 访问 Twitter 流 API。 [在线] 2014. http://CRAN.R-project.org/package=streamR .
Czepiel，约翰和克林，罗杰。 竞争对手分析. [在线] 2011. http://pages.stern.nyu.edu/~jczepiel/Publications/CompetitorAnalysis.pdf .
伊娃ngelopoulos, Nicholas, Zhang, Xiaoni 和 Prybutok, Victor R.潜在语义分析：五项方法论建议。 2012，欧洲信息系统杂志，卷。 21，第 70-86 页。
研究员，伊恩。 wordcloud：词云。 克兰。 [在线] 2014. http://cran.r-project.org/web/packages/wordcloud/index.html .
考希克，阿瓦尼什。 用竞争情报分析粉碎它：最佳指标，报告. [在线] 2015. http://www.kaushik.net/avinash/competitive-intelligence-analysis-tools-metrics-reports-techniques/ .
朗，邓肯寺。 RCurl：R 的通用网络（HTTP/FTP/...）客户端接口。 克兰。 [在线] 2015. http://cran.r-project.org/web/packages/RCurl/index.html .
马丁. 战略框架：竞争对手分析和竞争情报. [在线] 2015. http://www.entrepreneurial-insights.com/competitor-analysis-competitive-intelligence/ .
梅塔耶，埃斯特尔。 您的竞争情报或战略规划团队应掌握的顶级分析技术。 [在线] 2015 http://competia.com/50-competitive-intelligence-analysis-techniques .
世界知识产权组织专利范围。 [在线] 2015. https://patentscope.wipo.int/search/en/result.jsf
