利用 JMP® 的力量：大数据和社交媒体进行竞争对手分析
2015 年 JMP 探索会议
James Wisnowski，Adsurgo LLC
弗洛尔·卡斯蒂略，SABIC
安德鲁·卡尔，Adsurgo LLC
希思·拉欣 (Heath Rushing)，Adsurgo LLC
抽象的：
相对于全球人口，现在物联网中的传感器（例如智能手机）数量是全球人口的两倍，社交媒体帐户的数量也相当。 由此产生的数据量爆炸性增长对于那些能够在大量非结构化和不确定噪声中找到信号的人来说意味着巨大的机会。 最近的一个项目提出了 JMP 用户有效搜索和分析大量有关创新技术、相关成熟度水平、当前应用程序和主要竞争对手的开源材料的需求。 独特的挑战包括需要从这些不同的网站架构（没有无关代码）以及附加的 PDF 和 PowerPoint 文件中提取文本，而这些文件并不总是可用的格式。 语料库开发完成后，文本将被导入 JMP，以快速识别感兴趣的关键主题和相关文档。 这些步骤是使用 R 中文本挖掘例程的直观 JMP 界面完成的。 与传统方法相比，使用 JMP 数据可视化、聚类分析和决策树功能的文本分析能够更好地描述市场。 本演讲将演示一系列 JMP 脚本和平台，用于有效搜索相关网站的分数并监控社交媒体渠道（例如 Twitter）、收集大量非结构化数据并回答重点研究问题。
介绍：
尽管竞争情报 (CI) 一词在过去几十年才被用来描述公司获取有关构成业务威胁的其他组织的信息的行为，但这种做法已经存在了几个世纪。 与军事情报类似，我们可以想象一个企业专注于竞争对手、产品和客户的外部力量，以准确评估它需要执行什么策略才能在充满挑战的环境中蓬勃发展。 我们可以从受经济和市场力量支配的战略环境以及日常所需的战术情报（例如匹配竞争对手的价格）来思考竞争情报。 反竞争情报是企业也希望保护自己的专有信息和其他敏感信息的地方。 工具和数据源需要跟上动态发展的方法，以有效地了解业务竞争对手并预测他们未来的反应。 本文阐述了 SAS Institute 的 JMP 软件在竞争激烈的市场分析领域获取和分析数据的价值。
竞争情报周期：
图 1 中的竞争情报周期是基于军事情报模型的众多构造之一，用于描述寻找其他企业的可利用市场信息并应用分析来发现可操作信息的过程。 它从定义阶段开始，准确找出您真正想要调查的维度，以便您可以制定可靠的攻击计划。 第二阶段的重点是获取正确的数据源来塑造研究。 第三阶段旨在应用分析方法将原始数据转化为见解，最终产生一个描述景观的引人入胜的故事。 最后一个阶段是将这些信息提供给可以根据情报采取行动的正确团队。
图1。 竞争情报周期
数据是 CI 流程的动力。 过去，只有 CI 专业人员才能访问有意义的数据和站点。 现在，随着大数据的出现，这种情况发生了变化，组织中的每个人都可以通过集中的“拖网”从他们的专业领域中带来一些有价值的东西。 CI 数据的来源包括年度报告、演讲、新闻稿（内部和外部）、财务分析、贸易展览、专利申请、公司网站和社交媒体等。 通常这些都是“开源”的，尽管您可能需要特殊权限才能获得访问权限。 许多专有数据库甚至可能已经提供了一些分析功能，例如 Dunn and Bradstreet 的 Hoover、Salesforce、DataSift、汤森路透等。大部分原始数据将来自互联网搜索，然后仔细提取相关数据元素。 CI 收集工作必然会面临来自不同来源和格式的非结构化文本数据的挑战，需要付出巨大的努力来组装一致的数据集进行分析。
分析和生成阶段通常将多个数据源组织成多个构造中的任意一个。 众所周知的 SWOT 技术将着眼于竞争对手的优势、劣势、机会和威胁。 PESTLE 方法评估行业和竞争对手的政治、经济、社会、技术、法律和环境维度。 哈佛大学教授迈克尔·波特的五力（进入壁垒、当前竞争对手、替代威胁、供应商讨价还价能力、买方讨价还价能力）经受住了时间的考验。 波特还有一个四角模型（驱动因素/文化、当前战略、管理假设和能力）来预测竞争对手的未来行动。 其他分析框架形成矩阵，以竞争对手为列，以分销渠道、技术优势、定价、市场份额、客户关注度、财务稳定性、劳动力、设施、合作伙伴关系等关键绩效指标为行。 这些框架面临的挑战是准确填充数据元素，因为许多是定性评估，取决于您如何找到可靠的数据源。 我们讨论 JMP 中的一些可以帮助查找和探索这些关键数据的方法。
钴来自网站分析的竞争情报数据：
A瓦纳什·考西克描述了许多可用于分析网络流量的工具，以获得有关来源、人口统计、跳出动态和产品情绪的令人惊讶的深刻信息。 他将其分为以网站为中心的（着眼于竞争对手的网站）和以生态系统为中心（着眼于行业和特定技术）。 以站点为中心的应用程序的示例包括 Google Analytics、Compete、SimilarWeb、Marketing Grader、Majestic 和 AdBeat（用于在线广告指标）。 这些工具提供有关每个站点的详细信息（例如来源、跳出率、访问的页面、关键字等），但不幸的是它仅对您自己的站点免费。
以生态系统为中心的工具的一个例子是 Google Trends（ https://www.google.com/trends/ ） 。 图 2 显示了“大数据”一词随时间的变化情况，毫不奇怪，它在过去 3 年中得到了广泛应用。 情节上的信件从网络上选择了当时某个时间点的代表性故事，这些故事可以提供有关为什么会出现高峰或低谷的见解。 此外，还提供了热门地理区域和相关搜索词（例如大数据 Hadoop）。
Google Trends 可以导出数据，使我们能够使用 JMP 的功能进行自己的分析。 例如，乔丹·斯皮思 (Jordan Spieth) 是一位 22 岁的高尔夫球手，他在最近的表现出色，达到了世界排名第一。 在体育界，经常听到高尔夫作为一项运动的兴趣正在下降，也许斯皮思可以扭转这一趋势。 图 3 中的图当然不仅显示了下降趋势，而且显示了一种非常周期性的模式，可能在我们的竞争分析和营销角色中有用。
图 2. “大数据”的谷歌趋势时间序列图
图 3. “高尔夫”的谷歌趋势时间序列图
从数据导出中，我们可以使用 JMP 在图形生成器中创建我们自己的自定义时间序列图，以更清楚地标记这些事件，并且我们可以使用季节性 ARIMA 来预测未来的增长，如图 4 所示。 企业可以使用这些类型的高级分析来预测市场走向和广告活动的时机。
图 4. ARIMA 集团时间序列图和“高尔夫”预测
来自社交媒体的竞争情报数据：
过去十年，可以从社交媒体网站吸收的新型情报数据呈爆炸式增长。 现在，所有类型的通信被记录的次数比以往任何时候都多，我们有机会在所有这些嘈杂的非结构化数据中找到 CI 信号。 博客和公告板是收集行业和公司特定信息的绝佳狩猎场。 您可以在 LinkedIn 和其他专业网站上关注公司、员工、技术团体、工作机会、前员工。 在 Facebook、Twitter 和 Instagram 等网站上发帖也提供了了解市场和竞争对手趋势的机会。 面临的挑战是有效地收集这种非结构化数据，其特征是一种新的非正式的类似英语的语言，有多种方式来表达同一个单词——想想你如何向某人发送这个单词今晚。
我们编写了一个 JMP 脚本语言 (JSL) 脚本，该脚本调用统计编程语言 R 来下载与关键字相关的指定持续时间内的所有（或随机样本）Twitter 源。 该脚本收集从当前时间到未来预先指定时间段的数据，尽管用于收集回顾数据的 Twitter 档案确实需要付费。 返回的数据包括实际的推文、位置、时间和其他人口统计字段。 许多公司收集实时推文，以了解公众对主要产品发布的反应——无论是他们自己的产品还是竞争对手的产品。 举个例子，在勒布朗·詹姆斯宣布他将返回克利夫兰后，我们运行了该脚本 5 分钟，因为我们所有关于产品和公司的 Twitter 数据都是专有的。 图 5 中生成的词云在删除常用词（the、and、or、...）和攻击性语言后，可以深入了解最常出现的术语（最大字体）。 此外，我们还对推文进行了情感分析，将大约 1,500 个通常与积极情绪相关的单词列表、大约 2,000 个消极单词列表以及 5 分钟内 4,000 条推文中收集的所有单词进行交叉制表。 一条推文可能有多个正面和负面的词语，也可能两者都没有。 总计有 3,533 个正面词汇和 1,626 个负面词汇。 词云和情感分析是使用用于文本挖掘的 JMP 插件进行的，该插件还调用 R 来进行文本分析例程。
图 5. 2014 年夏季“LeBron”上的 Twitter JSL 脚本接口和 Wordcloud
来自抓取竞争对手网站的竞争情报数据：
公司网站的架构本身就是一个有用的战略情报，因为他们会仔细选择在网上展示的内容，包括当前的能力和客户以及他们正在为未来改进所做的工作。 其他特殊的数据机会包括会议、领导力、白皮书链接、新闻报道链接、最佳实践、技术讨论、职位发布和搜索引擎优化中的关键词。 获取此数据的一种方法是手动复制并粘贴感兴趣的文本。 或者，自动网络抓取实用程序具有更快和更全面的优点，但可能会返回太多或无关的信息。
我们开发了 JSL 代码来从任何网站抓取文本数据，同时跟踪元数据，例如文本在网站上的位置。 Spider脚本再次调用R，只需要您输入感兴趣的网站即可。 由于网站的结构不同，您可以选择要进行的抓取类型。 抓取选项包括选择所有文本、新闻报道或默认设置。 您还可以选择要爬网的深度，其中级别 0 是您指定的网页，1 是该页面加上所有链接的页面，依此类推。
例如，一种流行的绿色能源技术是液体干燥剂空调，它通过去除水分子来实现冷却效果，而不是传统的冷空气或制冷剂系统通过将温度降低到露点以下来去除湿度。 谷歌对商用液体干燥剂空调的快速搜索显示了两家领先公司：Advantix Systems 和 Kathabar。 我们使用 JSL 脚本抓取两个站点，以创建一个 JMP 数据表，其中每一行代表一个网页。 图 6 显示了 Spider 界面以及文本挖掘插件生成的词云。
图 6. JSL Spider 界面和生成的 Wordcloud www.kathabar.com
词云再次代表了单词的频率。 尽管这种原始字数统计很有用，但它并不能提供太多关于哪些单词一起出现以及可能出现哪些主题的信息。 要将非结构化文本转换为平面文件以进行字数统计之外的统计分析，通常会形成一个文档术语矩阵 (DTM)，其中每个文档（我们的示例为网页）作为一行，并且整个文档中使用的每个唯一单词语料库作为单独的列。 矩阵条目是每个术语在特定行中出现的频率，尽管最好使用二进制表示来指示该单词是否出现。 基于单词在行中出现的次数的加权方案是另一种常用的转换。 也就是说，每行中出现的单词可能没有太大的区分能力来帮助分析。 DTM 的问题在于它通常非常大且非常稀疏；因此，标准统计方法可能无法检测到有用的关系。
针对大型且稀疏的 DTM 的一种解决方案是将其投影到更小的维度空间中，就像主成分分析 (PCA) 一样。 更好的解决方案是在比列数或字数更低的维度中对 DTM 进行奇异值分解 (SVD)（将其减少到 100 到 300）。 该SVD可以被认为是DTM M=UDV'。 U 矩阵中的特征向量表示文档，V 矩阵中的特征向量表示单词，D 矩阵对角线上的奇异值来自解释每个 SVD 列解释的变异性比例的特征值。
查看 V 矩阵中前两个特征向量的二元图有助于了解文本数据中的主要主题以及查找组合在一起的单词。 图 7 显示了 Kathabar 示例的前 2 个 SVD 的双变量图。 在这里我们看到单词分组提供定制液体干燥剂解决方案另一个小组建议控制空气温度和湿度的低能耗设备。
图 7. 首先从 Kathabar V 矩阵得到 SVD 特征向量和干燥剂的多元距离。
我们还可以使用来自降阶 SVD 的 V 矩阵特征向量的多元距离。 这些距离显示组合在一起的单词，使您可以选择语料库中的任何单词来查找密切相关的术语。 在图 7 的右侧面板中，我们可以看到最接近的单词干燥剂不足为奇：液体、系统、过程、干燥、产品、应用、可靠、和生产。
来自专利的竞争情报数据:
专利申请是衡量公司技术状况的良好晴雨表。 幸运的是，有许多优秀的专利搜索引擎可以让您免费访问所有摘要、附图和文本字段，以收集有关竞争对手受保护财产的数据并了解技术状况。 世界知识产权组织的 PATENTSCOPE（ https://patentscope.wipo.int/search/en/result.jsf ）用于提取液体干燥剂空调专利的摘要。 摘要的每个段落在 JMP 数据表中形成单独的行。 使用消费者研究平台（分析>消费者研究>分类>响应角色=多个，分配给自由文本的文本数据列），我们可以查看字数统计，并快速制作出现在专利摘要中的顶级术语的帕累托图。
图 8. JMP 自由文本界面和专利数据的词频计数。
我们还可以使用 JMP 为最常见的 200 个（例如）单词形成指标列，以使用分析>多元方法>多元>成对相关性。 图 9 突出显示了一些高度相关的单词对，例如介质过滤器、强腐蚀性残留物、微孔膜等等。
图 9. 专利数据多元平台的成对相关性
使用 JMP 文本挖掘插件进行主题提取可提供更多信息。 图 10 中前两个 SVD 的绘图给出了这些专利试图实现的总体思路：一种需要使用液体干燥剂（停用词）对空气进行除湿的技术，从而产生最适用于潮湿环境的冷却效果。气候；大多数液体干燥剂存在的风险是在过滤介质上使用喷雾，这会增加残留到空气空间的风险；这些专利使用膜来消除这种风险。
图 10. 专利的前两个 SVD 向量
来自技术期刊文章的市场情报：学术文献中详细介绍了许多技术进步，这表明这些技术进步对于描绘技术景观非常有帮助。 为了更好地了解液体干燥剂技术的现状以及商业应用的准备情况，我们从过去三年来清洁能源领域的知名期刊出版物中下载了 45 篇最近引用的技术文章。 这些便携式文档文件 (pdf) 很难转换为文本，然后转换为 JMP 数据表，因为文本字符实际上更多是图像，并且大量数学方程无法很好地转换为文本。 我们尝试了多种方法（开源和专有）来清晰地阅读这些 pdf 文件，并得出结论，使用 AdobeAcrobat Standard 或 Pro 将 pdf 保存为 MS Word 富文本文件 (rtf)，使用光学字符识别 (OCR) 功能是一个不错的选择。好的中间步骤。 接下来，我们开发了一个 MS Word 宏来打开 Word 文档文件并将它们另存为文本文件，以便在我们的宏中使用，该宏将文本文件的文件夹读入 JMP 表以形成语料库。 我们还必须更新文本挖掘插件的 JSL 脚本，以便可以选择删除非字母数字字符。 这些引用已被删除，因为它们不必要地干扰了文本分析。
JMP 文本挖掘插件中的图 11 中的词频讲述了与专利类似的故事：这种绿色能源技术是一种冷却空气的系统，通过再生液体干燥剂（例如 LiCl）进行除湿从而冷却空气来减少能耗。空气中的膜将有毒干燥剂与气流分开。
图 11. 液体干燥剂膜的期刊文章词频。
执行 SVD 后，我们可以使用 U 矩阵中的特征向量值对期刊文章进行聚类。 这些文档很大程度上按照作者路线以及液体干燥剂的一般研究领域进行分类（图 12）。 对于主题提取，我们使用 SVD 中的 V 矩阵。 这些期刊的一些精选主题（图 13）包括： 1) 验证液体干燥剂作为空调解决方案的比较实验以及通过节省能源的再生方法提高效率的实验； 2）在允许不同入口参数值的情况下进行实验来预测传质速率和效率比； 3）使用混合电动压缩机和液体干燥剂去除蒸汽的替代方法。
图 12. 液体干燥剂期刊文章的聚类分析结果
图 13. 液体除湿空调膜摘要专题
V 矩阵的前两个特征向量图（图 14）显示了这些基于摘要的研究工作的一些一般主题：能量再生、改善除湿、模拟、传质、实验预测、模型、温度和膜以及热用水蒸气进行处理。
图 14. 液体干燥剂空调期刊摘要前两个特征向量的双变量图
主题提取中的另一个有用技术是查看特定单词与 V 矩阵的多元距离。 这些多元距离是由 JMP 在聚类分析期间计算的，并通过保存距离矩阵获得。 您可以选择一个特定的单词并找出哪些单词与其最密切相关。 图 15 中显示的一些感兴趣的单词提供了这些期刊文章摘要中的以下信息：
- 成本——关注的是投资回收期、主要安装、锅炉和存储的主要驱动因素
- 可靠性——生产带有空气冷却子系统的多区域和吊顶单元
- 锂干燥剂为氯化锂水溶液；主要关注的是与周围环境的接触（有毒），微孔膜是溶液
- 直接接触的液滴是有害的，需要消除才能在经济上可行
图 15. 液体干燥剂期刊摘要的 V 矩阵的多元距离。
概括：
竞争情报分析有许多框架，例如 SWOT、波特的 5 力和 4 角，它们依赖于当前且可靠的数据输入。 CI 数据源猛增并变得民主化，因此整个企业的员工都可以找到有关竞争对手的可利用信息。 问题是数据不一定容易检索，大多是嘈杂且非结构化的。 JMP 和 JSL 脚本中的分析工具有助于收集和理解来自网站、社交媒体、专利和技术期刊文章等来源的数据。 与军事类比一样，目标是从非结构化开源信息过渡到影响组织战略方向的“机密”情报报告。
参考：
詹姆斯·巴格拉玛和洛萨·赖切尔。 增强隐式重启 Lanczos 双对角化方法。 2005，SIAM 科学计算杂志，卷。 27，第 19-42 页。
巴贝拉、巴勃罗. StreamR：通过 R 访问 Twitter Streaming API。 [在线]2014年。 http://CRAN.R-project.org/package=streamR 。
约翰·切皮尔和罗杰·科林。 竞争对手分析。 [在线]2011年。 http://pages.stern.nyu.edu/~jczepiel/Publications/CompetitorAnalysis.pdf 。
伊娃ngelopoulos、Nicholas、Zhang、Xiaoni 和 Prybutok，Victor R.潜在语义分析：五项方法建议。 2012，欧洲信息系统杂志，卷。 21，第 70-86 页。
同胞们，伊恩. wordcloud：词云。 克兰。 [在线]2014年。 http://cran.r-project.org/web/packages/wordcloud/index.html 。
考希克，阿瓦尼什。 通过竞争情报分析粉碎它：最佳指标、报告。 [在线]2015年。 http://www.kaushik.net/avinash/competitive-intelligence-analysis-tools-metrics-reports-techniques/ 。
朗，邓肯·坦普尔。 RCurl：R 的通用网络（HTTP/FTP/...）客户端接口。 克兰。 [在线]2015年。 http://cran.r-project.org/web/packages/RCurl/index.html 。
马丁。 战略框架：竞争对手分析和竞争情报。 [在线]2015年。 http://www.entrepreneurial-insights.com/competitor-analysis-competitive-intelligence/ 。
梅泰耶，埃斯特尔。 您的竞争情报或战略规划团队应掌握的顶级分析技术。 [在线]2015年http://competia.com/50-competitive-intelligence-analysis-techniques 。
世界知识产权组织专利范围。 [在线]2015年。 https://patentscope.wipo.int/search/en/result.jsf
