扬声器 | 成绩单 |
| 基拉阿尔霍恩 | 好的，欢迎来到我的演讲，通过文本资源管理器了解客户需求的演练。 我很高兴 |
| 出席会议的是虚拟形式的 JMP 发现峰会。 我叫 Kira Alhorn，是 WL Gore and Associates 的一名统计学家。 |
| 而且，在开始介绍之前，我想快速向您介绍一下我们公司。 WL Gore and Associates 是一家全球材料科学公司，我们生产 |
| 针对不同行业的不同解决方案，从航空航天到医疗产品以及你们大多数人可能熟悉的产品 |
| 是我们的 Gore-tex 品牌。 这就是我们今天要关注的重点，Gore-tex 品牌正在生产耐用的防水透气层压织物。 |
| 这些层压板被卖给我们的客户或品牌合作伙伴，他们用这些层压板制造产品。 更具体地说，我们今天将重点关注鞋子。 |
| 所以这是我的演讲的简短概述。 我将从背景和动机开始。 那么我们在看什么？ 我们正在查看鞋子描述以及我们为什么对此感兴趣。 |
| 之后剩下的演讲将在 JMP 中完成。 我将使用 JMP 15 Pro，并向您展示如何使用文本浏览器 |
| 用于分析我们的鞋子描述。 如何在这些文本或鞋子描述中找到主题，以便这些主题可用于找到常见的鞋子描述或鞋子描述中的常见主题，并将其与我们拥有的不同类别的鞋子进行比较。 |
| 最后，这将只是一个非常简短的介绍，我们使用一些预测模型来验证我们的发现并获得更多……它将更深入地了解不同的鞋子描述如何对鞋子进行分类。 |
| 所以想象一下你自己的橱柜和你橱柜里的鞋子 |
| 你们每个人的橱柜里至少都会有一小部分或相当多的不同鞋子，问题是，为什么你们有这么多鞋子？ |
| 而且你的鞋子必须适合你的风格，也许你需要不同的颜色等等，这并不是你拥有不同鞋子的唯一原因。 |
| 另一个原因是你需要不同的鞋子。 想象一下，你有一双跑鞋，你有几双休闲鞋，你可能还有登山鞋。 |
| 你之所以拥有这些，是因为每双鞋都有不同或略有不同的功能，使这双鞋可用于此最终用途，而你需要这些功能来实现最终用途。 |
| 所以我们想知道的是，如果我们查看品牌合作伙伴的鞋子描述，我们能否以某种方式找到不同鞋子的独特之处？ 所以你会在这里看到一个集合 |
| 不同的鞋子类别，现在对应于我们鞋子的不同最终用途。 |
| 现在的问题是，例如，如果客户想要生产一双新的登山鞋，我们应该在我们出售的用于登山鞋的层压板中提供什么功能配置？ |
| 那么，这些鞋子的描述能否为我们提供一个可以提供给客户的原型？ |
| 当然，这里有趣的另一个方面是什么，其他鞋子有何不同？ 那么登山鞋和街头鞋有什么区别呢？为什么我们需要这些差异？ |
| 这就是我们开始分析数据时的意图。 |
| 因此，我想去 JMP。 |
| 在 JMP 中，我首先想向您展示我们收集的数据的外观。 |
| 所以我们所做的就是访问我们品牌合作伙伴的网页，并从这些包装中收集鞋子描述。 |
| 对于每一类鞋子，我们都有一定数量的鞋子描述，你会看到，我们只是将整个描述复制到我们的数据表中。 |
| 所以这可能会很长，也可能会很短，但我们所做的只是简单的复制。 |
| 但另一方面，您可以想象，对于那个文本字段，我们不能做很多事情。 |
| 或者至少看起来我们做不到，因为 JMP 提供了做某事的巨大可能性。 还有什么办法呢？ 我们想从那篇长文本中提取信息，并以某种方式将其变成更易于消化的块。 |
| 还有那些易消化的块 |
| 可以使用文本资源管理器提取。 所以我想转到文本资源管理器并将鞋子描述放入此处的文本列中。 |
| 这里有很多选择。 这些选项被输入到切割我们鞋子描述的算法中，或者我们用文本分析语言调用描述文档。 |
| 正如我提到的，这是将文档切割成更小的信息片段，即那些易于消化的块。 |
| 你将看到的是可消化的块，也就是说，我们有那些术语，它们是信息的最小单位，我们有那些短语，这些术语经常一起出现，如果你把它们组合起来可能有意义。 |
| 所以你可以在这里看到最常用的术语 |
| 在所有文件中，因此在所有鞋子描述中，都是舒适一词。 |
| 所以首先我们做的是我们浏览了这里的所有短语并看了一下。 有什么道理吗？ |
| 第一个已经说得通了。 因此，您在这里看到 Gore 和 tex 术语作为单个术语出现，但当然，应该分析术语 Gore-tex 而不是 Gore 和 tex 是有道理的。 |
| 因此，您可以将所有有意义的短语添加到术语列表中。 所以我们添加了短语，您现在会在这里看到，我们使用术语 Gore-tex 而不是单个术语 Gore。 |
| 所以这是我们处理数据的第一步。 第二步是检查术语列表是否有重复项或 |
| 如果有任何术语没有意义。 而且 JMP 已经有了非常好的处理，因为 JMP 已经排除了很多没有意义的词，比如 and, a, |
| 或者，不给您任何信息。 但是，总会有一些没有意义的术语留下来，例如这个S。 |
| 你会用S做什么？ 这告诉你关于鞋子的什么信息？ 所以我们必须检查所有的术语，如果有一个术语没有意义，我们称之为停用词，我们将它们编辑到停用词列表中以将它们排除在分析之外。 |
| 那是一回事。 我提到的另一件事是，我们需要检查是否有重复，你会在这里看到，例如，我们有术语 Gore tex |
| 和术语 GTX。 而GTX只是Gore-tex这个词的缩写，所以我们不应该把两者分开分析，应该结合起来。 |
| 所以你有 Recode 功能，它与列几乎相同，这是将这些功能组合起来的好工具 |
| ？？？数据。 所以你在这里看到的是 Recode 函数，我将它们组合在一起。 |
| 现在你会看到这只是一个单一的术语 (Gore-tex)，而这实际上是我们数据中出现频率最高的术语。 |
| 所以。 |
| 我们从 4,000 个术语开始，在所有清理之后我们最终得到的只有 100 个术语。 所以你看，我们还剩下 100 个术语，有了这些，我们可以做很多分析。 这些对于我们了解什么是鞋子描述非常有用。 |
| 因此，您可以使用该列表查看最常用的术语，但 JMP 还提供了一个非常简单的可视化工具。 |
| 点击红色小三角，可以添加词云。 这个词云根据单词的大小，告诉你它在所有文件中的出现频率，所以在所有鞋子描述中。 因此，Gore-tex、舒适和轻便是我们收集的鞋子描述中最常用的术语。 |
| 但你可能还记得这并不是我们想知道的，对吧？ 所以我们想知道，不同最终用户的鞋子是什么？ |
| 为此，我们可以在此处轻松添加本地数据过滤器，并将鞋子的最终用途用作过滤器。 因此，例如，我可能会对街头冬鞋的所有描述中最常见的术语感兴趣。 |
| 难怪冬季和保暖这两个词经常出现在街头冬季鞋的描述中。 |
| 另一方面，以越野跑鞋为例，您会在这里看到不同的重点。 你会发现那些不需要保暖，但它们需要透气、轻便且合身。 |
| 因此，这些词云非常非常适合让我们首先了解我们最初的问题，即描述不同鞋型的特征配置的是什么。 |
| 我们并没有就此结束。 我们想更进一步。 |
| 更进一步，如果您已经准备好所有数据，您能否以某种方式进行建模以找到鞋子配置的原型？ 对于该建模，JMP 中有不同的选项，我们决定采用 SVD。 |
| SVD 正在对我们的文档术语矩阵执行主成分分析。 |
| 那是什么意思？ 文档术语矩阵包括每个文档，因此，对于每个鞋子描述， |
| 每个术语的频率。 因此，例如，对于第一个鞋类描述，我们多久使用一次 Gore-tex 术语，我们多久使用一次舒适度术语，等等。 所以你可以想象这是一个非常巨大的矩阵。 |
| 现在的想法是，通过减少文档术语矩阵维数的主成分分析，更好地掌握您的数据。 |
| 并且，能够更好地可视化数据。 |
| 基于维度的减少，我们现在可以做一些建模。 什么样的建模对我们来说很有趣？ 所以我们感兴趣的是什么描述了鞋子的特定最终用途。 |
| 为了达到这一点，我们分析了鞋子描述中是否有任何主题？ 如果有主题，这些主题是否与某些最终用途相对应？ |
| 因此，在理想情况下，我们会在数据中找到九个主题，而这九个主题恰好代表一个鞋子类别。 因此，我们将为每只鞋提供原型鞋配置或功能配置。 |
| 那么让我们看看如果我...您搜索九个主题会发生什么。 我将在主题分析上单击此处并输入 9，因为我对九种不同的鞋子类别感兴趣。 |
| 然后我得到的是一个主题列表，其中包含在这些主题中经常出现的术语。 例如，主题一包括鞋子 |
| 在他们的鞋子描述中有术语 superfit、textile、warm 等等。 所以我的第一个直觉是这些必须是街头或街头冬季鞋。 |
| 例如，主题二由鞋子描述组成，其中包括小屋、徒步旅行、多日等术语，所以这看起来像是徒步鞋。 |
| 但当然，作为一名统计学家，我不喜欢只给出直觉。 我真的很想知道什么类别的鞋子属于哪个主题。 为此，我正在对鞋子类别进行简单的分布，我将在此处添加本地数据过滤器以仅显示 |
| 类别 |
| 那是... |
| 只显示选中的鞋子。 |
| 这意味着什么？ 我该如何使用它？ JMP 在这里提供主题分数图和这些主题分数图 |
| 每个主题的每个鞋子描述都得一分。 |
| 所以鞋子描述的分数越高，这双鞋越能代表这个话题。 |
| 所以我要做的是，我简单地选择所有那些对第一个主题有高分的鞋子，我会在其中看到 |
| 此处的直方图表明那些是街头和街头冬季鞋。 所以基本上我的直觉是正确的。 那些由纺织品制成的鞋子，超级合脚，那些是街头和街头冬季鞋。 |
| 记住主题二，我们希望它是徒步鞋。 您会在此处的直方图中看到，那些是徒步鞋。 |
| 你现在可以对所有主题都这样做，我把它写进了期刊。 |
| 你会看到做所有这些的一些困难。 因此，为每个主题分配一个鞋子类别或多个鞋子类别，您会看到两个问题。 |
| 第一个问题，在这里表示，您会看到某些鞋子类别，例如登山，不是由一个主题表示，而是由多个主题表示。 |
| 您还会看到这些主题是重叠的，例如，crampon 这个词出现在两个主题中。 |
| 也就是说，我们这里的话题似乎太多了。 |
| 所以这些主题，理想情况下，每个鞋子类别都有一个主题，如果我们看到有重叠的主题对应多个类别，那么九个似乎太多了。 |
| 但是这当然要有另外一个？？？所以如果登山鞋对应的话题不止一个，就需要有不是那么清晰可辨的话题。 |
| 例如，请看第五个主题。 所以，喜欢最具代表性的鞋子。 你会看到这是一个巨大的集合。 |
| 有渐进鞋、公路跑鞋、街头鞋等。 所以这些大多是有点重叠的类别，彼此没有区别。 那么想象一下越野跑鞋和公路跑鞋之间的区别在哪里？ |
| 或者再进行下一步，越野跑和徒步有什么区别？ |
| 这些鞋子有一定的重叠，如果有重叠，你就无法清楚地识别出该鞋类的一种特征配置。 |
| 所以这也是非常有价值的学习。 当然，它是在管理您的不同层压板组合。 您想知道，我是否需要为特定的最终用途使用特定的层压板，或者它是否与我已有的其他层压板非常相似？ |
| 所以我们最终做的是，我们想要有最终的主题集合，其中我们没有任何主题对应于多个类别，我们手工完成了。 所以我们分析了不同数量的主题，最后我们有五个。 |
| 那五个主题，你会看到，对应了一定数量的品类，但是我们会看到，并不是所有的鞋类品类都可以用它来代表。 |
| 所以我们有两个教训。 学习第一是我们有一些鞋子描述的原型 |
| 鞋子类别。 另一方面，此处未命名的所有鞋品类别可能差别不大，或者可能没有这种单一配置 |
| 在他们的鞋子描述中。 |
| 这只是 Text Explorer 提供的一个选项。 还有其他选择，但我们专注于此并且效果很好。 |
| 说到这里，我想离开 Text Explorer，只向您简要介绍一下您可以进一步使用主题文档术语矩阵做什么。 |
| 所以在这里，我有和以前一样的数据集，但我导出了文档术语矩阵。 因此，您会看到很多针对每个术语显示的新列 |
| 该术语在特定鞋子描述中的频率。 |
| 我们尝试了不同的版本，所以我们有一个指示频率的文档术语矩阵；我们有一个只表明它被包含，它没有被包含；等等。 我们最终得到了那个版本。 |
| 并利用 JMP Pro 的可能性，我们创建了一个验证列，将我们的数据集拆分为训练、验证和测试数据。 训练和验证数据用于训练我们的预测模型，测试数据用于测试。 |
| 在谈论预测建模时，我们的目标是什么？ 所以我们之前所做的是一种无监督技术，因为 |
| 我们只是搜索主题，然后与鞋子类别进行比较。 现在我们想要更主动一点，所以我们有了鞋的描述，我们可以明确地预测一个类别吗？ |
| 我们尝试了 JMP 15 Pro 提供的不同预测建模技术，最终得到了引导森林。 在这里，我只想让您了解结果的样子以及我们可以使用这些结果做什么。 |
| 所以你会在测试数据集中的混淆矩阵中看到结果，类别是什么，特定的鞋子描述以及我使用我的引导森林预测了什么？ |
| 而且，有趣的是，您会看到与我们之前看到的几乎相同的结果。 所以有些类别可以与其他类别明显区分开来， |
| 已经具有独特功能配置的，还有其他人没有的。 因此，以公路跑鞋为例。 |
| 我们已经在我们的第一次分析中发现，这些并不是唯一定义的。 我们也会在这里看到，我预测很多鞋子都是公路跑鞋，实际上是其他鞋子。 |
| 所以这意味着这证实了我们之前的发现。 我们确切地看到使用无监督技术很好地描述的鞋子类别在这里也得到了很好的描述，而那些没有很好区分的鞋子在这里也没有那么区分。 |
| 因此，这非常有趣，而且您现在可以使用此分析做很多其他事情。 你可以这样做，例如， |
| 一个分析，什么是...当我想区分某些鞋子时，最重要的问题是什么？ 那么这就是在区分鞋子类别时哪些术语贡献最大的列贡献？ |
| 或者，您可以使用 ROC 曲线进一步探索哪些鞋子类别可以非常区分，哪些不能。 |
| 最后但同样重要的是，您可以使用此模型进行预测。 所以你可以在这里输入某些功能配置或鞋子描述 |
| 然后预测这个描述属于某个鞋子类别的概率。 例如，在这种情况下，我们会预测这双鞋可能是公路跑鞋。 |
| 时间关系我就不细说了，还是想赶紧总结一下。 那么我们的主要发现是什么？ 主要发现是 |
| Text Explorer 是一个非常棒的工具，绝对直观，您可以使用它从非结构化文本数据中快速提取信息。 |
| 他们在哪里区分，在哪里不区分？ 什么是……那些鞋子需要什么功能？ 但不知何故，这些发现证实了我们的预期。 |
| 并且这一确认，我们可以使用无监督技术或监督技术来做到这一点，所以他比较了主题分析，在这里使用 SVD 和预测模型与引导森林，其他人可能同样有效。 |
| 最后要感谢群？？？谁提出了这个问题。 他们收集了所有数据并清理了所有数据，并就此进行了很好的讨论 |
| 不同技术的意义或意义。 所以如果没有他们，你现在就不会听到那个演讲。 此外， |
| 我要感谢 TU Dortmund 大学的前同事 Jonas，他在文本分析方面向我咨询。 |
| 最后，感谢您的关注，我很乐意通过电子邮件或 JMP 用户社区回答任何问题。 请给我留言。 |
