扬声器 | 成绩单 |
| 基拉·阿尔霍恩（Kira Alhorn） | 好的，欢迎来到我的演讲“通过文本浏览器了解客户需求”。 我很高兴 |
| 以虚拟格式出席的是JMP Discovery Summit。 我叫Kira Alhorn，我是WL Gore and Associates的统计学家。 |
| 而且，在开始演示之前，我想向您介绍我们的公司。 WL Gore and Associates是一家全球材料科学公司，我们正在生产 |
| 从航空航天到医疗产品，以及大多数人可能熟悉的领域，为非常不同的行业提供了截然不同的解决方案 |
| 是我们的Gore-tex品牌。 因此，这就是我们今天要关注的重点，Gore-tex品牌正在生产耐用的防水透气面料层压板。 |
| 并将这些层压板出售给我们的客户或品牌合作伙伴，这些客户或品牌合作伙伴利用这些层压板制造产品。 更具体地说，我们今天将专注于鞋子。 |
| 因此，这是我的演讲的简短概述。 我将从背景和动机开始。 那么我们在看什么呢？ 我们正在研究鞋子的描述，以及为什么对此感兴趣。 |
| 之后，其余的讨论将在JMP中完成。 我将使用JMP 15 Pro，并在那里向您展示如何使用文本资源管理器 |
| 分析我们的鞋子描述。 如何在这些文本或鞋子描述中查找主题，以便可以使用这些主题在鞋子描述中查找常见的鞋子描述或常见主题，并将其与我们拥有的不同类别的鞋子进行比较。 |
| 最后，这只是一个非常简短的介绍，我们使用一些预测模型来验证我们的发现并获得更多...它将更深入地了解不同的鞋子描述如何对鞋子进行分类。 |
| 因此，请想象一下您自己的橱柜和橱柜中的鞋子 |
| 你们每个人的橱柜里至少会有一小撮或一堆相当大的不同鞋子，问题是，为什么您有这么多鞋子？ |
| 而且您的鞋子必须适合您的风格，也许您需要不同的颜色等等，这不是您拥有不同鞋子的唯一原因。 |
| 另一个原因是您需要不同的鞋子。 想象一下，您有一双跑鞋，几双休闲用途的鞋，您可能会穿登山鞋。 |
| 而您之所以拥有这些鞋，是因为每双鞋子都具有不同或略有不同的功能，这使得此鞋子可用于此最终用途，并且您需要针对该最终用途的那些功能。 |
| 因此，我们想知道的是，如果我们查看品牌合作伙伴提供的鞋子描述，是否能够以某种方式找到使不同鞋子与众不同的原因？ 所以你会在这里看到一个集合 |
| 不同的鞋子类别，这些类别现在与我们针对鞋子的不同最终用途相对应。 |
| 现在的问题是，例如，如果客户想要生产一种新的远足鞋，那么我们应该为销售用于远足的鞋子出售的层压板提供什么功能配置？ |
| 那么，这些鞋子的描述能否为我们提供可以提供给客户的原型？ |
| 而且，当然，这里有趣的另一个方面是什么，其他鞋子又如何与众不同？ 那么那双登山鞋和街头鞋有什么区别呢？为什么我们需要这些差异？ |
| 这就是我们开始分析数据时的意图。 |
| 因此，我想去JMP。 |
| 在JMP中，我首先要向您展示我们收集的数据的外观。 |
| 因此，我们要做的只是访问了品牌合作伙伴的网页，并从这些包装中收集了鞋子的描述。 |
| 对于每种鞋类别，我们都有一定数量的鞋描述，您将看到，我们只需将整个描述复制到我们的数据表中即可。 |
| 因此，这可能会很长，可能会很短，但是我们所做的不只是复制。 |
| 但是另一方面，您可以想象，对于该文本字段，我们不能做很多事情。 |
| 或至少看起来好像我们做不到，因为JMP提供了做某事的巨大可能性。 那该怎么办呢？ 我们希望从长文本中提取信息，并使其更易于消化。 |
| 那些可消化的块 |
| 可以使用文本资源管理器提取。 因此，我想转到“文本资源管理器”并将鞋子描述放入此处的文本列中。 |
| 这里有很多选择。 这些选项被输入到削减鞋子描述的算法中，或者我们称其为文本分析语言的描述文件。 |
| 正如我所提到的，这会将文档切成较小的信息片段，这些易消化的片段。 |
| 您将看到的是可消化的块，即，我们拥有这些术语，它们是信息的最小单位，而我们拥有的这些短语是经常在一起出现的术语，如果将它们组合在一起，可能会具有一定的含义。 |
| 所以您可以在这里看到最常用的术语 |
| 在所有文件中，因此在所有鞋子描述中，术语“舒适性”。 |
| 所以首先我们要做的是浏览这里的所有短语并进行查看。 有什么道理吗？ |
| 第一个已经很有意义。 因此，您会在此处看到术语Gore和tex作为单个术语出现，但是，当然应该对术语Gore-tex而不是Gore和tex进行分析是有意义的。 |
| 因此，您可以将所有有意义的短语添加到术语列表中。 因此，我们添加了短语，现在您将在这里看到，我们使用术语Gore-tex而不是单个术语Gore。 |
| 因此，这是我们处理数据的第一步。 第二步是检查术语表，是否有重复项或 |
| 如果有任何没有意义的术语。 而且JMP已经具有非常好的处理能力，因为JMP已经排除了许多没有意义的词，例如和， |
| 或者，它不给您任何信息。 但是，总会有一些没有意义的术语，例如此S。 |
| 您将如何处理S？ 那告诉你关于鞋子的什么？ 因此，我们必须仔细研究所有术语，如果存在一个没有意义的术语，则将其称为停用词，然后将其编辑为停用词列表，以将其从分析中排除。 |
| 那是一回事。 我提到的另一件事是，我们需要检查是否存在重复项，例如，在这里您会看到术语Gore tex |
| 以及术语GTX。 GTX只是术语Gore-tex的缩写，因此我们不应该分别分析它们，而应该将它们结合起来。 |
| 因此，您具有Recode功能，该功能与列的功能几乎相同，这是将这些功能组合在一起的好工具 |
| ???数据。 因此，您在这里看到的是Recode函数，我将它们都分组了。 |
| 现在您将看到，这只是一个术语（Gore-tex），实际上这是我们数据中最常用的术语。 |
| 所以。 |
| 我们从4,000个条款开始，到最后的清洁工作只有100个条款。 因此，您看到，我们还有100个术语，利用这些术语，我们可以进行很多分析。 这些对于我们了解鞋子的描述非常有用。 |
| 因此，您可以使用该列表查看最常用的术语，但是JMP也提供了非常简单的可视化工具。 |
| 单击红色三角形，您可以添加词云。 这个词云使您在所有文档中，在所有鞋履说明中，都可以按词的大小获得它的出现频率。 因此，Gore-tex，舒适和轻便是我们收集的鞋子描述中最常用的术语。 |
| 但是您可能还记得这并不是我们想知道的，对吧？ 因此，我们想知道，针对不同最终用户的鞋子是什么？ |
| 为此，我们可以在此处轻松添加本地数据过滤器，并将鞋的最终用途用作过滤器。 因此，例如，我可能对街头冬季鞋的所有描述中最常用的术语感兴趣。 |
| 您会发现，冬天和保暖这两个术语经常出现在街头冬鞋的说明中，您将不会感到奇怪。 |
| 另一方面，以越野跑鞋为例，您会在这里看到不同的侧重点。 您会看到那些不需要保暖，但它们需要透气，轻便且合身。 |
| 因此，这些词云非常非常有用，可以让我们首先了解我们最初的问题，因此，该如何描述不同类型的鞋子的功能配置。 |
| 而且我们并没有因此而结束。 我们想更进一步。 |
| 进一步的步骤是，如果您已经准备好所有数据，则可以以某种方式进行建模以找到此鞋型配置原型吗？ 对于该建模，JMP中有不同的选择，我们决定采用SVD。 |
| SVD正在对我们的文档术语矩阵进行主成分分析。 |
| 那是什么意思呢？ 文档术语矩阵包括每个文档，因此，对于每个鞋子描述， |
| 每学期的频率。 因此，例如，对于第一个鞋类描述，我们需要多久使用一次Gore-tex这个术语，对于我们来说，我们多久一次使用术语“舒适度”等等。 因此，您可以想象这是一个非常庞大的矩阵。 |
| 现在的想法是，通过主成分分析，减少文档术语矩阵的维数，以更好地掌握数据。 |
| 并且，以便能够更直观地显示数据。 |
| 基于缩小的尺寸，我们现在可以进行一些建模。 什么样的建模对我们来说很有趣？ 因此，我们对描述某种最终用途的鞋子感兴趣。 |
| 为了达到这一点，我们分析了鞋子的描述中是否有任何主题？ 如果有主题，那么这些主题是否与某些最终用途相对应？ |
| 因此，在理想的世界中，我们将在数据中找到9个主题，而这9个主题将恰好代表一个鞋类。 因此，我们将为每个鞋子提供原型鞋子配置或功能配置。 |
| 因此，让我们看看如果我...您搜索九个主题，会发生什么情况。 我将在此处单击主题分析，并输入9，因为我对9种不同的鞋类感兴趣。 |
| 然后我得到的是主题列表，这些主题中经常出现哪些术语。 因此，例如，主题一包括鞋子 |
| 在鞋子的描述中有术语“超级合身”，“纺织”，“保暖”等。 因此，我的第一感觉就是必须穿街头或街头的冬季鞋。 |
| 例如，主题二包括对鞋子的描述，其中包括术语“小屋”，“徒步旅行”，“多日游”等，因此，这似乎就像是徒步旅行的鞋子。 |
| 但是，当然，作为一名统计学家，我对仅凭直觉感到不满意。 我真的很想知道鞋子的类别属于哪个主题。 为此，我正在对鞋子类别进行简单分配，并在此处添加本地数据过滤器以仅显示 |
| 类别 |
| 那是... |
| 以仅显示已选择的鞋子。 |
| 那是什么意思？ 我该如何使用呢？ JMP在这里提供主题得分图和这些主题得分图 |
| 每个主题的每种鞋子描述都有一个要点。 |
| 因此，鞋子描述的得分越高，则该鞋子在该特定主题中的代表性就越高。 |
| 所以我要做的是，我只选择所有主题一得分高的鞋子，我会在那看到 |
| 直方图显示，这些是街头和街头冬季穿的鞋。 所以基本上我的直觉是正确的。 那些由纺织品制成的，具有超强耐穿性的鞋子，即街头便鞋和街头冬季便鞋。 |
| 还有第二个主题，我们希望它会成为徒步旅行的鞋。 您将在该直方图中看到这些是徒步鞋。 |
| 您现在就可以针对所有主题进行操作了，我将其添加到了日记中。 |
| 在执行所有这些操作时，您会发现一些困难。 因此，为每个主题分配一个或多个鞋类类别，您将看到两个问题。 |
| 此处代表的第一个问题，您将看到某些鞋子类别（例如登山）不是由一个主题代表，而是由多个主题代表。 |
| 您还将看到这些主题是重叠的，例如，在两个主题中都出现了“冰爪”一词。 |
| 也就是说，这里似乎有太多主题。 |
| 因此，理想情况下，这些主题希望每个鞋类类别都有一个主题，并且如果我们看到有多个主题重叠的主题对应多个类别，那么似乎有9个主题太多了。 |
| 但是，这当然必须具有另一个???，因此，如果登山鞋与多个主题相对应，那么就需要确定一些主题，而这些主题并没有那么清晰可辨。 |
| 因此，例如，看一下第五个主题。 因此，就像最具代表性的鞋子一样。 您会看到这是一个巨大的集合。 |
| 有渐进鞋，公路跑鞋，街头鞋等。 因此，这些类别大部分都是重叠的，彼此之间没有区别。 那么，试想一下越野跑鞋和越野跑鞋之间的区别是什么？ |
| 还是下一步，越野跑和远足有什么区别？ |
| 这些鞋子存在某些重叠，如果存在这些重叠，则您将无法清楚地识别出该鞋子类别的一种功能配置。 |
| 因此，这也是非常有价值的学习。 当然，它可以管理您不同层压板的产品组合。 您想知道吗，我需要为特定的最终用途使用特定的层压板，还是与我已经拥有的其他层压板类似？ |
| 因此，我们最终要做的是，我们希望获得最终的主题集合，而我们没有对应于多个类别的任何主题，而我们是手工完成的。 因此，我们分析了不同数量的主题，最终得到五个主题。 |
| 您将看到，这五个主题对应于一定数量的类别，但是我们将看到并非所有鞋类都可以用它来表示。 |
| 因此，我们有两次学习。 第一要学习的是我们有一些鞋子描述的原型 |
| 鞋类。 另一方面，此处未命名的所有鞋子类别可能差别不大或可能没有一个配置 |
| 在他们的鞋子描述中。 |
| 那只是Text Explorer提供的一个选项。 也有其他选择，但是我们专注于此并且效果很好。 |
| 因此，我想离开文本资源管理器，仅向您简要介绍如何进一步处理主题文档术语矩阵。 |
| 因此，在这里，我具有与以前相同的数据集，但是我导出了文档术语矩阵。 因此，您会看到很多新列针对每个术语显示 |
| 该术语在某种鞋子描述中的出现频率。 |
| 并且我们尝试了不同的版本，因此我们有了一个文档术语矩阵来表示频率；我们有一个指示仅包含它，不包含它；等等。 我们最终得到了那个版本。 |
| 利用JMP Pro的功能，我们创建了一个验证列，将我们的数据集分为训练，验证和测试数据。 训练和验证数据用于训练我们的预测模型，测试数据用于测试。 |
| 当谈到预测建模时，我们的目标是什么？ 所以我们之前所做的是一种无监督的技术，因为 |
| 我们只是搜索主题，然后将其与鞋子类别进行了比较。 现在，我们希望更加主动一些，因此有了鞋的描述，我们可以明确地预测类别吗？ |
| 而且，我们尝试了JMP 15 Pro提供的各种预测建模技术，并最终获得了引导林。 在这里，我只想给您一个关于结果看起来如何以及我们可以将结果用于什么的想法。 |
| 因此，您将在测试数据集中的混淆矩阵中看到结果，分类是什么，鞋子的描述是什么，我使用引导森林预测了什么？ |
| 而且，有趣的是，您将看到与以前几乎相同的结果。 因此，某些类别可以与其他类别明显区分开， |
| 已经具有独特的功能配置，还有其他一些则没有。 因此，例如在公路跑鞋中看看。 |
| 我们在第一次分析中已经发现，这些不是唯一定义的。 而且我们还将在这里看到，我预测很多鞋子都是公路跑鞋，而实际上是其他鞋子。 |
| 因此，这证实了我们之前的发现。 我们确切地看到，使用这种无监督技术对鞋子的类别进行了很好的描述，而那些没有很好区分的鞋子在这里也没有进行区分。 |
| 因此，这很有趣，而且使用此分析您现在可以做很多其他事情。 例如，您可以这样做 |
| 分析，什么是……当我想区分某些鞋子时最重要的问题是什么？ 因此，在区分鞋子类别时，哪些术语对列的贡献最大？ |
| 或者，您可以使用ROC曲线进一步探索哪些鞋类可以非常区分，哪些不能。 |
| 最后但并非最不重要的一点是，您可以使用此模型进行预测。 因此，您可以在此处输入某些功能配置或鞋子描述 |
| 然后预测此描述属于某个鞋类的可能性。 例如，在这种情况下，我们可以预测此鞋可能是公路跑鞋。 |
| 由于时间关系，我将不进一步详细介绍，但希望快速进行总结。 那么我们的主要发现是什么？ 关键发现是 |
| Text Explorer是一个非常出色的工具，绝对直观，您可以使用它来快速从非结构化文本数据中提取信息。 |
| 他们在哪里区别，他们在哪里不区别？ 什么是...这双鞋需要什么功能？ 但是这些发现以某种方式证实了我们的期望。 |
| 并证实了这一点，我们可以使用无监督技术或有监督技术来做到这一点，然后将主题分析与SVD和预测模型与引导森林进行比较，而其他方法可能也能很好地工作。 |
| 最后，我要感谢该小组？？？谁提出了这个问题。 他们收集了所有数据并清理了所有数据，对 |
| 不同技术的意义或废话。 因此，如果没有他们，您现在将不会收听该讲话。 另外， |
| 我要感谢多特蒙德大学前同事乔纳斯（Jonas），他与我就文本分析进行了磋商。 |
| 最后，感谢您的关注，我们很高兴通过电子邮件或JMP用户社区回答任何问题。 请给我一张纸条。 |
