人类最伟大的特质之一就是我们每个人都是独一无二的。多样性为我们周围的一切带来了益处，但消费者对商品偏好的差异使得预测哪些产品能取悦最多的人变得极具挑战性。借助 JMP 软件，实验设计 (DOE) 对于设计最具吸引力的产品配方至关重要。
本次报告旨在以互动的方式展示如何优化配方，以最大限度地提高消费者的喜好。报告将介绍来自真实食品配方案例研究的两种实验设计方法：一种是包含18个运行的确定性筛选设计（DSD），另一种是使用SVEM和神经网络建模的包含18个运行的空间填充设计。
为了准备用于建模的数据，本文演示了多维尺度分析法，用于去除异常参与者的数据。在利用拟合确定性筛选和支持向量机（SVEM）神经网络拟合模型时，会使用基于层次聚类的参与者聚类。JMP 分析器的强大功能将突出不同聚类中消费者偏好的差异。文本浏览器用于展示如何通过探索研究参与者的原始评论来验证建模获得的见解。最后，本文比较了每种实验设计和建模方法所获得的见解及其局限性。与会者将获得一种比传统实验设计（DOE）和消费者测试策略更丰富的信息替代方案。
谢谢大家。今天我要和大家聊聊如何运用实验设计（DoE）和消费者调研来应对消费者偏好差异带来的挑战。我想知道在座的各位有多少人玩过《俄勒冈之旅》（Oregon Trail）这款游戏。如果你没玩过《俄勒冈之旅》，那你大概得和我年纪相仿，而且都住在美国。大多数孩子上学的时候，都会在电脑教室玩这款游戏。
这基本上是一款非常古老的电脑游戏，你扮演一群人，试图穿越美国大平原到达俄勒冈州，沿途会遇到许多挑战。其中一项挑战就是渡河。这是一张游戏截图，我们来到了1848年的堪萨斯河边。如果我们到达那里，需要做出选择，游戏提示外面很冷，当时是三月。这很合理。河宽628英尺，深3.4英尺。我们有五个选择：涉水过河、顺流而下、乘坐渡船、等待情况好转，或者先收集信息。你会如何选择？
我想我们大多数人都知道，不能仅仅想着：“好吧，上面写着河水深度3.4英尺，那是不是意味着它一直都是3.4英尺？还是有些地方深6英尺？有些地方深2英尺？有些地方深10英尺？” 如果是这样，当你试图去河边走的时候，遇到10英尺深的地方，那你可能就陷入非常糟糕的境地了。
我认为凭直觉我们都知道，使用平均值并非总是最佳方法。推出新产品就像在《俄勒冈之旅》中过河一样。很多时候我们会进行消费者测试，而很多公司会使用平均消费者评分，因为说实话，这更简单。但遗憾的是，并非所有消费者都喜欢相同的东西，或者喜欢相同的东西的原因也各不相同。
无论你多么努力地筛选出目标人群，在进行消费者测试时，总会发现人们的偏好各不相同。作为配方师和研发人员，比如我自己，我们当然希望消费者的偏好能够保持一致，但实际情况并非如此。如果消费者的偏好一致，我们只需开发一种产品就万事大吉了。然而，人们的偏好各不相同，这正是如今超市商品琳琅满目、种类繁多的原因。
我要向你们展示什么呢？我想向你们展示如何使用 JMP 从消费者测试数据中获取更多信息，尤其是在使用 DoE（实验设计）来获取更多信息、收集消费者反馈并尝试优化配方时。
作为次要目标，我们将研究不同模型和实验设计预测未来消费者喜好度得分的效果。我们有两个例子：一个是确定性筛选设计，另一个是空间填充实验设计，我们分别使用支持向量机（SVEM）和神经网络对其进行了建模。
简单来说，我先解释一下我们为什么要做这件事。去年，我们被要求改进一款现有产品，管理层找到我们说：“你们知道吗？我们觉得它还可以做得更好，你们去把它改进一下。”
给我们的时间安排让我们感觉不太有把握进行大量的连续实验设计，所以我们决定进行一个六因素 18 次运行的确定性筛选设计，然后制作这些样品并提交给消费者进行测试，看看我们是否可以建立喜好模型，然后得出正确的公式。
在建立数据模型后，我们得到了三个我们认为可行的解决方案，它们在消费者测试中有望胜过对照组。随后，我们进行了一项后续测试，将这三个方案与对照组方案一起进行测试，目标是找出这三个方案中至少一个优于对照组的方案。
我们曾寄予厚望，因为模型预测这些模型应该会取得非常好的成绩。但结果却发现它们只比对照组略好一些，这让我们对是否应该继续使用这些模型感到犹豫不决。
虽然有点令人失望，但我们仍然学到了很多东西。项目已经结束了，但一年后，我们一直在思考研发工作该如何开展，以及如何对新方法建立信心？因为当你面临压力，管理层要求“做得更好，做得更快”时，你往往会倾向于选择你熟悉的、更成熟的方法。
我们想做的，也是我参与这个项目的目的，就是让我们回到过去，思考“如果我们当初没有采用最终的屏幕设计方案，而是做了其他选择，结果会怎样？”我们能否从消费者测试数据中获得更多对我们有帮助的信息，因为模型显示我们应该能够获得非常高的分数，但事实是，这些分数似乎存在上限，而这个上限限制了我们。
我们做了什么？我们进行了两次测试。第一次是在2023年4月，采用的是确定性筛选设计，使用了最初的118个公式。一年后，我们又在4月进行了一次，这次是空间填充设计，使用了18个公式。为了尽可能保证公平性，两次实验设计都使用了完全相同的因子和因子范围。我们尽量避免将第一次实验设计的经验应用到第二次实验中，从而导致结果出现偏差。
然后我们制作了这些实验设计，然后我们希望这些模型能够预测这个验证测试的结果，因此在其他两个测试中都没有提交这四个公式。
更详细地说，我要向你们展示什么？有一点我们不会过多展示……我不会花太多时间在最终的筛选设计上，但我们会展示的是，我们将查看消费者喜好数据，并通过对参与的消费者和小组成员进行聚类分析，探索我们可以从中了解到什么。
对于不熟悉传统消费者测试的人来说，测试会在一个中心地点进行。你会预先筛选测试对象，也就是你的产品用户或符合你目标人群特征的人。他们会来这里品尝产品，进行评分，然后你会收集这些分数，并进行我们稍后要进行的操作。
在这些测试中，我相信两次测试我们都使用了大约120名消费者。我们将使用层次聚类和多维尺度分析来探索我们可以从中获得哪些有趣的信息，例如谁在参与这项测试以及他们正在寻找什么。
然后，在利用这些神经网络对空间填充设计的数据进行建模之后，我们将查看分析结果，看看我们能否更好地理解驱动消费者偏好的因素。我将讨论如何使用平均数据……即所有消费者的平均值，以及将数据聚类后使用这些平均值，看看我们能发现什么。
最后，正如我刚才所说，次要目标是比较最终屏幕设计方案和空间填充设计方案在验证测试集上的预测性能。它们的表现如何？由于我们只有四个样本进行测试，所以结果可能略显不足。但即便如此，我们仍然可以从中获得一些启示。
接下来，我将用 JMP 来演示剩余部分，因为我知道，我个人很喜欢别人用 JMP 来演示他们的操作方式，我觉得这样更高效。
我们尽量简化一下。仅供参考，这是最终筛选方案。这些就是筛选因素。我们有成分 A、B、C、D、E，以及一个我们预测会高或低的属性。当我们进行拟合最终筛选时，我们发现五种成分中有四种是显著的，并且该属性也很重要。成分 A 在所有测试中似乎都不太重要。
最后，这是分析结果。你可以看到，大多数情况下，你添加的这些成分越多，人们就越喜欢。大多数情况下，他们越喜欢。也存在一些相互作用，比如你可以看到，如果我增加成分 C 的用量，如果你观察成分 D，你会发现效果趋于平缓。这就是我们构建这个模型的依据。
我们来谈谈……我们首先要谈谈空间填充设计方面的消费者测试数据。这就是重点。我们还会问人们很多其他问题，但就本次演讲而言，我将重点关注总体意见，因为这是我们最关心的。
这就像……我们让他们品尝产品后问的第一个问题是：您有多喜欢它？评分采用九分制，称为享乐量表。1 分代表极其不喜欢，9 分代表极其喜欢。我们追求的是 9 分，分数越高越好。
作为参考，通常情况下，好的产品评分会在 7 分左右，勉强及格的产品评分会在 6 分左右，而低于 6 分的产品评分就真的非常需要关注了。
我们想通过这些消费者测试数据提出的第一个问题是：我们的消费者群体是同质的，还是具有不同的偏好？我们能从中了解到什么？通过分析聚类和层次聚类，我们可以找到答案。我先来看看脚本。
这里是所有评委的热力图。横轴代表每个样品的总体喜好度，总共有18个样品。纵轴代表每个消费者的评分，比如这位，他对样品一打了7分，对样品二打了2分，不太喜欢，但他非常喜欢样品三，打了9分。
仅凭这张热力图，我们就能很好地识别颜色。我喜欢绿色，所以这里我用了绿色，但你也可以选择其他颜色。你看，这里就有一个深色。这些人几乎都给所有东西打了九分。他们要么很喜欢我们展示给他们的所有内容，要么只是随便浏览了一下其中两个。
我们会直接询问受访者喜欢或不喜欢某个测试的原因，这有助于我们判断他们是认真测试还是只是为了领取报酬而随便点击一下。我可以负责任地说，我亲自测试过这些测试，这些人确实很喜欢我们提供的所有测试内容。而下面这组人，他们似乎不太愿意给出满分。他们没有给所有测试都打9分，而是平均只给了8分。
做聚类分析的时候，你可以指定要找出多少个聚类……我肯定不是聚类方面的专家，但是我们看这些数据的时候，感觉好像有三个聚类。我们……嘿，克里斯蒂安，我们能暂停一下吗？
我猜它就一直运行下去，[听不清 00:14:19]。
哦，好的。稍等一下。有人敲门。
抱歉，我忘了麦克风放在头顶上方了。
没错。没关系。我也不确定它在哪里。
你之前提到过九点到八点之间的颜色，然后你打算谈谈，你说了一些类似“我不是聚类方面的专家”之类的话，然后你当时在寻找一些东西。
好的。嗯，我得……我得让他们把这部分删掉。
好的，我会通知他们的。我想我会这么做。我的目标是看完之后找出时间点，告诉他们哪里出了问题，所以不用担心。
好吧，对不起。我不知道有人会来我家。
别担心。我一直……我也担心同样的事情。我想，你大概准备好了吗？
是的。
好的，我关掉麦克风。给我三秒钟，然后你就可以开始了。
好的。
好的。
好的。当我们查看这张热力图时，我们可以看到那些给所有方面都打高分的人（深绿色），我们还可以看到那些给所有方面都打高分的人（浅绿色），只是他们不想用9分，而是用了8分。
我们进行聚类分析后发现，共有三个聚类，图中分别用红色、绿色和蓝色标出。可以看到，红色区域包含大量深色。绿色区域位于中间，包含较多浅色。蓝色区域则包含更多浅色。
如果我们看一下聚类结果，也就是这个汇总图，聚类结果可以用可视化的方式呈现。这是每个聚类的平均得分。聚类 1 几乎涵盖了所有内容。他们总是给所有东西打高分。他们比较宽容，可以说他们几乎喜欢我们展示给他们的所有东西，这很棒。聚类 2 的评分处于中等水平。然后是聚类 3，他们比较难取悦，或者说他们更有鉴赏力之类的。
有趣的是，当它们交叉时，我们就能看出它们的偏好有所不同，一个群体与另一个群体之间存在差异，这给了我们线索。
我们想研究这些消费者的另一点是，看看我们获得的数据中是否存在其他需要关注的异常情况？因为在数据科学领域，数据清理可能占我们工作的80%。我们想研究的是多维尺度分析，因为它可以告诉我们“哪些消费者彼此接近，哪些消费者彼此远离”。
为此，如果您点击红色三角形并保存距离矩阵，我们将得到一个矩阵，该矩阵显示了每个小组成员或消费者与其他成员或消费者之间的距离。然后，要进行多维尺度分析，请转到多元方法，选择多维尺度分析，Y 列代表所有这些消费者，这只需要几秒钟即可完成。之后，我们将查看是否存在与其他小组成员差异很大的成员。
这是我们刚刚制作的地图。有一点……至少JMP向我指出了两点。首先，大多数人都落在这里。这很合理。我们大多数人都是……当你观察普通消费者如何使用评分标准、如何评价产品或对事物的喜爱程度时，就会发现大多数人都在这里，这很正常。
这里有一个奇怪的模式。如果我们想探索这些模式，可以这样做：选中它们，比如选中列名，然后选择行选择，选择所有匹配的单元格，它会找到我所有其他包含“姓名”一词和小组成员编号（例如 002、1027）的数据表。
这是包含这些小组成员姓名的原始数据集，现在我可以看到他们的评分了。这个人给的分数是9、9、9、7、9、9，几乎全是9分。这很有意思。我们来看下一组高亮显示的分数：9、9、8、9、8、9、8、9。他们非常喜欢，而且是很喜欢。再来看下一组：8、7、9、9、9、8、9。
您注意到这里，右边这列是“不喜欢”的原文，他们问的是：您不喜欢什么？答案是：没有，没有，没有，没有，没有，没有。我们从这些消费者身上看到了某种模式。这就是它所揭示的。这些人给所有东西的评分都和我们之前看到的一样，比如深绿色的条带。我们在多维尺度分析中发现了这一点。
然后我们还有一些人，他们的评分非常特殊，我猜他们应该属于右外野。他们是怎么回事？如果我们在这里也做同样的操作，我们会选中所有匹配的单元格。然后为了找到他们，我只需选择下一个单元格。我看到了一些完全不同的数字：2、7、3、1、9、7、2、6、9、2。我很难理解这个人有什么不同。因为如果我看下一个，也就是这里高亮显示的另一个单元格，4、7、3、2、5、3、1、6、1、1，就像，我们再次看到，这似乎只是一个随机模式，但当我查看他们的评论时，一切就说得通了。当他们给出9分时，他们说没有什么不喜欢的。当他们给出1分时，他们说尝起来像变质的蜜蜂。我可以保证这些蜜蜂没有变质，但我们可以看到他们的评分是真实的。
然后有人告诉我……我当时正在琢磨这些人有什么不同。有人建议我观察他们如何使用评分标准，你会发现这个人把整个评分系统都用上了。我个人觉得所有这些产品都挺不错的。有些比其他的好，但都没到让我极度讨厌的地步。有人说这是我吃过最难吃的东西，也有人说这是我吃过最好吃的东西。
为了弄清楚这一点，如果我们要创建一个总体意见的汇总表，我想计算每个小组中每位成员的标准差和评分范围。我们这样做，现在我得到了一个数据表，其中包含每位小组成员及其对所有样本评分的标准差。当您按降序排列此数据表时，您会得到……我们可以看到，假设我们得到了评分差异最大的 10 位小组成员。
再说一遍，如果我们这样做……我选中姓名，然后说，选中所有匹配的单元格，看看这里高亮显示的是什么。所有这些人之间的区别，不一定在于他们喜欢什么或不喜欢什么，而在于他们如何使用量表。这只是一个漫长的过程……只是为了让我们确信我们拥有的数据是有效的，并且参与者确实按照我们的要求做了。
假设我发现了一些显而易见的数据错误原因，我们会将其排除在外。但目前没有理由排除，所以我们保留了它。这只是我们如何使用聚类和多维尺度分析的一个小示例。
接下来我想分享的关于聚类分析的另一点是，最终，我希望向你们展示数据表，也就是实验设计表。这是我们做的一个空间填充设计。这里有六个因素。我需要一列数据：聚类 1 的总体喜好度、聚类 2 的总体喜好度、聚类 3 的总体喜好度，以及总体喜好度。
要得到这三个值，一个简单的方法就是使用这个聚类均值表。
这是摘要里的内容。如果你右键点击并选择“创建为数据表”，它确实会生成我想要的结果……但又不完全符合我的预期。它会把每个样本均值都设为一列。但我想要交换它们，我希望聚类结果作为列，列作为行。我想要交换行和列。
如果你进入“表格”下的“转置”选项，我们想要转置这些列，并且我们可以按聚类进行标记，比如，好的。现在我基本上可以复制粘贴。我可以把它复制粘贴到我的实验数据表中。我就是这么做的。这里不需要再做了，因为我已经完成了。我们只需关闭所有这些。现在我们有了三个聚类。我们使用带有 SVEM 的神经网络来对这些数据进行建模。我将向你展示我们从中获得的结果的分析器。这里有 A、B、C、D 到 E 的成分，以及低和高这两个属性。当我们按聚类细分这些数据时，我们发现了一些非常有趣的东西。
首先，在进行最终筛选设计时，结果表明成分 A 完全没有影响。它不显著，所以我们把它剔除了。但现在，成分 A 似乎突然发挥了作用。更有趣的是，我们似乎看到了两个相互矛盾的群体。因为，你看，当我减少成分 A 的用量时，第三组的平均值上升了，而第二组的平均值却下降了。
这意味着第三组消费者不喜欢，不希望添加太多成分A，而第二组消费者则喜欢。成分B的情况也类似。成分B添加得越多，第二组消费者就越喜欢。而成分B添加得越多，第三组消费者就越不喜欢。这解开了我们一直以来的一个谜团：为什么我们在进行消费者测试时会遇到喜好度上限的问题？为什么人们对某种产品的喜好度存在上限？为什么我们的整体喜好度得分没有达到预期？我们的消费者群体并非同质群体，他们喜欢的东西各不相同。
我们该如何应对这种情况？这才是更难回答的问题。这是一个公司必须面对的战略性问题，因为我们应该追求所有人，满足那些对产品各方面都非常满意、评分始终很高的群体吗？他们肯定没问题，但对于第二和第三类群体，他们的满意度就比较低。这是一种方法。另一种方法是关注第一和第二类群体，他们的初始评分就更高。他们肯定对这款产品更有热情，所以我们应该集中精力，让他们获得最大的满意度。
还有一种想法是，好吧，对于第三类客户，或许我们需要为他们提供他们更喜欢的另一种产品。你了解得越多，通常也会有越多的问题，但你能做的事情也越多，你也会越成功。这就是我们从客户画像工具中得到的，它非常有用。
还有一点，总会有这样的问题：好吧，分析结果是这样说的，但这是真的吗？为了判断……为了弄清楚这是否属实，即第三类群是否真的不喜欢成分A或B，反之亦然，我们决定查看原文，看看能从中发现什么。
如果我们查看原始消费者数据表，这里显示的是总体评价，右侧是他们所属的集群。然后是差评，所以我们不一定能直接查看……我们还有逐字逐句的点赞记录，接下来我们将查看差评。我们将使用文本浏览器来验证我们在分析器中看到的内容是否可信。
我们按聚类进行了文本浏览。对于聚类 1，使用频率最高的词是什么？没有。这出现在“不喜欢”列表中，很好。这正是我们想要的。对于“不喜欢”列表，我们希望显示“无”。您可以右键单击并选择“显示文本”，这样我们就能了解人们在说什么。我没有什么不喜欢的。我没有什么不喜欢的。我想不出什么。太好了。
在第二组中，“无”是最常用的词，但正如你所看到的，它与第一组的情况不同。第一组中有292个词，而第二组大约只有它的一半。在这里，两者几乎相同。有人说“无”，有人说“味道”，他们通常会说“缺乏味道”、“味道不够”、“味道变淡”、“B成分味道太淡”。
接下来是第二组的成分B。我们想看看他们对成分B的评价。第二组的评价是：成分B不够浓，不够。需要更多，不够。成分B不够。成分B的味道很浓，所以我们有一个味道非常浓的成分。
再次提醒，这些都是美国能源部（DoE）的样本。总的来说，他们表示可以增加B成分的用量。B成分越多，我就越喜欢这个产品。这与分析结果一致，即第二类群（Cluster 2）更喜欢B成分。
那么，配料A呢？第二组对它有什么看法？在这种情况下，很多人说“他们说得太多了”。这部分内容有点难懂。有些人说，我觉得配料A不够，味道很淡。配料A不够，配料A不够。
记住，他们不会……当他们给出差评时，他们不必提及成分A。你得对此持保留态度。他们只会在觉得味道不对劲的时候才会这么说。但现在，如果我们来看第三组，突然间，“味道”成了最常用的词。成分B就在这里，排名第三，那么他们现在对成分B的评价是什么呢？他们不再说成分B太多，而是说不够，不够。有一些评价是太多，但味道太浓，太多，太多，太多。略微过浓，味道太浓，还有一些评价是不够。
但你可以明白，有很多地方我们之前没有看到过这种情况，比如在第二组中，有人说配料 B 太多了。现在有人说配料 B 太多了，这与用户画像显示的情况相符，也让我们更加确信这两个群体对配料 A 和配料 B 的喜好确实存在差异。
然后，如果我们看看他们对成分 A 的评价，就会发现他们说“太多，太多”。一点点成分 A 都意味着太多，一点点太多。你可以看到，这也符合实际情况。他们不希望成分 A 太多，也不希望成分 B 太多。这就是我们……这只是一个探索过程。我相信我们还可以在文本分析器中挖掘更多信息，并用数据来佐证，但我们只是把它当作一个探索性工具……我们使用图表之类的可视化工具来探索数据。我们使用文本分析器来探索人们的反馈，这与分析器的结果相符。
最终，我们找到了答案，解释了为什么我们的能力似乎存在上限……也就是我们的分数能达到的最高水平。我们还发现了不同人群的不同偏好，这是我们之前所不了解的非常重要的信息。现在有了这些信息，我们就可以采取相应的措施了。
好的，最后我们要做的就是看看最终筛选设计与空间填充设计相比预测效果如何。我们这里只有四个验证样本，所以结果可能不太可靠，但我们会看看能否看出哪种设计更好。
我们有四种不同的模型。如果我们使用聚类均值，并根据聚类大小进行加权，仅使用所有消费者的平均值，那么我们就得到了两种不同的模型，它们都是基于最终筛选设计开发的。一种模型直接使用拟合度，无需修改。另一种模型是我一位同事正在研究的。
我们看到了什么？首先，第一年的分数存在偏差。不知何故，2023 年的分数比 2024 年的测试分数要高。总的来说，在进行空间填充设计时，所有指标都向下偏移了。我认为这只是由于测试的差异，或者可能是因为某些原因，测试人员当时心情不好。我也不清楚。
作为一名科学家，一名研发科学家，这个模型让我感到欣慰的是，虽然预测线并非完全平行，但它几乎与我期望的直线平行。如果它的预测准确率达到100%，那么y值就等于X值，也就是这条黑线所代表的。考虑到我们掌握的信息有限以及其中存在的偏差，这个模型在现有信息的基础上表现得相当不错。
如果我们只考虑样本均值，结果不会有差异；但在这里，我们看到了一些不同的结果。这是拟合的最终结果，它们远非平行。我们看到线条交叉了。这让我们……让我们对这个模型能否真正预测未来小组成员的得分感到不太放心。
然后，另一个模型的情况更糟。例如，这个模型预测的值为 7.9，但实际结果却是 7。这就是我们在 2023 年进行验证测试时感到失望的地方。
我希望这次分享对您有所帮助，让您更加了解人类的多样性，尤其是我们对食物偏好的多样性。我希望您能运用这些知识，更好地从消费者那里获取信息。感谢您的聆听。
