我们今天来聊聊我在柏林JMP峰会上的演讲，题目是《一年学习实践：如何利用过往/失败经验设计和分析实验》。之所以取这个名字，是因为它实际上是对你去年在曼彻斯特的演讲的回应，唐，你那次演讲的题目也是《如何利用过往失败经验设计和分析实验》。我反复观看了你那次演讲的录像，真心希望有人能像我当初发现你的演讲一样，发现我的这次演讲的录像。
为了让大家更好地了解这个设计，我先说明一下，它实际上是用管封机制作的。我知道大多数人可能不知道管封机是什么。其实，它就是个科学版的直发器。我们用的是灌注过疫苗的硅胶管，然后用直发器把它封起来。因为这是药品生产，所以我们的操作会更科学一些。但原理很简单，就是两个加热的部件压在管子上，形成密封。
现在的问题是，我们正在考虑购买新的热封机来封口我们的聚合物管，而确保封口密封牢固至关重要，因为活性成分会通过这些管子输送。如果密封破损，产品就会洒出来。这会带来各种各样的问题。虽然不会危及患者安全，但我们却面临着损失一批疫苗的风险，这当然是我们不希望看到的。
在将这些新型封口机投入生产之前，我们萌生了进行这项设计实验的想法。首先，如何定义“成功”？我们究竟何时才算真正完成了管子的密封？目前，我们采用的是目视检查，也就是观察工具。您可以在我之前的幻灯片中看到一些密封效果的图片。他们会目视评估这些管子，并判定其是否合格。实际上，这就是全部内容。
我当时真的想问问，我们能不能做点别的？能不能做个持续测试？不行，但我们可以用另一种合格/不合格的判断标准，那就是压力。我们给管子施加了压力，然后把它浸入水中。如果冒出气泡，那就说明密封性不好，有点像测试自行车轮胎那样。
我真的努力想找到一个连续的响应，因为那样容易得多，但后来我想起了我在曼彻斯特听的那场演讲，那场演讲的主题正是这个。然后我们开始着手设计。我做这个实验设计是因为我知道更换试管和进行新的测试相对容易。我真的很想尝试……嗯，首先，要注意操作人员的时间，不要设计或进行不必要的实验。
我当时确实想做那种循序渐进的实验设计（DOE）。我的想法是先从尽可能小的规模开始，然后如果需要，可以逐步增加实验规模，最终得到一个能够解释或解答我问题的DOE。我的问题在于，如何确定一个涵盖众多因素的工艺范围，在这个范围内，每次都能成功密封，或者至少失败的概率非常非常低。实际上，统计学家都知道，失败的概率永远不会为零，但我们希望它能接近于零。
在设计这个实验方案时，我真的很想把所有关于这种密封剂的知识都融入到这个实验设计中，因为我意识到有很多操作人员和专家比我懂得多得多。需要说明的是，我以前从未接触过密封剂，现在也还没有。
我需要有人在场告诉我，我说的这些话是否合理，因为有可能并不合理。我真心想把这些知识融入到能源部（DOE）的方案中，我们稍后再详细讨论我是如何做到的，以及将这些知识融入我的设计究竟意味着什么。
在设计阶段，我们遇到了一些问题，某些因素的组合无法实现。在 JMP 中，截取设计空间的一部分其实相当容易。这里可以看到，我设置了冷却温度和冷却类型两个变量，一个是连续变量，另一个是两级分类变量。
当我们使用那种科学的直发器或管子密封器时，可以加装外部冷却装置。它本身带有内部冷却系统，但正如您所料，如果使用外部压缩机，冷却效果会比内置压缩机好得多，因为外部压缩机体积相对较小。使用外部压缩机后，我们可以降低冷却温度。管子密封后，为了保持密封状态，密封处必须冷却，因此会启动冷却过程。
最后，还有一个额外的好处是，我们最终发现，使用外部冷却系统实际上可以显著减少天花板温度。这是我们之前完全没有考虑到的，但我们突然意识到应该一直使用外部冷却，因为它真的非常棒。而使用内部冷却时，温度就不能低于 65 度。
设置起来比你想象的要容易，我特地制作了一个 YouTube 视频来讲解具体步骤。如果你正在观看这个视频，可以扫描视频中的二维码，了解如何创建这种设计空间。
最终设计方案，共24种组合，每种组合重复3次，总共72个焊点。稍后我会感谢大家，现在我们先来看看。这个设计方案实际上是分三步完成的。我最初有一个实验设计（DOE）。然后我们进行了第一次扩展，增加了12个焊点；接着我们进行了第三次扩展，增加了6个或8个焊点。接下来我们会详细解释我们这样做的原因以及从中获得的经验教训。
这是最初的设计，只是为了向您展示24次运行，您可以看到这里有3次失败。总共有3次失败，然后是目测失败和压力测试失败的次数。对于这次运行，您可以看到它的所有设置。它有三次运行没有目测失败或压力测试失败。那么，为什么我最终做了24次运行呢？我忘了告诉您，这个实验设计（DOE）有五六个两水平的分类因子，四个连续变量因子，以及一个三水平的分类因子，所以这里涉及的因子非常多，而我最终只做了24次运行。我是怎么得出这个结果的呢？
让我来解释一下这是怎么回事。这就回到了我之前提到的“注入我的实验设计”的想法，因为我做了一些事情，我可以取消这个操作。看看我是否还保留着它。这里你可以看到我所有的因子。这是一个相当不错的因子列表。这是在自定义实验设计中完成的。如果我点击响应曲面模型，我将获得所有因子的单独效应，例如主效应。我将获得所有连续因子及其曲率效应，所以如果可能的话，我也会将这四个因子也做成曲线。然后我还有它们之间的所有交互作用。
至少，我需要运行 82 次才能完成这个设计。我可不想运行 82 次，每次重复 3 次，那样我就成了笑柄，比如 200 次，或者 246 次？算了，就到此为止吧。后来，我们把清单上的内容都过了一遍，这花了不少时间，他们每次都说，你知道吗，产品和密封时间，不，我们不需要那个。我们一直这样做，直到我们得到了这个模型，也就是最终模型，你需要……我需要向后按压。
你可以看到我们大幅减少了交互次数，因为他们能够说，你知道吗，所有这些交互（听不清 00:09:59）实际上不太可能发生。我仍然设置了设计，以便我们以后可以通过添加运行来识别它们。我们最终只想要主要效应，以及其他一些效应，这样就把交互次数控制在了最少的 24 次。
我当时很大胆，觉得我们还是会坚持只用最少的次数，因为我知道之后还可以增加次数。这就是我最终选择24这个数字的原因。接下来，我拿到了这些数据，我想用科学的方法分析它们，于是就在Generate平台上建立了一个模型。我对这个模型非常满意，我这就给你们展示一下它有多棒。
这是跟着Tom的视频做的，然后我一边看视频一边照着他的步骤操作。我们现在看到的是一个封口机头，我有一个旧的封口机头，或者一个新的。Gammel是旧的，新的就是新的。然后我们可以添加两种不同的介质。有两种不同的管材。一种是Avantaflex，另一种是C-Flex。
然后我们还要考虑切割温度和尺寸。我真正想让你们关注的是管材，也就是C-Flex和Avantaflex之间的区别。因为即使在目前的设置下，你们可以看到温度为165度，上限时间为100秒（总时长），这已经是正常设置了。对于C-Flex来说，失败概率为0.00，但实际上……它的失败概率可能高达0.04。
但对于 Avantaflex 来说，你可以看到它的不确定性要高得多。你还可以看到，当我换用 Avantaflex 时，其他不确定性范围的变化非常明显，几乎是爆炸式增长。如果我使用 Avantaflex，而我使用的是旧的封口机头，那么结果几乎完全不受控制。
我首先意识到的是，有些自定义组合我们并不确定具体发生了什么。比如，我们并不确定我们是否完全理解这里发生了什么。但我确实看到了，看看这种不确定性在高阶下是多么美妙，所以为什么我们不把这种不确定性提升到180度，一切就都好了呢？
你可以看到所有这些数据现在都完全平坦了，这也是我最初的结论。剧透一下，我错了，但这确实是我仅凭分析器得出的初步结论。我想我可能犯了数据分析的第一个错误：我没有充分地可视化这些数据。现在让我来解释一下这意味着什么。
我回去跟他们说：“你们知道吗？只要把这个值调到180，就没问题了。”他们说：“好的，克里斯蒂安，听起来不错。我们想测试一下。”这就是第一次DOE测试的结果。我当时有点得意忘形，说180就没问题了。让我们看看会发生什么。让我们看看实际发生了什么。这就是我给他们看的图表。这里显示的是最高温度和最高时间。
正如我所说，我们真正想要的是一个密封良好的范围。蓝点表示三次重复试验全部成功。如果其中一次试验失败，它就会变成红色。我们真正想要的是一个只有蓝色的区域。我把这张图带到会议上，兴奋地说，不如我们一起来定义这个新的流程范围吧。
我们真的不想把温度设在 140 摄氏度。把它去掉吧。这样看起来好多了。200 摄氏度太高了。有些情况下没问题，但有些情况是红色警戒线，所以我们把温度调低一些。这样就只剩下一个红色警戒点了，而且它的上限时间低得离谱。所以，如果我们不去管它，我们就会说，嗯，实际上我没有足够的数据来证明这个范围是合理的。我们相信模型的预测，所以我们接下来的做法是，在这个范围内，我们放大来看，看起来不错。我们在这个范围内没有任何数据，但它看起来很有希望。这就是下一个设计方案。
我们来看看。现在你可以看到，我这里有最初的杜威分类号，还有另外12个。如果我们看之前看到的那个图，不，不是那个。是这个，我们可以看到这里有12个点，其中一个是红色的。我当时真希望所有点都是蓝色的。如果是红色也没关系，因为这是一个乐观的设计空间，但我们想要的是，如果能做到红色，那就太酷了。结果只有一个点是红色的。
在那次会议上，我们试用了图表生成器，并制作了这张图。这张图显示，实际上，大部分……我们仍然在观察温度和时间，但我将其细分为材料和尺寸。您可以看到 C-Flex 和 Avantaflex，以及管材尺寸：半英寸、3 到 3 x 5 英寸和 3 x 9 x 16 英寸。
我们当时的情况是，等等，这套组合以前从来没成功过吗？但是，克里斯蒂安，你说过180以上一切正常。我说，是的，我说过。但实际上，我们看到的情况是，我甚至不能说我的预测是正确的。我们以前从未见过这种情况。这就是当时的情况。
我有点自豪的一点是，如果我们看一下失败预测，看看这里所有的新结果，你会发现结果非常清晰，几乎所有结果都是0.00，只有两个例外。如果非要我指出其中一个，我会选择这个。我知道它只显示13%的失败概率，但这毕竟是一个相对较小的数据集。
我准确地指出了问题所在，而且我也确实这么做了。我说，如果一定要选一个场地，那肯定就是这个。结果就是这个场地失败了。这说明我的预测并非完全错误。
第三次数据增强。这是第三次数据增强，或者说是第三次运行，但实际上是第二次数据增强，然后添加了这个新数据集。现在我有了原始数据集、增强 1 数据集和增强 2 数据集。如果我们再次观察同一个空间，就会发现一件有趣的事情，我不知道你是否注意到了。我完全放弃了构建模型，只是观察这个图表，如果我们看到蓝色的尘埃，那就说明这看起来不错。
我真应该回去做个模型，但它太直观了。看着最初的24个数据点，也就是24个点，我们可以看到，如果我先画出这张图，我就会发现，嗯，我不能说180以上都是好的。我之前没注意到这一点。比如，这两个点都超过了180，但它们都是失败的。但后来我们加上了这一个点，这时我们才恍然大悟。你看，除了一个红色的点之外，其他的都是蓝色的。
然后我们添加了第三个，它正好在他们（指生产商）所说的范围内。我认为这一点正是他们所说的最佳温度，然后我们就只剩下蓝色了。我们说的是罐装。这五种都比较容易密封。如果我们不使用极低的温度，实际上除了极短的时间外，我们只需要两个点。如果你这样做，所有这些，都会有很多组合，很多重复，但最终都会得到好的结果。
唯一一个不太合适的组合就是这个。关键是，我们能不能别用这个？因为大家都说它很难用。如果能用这个就最好了，虽然我们还没做到，但这就是我的想法……我把话筒交给你了，唐，这就是我们当时的设计思路。我们把原本纯粹的视觉检查转化成了数据，然后能够基于这些数据进行可视化，从而做出数据库决策。好了，我不多说了，交给你吧。
谢谢，克里斯蒂安。我打算稍微换个话题。我想谈谈……让我确认一下。我先检查一下。我假设我们现在看到的是我的屏幕，我的日志。太好了。我们稍微换个话题。我们要谈谈我如何从一开始就设置好类似的系统，以确保我能够进行足够的运行、实验运行和试验，从而判断我认为的哪些结果具有实际意义或实际重要性，或者说是否具有显著意义。
我们的目标是设计一个实验。再次强调，我希望实验规模足够大，运行次数足够多，试验次数足够多，以便能够判断是否存在具有实际意义的结果。
好的，在开始之前，我要先定义几个概念。我这里要分别解释两个定义：试验和运行。当我提到处理条件或运行时，我实际上指的是实验设计数据表中的一行，它代表一组独特的处理组合或因子设置，我将要运行这组组合。
试验可以理解为重复实验。我之所以不称它为重复实验，是因为它在数学处理上略有不同。在进行分析时，它只出现在一行中。通常情况下，当我处理重复实验时，它们会在我的数据表中单独列出。我不仅需要知道重复实验的次数（即试验次数），还需要知道处理组合的数量（即实验运行次数）。我们需要将这两者区分开来。
如何设计出能够满足我目标的方案？首先，你应该已经很熟悉了。你需要从一个好的设计开始，就像克里斯蒂安的例子一样。他召集了相关领域的专家，讨论了需要考虑多少个因素，哪些因素比较重要，需要包含多少个双因素交互作用，以及二次效应等等。这始终是第一步，所以和处理连续响应变量时的方法并无二致。
好了，现在情况有点不同了。你想知道，根据你的设计，根据 JMP 在自定义设计器中创建的内容，你是否有足够的试验次数来判断你的治疗条件是否能够与基线区分开来。你想问的是：“我能否判断我的基线值与目标值在统计学上是否存在差异？”
为了实现这一点，我需要计算一个基线。我需要知道在基线状态下我的故障率或事件发生率是多少，并且我还想能够计算或确定什么是重要的变化。例如，我的基线可能是 75% 的故障率，但对我来说，区分故障率是降至 50% 还是 20% 才有意义，所以你需要预先确定这一点。
一旦你掌握了这两项信息，并且已经在 JMP 中设计好了实验，那么你就拥有了所有必要的工具来调整实验规模。接下来，你需要使用模拟来提出这样一个问题：“我能否从当前位置（基线）到达我想要到达的位置（目标）？”
好的，现在我们来谈谈我的做法。同样，首先要从实验设计（DOE）开始，我这里有一个和Christian创建的类似的实验设计。在这个例子中，我有10个因子，其中6个是分类因子。它们都以CA开头。这6个分类因子中有5个是两水平的，1个是三水平的。我还有4个连续因子。
当我们查看模型时，会考虑所有主效应、一部分双因素交互作用以及一部分二次效应。这与 Christian 的设计类似。首先，你需要与相关领域的专家讨论，确定你的设计目标。在设计评估过程中，可以使用许多相同的工具。设计实验时，你可以参考颜色图，例如：“我希望各个效应之间的相关性尽可能小。”
但是，你不能这么做。这不是正确的功效分析。我们要讨论的是……我会向你展示如何设置正确的功效分析，而对于合格/不合格实验来说，唯一的方法就是进行仿真。
现在我的设计已经设置完毕，假设我对目前的成果很满意，那么在生成表格之前，我还要做一件事。我要进入“热点”菜单，启用“模拟响应”功能。这是你可能之前没注意到的一个隐藏工具，它可以帮助你进行模拟。
这个功能已经开启了。接下来我会生成我的设计表格，你会看到我会看到两样东西。首先是一个可以让我设置效果大小的框，然后就是我的设计表格。
在开始之前，我先做几件事。我向右滚动页面，向您展示这里发生了什么。我要把系数重置为零。然后，我向下滚动到“分布”部分，点击“二项分布”。
我决定先做个模拟。同样，我会和 Christian 的操作保持一致。假设我们进行 3 次试验。我点击“应用”按钮，你会注意到，点击“应用”后，它会生成两列数据。其中一列是公式列，我们稍后会更深入地探讨这个公式列，看看我是如何设置它来进行模拟的。另一列是固定列，它直接显示试验次数。
顺便说一下，如果您因为任何原因（比如说）关闭了此窗口或忘记打开它，在生成实验设计 (DOE) 时，该按钮始终位于“DOE 模拟”下方。只要您不删除该表格脚本，即可随时访问该按钮。
好了，现在的问题是，我已经设计好了，也设置好了，每列都设置好了，还有我的二元变量，我该如何得到我的估计值呢？现在，为了简化说明，我不会深入探讨太多数学细节（这些内容我会留到我计划与这些材料一起附上的文档中），我创建了一个表格。
我们要做的就是指定我们认为的基准错误率和基准事件率，比如说，在这个例子中，我们不把它设为 0.9，而是设为 0.75。我的基准错误率是 0.75，假设我想要达到的目标是 0.2。这将给我一个基准值的估计，也会给我一个目标值的估计。
接下来我要做的就是复制这个基线值，然后粘贴过来。我再把这些值重置为0。我要把它粘贴为截距，所以基线值就是截距。我还要复制目标值。
唐，我可以问你一个很简单的问题吗？
当然。
简单来说，据我了解，你目前的数值是75，如果降到0.2，你会认为这是一个很大的变化。
没错。我希望看到的改变就是这么大。
低于这个数额，你不在乎。但要去——
没错，完全正确。
谢谢。
我已经复制了我的目标估计值。接下来我要开始操作了。我先从连续型响应变量开始。我会把它们粘贴进去。分类型响应变量我暂时先不处理，因为我需要更多控制。不过，在此之前，我想先说明一下我的假设。我假设，当我运行实验设计（DOE）时，如果有一个基线条件，那么连续型因子将位于设计的核心，而分类因子则处于一个特定的水平。
我可以把连续因子粘贴到这里来获取这些数据，我们这就粘贴进来。这些是我的四个连续因子，与这些连续因子相关的二次效应，以及与这两个连续因子相关的双因子交互作用。我要点击确认是否选择了二项式，再次将二项式设置为 3，然后点击“应用”。我只是想确认 Y 轴模拟列的值发生了变化，它确实发生了变化。
现在我想进去修改一下这些分类因子。我想确定哪些水平可以作为这些分类因子的基准水平。我将打开 JMP 生成的公式。请注意，它生成了一个随机二项变量，因此每次运行该公式都会得到不同的值。
不必纠结于所有细节。重要的是，这里是我的因子效应。在本例中，这些是我的因子，我的分类因子 1 到 6。例如，我需要在分类因子 1 中指定我的基线在哪里？我希望确保我的基线值为 0。假设我的基线位于……
接下来，我要做的就是粘贴我的效应量。假设向上是基线，我们就把它粘贴到向下。在这个例子中，CA3 有三个水平，所以我将 1 保留为基线，另外两个水平将用于计算效应量，比如小和大，以此类推。我对所有分类因子都这样做，选择基线水平，以及任何涉及分类效应的双因子交互作用。
同样，这里有三个级别，所以我选择其中两个级别，并将第三个级别作为基准。在离开之前，我要点击“应用”按钮，以确保该函数（公式）被计算出来。现在一切就绪。我已经设置好设计应用程序，可以运行仿真了。我的想法是，先运行一次分析，然后使用 JMP Pro 的一键仿真工具进行仿真。
在“分析”菜单下，选择“拟合模型”。在去年的探索性演讲中（Christian 也多次提到过），我更详细地讲解了如何设置分析以及有哪些选项。我会在即将提供的文档中更详细地讲解，但现在先跳过这部分。我先来设置我的设计。在这种情况下，你需要删除 JMP 默认设置的内容。你需要输入两列数据：模拟值和试验次数。
我将选择广义回归，并使用二项分布。我喜欢保持对话框打开，以便稍后返回。然后我将点击运行。此时，我需要做出一些决定，默认情况下，JMP 会应用我所有的效应。我们来做一些模型简化。同样，为了与 Christian 的做法保持一致，我们选择 Lasso。有时，如果强制启用遗传效应，Lasso 可能会提前终止，所以我将关闭该选项，然后点击运行。
你会发现，这只运行了一次迭代。如果我想运行一千次或一万次，统计每种效应显著的次数，并确定它正确识别出显著效应的频率，该怎么办？使用 JMP Pro，你可以通过将鼠标悬停在概率列（即 P 值列）上来实现这一点。右键单击，在底部附近，你会看到“模拟”选项。
你会看到公式列被高亮显示。我不会运行 2500 次，因为那会花几分钟时间，所以我们把它减少到 250 次。我选择了要运行的次数，2500 次或 10000 次，取决于你的时间安排，然后点击“确定”。现在，JMP 会重新运行该公式，并重新进行分析，这次会关闭 Lasso 效应遗传，并使用我选择的所有设置。
现在，最棒的是，所有这些数据都汇总在一个数据表中。功效分析包含在嵌入到该表中的脚本中，我的功效分析结果如下。它进行的功效分析会说：“如果我选择 α 值分别为 0.01、0.05 和 0.1，我的模拟功效会是多少？”
如果我们看一下 alpha 值为 0.05 的情况，会发现我的模拟功率在 33% 到 45% 之间，略偏低。如果我想把这些数据汇总到一个表格里，也很容易。我右键单击，选择“创建合并数据表”，这样就能把所有功率设置以及所有不同效果的模拟功率值汇总到一个表格里。
我创建了一个小工作流程。如果您当前使用的不是 JMP 16 或 17 版本，您可以创建工作流程。我创建了这个工作流程，也会提供给您。我用它来清理表格，这样我们只需要查看 Alpha 0.05 版本。您会注意到，我的幂函数看起来……总的来说，有几个案例的幂函数处于中等水平，大约在 0.5 左右，但没有特别出色的。没有 0.8 或更高的。
再次强调，这是基于 2500 次运行的结果。实际上，我用几种不同的条件重复了实验，以便向你们展示我接下来要讨论的内容，那就是哪些因素会影响我所能获得的灵敏度。显然，灵敏度越高越好。灵敏度是指我辨别真实效应的能力。
让我先关掉这个窗口。让我稍微清理一下桌面，然后去看看我的……我已经收集了结果。我写了，这次我做了大约2500次模拟运行，这样你就能有个概念了。这是我们的基线。这是我们观察的内容。这是一次模拟运行的结果。如果我再做一次，结果会略有不同。我的实验设计中有24次运行，3个试验，就像Christian做的一样，所有效应都显著。我假设所有结果都显著，我在这里的比较是……我的基线是0.75，目标值是0.2。
你会注意到，截距项（通常你不太关心它）是显著的。我有一个效应值在 A 点附近，但其他所有效应值都较低。如果我把试验次数从 3 次增加到 5 次呢？这会对我的结果产生什么影响？你会注意到，从 3 次试验增加到 5 次试验确实提高了结果的显著性。
如果我从一个完整的模型（假设所有效应都显著）简化为一个子集呢？是的，我会把所有这些因素都纳入我的设计中。我希望能够估计这些效应，但假设只估计一个子集，在这个例子中，我选择了两个连续因子和一个分类因子，结果又有所改善。
这些都是你可以通过运行这些模拟来尝试的假设情景。我们再试一次。假设我的初始设计，不是运行24次，而是运行36次，结果会更好。如果我想观察差异呢？假设我的基线值不是0.75，而是0.90。顺便说一下，这些星号是我在模型中指定的显著效应。
再次强调，这些都是假设情景，你可以使用 JMP 进行模拟，从而判断：“好的，看起来不错。这样的运行次数和试验次数足够了。”或者，也许我需要增加一些运行次数，或者需要增加试验次数等等，因为我的统计功效太低，又或者，我目前的运行次数已经足够了。
我们来回顾一下。哪些因素会影响统计功效？显然，实验次数越多，统计功效就越高。试验次数越多，统计功效就越高。基线值与实验起始点之间的差异也会影响统计功效。显然，基线值与实验起始点之间的差异越大，就越容易区分；基线值越接近实验终点，就越容易区分。显著性效应越小，统计功效就越高。好的，以上就是影响统计功效的因素。
让我再总结一下。你们已经有了领域专家，也已经在考虑设计方案了。要让这些设计方案规模合适，关键在于先设计出一个好的方案。从好的方案开始，确定你们想要关注的内容，尽量减少诸如效应之间的相关性之类的因素，因为这有助于提高统计功效。
第二步是确定你的基线值。确定基线值，确定你的目标值，以及对你而言实际意义显著的变化幅度。输入这些值，模拟你的响应，确保将分布设置为二项分布，并设置公式以指定重要效应的大小，然后运行 JMP，运行一键模拟以估计功效。
如果结果不如预期，或者效果不佳，可以调整运行次数、试验次数、以及你认为可能产生显著影响的因素等等。多做假设。妙处在于，你总是听到“天下没有免费的午餐”。但实际上，这完全是免费的。这些实验运行耗时极少，花费也少得多，而且完全免费，因为JMP里已经包含了所有必要的工具。
好了，这就是我想说的。我要感谢 Christian 实际运行了其中一个设计。看到一个成功又失败的实验在实际应用中总是令人欣慰的。感谢大家的观看，希望你们有所收获。如果你们有任何问题，请在 Discovery Talk 的相应版块或 JMP 社区发帖。我们很乐意与你们进一步交流并解答你们的问题。非常感谢。
谢谢你，唐。
