优秀的软件，在熟练的操控下，拥有改变世界的力量。源自一家领先的半导体制造公司，六西格玛所创造的切实价值毋庸置疑。本案例集涵盖了JMP的各项功能，包括实验设计（DOE）、多元分析、质量控制、流程优化和消费者研究等，囊括了丰富的真实案例，打破了传统思维，为各行各业提供了宝贵的借鉴。它不仅展示了JMP在实验设计方面的卓越能力，更完美诠释了JMP作为“数据驱动决策”解决方案典范的地位。案例集内容连贯，通过工作流程概念将不同的案例无缝衔接，为成功的六西格玛项目提供了关键的推动力。
大家好，我是杨嘉怡，来自应用材料公司，是一名工艺支持工程师。今天我想分享的主题是：超越试错法：应用材料公司如何通过DOE工作流程创造价值的多个案例研究。
首先，让我介绍一下我们公司。我在这里展示一下，它的名字是应用材料公司（Applied Materials）。它是全球排名第一的半导体和显示设备公司。我们提供几乎所有种类的半导体工艺设备，除了光刻机。您可以把我们想象成半导体领域的超市，就像沃尔玛一样，我们的目标是创造更美好的未来。
由于拥有如此庞大的客户群，我们每天都会收到大量的请求。例如，如果客户想要更新他们的产品，他们可能会来寻求我们的帮助。为了向客户展示我们的专业知识，并高效快速地响应他们的需求，我们需要开展实验设计（DOE）项目，以探究变量与最终结果之间的潜在关系。但问题是，我们如何确保最终提供给客户的解决方案是最佳方案？这就是我今天想分享的主题。我将展示在应用材料公司内部，我们如何控制实验设计工作流程中的每一个步骤，以确保最终预测模型的准确性。
这份报告得到了三位美国能源部专家的鼎力支持。他们分别是来自应用材料公司（与我同属一家公司）的沈嘉平（Jiaping Shen）和陈查尔斯（Charles Chen），以及来自JMP公司的胡品（Pin Hu）。同时，我也要感谢所有参与此项目的工艺工程师，感谢他们从客户方带回的宝贵实践经验。他们的经验对我们至关重要，帮助我们构建出更可行、更适合我们工程师使用的工作流程。
JMP平台上有许多分析工具，我们将重点介绍DOE（实验设计）。接下来，我们进入正题。在应用材料公司，DOE工作流程分为八个步骤。以数据收集步骤为界，该工作流程还可以分为三个部分。数据收集步骤的左侧是设计实验，右侧是建立预测模型。
为了指导工程师更成功地完成项目，并提高模型的有效性，我们在每个步骤中都设置了许多提示和问题。这些问题如同指令或警告，告知工程师在每个步骤中应遵循哪些标准，以及如果不遵循这些标准，项目结束时会面临哪些风险。
当然，每个项目都是独一无二的，这八个步骤仅涵盖了大部分情况，没有一种模式可以适用于所有模型。我们完全相信，如果每位工程师都能遵循这八个步骤，并在每个步骤中满足这些标准，即使是初级工程师也能独立完成DOE项目，并最终获得一个良好的模型。
接下来，我将逐一解释每个步骤。第一步是定义实验设计（DOE）的范围和目标，这意味着我们需要找出因变量（Y）和自变量（X）之间的潜在关系。为了不忽略任何重要的相关性，我们需要找出所有潜在的变量。
为了实现这一目标，我们建议使用六西格玛方法。例如，六西格玛循环或六西格玛参数图设计等等。
这些Sigma方法可以帮助我们找到所有可能影响最终结果的潜在变量。例如，供应商提供的不同批次的晶圆可能对最终结果产生决定性影响。我们通常会忽略这些因素，因为我们信任供应商，但他们有时也会出错。其他一些因素，例如噪声因素，也可能是影响最终结果的主要因素。
通过六西格玛方法，我们可以从宏观层面找出所有因变量（Y）及其潜在变量。但接下来的问题是，如何将其落实到可执行的细节层面？为此，我们可以运用多元分析来探索变量的多维行为，并进一步探究多个变量之间的相互关系。
下一步是精简变量。为此，我们可以使用聚类变量分析来帮助我们挑选出最具代表性和最独立的变量。在这一步骤中，结合六西格玛方法和JMP平台，我们最终可以筛选出Y变量和强大的X变量。
如果我们想进一步量化这种关系，就需要构建一个实验设计（DOE）模型。为了提高模型的适用性，我们需要关注DOE的结构。但这里存在一个常见的误解：我们一直在讨论的DOE真的是DOE吗？实际上，如果我们每次只改变一个因素，那么我们做的是实验设计（EOD），而不是真正的DOE，因为EOD设计更适合探索主效应。
如果我们想要检测交互作用和其他高层次效应，就需要进行实际的实验设计（DOE），更准确地说，是设计一个正交实验。在这种设计中，可以同时改变两个或多个因素。
同时，我们需要注意空间范围，因为它对探究效应至关重要。例如，如果范围较宽，则更有利于探究主效应，但统计效力会被稀释。如果范围较窄，则更有利于探究交互效应。
有时，出于实际或客观原因，我们需要处理设计约束。例如，设备无法同时承受高温和超高压。如果我们忽略这些设计约束，缺失值可能会破坏正交设计结构，最终导致DOE模型失效。为了处理设计约束，我们可以寻找满足设计约束的最近邻点，以保持近似正交结构，或者干脆重新设计整个实验。
我们来看一篇AMAT公司2019年由Christy Pan发表的关于DS China的论文。从图中可以看出，由于设备能力限制，右下角缺少三个条件。如果我们忽略这三个条件，那么美国能源部（DOE）的计算结果将从17个减少到14个。
最糟糕的情况是，DOE正交结构会被破坏。为了应对这一限制，我们需要缩小设计空间范围。但问题是，我们应该选择哪个参数来缩小设计空间呢？通过对工艺的理解，Christy Pin最终找到了两种可能的折衷工艺设置方案。一种是改变参数B的设计空间范围，另一种是改变参数C的设计空间。但她最终应该选择哪一个呢？
通过反复诊断和评估，比较功效、混杂因素、预测均匀性、设计空间和预测方差，Christy Pin最终选择了第二个方案。从图中可以看出，Christy Pin确实为应对这些设计限制付出了巨大的努力。
这体现了应用材料公司内部对工匠精神的尊重。您或许会想，有没有更简便的方法来应对这些设计限制呢？幸运的是，JMP 平台提供了一个更佳的选择——自定义设计。这种设计可以适应各种因素、限制和禁止组合，并且能够支持硬性变更和非常硬性变更。
我们可以明确哪些效应是必要的，哪些效应是可取的。然后，定制设计会为我们提供一套能够满足这些约束条件的实验设计方案。这对于我们处理带有因素约束的实验设计方案来说，要简单得多。
制定完实验设计方案后，我们接下来要向客户或老板汇报实验计划，但90%的情况下都会遭到质疑，最终被拒绝，因为他们担心实验成本。他们会问：“真的需要做这么多实验吗？” 例如，如果我们想找出九个变量之间的关系，至少需要进行21次实验。考虑到每片晶圆的成本可能高达数千美元，实验成本确实很高，对吧？我们该如何解决这些问题呢？
幸运的是，JMP 平台还提供了一个更好的选择，那就是组正交超饱和设计，这是一种特殊的方法，可以帮助我们从众多变量中挑选出最重要的变量。
例如，它只需六次运行即可帮助我们确定七个变量。是不是很不可思议？现在，让我们来看一个使用这种 GO SSD 方法的实际案例。在这个案例中，GO SSD 将一个步骤拆分成了两个步骤，这意味着我们可以在单个晶圆上同时测试两种条件。这无疑会降低成本，因为只需六次运行即可确定七个变量。更重要的是，R 平方值从 27% 大幅提升至 92%，并且这种 GO SSD 方法已在客户端成功验证。由此可见，GO SSD 设计是一种经济高效的方法，可以帮助我们在初期就筛选出关键变量。
值得一提的是，GO SSD 方法仅考虑了主效应。如果我们想要进一步保持 DOE 的正交结构，还需要进行增强 DOE。
接下来，当我们制定实验设计方案（DOE）并且客户最终同意进行所有实验后，就进入了数据收集阶段。你可能觉得这一步很简单，只需要进行实验然后收集数据即可。但如果你这么想，那就大错特错了，因为这才是最棘手的部分。任何意外的噪声都会破坏最终模型的适用性。测量能力至关重要。
现在，让我来给大家展示一下我们从糟糕的量具重复性和再现性（Gage R&R）能力中吸取的一个惨痛教训。当时，我们正在帮助客户构建模型，结果却发现最终模型非常奇怪，我们为此费了不少功夫才进行故障排除。最终，我们强烈建议客户重新评估他们的测量能力。令人惊讶的是，正如您在图片中看到的，九个样品被测试了两次，但由于晶圆长时间等待测量而氧化，重复性结果惨不忍睹。
一旦找到根本原因，我们建议客户控制灭菌时间，和/或在发生氧化时将晶圆置于氮气笼中。改进后，最终模型即可满足要求。吸取此次教训，我们敦促工程师在数据采集步骤之前重新评估测量能力。有时，方法论负责人会坚持认为他们的方法论已经足够好，但我们不能完全相信他们，因为大多数情况下，方法论负责人只会测试方法论流程内部的重复性，而忽略了再现性，这意味着他们可能没有考虑到操作人员技能的差异，或者灭菌时间或其他因素带来的问题。
同时，PT比率是决定测量能力的一个参数，而PT比率又与公差密切相关。一旦工艺流程收紧，测量能力也应相应提高。否则，方法论能力的不足可能会影响最终结果。
此外，量具重复性和再现性（Gauge R&R）仅评估随机误差。但其他因素，例如系统误差、时间稳定性等，又该如何评估呢？
为了更准确地进行评估，我们可以使用JMP测量系统分析平台来辅助制定评估方案。最后，在数据收集完成后，我们就可以构建模型了。
为了找到最佳模型并检验模型的适用性，我们可以利用 JMP 平台上的丰富统计信息或强大的可视化工具。例如，这里的统计值可以告诉我们模型的拟合度是否足够好，或者是否存在需要注意的问题？例如，是否存在模型拟合度不足、模型拟合不足或模型过拟合等问题？同时，交互作用分析还可以告诉我们变量之间的交互效应，以及一些我们之前可能忽略的信息。例如，如果我们没有进行 DOE 项目，我们就无法发现气体比例与密度之间的关系会受到功率的显著影响。通过结合这些数值并运用我们的工程经验，我们可以选择一个合适的模型。值得一提的是，JMP 18 的新功能可以帮助我们更深入地了解交互作用的影响。
最后，我还想强调，项目成功需要合适的时间、地点和人员。在大多数情况下，人为因素是导致项目失败的主要原因。
我们一开始就需要找出所有威胁因素。例如，我们需要确保我们的上司和同事会提供必要的资源，帮助我们从项目启动到结束顺利完成。
我们还需要确保客户不会突然终止项目。为了评估团队成员之间的共识，我们创新性地采用了选择设计来探索共识。选择设计主要用于消费者研究，类似于量具的重复性和再现性（R&R），可以告诉我们达成的共识是否可以接受。
例如，在本案例中，对于“起泡”和“跺脚”这些短语，我们采用了选择设计来评估团队成员之间的共识，结果发现某些项目的共识度仅为46%。通过团队成员之间的进一步解释，或者通过团队建设或其他活动，我们最终将共识度从46%提升到了90%。通过重新调整团队优先级，可以将需求集中在一个方向上，最终使精力集中于同一方向。
这是一个我们将选择设计创新性地应用于DOE项目的案例。当然，JMP平台上还有许多其他实用工具等待我们去探索，并灵活创新地将其应用于DOE项目。这些方法将有助于我们更成功地实施项目。
正如JMP联合创始人John Sall所说：“优秀的软件如果运用得当，就能改变世界。”我们相信，无论资深工程师还是初级工程师，只要遵循这八个步骤并满足每个步骤的所有要求，就能独立完成理论项目，最终获得更精确的模型。听完我刚才的讲解，你是否好奇这八个步骤真的如此强大？为了揭开其中的奥秘，不妨亲自体验一下，你就会感受到这种工作流程的神奇之处。这就是我今天想分享的内容，感谢聆听。
