半导体制造过程中，预测器件性能面临着诸多挑战。这种预测能力的缺失导致良率下降和成本上升。本项目将展示如何建立一个基于在线计量数据（包含3个响应变量 (Y) 和300多个预测变量 (X)，数据集约400个数据点）的预测模型，以预测器件性能。
我们利用 JMP 多元平台评估了项目的复杂性：(1) YY 竞争相对较弱，(2) YX 因果关系较强，(3) XX 存在严重的多重共线性依赖性。如果考虑所有 300 多个预测变量，标准最小二乘法和逐步回归算法均显示出严重的过拟合风险。我们采用了三种现代数据挖掘降维技术来筛选关键的少数 X 变量，以继续进行响应面法 (RSM) 建模：(1) 划分，(2) 神经网络，(3) 预测变量筛选。由于 JMP 软件本身的限制，使用随机森林算法的预测变量筛选有效地解决了递归划分的问题，并提供了更均匀的贡献模式。基于预测变量筛选的预测变量排序，我们运行了一个混合模型，将拟合模型、神经网络模型、划分模型和集成模型相结合，以预测设备性能。我们还实现了递归组合迭代，并建立了停止准则，以确保高效的模型开发。
大家好，我是陈志旭，应用材料公司的一名工艺工程师。今天，我将为大家介绍一种混合预测筛选和最小二乘响应面法（LSM）方法。本次演讲是我和查尔斯合作完成的。
半导体制造过程中，器件性能的预测面临诸多挑战。这种预测能力的不足导致良率下降和成本上升。为了解决这一问题，我们的目标是开发一个统计模型，基于在线计量数据（此处为 X）来预测器件性能（此处为 Y）。在制造过程中，我们进行了沉积、光刻、边缘测量以及一些在线计量测量。
如果我们能构建一个模型来预测 Y 值，那么我们就可以向之前的模型提供反馈，监控流程是否存在任何偏差，从而改进质量控制、提高产量，甚至优化整个流程。在我们的数据集中，有三个响应变量和大约 300 个预测变量。在所有这些预测变量中，我们有一些……每个响应变量大约有 200 个预测变量。在所有这些预测变量中，每个 Y 值都有一些独立的预测变量，也有一些是所有 Y 值共享的预测变量。正如你所看到的，这是一个非常复杂的模型。
在本报告中，我们将探讨几个关键问题。例如，我们想了解为什么 Y1 和 Y2 的相关性更高。此外，我们还想了解 Y 和 X 之间的关系，以便优化设备性能。所有这些问题对于我们全面理解本项目都至关重要。由于这是一个复杂的模型，因此我们首先采用多变量方法来检验 YY、YX 和 XX 之间的关系。
如果我们观察YY之间的关系，根据这个多变量图，可以看到它们之间基本上呈正相关。这些Y之间不存在相互竞争，这是合理的，因为我们的设计目标是同时提高这三个Y的值。此外，由于每个Y都有一些独立的预测因子来控制，因此它们之间相互干扰的可能性较小。这种设计是理想的，因为它能带来更好的设备性能。
接下来，我们可以看看 YX 的因果关系。可以看到，在最左边一列中，YX 之间存在非常强的相关性，Y 和 X 之间存在一定的线性关系。理想情况下，基于这种关系，我们应该能够基于这里所有的 X 值构建一个模型来预测 Y 值。
现在，我们可以研究 XX 的依赖关系。您可以注意到，当我们比较所有 X 值时，某些 XX 之间的关系非常强，呈线性关系。然而，有些关系并不强……对于其他一些关系，其显著性不如此处所示的线性关系。这表明我们的 XX 存在严重的多重共线性问题。这将使确定每个预测变量的影响变得非常困难。我们的解决方案是进行更多研究，以了解为什么某些 X 存在多重共线性问题。此外，在构建模型时，我们需要移除不太显著的项并进行模型验证。
在方法的初始阶段，我使用平方模型将所有预测变量纳入拟合模型，并观察 YY 的响应。然而，我们遇到了几个挑战。首先，以 Y1 为例，当我们使用所有预测变量拟合模型时，会发现过拟合问题，因为 R 平方值比调整后的 R 平方值大了 10% 以上。
第二个问题是多重共线性。正如我之前提到的，在 XX 与某些 X 项的关系中，我们发现存在非常严重的线性关系。如果我们查看“参数估计”表中的 VIF 项，可以看到某些预测变量的 VIF 值非常大，这是不理想的。
接下来，我们还观察到模型中存在非常强的交互作用。查看汇总报告，我们可以将主效应和总效应相加。主效应与总效应之差即为交互作用效应。基于此模型，交互作用超过 36%。这表明该模型中存在强交互作用。由于存在交互作用，我尝试将所有预测变量以及所有交互项都纳入 R 平方模型。但 JMP 会报错，提示自由度减少不足。
这里我列出了预测变量的数量以及构建模型所需的自由度减少量。例如，就我们的 Y 值而言，这里有大约 200 个预测变量。如果我们要考虑截距、主效应、二次项和交互项，我们需要大约 20,000 个自由度来考虑所有交互作用以构建响应曲面法 (RSM) 模型，这在我的数据集中是不可行的。
考虑到数据总量和预测变量的数量，选择大约 20 个预测变量进行分析似乎是合理的，因为如果我们能将预测变量精简到 20 个左右，那么构建模型只需要大约 250 个数据点。鉴于这些挑战，我们需要进行数据挖掘，并识别出关键预测变量以构建更优的模型。在 JMP 分析中，我的方法主要侧重于寻找一组 R 平方调整值（R-Square Adjusted）更优的模型，尽管 RMSC 值更高，但我们不希望出现过拟合问题，并且希望模型稳定。我们还需要识别出用于简化模型的关键预测变量。我在这里尝试了三种不同的分析方法。
首先，我们使用神经网络方法。这是一种机器学习方法，因为它能够考虑非线性效应和交互效应。神经网络方法可以提供模型和关键预测因子。其次，我还尝试了分区方法，该方法使用决策树对预测因子进行分类，并找到预测响应的最佳方法。它也可以提供模型和关键预测因子。第三种方法是预测因子筛选。我使用随机森林方法来识别强预测因子和敏感预测因子。但是，使用这种方法，我们只能找到关键预测因子，而无法提供模型。
我想讨论的另一个主题是，即使不使用 JMP Pro，我们仍然可以解决复杂的模型问题。因为 JMP Pro 利用人工智能提供更高级的分析功能，包括高级建模、模型比较、模型选择和模型交叉验证。而使用 JMP 时，我们无法实现这些功能。为了克服这一限制，我们可以采用不同的方法。例如，我们可以使用混合模型，将预测因子筛选和不同的建模方法结合起来。我们还可以手动比较每个模型，以及使用集成模型，将现有模型与集成模型结合，构建一个更优的模型。对于交叉验证，我们也可以尝试使用 JMP 的 JSL 脚本，但本报告不涉及这部分内容。
好的，我们来看我对预测模型的第一个分析。首先是神经网络分析。在这个分析中，我也以Y1为例。这里我们使用K折交叉验证，K=5，隐藏节点数=20，因为它包含交叉验证，可以增强模型的稳定性并减少过拟合。但是由于神经网络方法非常……它使用了一个非常复杂的数学模型，所以我做了五次，结果却大相径庭。
就像这里提到的三个亮点一样。你可以看到训练集和验证集之间的差异非常显著。这表明该模型不稳定，可能存在过拟合问题。即使有时，例如对于 Y 值，它也能给出较高的 R 平方值和较低的过拟合度。通过多次运行神经网络模型，我们发现大多数情况下，神经网络模型都会出现过拟合问题，而现在该模型对于我们的数据集来说非常稳定。
此外，我们可以使用预测分析器对不同预测变量的重要性进行排序，结果显示交互作用效应约占模型的 85%，表明预测变量与响应变量之间存在非常非线性的关系。同时，排名前四的预测变量的总效应相近，这将给模型优化带来巨大挑战。此外，总效应大于主效应，这表明模型背后存在非常复杂的数学变换，因此交互作用非常强。综上所述，由于神经网络方法的不稳定性以及过拟合问题，它并不适合识别关键预测变量。
接下来，我们将使用分区方法进行分析。分区方法采用树状二元分类方法对预测变量进行分类，并找到最佳预测模型。在我的分析中，我使用了 0.2 的验证集比例。与神经网络模型的结果相比，这里的 R 平方值相近，但如果观察这些预测变量的排名，会发现前六个预测变量贡献了约 80% 的方差，其中第一个预测变量的贡献最大。这是因为在使用这种分区方法时，大部分资源都分配给了第一个预测变量，因此其他预测变量的剩余资源有所减少。
鉴于神经网络模型的不稳定性，我们进行了多次运行。但每次训练集和验证集之间的R平方值仍然差异很大。因此，由于模型的不稳定性以及过拟合问题，它仍然不足以识别关键预测因子。
根据我们之前的研究结果，这里简要总结一下最小二乘模型、神经网络和分区模型的比较。可以看出，对于每个模型，例如标准最小二乘模型，它们的R平方值都较高，但仍然存在过拟合和严重的多重共线性问题。该方法仅考虑了主效应。神经网络和分区模型也存在过拟合问题，且稳定性较差，并且都无法找到关键预测因子。我们需要考虑其他模型来寻找关键预测因子。
好的，根据之前的研究，我们知道在分区中引入新的角色并不适合我们的模型。因此，接下来我们使用预测变量筛选。我们采用了Bootstrap随机森林分区方法。该方法利用多重决策树，通过选择不同数量的预测变量和随机预测变量来增强模型的稳定性。
在构建这个模型时，我使用了 5000 棵树，因为它可以提供更稳定的模型。运行此分析时，计算大约需要 15 分钟，这对于我的分析而言是可以接受的。在对这些预测变量进行排序后，我们还想知道应该使用多少个预测变量。因此，我们创建了一个累积贡献图来可视化预测变量的累积贡献。
例如，如果我们选择 23 个预测变量，可以覆盖约 60% 的贡献；如果我们选择 75 个预测变量，则可以覆盖约 80% 的贡献。这符合帕累托 20% 到 80% 的原则。由于我的项目的主要目标是显著降低模型的复杂度，因此我选择使用 23 个预测变量进行分析。在 JMP 中，“预测变量筛选”功能只能帮助我们识别重要参数，而不能提供模型。为了解决这一局限性，我们使用混合模型，将“预测变量筛选”和“拟合”模型结合起来，在 JMP Pro 中模拟随机森林算法。该混合模型的结果表明，我们不存在过拟合的问题。
此外，观察方差膨胀因子（VIF），虽然仍有一些变量的VIF大于10，但我们使用的绝大多数预测变量的VIF都小于10。为了更好地理解为什么有些变量的VIF仍然较高，我们对这些高VIF变量进行了聚类分析。分析后，所有这些预测变量可以分为两组。
第一组用橙色高亮显示，第二组用蓝色高亮显示。当我们重新查看[听不清 00:21:10]数据时，发现第一组中的所有预测变量都具有相似的CD值。而这三个预测变量则具有不同的CD值。这告诉我们，在构建模型时，实际上不需要将所有这些预测变量都纳入模型。因为这一组中的预测变量高度相关，所以我们只需要选择一个纳入模型即可。对于这一组预测变量，我们也只需要一个即可。
基于之前对聚类变量的分析，我们将最初的23个预测变量精简至约18个。之后，所有VIF值均低于10。此外，由于预测变量总数已从约200个显著减少到18个，因此现在可以考虑双向交互作用。结果表明，对于考虑双向交互作用的混合模型二，其R平方值相比仅考虑主效应模型提高了约20%。此外，该混合模型整体性能优于之前的神经网络和分区方法。通过优化预测变量并考虑双向交互作用，我们获得了一个更加精细和改进的模型。
接下来，基于之前在方法论方面学到的知识，我们可以将所有这些知识应用于Y2和Y3。总体而言，可以看到，使用混合模型结合预测因子筛选和拟合模型，对于这三个响应变量，我们可以将预测因子数量从原始数据集减少约90%。此外，所有R平方值仍然在可接受范围内，约为70%到80%。减少预测因子后，我们也没有遇到过拟合和方差膨胀因子（VIF）问题。
下一步，我想比较不同的模型，包括结合预测因子筛选和神经网络模型的混合模型，以及结合预测因子筛选和分区模型的混合模型。可以看到，对于神经网络模型，如果考虑上一张幻灯片中提到的所有预测因子，就会出现严重的过拟合问题。但如果将结合了预测因子筛选和神经网络模型的混合模型进行比较，虽然仍然存在一些过拟合问题，但与包含所有预测因子的神经网络模型相比，过拟合问题有所缓解。而对于包含其他预测因子的分区模型以及结合了预测因子筛选和分区模型的混合模型，我们发现这种方法并没有带来显著的改进。
下一步我想比较所有这些不同的模型。这里我列出了我们目前拥有的所有模型。我们有最小二乘模型，还有几种不同的混合模型，包括预测因子筛选结合神经网络、预测因子筛选结合分区、预测因子筛选结合最小二乘及其交互作用。可以看到，对于这种混合模型，我们只需要大约18个预测因子就能获得较高的R平方值，而且R平方值也相当不错。此外，所有这些混合模型，包括这个混合模型，都具有较高的最小R平方值和较高的调整后最小R平方值。但这是否意味着使用这种模型，我们总能比其他模型表现得更好呢？
我在这里列举两个例子。在这个例子中，我将混合神经网络模型、混合分区模型和混合最小二乘模型与我们的真实数据（即此处显示的响应）进行比较。在这个例子中，如果我选择这个数据点，您可以看到这三个模型的相应预测结果。实际上，混合神经网络模型给出的值比真实值更接近。但再举一个例子。如果我选择这个数据点，并且这三个值是每个模型的相应预测结果，您可以看到，对于这个数据点，混合最小二乘模型会给出更好的预测结果。
我想知道，我们能否将所有这些模型结合起来，进一步提升预测精度？这是我从这个链接中了解到的 JMP Pro 的一个功能。该功能引入了集成建模的概念，也称为“模型的模型”。其核心思想是，我们可以选择多个高性能模型来构建一个集成模型。我对集成模型的潜力很感兴趣，并想探索它在我的现有数据集上的应用。基于相同的方法，我想知道我们是否可以使用 JMP 创建一个组合模型。
目前，我们有三种不同的混合模型，正如我之前展示的。为了应用集成模型方法，我们使用不同的方法来组合这三个模型。这包括模型五。我们希望使用平均算法，即对现有三个模型取平均值。模型六是加权算法。对于每个模型，我们将赋予不同的权重，以尝试获得更优的模型。模型二将使用神经网络算法来组合这三个模型。模型八，我们将使用划分算法来组合这三个模型。
此表汇总了所有响应的均值、均方根误差 (RMSE)、R 平方、调整后的 R 平方以及潜在风险。如果我们使用此图来可视化此表，可以看到，对于此数据，此处显示的是响应的均值，范围则代表 RMSE。我使用不同的颜色方案，将调整后的 R 平方模型从高到低排序。可以看到，使用模型 7，如果我们将这三个模型与神经网络算法结合起来，可以获得最佳的调整后 R 平方以及最小的 RMSE。
总之，我们对预测因子筛选和最小二乘建模混合方法的研究可以……构建一个预测因子数量减少约90%的模型。基于该模型，我们可以理解YY的积极组合，还可以协同优化YX，并降低XX的依赖性。在开发多个混合模型和集成模型的过程中，我们也构建了多个用于预测器件性能的模型。
展望未来，我们有一些工作机会。我们可以利用预测器筛选功能来比较不同模型之间的排名差异。此外，我们还可以尝试使用递归组合迭代法，并确定停止准则。我们还希望集成仪表盘或分组脚本，以便汇总和比较所有关键模型KPI。
我还要感谢我的导师查尔斯，感谢他为这个项目提供的指导和大量技术支持。同时，我也要感谢应用材料公司首席技术官PPB团队，感谢他们为数据收集提供的鼎力支持。今天的报告就到这里，谢谢大家。
