扬声器
|
成绩单
|
| 蒂姆·皮尔斯 |
去。 |
| |
好吧,我要继续保持沉默。 |
| |
嗨,我是克里斯·戈特瓦尔特。 我和我的共同演讲者 Laura Lancaster 和 Jeremy Ash 正在演示一种有用的新 JMP Pro 功能,称为外推控制。 |
| |
几乎任何你想要预测的模型都有一定的适用性, |
| |
输入空间的一个区域,其中他们的预测被认为是 |
| |
足够可靠。 在该区域之外,我们开始推断模型的两个点,远离用于拟合模型的数据。 在这些点上使用该模型的预测可能会导致完全不可靠的预测。 |
| 外推法有两个主要来源 |
统计外推和基于域的外推。 新功能涵盖了这两种类型。 |
| |
当人们试图使用 X 值与用于训练该模型的值不接近的模型进行预测时,就会发生统计外推。 |
| |
当您尝试评估由于科学原因而不可能的 X 时,就会发生基于域的外推法 |
| |
或基于工程的约束。 此处的示例在一个示例中说明了两种外推法。 在这里,我们看到了冶金生产过程模型中的轮廓仪。 |
| |
预测读数为 -2.96,没有迹象表明我们正在不可能的温度和压力组合下进行评估 |
| |
在这台机器上要达到的领域意义。 我们还进行了统计外推,因为它与所使用的数据相差甚远 |
| |
拟合模型,如右侧训练数据的散点图所示。 在 JMP Pro 16 中,Jeremy、Laura 和我合作添加了一项新功能,可以在分析器认为您可能进行推断时发出警告。 |
| |
或者,如果您打开外推控制,它会将您看到的点集限制为仅那些它认为不外推的点。 |
| |
我们有两种类型的外推控制。 |
| |
一种基于杠杆概念并使用最小二乘模型。 第一种类型仅适用于拟合模型最小二乘法的专业版。 |
| |
另一种类型我们称为通用机器学习外推控制,它可在 JMP Pro 的探查器平台和几个最常见的机器学习平台中使用。 |
| |
根据要求,我们甚至可以将其添加到 mor 中。 最小二乘外推控制使用杠杆的概念,它就像预测方差的缩放版本。 它是基于模型的,所以 |
| |
它使用有关主效应相互作用和高阶项的信息来确定外推。 |
| |
对于一般的机器学习外推控制案例,我们必须想出自己的方法。 我们想要一种在缺失值方面具有鲁棒性的方法, |
| |
线性依赖、更快的计算、可以处理连续和分类输入变量的混合,并且我们还明确希望将外推模型与用于拟合数据的模型分开。 |
| |
因此,当我们打开一般外推控制时,只有一种监督模型......将输入变量与我们在探查器跟踪中看到的响应相匹配。 |
| |
配置文件提出了一个快速而肮脏的无监督模型来描述训练集 Xs,并且该无监督模型由分析器在幕后使用来确定外推控制约束。 |
| |
因此,我必须进行切换,因为出于某种原因,我的 PowerPoint 相机现在无法正常工作。 |
| |
我们知道数据科学领域的工作人员每天都会进行危险的推断,并且相信使用推断会导致糟糕的预测,并最终导致糟糕的业务成果。 |
| |
外推控制为模型预测设置了护栏,并将为 JMP Pro 用户带来可量化的更好决策。 |
| |
当用户看到发生外推时,用户必须根据他们的领域知识和对当前问题的熟悉程度来决定是否应该使用预测。 |
| |
如果您开始看到外推控制警告发生,通常该模型的生命周期可能已经结束,需要将其重新适应新数据,因为输入的分布已经偏离了训练数据的分布。 |
| |
老实说,我们感到非常惊讶和震惊,数据科学界并没有更好地认识到识别外推法的必要性 |
| |
并使外推控制尽可能简单和自动。 Laura 在 JMP Pro 中开发了该选项,接下来将演示该选项。 然后,在我们团队中进行了大量研究的杰里米(Jeremy)将探讨该方法的数学细节和统计动机。 |
| |
你好。 我叫 Laura Lancaster,我来这里是为了演示 JMP Pro 16 中添加的外推控制。 我想从一个使用拟合模型最小二乘平台的相当简单的示例开始。 |
| |
我将使用一些可能熟悉的数据。 这是样本数据中的健康数据。 |
| |
我将使用摄氧量作为我的反应,并使用跑步时间、跑步脉冲和最大脉冲作为我的预测因子。 我想重申,在拟合模型拟合最小二乘法中,使用的外推指标是杠杆,所以让我们继续启动 JMP。 |
| |
现在,我在 JMP 中打开了健身数据,并且有一个脚本可以保存到数据表中,以自动启动拟合最小二乘模型。 |
| |
所以我将继续运行该脚本。 它推出了最小二乘平台。 |
| |
我自动打开了探查器,我们可以看到探查器看起来就像过去一样, |
| |
其中因子边界由每个因子的范围单独定义,为我们提供了矩形边界约束。 |
| |
当我更改因子设置时,由于这些约束,很难判断您是否远远超出了数据的相关结构。 |
| |
这就是我们想要添加外推控制的原因。 因此,这已添加到 JMP Pro 16 中的多个平台中, |
| |
包括拟合最小二乘法。 要访问外推控制,请转到探查器菜单下的菜单。 因此,如果我看这里,我会发现有一个称为外推控制的新选项。 |
| |
默认情况下它设置为关闭,但我可以将其打开或警告打开以打开外推控制。 如果我将其打开,请注意,它会将我的个人资料跟踪限制为仅转到我不进行推断的值。 |
| |
如果我将其打开警告,我会看到完整的配置文件痕迹,但当我进入被认为是外推的区域时,我会收到警告。 |
| |
我还可以打开外推细节,我发现这确实很有帮助, |
| |
这给了我更多的信息。 首先,它告诉我,我用来定义外推的指标是杠杆,这在拟合最小二乘平台中是正确的, |
| |
最初默认使用的阈值将是最大杠杆,但这是我可以更改的内容,我将立即向您展示。 |
| |
此外,我还可以查看当前设置的外推指标。 这就是这里的这个数字,它会随着我更改因子设置而改变。 |
| |
每当这个数字大于阈值时,我都会收到此警告,表明我可能会进行推断。 如果低于此值,我将不再收到该警告。 |
| |
除非我更改菜单中的某些内容来调整阈值,否则该阈值不会改变。 所以让我现在就开始做吧。 我要去菜单, |
| |
我将去设置阈值标准。 因此,在拟合最小二乘法中,您有两种阈值选择。 最初,它被设置为最大杠杆,这将使您保持在数据的凸洞内, |
| |
或者您可以切换到乘数乘以观察值的平均杠杆或模型项。 我想切换到该阈值,因此将其设置为三 |
| |
作为默认乘数,因此这将是平均杠杆的三倍。 单击“确定”,您会发现我的阈值将发生变化。 它实际上变小了,所以这是一个更保守的外推定义。 |
| |
我将把它重新打开以限制我的个人资料跟踪,现在我只能前往区域 |
| |
我的杠杆率在平均杠杆率的三倍之内。 |
| |
现在我们还实现了遵守外推约束的优化。 所以现在,如果我打开设定的意愿 |
| |
我做了优化, |
| |
我将得到一个满足外推约束的最优值。 请注意,该指标小于或等于阈值。 |
| |
现在,当我转到下一张幻灯片时,它将在图表(散点图矩阵)中进行比较,打开外推控制和关闭外推控制时的最佳值之间的差异。 |
| |
这是我用 JMP 创建的散点图矩阵,它显示了原始预测变量数据以及预测变量值 |
| |
对于不使用外推控制的最优解(蓝色)和使用外推控制的最优解(红色)。 请注意这里蓝色的无约束解决方案,对吧 |
| |
这里,违反了运行脉冲和最大脉冲的原始数据的相关结构,从而增加了该预测的不确定性,而使用外推控制的最优解更符合原始数据。 |
| |
现在让我们看一个使用更广义的外推控制方法的示例,我们将其称为正则化 T 平方方法。 |
| |
正如克里斯之前提到的,我们为最小二乘模型以外的模型开发了这种方法。 我们将研究样本数据中的糖尿病数据的神经模型。 |
| |
反应是疾病进展的衡量标准,预测变量是基线变量。 再一次,本示例使用的外推度量是正则化 T 平方,Jeremy 将在几分钟内更详细地描述它。 |
| |
我在 JMP 中打开了一个糖尿病数据,并保存了一个神经模型拟合脚本。 我将继续运行该脚本。 |
| |
它启动了神经平台。 请注意,我正在使用随机保留验证方法。 我只是想指出,每当您使用验证方法时,外推控制仅基于训练数据 |
| |
而不是您的验证或测试数据。 |
| |
所以我打开了探查器,您可以看到它正在使用完整的跟踪。 外推控制未打开。 |
| |
让我们继续并打开它。 |
| |
我还将讨论细节。 |
| |
您可以看到迹线已受到限制,度量是正则化 T 方。 |
| |
阈值是样本正则化 T 方的标准差的三倍。 杰里米将在几分钟内详细讨论这一切的确切含义。 |
| |
我只是想提一下,当我们使用正则化 T 平方方法时,阈值只有一种选择,但您可以调整乘数。 所以如果你去 |
| |
外推控制,设置阈值,你可以调整这个乘数,但我将把它保留为三。 现在我想使用运行优化 |
| |
外推控制,所以我要做最大化并记住。 现在我有了一个打开外推控制的最佳解决方案。 |
| |
现在,我想查看我们的散点图矩阵,就像我们之前查看原始数据一样,以及使用和不使用外推控制的最佳值。 |
| |
这是我在 JMP 中创建的糖尿病数据的散点图矩阵。 它有原始的预测值, |
| |
以及使用外推控制的最优解(红色)和不使用外推控制的最优解(蓝色)。 你可以看到 |
| |
红点似乎比蓝点更多地处于原始数据的相关结构中。 当您比较低密度脂蛋白与总胆固醇时,这一点尤其正确。 |
| |
现在让我们看一个使用图形菜单下的探查器的示例,我将其称为图形探查器。 |
| |
它还使用正则化 T 平方方法,允许我们对可以创建并保存为 JSL 公式的任何类型的模型使用外推控制。 它还允许我们一次对多个模型进行外推控制。 |
| |
让我们看一个使用粉末冶金技术为汽车行业生产钢制传动轴的公司的例子。 |
| |
他们希望能够找到最佳的生产设置,最大限度地减少收缩,并最大限度地减少由于不良表面条件而导致的故障。 所以我们有两个回应 |
| |
收缩率是连续的,我们将为此拟合最小二乘模型;表面条件为通过/失败,我们将为其拟合名义逻辑模型。 |
| |
我们的预测变量只是生产中的一些关键过程变量。 再次强调,外推度量是正则化 T 方。 |
| |
所以我在 JMP 中打开了粉末冶金数据,并且我已经为收缩响应拟合了最小二乘模型, |
| |
我已经为表面条件通过/失败响应拟合了名义逻辑模型。 我已将预测公式保存到数据表中,以便它们可以在图形分析器中使用。 |
| |
因此,如果我进入图形菜单分析器,我可以加载收缩预测公式,而我的预测公式适用于表面状况。 |
| |
单击“确定”。 |
| |
现在我已将两个模型启动到图形分析器中。 |
| |
而且,在我打开外推控制之前,您可以看到我拥有完整的轮廓轨迹。 一旦我打开外推控制, |
| |
你可以看到痕迹缩小了一些。 我还要打开细节 |
| |
只是为了表明,我确实在此方法中使用了正则化 T 方。 |
| |
所以我真正想做的是,我想找到最小化收缩和最小化故障的最佳条件 |
| |
外推控制打开。 我想确保我没有进行推断。 我想找到一个有用的解决方案。 |
| |
在进行优化之前,我实际上需要设置我的需求。 我要做既定的愿望;它的收缩率已经是正确的,但我需要根据表面条件设置它们。 |
| |
我将尝试最大限度地提高通过率并最大限度地减少失败。 |
| |
好的。 |
| |
现在我应该能够在打开外推控制的情况下进行优化,进行最大化并记住。 |
| |
现在我有了最佳解决方案 |
| |
外推控制打开。 现在,让我们再次查看原始数据的散点图矩阵,以及外推控制开启时的解和外推控制关闭时的解。 |
| |
这是我在 JMP 中创建的粉末冶金数据的散点图矩阵,它也有最优解 |
| |
有外推控制的情况为红点,无外推控制的最优解为蓝点。 而且,您再次可以看到,当我们不执行外推控制时, |
| |
最佳解决方案远远超出了数据的相关结构。 我们在这里尤其可以看到比率与压实压力的关系。 |
| |
所以现在,我想将演示移交给杰里米,以更详细地介绍我们的方法。 |
| |
你好。 以下是我们在项目开始时制定的一些外推控制目标。 |
| |
我们需要一个可以通过大量观察和变量快速计算的外推度量,并且我们需要一种快速方法来评估该度量是否表明外推。 这是为了保持探查器跟踪的交互性和 |
| |
我们需要它来执行优化。 |
| |
我们希望它能够支持探查器中可用的各种变量类型。 这些本质上是连续的、绝对的和有序的。 |
| |
我们想要利用缺失细胞的观察结果,因为一些建模方法将包括这些观察结果和???。 |
| |
我们想要一种对数据中的线性依赖性具有鲁棒性的方法。 例如,当变量数量大于观测值数量时,就会发生这种情况。 |
| |
我们想要一些易于自动化的东西,而不需要大量的用户输入。 |
| |
对于最小二乘模型,我们采用了杠杆,它通常用于识别线性模型中的异常值。 |
| |
新预测点的杠杆是根据此公式计算的。 杠杆有多种解释。 一种解释是 |
| |
它是预测点距训练数据中心的多元距离。 另一种解释是,它是缩放的预测方差,因此随着预测点远离数据中心,预测的不确定性会增加。 |
| |
我们使用统计文献中的两个常见阈值来确定该距离是否太大。 |
| |
首先是最大杠杆。 超过此阈值的预测点位于训练数据的凸洞之外。 |
| |
第二个是杠杆平均值的三倍。 可以证明,这相当于模型项数除以观测值数的三倍。 |
| |
正如劳拉之前所描述的,您可以更改这些阈值的乘数。 |
| |
最后,当优化意愿时,外推约束是非线性约束。 之前,分析器允许使用线性约束进行约束优化, |
| |
但这种类型的优化更具挑战性,因此劳拉实施了遗传算法。 如果您不熟悉这些,遗传算法使用分子进化原理来优化复杂的成本函数。 |
| |
接下来我将讨论我们用来推广外推控制线性模型以外的两个模型的方法。 |
| |
当您在 JMP 中构建预测模型时,您首先需要一组预测变量和一组响应变量。 |
| |
训练一些监督模型,然后可以使用分析器来可视化模型表面。 |
| |
JMP 中的刻画器有多种变体。 您可以在建模平台内部使用分析器,可以输出预测公式并构建 |
| |
正如 Laura 所演示的,适用于多个模型的分析器。 您可以为集成模型构建分析器。 我们想要一种能够推广到所有这些场景的外推控制方法,因此我们将使用无监督方法,而不是将我们的方法与特定模型联系起来。 |
| |
只有当预测点远离预测变量空间中数据集中的位置时,我们才会将其标记为外推。 这使我们能够在各个分析器之间保持一致,以便我们的外推控制方法可以插入到任何分析器中。 |
| |
杠杆的多元距离解释表明,霍特林的 T 平方可以作为一般外推控制的距离。 事实上,一些代数运算将表明霍特林的 T 平方只是杠杆的转移和缩放。 |
| |
该图显示了霍特林的 T 平方如何测量观测值所在的椭圆,其中椭圆以数据均值为中心,形状由协方差矩阵定义。 |
| |
由于我们不再采用线性模型,因此该指标与预测方差没有相同的联系。 因此,我们不再依赖线性模型中使用的阈值,而是做出一些分布假设来确定是否 |
| |
预测点的 T 平方应被视为外推法。 |
| |
在这里,我展示了霍特林 T 平方的公式。 使用模型的训练数据来估计均值和协方差矩阵。 |
| |
如果 P 小于 N,其中 P 是预测变量的数量,N 是观测值的数量, |
| |
如果预测变量处于多元正态分布,则预测点的 T 平方具有 F 分布。 然而,我们想要一种方法 |
| |
概括具有复杂数据类型的数据集,例如连续数据集和分类数据集的混合,其中 P 大于 N; |
| |
具有缺失值的数据集。 因此,我们没有在每种情况下分析地计算分布,而是使用一个简单的保守控制限制,我们发现它在实践中效果很好。 |
| |
这是使用训练数据 T 平方经验分布的三西格玛控制限,正如 Laura 提到的,您还可以调整此乘数。 |
| |
一个复杂的情况是,当 P 大于 N 时,霍特林的 T 平方是不确定的。 协方差矩阵中的参数太多,无法用可用数据进行估计。 |
| |
这通常发生在外推控制的典型用例中,例如偏最小二乘法。 因此,我们决定采用一种新颖的方法来计算 Hotelling 的 T 平方,该方法可以处理这些情况,我们将其称为正则化 T 平方。 |
| |
为了计算协方差矩阵,我们使用最初由 Schafer 和 Strimmer 为高维基因组数据开发的正则化估计器。 这只是完整样本协方差矩阵(此处为 U)和约束目标矩阵(此处为 D)的加权组合。 |
| |
对于 Lambda 权重参数,Schafer 和 Strimmer 导出了一个解析表达式,该表达式可以渐近地最小化 MSE(估计量)。 |
| |
Schafer 和 Strimmer 提出了几种可能的目标矩阵。 我们选择的目标矩阵是对角矩阵,对角线上有预测变量的样本方差。 该目标矩阵对于外推控制具有许多优点。 |
| |
首先,在查看数据之前,我们不会假设变量之间有任何相关结构,这与一般先验一样有效。 |
| |
此外,当用于估计协方差矩阵的数据很少时,无论是由于 N 较小还是缺少很大一部分, |
| |
椭圆约束通过对角矩阵上的大权重进行扩展,这导致外推控制的测试更加保守。 我们发现这对于合理控制误报率是必要的。 |
| |
更简单地说,当训练数据有限时,正则化 T 平方不太可能将预测标记为外推法,而这正是您想要的,因为您更有可能偶然观察到协方差。 |
| |
我们有一些模拟结果展示了这些细节,但我没有时间详细讨论所有这些。 相反,我们在社区网页上放置了一篇存档论文的链接,并计划将其提交给《计算图形统计杂志》。 |
| |
下一张幻灯片显示了我们需要考虑的其他一些重要细节。 我们需要弄清楚如何处理分类变量。 |
| |
我们只是将它们转换为指标编码的虚拟变量。 这与多重对应分析相当。 |
| |
另一个复杂的问题是当数据丢失时如何计算霍特林的 T 平方。 多个 JMP 预测建模平台使用缺失数据的观测结果来训练模型。 |
| |
其中包括朴素贝叶斯和引导森林,这些公式显示了我们用来估计协方差矩阵的成对删除方法。 |
| |
更常见的是使用行删除,这意味着在计算协方差矩阵之前删除所有具有缺失值的观测值。 这是最简单的,但如果训练数据的样本量很小,可能会导致丢弃有用的数据。 |
| |
通过成对删除,仅当用于计算相应条目的变量对中存在缺失值时,才会删除观测值。 |
| |
这就是这些公式所显示的内容。 这似乎是一件简单的事情,您只需使用所有可用的数据,但实际上可能会导致许多问题,因为计算每个条目时使用不同的观察结果。 |
| |
这可能会导致奇怪的事情发生,比如协方差矩阵具有负特征值,这是我们必须处理的问题。 |
| |
以下是我们在评估中与其他方法进行比较时发现的正则化 T 平方的一些优点。 |
| |
一是正则化的工作方式与正常化的正常工作方式相同。 它在过度拟合训练数据和过度偏差估计器之间取得了平衡。 这使得估计器对于噪声和模型错误指定更加稳健。 |
| |
接下来,Schafer 和 Strimmer 在他们的论文中表明,正则化可以在高维设置中产生更准确的估计器。 这有助于解决维数灾难,维数灾难困扰着大多数基于距离的外推控制方法。 |
| |
然后,在开发了外推控制方法的领域中, |
| |
它们通常同时具有高维数据和高度相关的预测变量。 例如,在化学信息学和化学计量学中,化学特征通常是高度相关的。 |
| |
外推控制通常与 PCA 和 PLS 模型结合使用,其中 T 平方和 DModX 用于检测相关结构的违规。 这与我们在模型驱动的多元控制图中所做的类似。 |
| |
由于这是一个常见的用例,我们希望有一个与这些方法相差不远的选项。 |
| |
我们的正则化 T 方提供 |
| |
相同类型的外推控制,但它不需要投影步骤,这有一些优点。 |
| |
我们发现这使我们能够更好地推广到其他类型的预测模型。 |
| |
此外,在我们的评估中,我们观察到,如果线性投影不适用于您的数据,例如预测变量之间存在非线性关系, |
| |
这些错误可能会扩大基于投影的方法的控制极限,这将导致对外推法的保护很差,而我们的方法比这更稳健。 |
| |
然后另一个重要的一点是我们发现 |
| |
单一外推指标的使用和解释要简单得多。 |
| |
以下是外推控制功能的快速总结。 该方法提供了可行区域的更好可视化 |
| |
分析器中的高维模型。 已经实施了一种新的遗传算法来实现灵活的约束优化。 |
| |
我们的正则化 T 平方可以处理 P 大于 N 以及连续变量和分类变量等情况下的混乱观测数据。 |
| |
该方法适用于 JMP 16 Pro 中的大多数预测模型,并支持它们的许多特性。 它也可以在图形分析器中使用,这确实打开了它的实用性,因为它可以对任何预测公式进行操作。 |
| |
然后,作为未来的方向,我们正在考虑实现基于 K 最近邻的约束,该约束将超越当前的相关结构约束。 |
| |
通常预测变量是由多个分布生成的,导致预测变量空间中的聚类,并且基于 K 最近邻的方法将使我们能够控制聚类之间的外推。 |
| |
感谢所有收看本视频的人,如果您有任何其他问题,请发送电子邮件至这里。 |
| 杰里米·阿什,JMP |
你们还在那里。 |
| 克里斯·戈特瓦尔特 |
对我是。 |
| 劳拉·兰卡斯特 |
只是。 |