扬声器
|
成绩单
|
| 蒂姆·皮尔斯 |
走。 |
| |
是的,我要继续静音。 |
| |
你好,我是克里斯·戈特沃特。 我和我的共同主持人 Laura Lancaster 和 Jeremy Ash 正在展示一种有用的新 JMP Pro 功能,称为外推控制。 |
| |
几乎任何你想预测的模型都有一定的适用范围, |
| |
输入空间的一个区域,他们的预测被认为是 |
| |
足够可靠。 在该区域之外,我们开始外推模型两点,远离用于拟合模型的数据。 在这些点使用该模型的预测可能会导致完全不可靠的预测。 |
| 外推的主要来源有两个 |
统计外推法和基于域的外推法。 新功能涵盖了这两种类型。 |
| |
当人们尝试使用 X 值不接近用于训练该模型的值的模型进行预测时,就会发生统计外推。 |
| |
当您尝试对 X 进行评估时,会发生基于域的外推,而 X 由于科学原因是不可能的 |
| |
或基于工程的约束。 此处的示例在一个示例中说明了两种外推。 在这里,我们看到了冶金生产过程模型中的轮廓仪。 |
| |
预测读数为 -2.96,没有迹象表明我们正在评估不可能的温度和压力组合 |
| |
在域意义上为这台机器实现。 我们也有统计外推,因为它与使用的数据相距甚远 |
| |
拟合模型,如右侧训练数据的散点图所示。 在 JMP Pro 16 中,Jeremy、Laura 和我合作添加了一项新功能,该功能可以在分析器认为您可能在推断时发出警告。 |
| |
或者,如果您打开外推控制,它会将您看到的点集限制为仅那些它认为不是外推的点。 |
| |
我们有两种类型的外推控制。 |
| |
一种是基于杠杆的概念并使用最小二乘模型。 第一种类型仅适用于拟合模型最小二乘法的 Pro 版本。 |
| |
另一种类型我们称为通用机器学习外推控制,它在分析器平台和 JMP Pro 中几个最常见的机器学习平台中可用。 |
| |
根据要求,我们甚至可以将其添加到 mor. 最小二乘外推控制使用杠杆的概念,就像预测方差的缩放版本。 它是基于模型的,所以 |
| |
它使用有关主效应相互作用和高阶项的信息来确定外推。 |
| |
对于一般的机器学习外推控制案例,我们不得不想出自己的办法。 我们想要一种在缺失值方面具有鲁棒性的方法, |
| |
线性依赖,更快的计算,可以处理连续和分类输入变量的混合,我们还明确希望将外推模型与用于拟合数据的模型分开。 |
| |
因此,当我们打开一般外推控制时,只有一个监督模型......它使输入变量适合我们在分析器跟踪中看到的响应。 |
| |
Profile 提出了一个快速而肮脏的无监督模型来描述训练集 Xs,而这个无监督模型被 Profiler 在幕后用来确定外推控制约束。 |
| |
所以我不得不切换,因为 PowerPoint 我的相机现在不适应,出于某种原因。 |
| |
我们知道从事数据科学工作的人们每天都在进行有风险的推断,并且相信使用推断会导致预测不佳并最终导致糟糕的业务成果。 |
| |
外推控制为模型预测设置了护栏,并将导致 JMP Pro 用户在量化上做出更好的决策。 |
| |
当用户看到外推发生时,用户必须根据他们的领域知识和对手头问题的熟悉程度来决定是否应该使用预测。 |
| |
如果您开始看到外推控制警告发生,通常很可能是该模型的生命周期结束,是时候将其重新拟合为新数据了,因为输入的分布已经偏离了训练数据的分布。 |
| |
老实说,我们感到非常惊讶和震惊的是,数据科学界并没有更好地理解识别外推的需要 |
| |
并使控制外推尽可能简单和自动。 Laura 在 JMP Pro 中开发了它,接下来将演示该选项。 然后,在我们团队中做了大量研究的 Jeremy 将深入研究该方法的数学细节和统计动机。 |
| |
你好。 我的名字是 Laura Lancaster,我来这里是为了演示添加到 JMP Pro 16 的外推控件。 我想从一个使用拟合模型最小二乘平台的相当简单的例子开始。 |
| |
我将使用一些可能熟悉的数据。 这是样本数据中的健身数据。 |
| |
我将使用摄氧量作为我的反应和运行时间,运行脉冲和最大脉冲作为我的预测指标。 我想重申,在拟合模型拟合最小二乘法中,使用的外推指标是杠杆率,所以让我们继续开始 JMP。 |
| |
所以现在,我在 JMP 中打开了健身数据,并且我有一个脚本可以保存到数据表中以自动启动我的拟合最小二乘模型。 |
| |
所以我将继续运行该脚本。 它启动最小二乘平台。 |
| |
我让探查器自动打开,我们可以看到探查器看起来像过去一样, |
| |
其中因子边界由每个因子的范围单独定义,为我们提供矩形边界约束。 |
| |
当我更改因子设置时,由于这些边界约束,很难判断您是否远离数据的相关结构。 |
| |
这就是我们想要添加外推控制的原因。 因此,这已添加到 JMPs Pro 16 中的多个平台中, |
| |
包括拟合最小二乘法。 要获得外推控制,请转到分析器菜单下的菜单。 因此,如果我看这里,我会看到有一个称为外推控制的新选项。 |
| |
它默认设置为关闭,但我可以将其打开或打开警告以打开外推控制。 如果我将其打开,请注意它会将我的个人资料跟踪限制为仅转到我未推断的值。 |
| |
如果我将其打开为警告,我会看到完整的轮廓跟踪,但是当我进入一个被认为是外推的区域时,我会收到警告。 |
| |
我还可以打开外推细节,我觉得这很有帮助, |
| |
这给了我更多的信息。 首先,它告诉我我用来定义外推的指标是杠杆,这在拟合最小二乘平台中是正确的, |
| |
默认情况下最初使用的阈值将是最大杠杆,但这是我可以更改的,稍后我将向您展示。 |
| |
此外,我可以看到我当前设置的外推指标是什么。 这就是这个数字,它会随着我更改因子设置而改变。 |
| |
每当这个数字大于阈值时,我都会收到这个警告,我可能会推断。 如果低于,我将不再收到该警告。 |
| |
除非我更改菜单中的某些内容以调整我的阈值,否则此阈值不会改变。 所以让我现在就去做。 我要去菜单, |
| |
我要去设置阈值标准。 因此,在拟合最小二乘法中,您有两个阈值选项。 最初,它被设置为最大杠杆,这将使您保持在数据的凸洞内, |
| |
或者您可以切换到乘数乘以平均杠杆或模型项超过观察值。 我想切换到那个阈值,所以它设置为三个 |
| |
默认情况下作为乘数,所以这将是平均杠杆的三倍。 单击“确定”并注意我的阈值将发生变化。 它实际上变小了,所以这是一个更保守的外推定义。 |
| |
我要把它重新打开以限制我的个人资料跟踪,现在我只能去区域 |
| |
我处于平均杠杆率的三倍以内。 |
| |
现在我们还实现了遵守外推约束的优化。 所以现在,如果我打开设置合意性 |
| |
我做优化, |
| |
我会得到一个满足外推约束的最优值。 请注意,此指标小于或等于阈值。 |
| |
所以现在,当我转到下一张幻灯片时,它将在图表(散点图矩阵)中进行比较,外推控制打开和关闭时的最佳值之间的差异。 |
| |
这是我用 JMP 创建的散点图矩阵,它显示了原始预测变量数据,以及预测变量值 |
| |
蓝色表示不使用外推控制的最优解,红色表示使用外推控制的最优解。 并注意蓝色的无约束解,对吧 |
| |
这里,违反了原始数据的运行脉冲和最大脉冲的相关结构,从而增加了这个预测的不确定性,而使用外推控制的最优解更符合原始数据。 |
| |
现在让我们看一个使用更通用的外推控制方法的示例,我们将其称为正则化 T 平方方法。 |
| |
正如 Chris 之前提到的,我们为最小二乘模型以外的模型开发了这种方法。 我们将查看样本数据中的糖尿病数据的神经模型。 |
| |
反应是疾病进展的量度,预测因子是基线变量。 同样,用于此示例的外推度量是正则化的 T 平方,Jeremy 将在几分钟内更详细地描述它。 |
| |
因此,我在 JMP 中打开了糖尿病数据,并且保存了我的神经模型拟合的脚本。 我将继续运行该脚本。 |
| |
它启动了神经平台。 请注意,我正在使用验证方法随机阻止。 我只是想指出,无论何时您使用验证方法,外推控制都仅基于训练数据 |
| |
而不是您的验证或测试数据。 |
| |
所以我打开了分析器,你可以看到它使用了完整的跟踪。 外推控制未打开。 |
| |
让我们继续并打开它。 |
| |
我还要打开细节。 |
| |
您可以看到跟踪已被限制,度量是正则化的 T 方。 |
| |
阈值是样本正则化 T 平方标准差的三倍。 Jeremy 将在几分钟内详细讨论这一切的确切含义。 |
| |
我只想提一下,当我们使用正则化 T 平方方法时,阈值只有一种选择,但您可以调整乘数。 所以如果你去 |
| |
外推控制,设置阈值,您可以调整此乘数,但我将其保留为 3。 现在我想使用 |
| |
外推控制,所以我只是要做最大化并记住。 现在我有了一个启用外推控制的最佳解决方案。 |
| |
所以现在,我想看看我们的散点图矩阵,就像我们之前用原始数据查看的一样,以及使用和不使用外推控制的最佳值。 |
| |
所以这是我在 JMP 中创建的糖尿病数据的散点图矩阵。 它有原始的预测值, |
| |
以及在红色中使用外推控制的最优解和在蓝色中不使用外推控制的最优解。 你可以看到 |
| |
与蓝点相比,红点似乎更符合原始数据的相关结构。 当您查看低密度脂蛋白与总胆固醇的对比时,情况尤其如此。 |
| |
现在让我们看一个使用图形菜单下的分析器的示例,我将其称为图形分析器。 |
| |
它还使用正则化 T 平方方法,它允许我们对可以创建并保存为 JSL 公式的任何类型的模型使用外推控制。 它还允许我们一次对多个模型进行外推控制。 |
| |
因此,让我们看一个使用粉末冶金技术为汽车行业生产钢制传动轴的公司的例子。 |
| |
他们希望能够为他们的生产找到最佳设置,以最大限度地减少收缩并最大限度地减少由于表面状况不佳而导致的故障。 所以我们有两个回应 |
| |
收缩,这是连续的,我们将为此拟合最小二乘模型,以及表面条件,即通过/失败,我们将为那个拟合一个名义逻辑模型。 |
| |
我们的预测变量只是生产中的一些关键过程变量。 再一次,外推度量是正则化的 T 平方。 |
| |
所以我在 JMP 中打开了粉末冶金数据,并且我已经为我的收缩响应拟合了最小二乘模型, |
| |
我已经为表面条件通过/失败响应拟合了一个名义逻辑模型。 我已经将预测公式保存到数据表中,以便它们可以在图形分析器中使用。 |
| |
因此,如果我转到图形菜单分析器,我可以加载收缩率的预测公式,而我的预测公式是针对表面状况的。 |
| |
单击确定。 |
| |
现在我已经将我的两个模型都启动到了图形分析器中。 |
| |
而且,在我打开外推控制之前,您可以看到我拥有完整的轮廓轨迹。 一旦我打开外推控制, |
| |
你可以看到痕迹缩小了一点。 而且我还要打开细节 |
| |
只是为了表明,确实,我在此方法中使用了正则化的 T 方。 |
| |
所以我真正想做的是,我想找到使收缩最小化和失败最小化的最佳条件 |
| |
打开外推控制。 我想确保我不是外推。 我想找到一个有用的解决方案。 |
| |
在我进行优化之前,我实际上需要设置我的愿望。 我要做设定的愿望;它对于收缩已经是正确的,但我需要为表面条件设置它们。 |
| |
我将尝试最大化传球并最小化失败。 |
| |
好的。 |
| |
现在我应该能够使用外推控制进行优化,最大化并记住。 |
| |
现在我有了我的最佳解决方案 |
| |
打开外推控制。 所以现在让我们再次查看原始数据的散点图矩阵,以及外推控制打开的解决方案和外推控制关闭的解决方案。 |
| |
所以这是我在 JMP 中创建的粉末冶金数据的散点图矩阵,它也有最优解 |
| |
外推控制为红点,无外推控制的最优解为蓝点。 而且,再一次,你可以看到,当我们不执行外推控制时, |
| |
最佳解决方案远远超出数据的相关结构。 我们可以特别看到这里的比率与压实压力。 |
| |
所以现在,我想将演示文稿交给 Jeremy,以详细介绍我们的方法。 |
| |
你好。 所以这里有一些我们在项目开始时制定的外推控制目标。 |
| |
我们需要一个可以使用大量观测值和变量快速计算的外推度量,我们需要一种快速的方法来评估该度量是否表明外推。 这是为了保持分析器跟踪的交互性和 |
| |
我们需要它来执行优化。 |
| |
我们希望它能够支持分析器中可用的各种变量类型。 这些本质上是连续的、分类的和有序的。 |
| |
我们想利用缺失细胞的观察结果,因为一些建模方法将包括这些观察结果和???。 |
| |
我们想要一种对数据中的线性依赖具有鲁棒性的方法。 例如,当变量数量大于观察数量时,就会发生这种情况。 |
| |
我们想要一些易于自动化的东西,而无需大量用户输入。 |
| |
对于最小二乘模型,我们采用了杠杆,它通常用于识别线性模型中的异常值。 |
| |
根据此公式计算新预测点的杠杆。 关于杠杆有多种解释。 一种解释是 |
| |
它是预测点距训练数据中心的多元距离。 另一种解释是它是一个缩放的预测方差,因此随着预测点远离数据中心,预测的不确定性增加。 |
| |
我们使用统计文献中的两个常见阈值来确定这个距离是否过大。 |
| |
首先是最大杠杆。 超出此阈值的预测点位于训练数据的凸孔之外。 |
| |
第二个是杠杆平均值的三倍。 可以证明,这相当于模型项数除以观测数的三倍。 |
| |
正如劳拉之前所述,您可以更改这些阈值的乘数。 |
| |
最后,当优化意愿时,外推约束是非线性约束。 之前分析器允许使用线性约束进行约束优化, |
| |
但这种类型的优化更具挑战性,因此劳拉实施了遗传算法。 如果您不熟悉这些,遗传算法会使用分子进化原理来优化复杂的成本函数。 |
| |
接下来我将讨论我们用来概括外推控制两个线性模型以外的模型的方法。 |
| |
在 JMP 中构建预测模型时,您从一组预测变量和一组响应变量开始。 |
| |
训练一些监督模型,然后可以使用分析器来可视化模型表面。 |
| |
JMP 中的分析器有许多变体。 您可以在建模平台内部使用分析器,您可以输出预测公式并构建 |
| |
正如劳拉所展示的那样,用于多个模型的分析器。 您可以为集成模型构建分析器。 我们想要一种可以推广到所有这些场景的外推控制方法,因此我们将使用无监督方法,而不是将我们的方法与特定模型联系起来。 |
| |
我们只会将预测点标记为外推,如果它远离数据集中在预测器空间中的位置。 这使我们能够在分析器之间保持一致,以便我们的外推控制方法可以插入任何分析器。 |
| |
杠杆的多变量距离解释建议将 Hotelling's T 平方作为一般外推控制的距离。 事实上,一些代数操作将表明 Hotelling 的 T 平方只是杠杆转移和缩放。 |
| |
此图显示了 Hotelling 的 T 平方如何测量观测值所在的椭圆,其中椭圆以数据均值为中心,形状由协方差矩阵定义。 |
| |
由于我们不再采用线性模型,因此该指标与预测方差没有相同的联系。 因此,与其依赖于线性模型中使用的阈值,我们将做出一些分布假设来确定 |
| |
预测点的 T 平方应视为外推法。 |
| |
在这里,我展示了 Hotelling 的 T 平方的公式。 使用模型的训练数据估计均值和协方差矩阵。 |
| |
如果 P 小于 N,其中 P 是预测变量的数量,N 是观测值的数量, |
| |
如果预测变量处于多元正态,则预测点的 T 平方具有 F 分布。 然而,我们想要一种方法 |
| |
概括具有复杂数据类型的数据集,例如连续和分类数据集的混合,其中 P 大于 N; |
| |
缺失值的数据集。 因此,我们没有在每种情况下分析地计算分布,而是使用我们发现在实践中效果很好的简单保守控制限制。 |
| |
这是一个 3 Sigma 控制极限,使用来自训练数据的 T 平方的经验分布,正如劳拉所提到的,您还可以调整这个乘数。 |
| |
一种复杂情况是,当 P 大于 N 时,Hotelling 的 T 平方是不确定的。 协方差矩阵中的参数太多,无法使用可用数据进行估计。 |
| |
这通常发生在外推控制的典型用例中,例如偏最小二乘法。 所以我们决定采用一种新颖的方法来计算 Hotelling 的 T 平方,它处理这些情况,我们称之为正则化 T 平方。 |
| |
为了计算协方差矩阵,我们使用最初由 Schafer 和 Strimmer 为高维基因组数据开发的正则化估计器。 这只是完整样本协方差矩阵(此处为 U)和约束目标矩阵(即 D)的加权组合。 |
| |
对于 Lambda 权重参数,Schafer 和 Strimmer 推导出了一个分析表达式,该表达式可以渐近地最小化估计量 MSE。 |
| |
Schafer 和 Strimmer 提出了几种可能的目标矩阵。 我们选择的目标矩阵是一个对角矩阵,其中预测变量的样本方差在对角线上。 该目标矩阵对于外推控制具有许多优点。 |
| |
首先,我们在看到数据之前不假设变量之间有任何相关结构,这作为一般先验很有效。 |
| |
此外,当估计协方差矩阵的数据很少时,无论是由于小 N 还是丢失了很大一部分, |
| |
椭圆约束在对角矩阵上扩大了一个较大的权重,这导致外推控制的测试更加保守。 我们发现这是获得假阳性率的合理控制所必需的。 |
| |
更简单地说,当训练数据有限时,正则化的 T 平方不太可能将预测标记为外推,这是您想要的,因为您更有可能偶然观察到协方差。 |
| |
我们有一些模拟结果来证明这些细节,但我没有时间深入研究这些细节。 相反,在社区网页上,我们在存档中放置了一篇论文的链接,我们计划将其提交给计算图形统计杂志。 |
| |
下一张幻灯片显示了我们需要考虑的其他一些重要细节。 我们需要弄清楚如何处理分类变量。 |
| |
我们只是将它们转换为指标编码的虚拟变量。 这与多重对应分析相当。 |
| |
另一个复杂问题是如何在数据缺失时计算 Hotelling 的 T 平方。 几个 JMP 预测建模平台使用缺失数据的观察来训练模型。 |
| |
这些包括朴素贝叶斯和引导森林,这些公式显示了我们用来估计协方差矩阵的成对删除方法。 |
| |
使用逐行删除更常见,这意味着在计算协方差矩阵之前删除所有具有缺失值的观察值。 这是最简单的,但如果训练数据的样本量很小,它可能会导致丢弃有用的数据。 |
| |
使用成对删除,仅当用于计算相应条目的变量对中存在缺失值时,才会删除观察值。 |
| |
这就是这些公式所显示的内容。 这似乎是一件简单的事情,您只是在使用所有可用的数据,但实际上可能会导致许多问题,因为用于计算每个条目的观察值不同。 |
| |
这可能会导致奇怪的事情发生,例如具有负特征值的协方差矩阵,这是我们必须处理的事情。 |
| |
以下是我们在评估中与其他方法相比时发现的正则化 T 平方的一些优点。 |
| |
一是正则化的工作方式与正则化通常的工作方式相同。 它在过度拟合训练数据和过度偏置估计器之间取得平衡。 这使得估计器对噪声和模型指定错误更加鲁棒。 |
| |
接下来,Schafer 和 Strimmer 在他们的论文中表明,正则化可以在高维设置中产生更准确的估计量。 这有助于解决困扰大多数基于距离的外推控制方法的维数灾难。 |
| |
然后,在开发了外推控制方法的领域中, |
| |
通常它们既有高维数据又有高度相关的预测因子。 例如,在化学信息学和化学指标中,化学特征通常高度相关。 |
| |
外推控制通常与 PCA 和 PLS 模型结合使用,其中 T 平方和 DModX 用于检测相关结构的违规。 这类似于我们在模型驱动的多元控制图中所做的。 |
| |
由于这是一个常见的用例,我们希望有一个选项不会偏离这些方法太远。 |
| |
我们的正则化 T 平方提供 |
| |
同类型的外推控制,但不需要投影步骤,具有一定的优势。 |
| |
我们发现这使我们能够更好地推广到其他类型的预测模型。 |
| |
同样在我们的评估中,我们观察到如果线性投影不适用于您的数据,比如您在预测变量之间存在非线性关系, |
| |
这些错误会扩大基于投影的方法的控制限,这将导致对外推的保护很差,而我们的方法比这更稳健。 |
| |
然后另一个重要的点是我们发现 |
| |
单一外推指标的使用和解释要简单得多。 |
| |
这是外推控制功能的快速总结。 该方法提供了更好的可行区域可视化 |
| |
分析器中的高维模型。 一种新的遗传算法已被实现用于灵活的约束优化。 |
| |
在 P 大于 N 以及连续和分类变量等情况下,我们的正则化 T 平方处理混乱的观察数据。 |
| |
该方法可用于 JMP 16 Pro 中的大多数预测模型,并支持它们的许多特性。 它也可以在图形分析器中使用,这确实打开了它的实用性,因为它可以对任何预测公式进行操作。 |
| |
然后作为未来的方向,我们正在考虑实施基于 K 最近邻的约束,该约束将超出当前的相关结构约束。 |
| |
预测变量通常由多个分布生成,从而导致预测变量空间中的聚类,而基于 K 近邻的方法将使我们能够控制聚类之间的外推。 |
| |
所以,感谢所有收看此视频的人,如果您有任何其他问题,请发送电子邮件至这里。 |
| 杰里米·阿什,JMP |
你们还在。 |
| 克里斯·戈特沃特 |
对我是。 |
| 劳拉·兰卡斯特 |
只是。 |