756657_zh-CN

liliconcom

JMP® Pro 16 预测刻画器中的外推控制 (2021-EU-45MP-751)

Laura Lancaster，SAS JMP 首席研究统计师开发人员
Jeremy Ash，SAS JMP 分析软件测试员
Chris Gotwalt，SAS 统计研究与开发 JMP 总监

不受控制的模型外推会导致两种严重的错误：(1) 模型可能在远离数据的情况下完全无效；(2) 变量值的组合可能无法在物理上实现。使用刻画器优化拟合观测数据的模型可能会导致外推解，这些解在没有任何预警的情况下毫无实际用途。JMP Pro 16 将外推控制引入到许多预测建模平台以及刻画器平台本身。预测刻画器中的这一新功能会提醒用户可能存在的外推，或完全避免在模型可能无效的地方绘制外推点。此外，用户可以在避免外推的约束区域内进行优化。在本演示中，我们将讨论外推控制的动机和实用性，演示如何在 JMP 中轻松使用它，并详细描述我们的方法。

自动生成的成绩单...

扬声器	抄本
	嗨，我是 Chris Gotwalt。我的同事
	主持人 Laura Lancaster 和
	Jeremy Ash 和我一起介绍
	实用的全新 JMP Pro
	称为外推的能力
	控制。几乎任何模型
	你想预测
	具有一系列
	适用性，
	输入空间，其中
	预测被认为是
	足够可靠。除此之外
	区域，我们开始推断
	模型远离
	用于拟合模型的数据。使用
	该模型的预测
	在这些点上可能会导致
	完全不可靠
	预测。有两个
	主要来源
外推	统计
	外推和基于域的
	外推法。两种类型都是
	新功能涵盖。
	发生统计外推
	当一个人试图
	使用 x 模型进行预测
	这与价值观并不接近
	用于训练该模型。
	基于域的外推
	当你尝试评估时会发生
	在 x 处，由于
	科学或工程
	基于约束。示例
	这里说明了两种
	在一个例子中进行外推。
	这里我们看到一个来自
	冶金生产模型
	过程。预测如下
	结果是-2.96，没有
	表明我们正在评估
	在温度组合下
	以及不可能的压力
	在领域意义上实现
	这台机器。我们还有
	统计外推
	与用于拟合的数据相差甚远
	散点图中的模型
	训练数据的图
	对了。在 JMP Pro 16 中，Jeremy
	劳拉和我合作
	添加新功能
	当分析器
	认为你可能是
	推断。或者如果你转身
	外推控制，它
	将限制点集
	你只看到那些
	它不认为
	推断。我们有两种类型
	外推控制。一是
	基于杠杆的概念
	并使用最小二乘模型。
	第一种类型仅
	在专业版中可用
	拟合模型最小二乘法。
	另一种类型我们称之为一般
	机器学习外推
	控制并可在
	Profiler 平台和一些
	最常见的机器学习
	JMP Pro 中的平台。
	请求，我们甚至可以将其添加到
	更多。最小二乘法
	外推控制采用
	杠杆的概念
	就像一个缩放版本
	预测方差。它是模型
	基于，因此它使用信息
	关于主要影响
	高阶相互作用
	确定条款
	外推。对于一般
	机器学习外推
	控制案例，我们必须提出
	我们采用自己的方法。我们
	想要一种方法
	对缺失值稳健，线性
	依赖关系、更快的计算、
	可以处理混合物
	连续和分类输入
	变量，我们还可以
	明确想要分开
	外推模型
	用于拟合数据的模型。因此
	当我们有一般
	外推控制已开启，
	只有一个受监督
	适合的模型
	响应的输入变量
	我们在分析器中看到的
	痕迹。分析器
	快速而肮脏的
	无监督模型来描述
	训练集轴，以及这个
	采用无监督模型
	幕后
	分析器来确定
	外推控制
	约束。所以我必须
	切换，因为 PowerPoint 和我的
	相机不配合
	现在因为某种原因。我们
	知道有风险的推断
	每天都有
	从事数据科学工作的人员
	并确信使用
	外推法导致不良
	预测并最终
	糟糕的业务成果。
	外推控制地点
	模型预测的护栏
	并将导致量化
	JMP Pro 助您做出更明智的决策
	用户。当用户看到推断
	发生时，用户必须做出
	关于是否
	是否应该使用预测
	根据其域使用
	知识和熟悉
	当前的问题。如果你
	开始看到推断
	控制警告经常发生
	通常，这可能是
	该模型的生命周期
	是时候重新适应新数据了
	因为
	投入已从
	训练数据。我们
	说实话，相当惊讶，
	担心需要
	识别外推不是
	数据更好地体现了
	科学界和
	控制外推为
	尽可能简单和自动化。
	Laura 在 JMP 中开发了它
	Pro 将演示
	接下来是选项。然后是杰里米，
	对我们的
	团队将深入数学
	细节和统计
	该方法的动机。
	你好，我叫劳拉
	兰开斯特和我来这里是为了
	外推演示
	添加到 JMP 的控件
	16. 我想开始
	举一个相当简单的例子
	使用拟合模型最少
	广场平台。我要
	使用一些可能
	熟悉的；这是健身数据
	这是样本数据，我
	将使用氧气吸收作为
	我的回应和运行时间，运行
	Pulse 和 Max Pulse 作为我的
	预测因素。我想
	重申一下，在拟合模型中，
	拟合最小二乘法
	外推指标
	用的是杠杆。所以我们开始吧
	继续并开始 JMP。
	现在我有了健身数据
	在 JMP 中打开，我有一个脚本
	保存到数据表中
	自动启动我的健身
	最小二乘模型。所以我
	继续运行
	脚本，它启动最少的
	方形平台。我有
	分析器会自动打开。并且
	我们可以看到分析器
	看起来它总是在
	过去，因素边界
	由每个范围定义
	单独考虑，给我们
	矩形边界约束。
	当我改变因素
	设置，因为这些绑定
	约束，它真的可以
	很难判断你是否在搬家
	远远超出相关性
	数据的结构。
	这就是为什么我们想要添加
	外推控制。所以
	这已添加到几个
	JMP Pro 平台
	16，包括拟合最小二乘法。
	为了得到推断
	控制，你去下面的菜单
	分析器菜单。如果我查看
	我看到这里有一个新选项
	称为外推控制。
	默认情况下，它处于关闭状态，
	但我可以将其转换为
	开启或警告开启
	外推控制。如果我
	将其打开，注意
	它限制了我的个人资料
	追踪只到值
	我没有进行推断。
	如果我将其转为警告
	我会查看完整的个人资料
	痕迹，但我会得到一个
	当我去某个地区时发出警告
	在那里它将被考虑
	进行推断。
	我还可以开启外推
	细节，我发现真的
	很有帮助，这给了我
	更多信息。首先
	这一切告诉我我的
	我使用的指标
	定义外推法是
	杠杆，这在
	拟合最小二乘平台。
	而门槛是
	最初默认使用的是
	将成为最大杠杆，
	但这是我可以做的
	改变，我会让你看到
	马上。另外，我可以看到
	我的外推指标是什么
	适用于我的当前设置。
	就是这个号码，
	随着我的改变而改变
	我的因素设置。
	任何时候这个数字大于
	比门槛高，我要
	收到这个警告，我可能会
	推断。如果低于，
	我不会再得到那个
	警告。此阈值不
	除非我改变，否则不会改变
	菜单中需要调整的内容
	我的门槛。那么让我继续吧。
	现在就这么做。所以我要
	进入菜单
	我要去片场
	阈值标准。所以
	在拟合最小二乘法中，你有两个
	阈值选项
	最初，它被设置为最大
	杠杆，这将保持
	你在凸包内
	数据，或者你可以切换到
	乘数乘以平均值
	杠杆或模型条款
	观察。我想
	切换到那个阈值。所以
	设置为 3 作为乘数
	默认情况下。所以这将
	是平均杠杆的3倍
	然后我点击“确定”，然后注意到
	我的门槛将会改变。
	它实际上变小了，所以这个
	更为保守
	外推的定义。
	我要把它转回
	限制我的个人资料痕迹。
	现在我只能去
	我所在的地区在 3
	乘以平均杠杆。
	现在我们也有
	实施优化
	遵守
	外推
	约束。所以现在如果我
	开启设置可取性
	我负责优化，
	我将得到一个最优值
	满足外推
	约束。请注意，
	指标小于或等于
	门槛。所以现在当我去
	下一张幻灯片是
	用图表、散点图进行比较
	矩阵，差异
	最佳值与
	外推控制已开启
	并将其关闭。
	这是散点图
	我用 JMP 创建的矩阵，
	并显示原始
	预测变量数据
	作为预测变量值
	寻找最优解
	没有外推控制，
	蓝色，最佳解决方案使用
	红色表示外推控制。
	并注意到不受约束的
	这里用蓝色表示的解决方案，
	就在这里，违反了
	相关结构
	运行脉冲的原始数据和
	最大脉冲，从而增加
	该预测的不确定性。
	而最优解
	确实使用了外推法
	控制更加一致
	与原始数据。
	现在让我们看一个例子
	使用更通用的
	外推控制方法，
	我们称之为
	正则化 T 平方方法。
	Chris 之前提到过，我们
	为模型开发了此方法
	除了最小二乘模型之外。
	所以我们要看一个
	糖尿病的神经模型
	样本中的数据
	数据。响应是一个度量
	疾病进展，以及
	预测指标是基线
	变量。再次，
	用于外推度量
	这个例子是
	正则化 T 方
	Jeremy 将会描述
	几分钟后会更详细地介绍。
	所以我打开了糖尿病数据
	JMP 和我保存了一个脚本
	我的神经模型适合。我
	继续运行
	脚本。它启动神经
	平台，并注意到我
	使用验证方法，随机
	忍住。我只是想指出
	无论何时你使用
	验证方法，
	外推控制基于
	仅基于训练数据
	而不是你的验证
	或测试数据。
	所以我打开了分析器
	你可以看到它正在使用
	完整迹线。外推
	控制未开启。让我们
	继续并打开它。
	我还要
	打开详细信息。
	你可以看到痕迹
	受到限制，并且指标
	是正则化的 T 平方。
	门槛是3倍
	样本的标准差
	正则化 T 平方。杰里米是
	将会进一步讨论
	这一切意味着
	分钟。我只是想
	当我们使用时
	正则化的 T 平方
	方法，只有一个选择
	阈值，但你可以
	调整乘数。所以如果你
	进入外推控制，设置
	阈值，你可以调整这个
	乘数，但我要
	把它留在3。现在我
	想要使用
	外推控制。所以我
	只是要最大化和
	记住。现在我有一个
	最优解
	外推控制转向
	现在我想看看
	在我们的散点图矩阵中，
	就像我们之前看到的一样
	原始数据，以及
	具有最优值
	并且无需推断
	控制。
	这是一个散点图矩阵
	我所收集的糖尿病数据
	在 JMP 中创建。它具有
	原始预测值，
	以及最优解
	使用外推控制
	红色，且无最优解
	蓝色表示外推控制。
	你可以看到红色
	点看起来更多
	在相关结构中
	原始数据比
	蓝色，而且特别
	当你看到这个 LDL 时
	与总胆固醇相比。
	现在我们来看一个例子
	使用下面的分析器
	图形菜单，我称之为
	图形分析器。它还使用
	正则化T平方方法
	它允许我们使用
	对任何外推控制
	可以
	创建并保存为 JSL
	公式。它还允许我们
	有外推控制
	一次可以创建多个模型。
	让我们看一个例子
	对于使用粉末的公司
	冶金技术
	生产钢制传动轴
	汽车行业。
	他们希望能够找到
	最佳设置
	生产将最小化
	收缩并最小化...
	尽量减少因不良
	服务条件。所以我们有
二	反应收缩（即
	持续不断，我们将
	拟合最小二乘模型
	)和表面状况(
	是通过/失败，我们将
	拟合名义逻辑模型
	那个）。我们的预测器
	变量只是一些关键
	生产过程中的过程变量。
	再次推断
	度量是正则化的 T 平方。
	所以我有粉末
	在 JMP 中打开冶金数据
	我已经适应了至少
	我的收缩的正方形模型
	回应，我已经适应了
	名义逻辑模型
	表面状况合格/不合格
	回应，我已经保存了
	数据的预测公式
	桌子，以便他们准备好
	用于图形分析器。
	如果我进入图表菜单
	分析器，我可以加载
	收缩预测公式
	我的预测公式是
	表面状况。
	点击“确定”。现在我有
	我的两个模特都开始
	图形分析器。
	在我打开之前
	外推控制，你
	可以看到我有完整的
	个人资料追踪。一旦我打开
	外推控制
	你可以看到痕迹
	缩小一点，我也会
	打开详细信息，
	只是为了表明我确实是
	使用正则化 T 平方
	这里使用这种方法。
	所以我真正想做的是
	想要找到最佳的
	我最小化的条件
	收缩，我尽量减少
	外推失败
	控制，我想确保
	我不是在推断。我想
	找到一个有用的解决方案。并且
	在我进行优化之前，
	我实际上需要设置我的
	愿望。所以我要
	设定愿望。它已经
	收缩正确，但我
	需要为服务设置它们
	条件。我会尽量最大化
	通过并尽量减少失败。
	K.
	现在我应该可以做到
	优化
	外推控制开启。
	尽量最大化并记住。
	现在我有了最佳状态
	外推解
	控制。现在让我们看看
	再次在
	散点图矩阵
	原始数据，以及
	外推解
	溶液中的控制，
	通过外推控制
	离开。
	这是一个散点图矩阵
	粉末冶金数据
	我在 JMP 中创建了它。
	也有最优解
	以外推控制作为
	红点，以及最佳
	无需外推的解决方案
	控制点是一个蓝点。一旦
	再次，你可以看到，当我们
	不要进行推断
	控制，最优解
	距离
	相关结构
	数据。我们尤其可以看到
	这里的比例与
	压实压力。
	所以现在我想交出
	向杰里米展示
	深入探讨
	关于我们的方法的详细信息。
	嗨，这里有一些
	外推控制目标
	我们在
	项目开始时。我们
	需要一个外推指标
	可以快速计算
	有大量的
	观察值和变量，以及
	我们需要一种快速的方法来评估
	该指标是否表明
	推断与否。这是
	保持互动性
	分析器跟踪和
	我们需要这个
	进行优化。
	我们希望能够
	支持各种变量
	可用的类型
	分析器。这些是
	本质上连续的，
	分类和序数。
	我们想利用
	缺失细胞的观察结果，
	因为一些建模方法
	将包括这些观察结果
	在 ？？？。
	我们想要一种方法
	对线性相关性具有鲁棒性
	数据。这些发生在
	变量数量较大
	比观察次数，
	例如。我们想要
	很容易的事情
	无需
	大量用户输入。
	对于最小二乘模型，我们
	依靠杠杆，也就是
	常用于识别异常值
	在线性模型中。杠杆
	新的预测点是
	根据这个计算
	公式。有很多
	杠杆的解释。
	一种解释是
	多元距离
	预测点距中心
	训练数据。另一个
	解释是，这是一个
	缩放预测方差。所以
	随着预测点的移动
	远离中心
	数据的不确定性
	预测的增加。而且我们
	使用两个常见的阈值
	统计文献
	确定这个距离
	太大了。第一个是
	最大杠杆，预测
	超出此阈值的点
	或在凸包之外
	训练数据。
	第二个是
	杠杆的平均值。
	可以证明这是
	相当于三倍
	模型项数除以
	按观察次数。
	正如劳拉所描述的
	之前，你可以改变
	这些的乘数
	階段。
	最后，当愿望
	正在进行优化，
	外推约束是
	非线性约束，以及
	以前，分析器允许
	约束优化
	线性约束。这种类型的
	优化更多
	具有挑战性，因此 Laura 实施了
	遗传算法。如果你
	不熟悉这些，
	遗传算法使用
	分子原理
	进化以优化
	复杂的成本函数。
	接下来，我将讨论
	我们用来概括的方法
	对模型的外推控制
	除了线性模型之外。当
	你正在构建一个预测
	在 JMP 中，您首先要
	一组预测变量和一个
	一组响应变量。一些
	监督模型已训练完毕，并且
	然后可以使用分析器
	可视化模型表面。
	有很多变化
	JMP 中的刻画器。您可以
	在内部使用分析器
	建模平台。您可以
	输出预测公式和
	为多个构建分析器
	模型。正如劳拉所展示的，
	您可以构建分析器
	集成模型。我们想要一个
	外推控制法
	这将概括所有这些
	场景，所以
	将我们的方法与
	具体型号，我们将
	使用无监督
	方法。
	我们只会标记一个
	预测点为
	如果距离很远，则推断
	数据所在位置之外
	集中在预测变量中
	空间。这让我们能够
	保持一致
	分析器，以便我们的
	外推控制法
	可以插入任何分析器。
	多元距离
	杠杆的解释
	建议 Hotelling 的 T 平方为
	一般距离
	外推控制。事实上，
	一些代数运算将会
	表明 Hotelling 的 T 平方是
	只是杠杆转移了
	缩放。该图显示了如何
	Hotelling 的 T 平方测量
	省略观察结果
	位于，其中椭圆位于
	以平均值为中心
	数据，形状已定义
	通过协方差矩阵。
	因为我们不再
	线性模型，这个指标
	没有相同的
	与预测的联系
	方差。因此
	依赖于所使用的阈值
	回到线性模型，我们
	打算做一些
	分布假设
	确定 T 平方是否
	对于预测点应该
	被视为外推。
	这里我展示了
	Hotelling T 平方。平均值和
	协方差矩阵估计
	使用训练数据
	模型。如果 P 小于 N，
	其中 P 是
	预测变量，N 是数字
	观察结果，如果
	多变量预测因素
	正常，则 T 平方为
	成瘾点有F
	分布。然而，我们想要
	一种方法来概括
	包含复杂数据的数据集
	类型，例如连续的混合
	和分类数据集，其中 P
	大于 N，数据集
	缺失值。因此，
	计算分布
	在每种情况下，我们进行分析
	使用简单的保守
	我们发现的控制限度
	在实践中效果很好。这是
	三西格玛控制限度
	使用经验分布
	训练中的 T 平方
	数据，正如 Laura 提到的，你
	也可以调整这个乘数。
	一个复杂的问题是，当 P
	大于 N，Hotelling 的 T
	平方是未定义的。有
	参数太多
	协方差矩阵估计
	利用现有数据，
	这在典型使用中经常发生
	外推控制案例
	就像偏最小二乘法一样。
	所以我们决定写一本小说
	计算 Hotelling T 值的方法
	平方，处理这些
	案例，我们称之为
	正则化的 T 平方。
	计算协方差
	矩阵我们使用正则化
	最初估计量
	由 Schafer 开发，
	修剪器高
	维基因组学数据。
	这只是一个加权
	完整组合
	样本协方差矩阵，
	这里是 U，还有一个
	约束目标矩阵
	即 D。
	对于 Lambda 权重
	参数，Schafer 和 Strimmer
	得出了分析
	最小化
	MSE，估计量
	渐近地。
	Schafer 和 Strimmer 提出
	几个可能的目标
	矩阵。目标矩阵我们
	选择了一个对角矩阵
	样本方差
	预测变量
	对角线。这个目标矩阵有
	有很多优点
	外推控制。首先，我们
	不要假设任何相关性
	变量之间的结构
	在看到数据之前，
	作为一般先验，效果很好。
	此外，当数据很少时
	估计协方差
	矩阵，要么是由于 N 较小，要么
	很大一部分缺失，
	椭圆约束是
	因重量较大而扩大
	对角矩阵，以及这个
	导致更加保守
	外推控制测试。
	我们发现这是必要的
	获得合理的控制
	假阳性率。换句话说
	更简单地说，当有
	有限的训练数据，
	正则化的 T 平方小于
	可能会将预测标记为
	外推法，这就是你
	想要，因为你更
	可能观察到协方差
	偶然。我们有一些
	模拟结果
	展示这些细节，
	但我没有时间去
	融入这一切。相反
	社区网页上，我们放了一个
	链接到档案中的论文和
	我们计划将其提交给
	计算杂志
	图形统计。
	下一张幻灯片展示了一些其他
	我们需要的重要细节
	考虑一下。我们需要弄清楚
	如何处理分类
	变量。我们只是
	将它们转化为指标
	编码虚拟变量。这是
	相当于多个
	对应分析。另一个
	复杂之处在于如何计算
	Hotelling 的 T 平方
	缺少数据。一些
	JMP预测建模
	平台利用观察
	缺少数据来训练
	模型。这些包括朴素
	贝叶斯和 Bootstrap 森林。以及
	这些公式表明
	成对删除方法我们
	用于估计协方差
	矩阵。更常见的是使用
	逐行删除。这意味着
	所有缺失的观测值
	之前删除的值
	计算协方差矩阵。
	这是最简单的，但它可以
	导致扔掉有用的
	数据，如果样本量
	训练数据量较小。
	成对删除观察
	并且仅当存在
	对中缺失的值
	用于计算的变量
	对应的条目，这就是
	这些公式表明了什么。
	看起来是一件简单的事情。
	你只是在使用所有数据
	这是可用的，但它
	实际上可以导致一系列
	问题，因为
	不同的观察方法
	计算每个条目。这可以
	导致奇怪的事情发生，
	像协方差矩阵
	负特征值，即
	我们必须处理的事情。
	以下是
	正则化的 T 平方
	与其他相比时发现
	我们评估中的方法。一个
	是正则化
	正则化的工作方式
	正常工作。它击中了
	过度拟合之间的平衡
	训练数据和过度偏见
	估计器。这使得
	估计器对噪声更稳健
	以及模型错误指定。
	接下来，Schafer 和 Strimmer
	他们在论文中表明
	正则化导致
	更准确的估计量
	高维设置。
	这有助于草书
	困扰
	大多数基于距离的方法
	用于外推控制。
	然后在有
	开发了以下方法
	外推控制，
	通常他们都有很高
	维数据和高度
	相关预测因子。对于
	化学信息学的例子和
	化学计量学、化学
	功能通常非常
	相关。外推控制
	经常组合使用
	使用 PCA 和 PLS 模型，其中
	T 平方 DModX 用于
	检测相关性违规
	结构。这类似于
	我们在模型驱动中做什么
	多元控制图。
	由于这是一个常见的用例，
	我们希望有一个选择
	没有偏离太远
	这些方法。我们的正则化 T
	squared 提供相同类型
	外推控制，但它
	不需要投影步骤
	这有一些优点。
	我们发现这使我们能够
	更好地概括其他类型
	预测模型。此外，
	我们的评估发现
	如果线性投影不
	非常适合您的数据，例如
	你有非线性关系
	预测变量之间，误差
	可以扩大控制限度
	基于投影的方法，
	这将导致不良
	保护
	外推法和我们的方法
	比这更强大。
	另一个重点
	我们发现
	单一外推度量
	使用起来更加简单，
	解释。
	以下是
	外推法的特点
	控制。该方法提供了更好的
	可行性可视化
	高维区域
	分析器中的模型。
	一种新的遗传算法
	已实施灵活
	约束优化。
	我们的正则化 T 平方
	处理混乱的观察
	数据，像 P 这样的案例更大
	比 N，并且连续和
	分类变量。
	该方法适用于大多数
	JMP 中的预测模型
	16 Pro 并支持许多
	他们的特质。这也是
	在分析器中可用
	图表，真正揭示了它的
	实用，因为你可以操作
	任何预测公式。
	作为未来的方向，
	我们正在考虑实施
	基于 K 最近邻
	超越的限制
	当前相关性
	结构约束。通常
	预测变量由
	多个分布导致
	在预测器聚类中
	空间。以及 K 个最近邻
	基于方法将能够
	我们控制外推
	簇之间。
	所以感谢大家
	收看这个节目
	如果您有，请点击此处查看我们的电子邮件
	还有其他问题吗？

高级统计建模基础数据分析与建模消费者和市场研究数据探索与可视化实验设计预测模型和机器学习质量与工艺工程可靠性分析