你好。 我的姓名是布莱恩弗里克.
我是A产品经理在联合管理计划专注的在这联合管理计划用户经验。
之前，我曾是A软件开发商在职的在出口报告
到独立的超文本标记语言火文件。
联合管理计划居住和联合管理计划民众。
在这推介会，
我是去到讲话关于使用置信曲线
作为一个选择到无效的假设意义测试
在这语境的预测性的模型筛选。
额外的材料在这主题能是成立在这联合管理计划社区网站
在这纸联系和这推介会。
博士。拉斯沃尔芬格是A杰出的研究院士在联合管理计划
和A共同作者，和我会喜欢到感谢他为了他的贡献。
这模型筛选平台，介绍在联合管理计划专业版16
允许你到评价这表现
的多种的预测性的楷模使用叉验证。
到展示你如何这模型筛选平台作品，
我是去到使用这糖尿病数据桌子，
哪个是可用的在这联合管理计划样本数据图书馆。
患病的选择模型筛选从这分析过的预测性的造型菜单。
联合管理计划回应经过显示这模型筛选对话。
这第一的三列在这数据桌子
代表疾病进展在连续的二进制和序数形式。
患病的使用这连续的柱子命名的是作为这回复多变的。
患病的使用这列从年龄到葡萄糖在这X因素角色。
患病的类型1234在这放随机的种子输入盒子为了再现性，
患病的选择这查看盒子下一个到K型折叠叉验证和离开K放到五。
患病的类型3进入这输入盒子下一个到重复肯佛法老的。
在这方法列表，患病的取消选择神经的。
现在患病的点击好的。
联合管理计划回应经过训练和证实楷模为了每个的这已选择方法
使用他们的默认范围设置和叉验证。
后完成这训练和证实过程，
联合管理计划显示这结果在A新的窗户。
为了每个造型方法。
这模型筛选平台提供表现措施
在这形式的观点估计为了这系数的决心，
还已知的作为右平方，这根平均的平方错误，
和这标准偏差为了这根平均的平方错误。
现在患病的点击选择主导的。
联合管理计划回应经过突出显示这方法
那施行最好的穿过这表现措施。
什么是丢失的这里是A形象的到展示这尺寸的这差异
之间这主导的方法和这其他方法，
沿着和这可视化的这不确定
联系和这差异。
但为什么不是只是展示P-价值观表明无论这差异是重要的？
不应该A决定关于无论一模型是优越的到其他
是基于在意义？
第一的，自从这P-价值提供A可能性
基于在A标准化不同之处，
A P值经过本身失去信息关于这生的不同之处。
一个重要的不同之处不意味着A有意义的不同之处。
是那真的A问题？
我意思是，不是它无意义
到是担心的和这尺寸的这不同之处之间二楷模
前使用意义测试
到决定无论这不同之处是真实的？
这问题和那线的思维是那它是力量或者一减贝塔
那决定我们的能力到正确地拒绝A无效的假设。
作者这样的作为雅各布科恩和坦率史密斯
有建议那典型的学习有这力量到探测差异
在这范围的.4至.6 。
所以让我们认为我们有A不同之处。
在哪里这力量到探测A真的不同之处？
零五在一个α等级零五。
那建议我们会探测这真的不同之处，在平均的50%的这时间。
所以在那案件，意义测试会确认真实的差异
不更好的比翻转一个不带偏见的硬币。
如果全部其他事物是平等的，类型1和2型错误是相等的。
但意义测试那使用一个α价值的.05.
经常隐含地认为2型错误是优选到类型1错误，
特别如果这力量是作为低的作为.5 。
A常见的建议到地址这些和其他问题和意义测试
是到展示这观点估计沿着和这信心间隔。
一异议到正在做所以是那
A观点估计沿着和A 95%信心间隔
是有效地这相同的事物作为意义测试。
甚至如果我们认为那是真的， A观点估计和信心间隔
仍然看跌期权这震级的这不同之处
和这范围的这不确定正面和中心，
然而A贷款P值隐藏他们两个都。
所以各种各样的作者，包括科恩和史密斯，
有受到推崇的替换意义测试
和观点估计和信心间隔。
甚至所以，这推荐到使用信心间隔乞求这问题，
哪个那些做我们展示？
显示中仅有的这95%信心间隔
会可能鼓励你到解释它作为其他形式的意义测试。
这解决方案假如经过置信曲线
是到字面上地展示全部信心间隔
向上到一个任意地高的信心等级。
如何做我展示置信曲线和JMP？
到方便地创造置信曲线和杰普,
安装这置信曲线加入经过来访这联合管理计划社区主页。
类型置信曲线进入这搜索输入场地。
点击这置信曲线结果。
现在点击这下载图标下一个到置信度曲线。 兆帕DD-在。
现在点击这下载的文件。
联合管理计划回应经过询问如果我想到安装这添加-在。
你会点击安装。
然而，患病的点击取消作为我有已经已安装这加入。
所以如何做你使用这加入？
第一的。
到产生置信曲线为了这报告，选择节省结果桌子
从这顶部红色的三角形菜单位于在这模型筛选报告窗户。
联合管理计划回应经过创造A新的桌子含有之中其他的。
这下列的列审判。
哪个包含这身份标识为了这三套
的叉验证结果。
折叠。
哪个包含这身份标识
为了这五清楚的套的子样本用过的为了验证在每个审判。
方法。
哪个包含这方法用过的到创造楷模从这测试数据。
和在。
哪个包含这数字的数据点用过的在这验证褶皱。
笔记那这审判柱子将要是丢失的如果这数字的重复是确切地一，
在哪个案件这审判柱子是两者都不已创建也不需要。
节省为了那例外，这些列是基本的
为了这置信曲线加入到功能适当地。
在添加到这些列，你需要一柱子
那提供这公制到比较之间方法。
患病的是使用右平方作为这公制的兴趣在这推介会。
一次你有这模型筛选结果桌子，
点击插件从JMP主要的菜单酒吧和然后选择置信曲线。
这逻辑那如下会是更好的放置在A巫师,
和我希望到添加那功能性在A未来发布的这加入。
作为它是，这第一的对话那出现
要求你到选择这姓名的这桌子
那曾是生成的什么时候你选择了'节省结果桌子'，
从这模型屏幕报告红色的三角形菜单。
这姓名的这桌子在这案件是模型屏幕统计数据验证放。
下一个， A对话是显示的
那要求这姓名的这方法那将要服务作为这基线
从哪个全部这其他表现指标是测量。
我建议开始和这方法那曾是已选择什么时候你点击
这选择主导的选项
在这模型筛选报告窗户，哪个在这案件是合身逐步进行。
最后， A对话是显示的
那要求你到选择这公制到是比较的之间这各种各样的方法。
作为提及早些时候，患病的使用右平方作为这公制为了比较。
联合管理计划回应经过创造A信心曲线桌子那包含P 值
和相应的信心级别为了这意思是不同之处
之间这选择的基线方法和每个的这其他方法。
更多的具体来说，这生成的桌子有列为了这下列的。
模型。
在哪个每个排包含这姓名的这造型方法
谁的表现是评价的相对的到这基线方法。
P-价值在哪个每个排包含这可能性
联系和这表现不同之处
在至少作为极端作为这价值显示在这不同之处在我们的正方形柱子。
信心间隔在哪个每个排包含这信心等级。
我们有那这真的意思是是包含在这联系间隔
和最后，不同之处在我们的正方形，
在哪个每个排是这最大限度或者最低限度
的这预期的不同之处在右平方
联系和这信心等级显示在这信心间隔柱子。
从这桌子，置信曲线是已创建
和显示在这图形建设者图形。
所以什么是置信曲线？
到阐明这钥匙属性的A置信曲线，
患病的隐藏全部但这支持向量机器的置信曲线
使用这当地的数据筛选经过点击在支持向量机器。
经过默认， A置信曲线仅有的节目
这线那连接这极端的每个信心间隔。
到看这点,选择展示控制控制板从这红色的三角形菜单
位于下一个到这文本那读图形建设者在这标题酒吧。
现在患病的转移点击这点图标。
联合管理计划回应经过显示这端点的这信心间隔
那制作向上这置信曲线。
现在我将要飞涨在和检查A观点。
如果你徘徊这老鼠指针超过任何的这些点。
A徘徊标签节目的P -价值信心间隔，
不同之处在这尺寸的这公制
和这方法用过的到产生这模型
存在比较的到这参考模型。
现在出色地转动离开这点经过转移点击这点图标
和点击这完毕按钮。
甚至尽管这个人点是不更长显示，
你能仍然看法这联系徘徊标签
经过放置这老鼠指针超过这置信曲线。
观点估计为了这主要的不同之处
在表现之间这运动向量机器和逐步适配楷模
是显示在这0%信心等级，
哪个是这意思是价值的这差异计算的使用叉验证。
A置信曲线地块这程度
的每个信心间隔从这生成的桌子之间零
和这99.99%信心等级沿着和这左边是轴。
磷价值观联系和这信心间隔是显示
沿着这正确的y轴。
这信心等级联系和每个信心间隔显示。
这是轴用途A日志规模
所以那更多的解决是显示在更高信心水平。
经过默认，二参考线是绘制的旁边A置信曲线。
这垂直的线代表
这传统的无效的假设的不不同之处在影响。
笔记你能改变这垂直的线位置
和从而这隐含的无效的假设。
在这X轴设置。
这水平的线通过通过这传统的95%信心间隔。
作为和这垂直的参考线，
你能改变这水平的线位置
和从而这隐含的等级的意义
经过改变这是轴设置。
如果A置信曲线十字架这垂直的线多于这水平的线，
你不能拒绝这无效的假设使用意义测试。
为了例子，我们不能拒绝这无效的假设为了支持向量机器。
在这其他手，如果A置信曲线
十字架这垂直的线以下这水平的线，
你能拒绝这无效的假设使用意义测试。
为了例子，我们能拒绝这无效的假设为了增强的树。
如何是置信曲线计算过？
这当前的执行的信心曲线假设
这差异是计算的
使用R次重复K型折叠叉验证。
这程度的每个信心间隔是计算的
使用什么是已知的作为A方差已纠正重新采样T 检验。
笔记那作者克洛德纳多和约书亚·本吉奥,
笔记那A已纠正重新采样T检验
是通常用过的在案例在哪里训练套
是五或者十次更大比验证套。
为了更多的细节，请看这纸联系和这推介会。
所以如何是置信曲线解释？
第一的，这置信曲线以图形方式描绘
这主要的不同之处在这公制的兴趣之间A给定方法
和A参考方法在这0%信心等级。
所以我们能评价无论这意思是不同之处之间这方法
是有意义的。
如果这主要的不同之处不是有意义的，有小的观点在更远分析
的A给定方法相对这参考方法和尊重到这选择的公制。
什么构成A有意义的不同之处依靠在这公制的兴趣
作为出色地作为这故意的科学的或者工程应用。
为了例子，
你能看这模型发达和A决定树方法
是在平均的关于14%更差比适合逐步明智，
哪个可以说是A有意义的不同之处。
如果这不同之处是有意义的，
我们能评价如何恰恰这不同之处有到过测量的
经过评估如何很多这置信度C乌尔韦宽度变化
穿过这信心水平。
为了任何信心间隔不是穿越这默认垂直的轴，
我们有在至少那等级的信心那这主要的不同之处是非零。
为了例子，
这决定树信心曲线不叉这是轴
直到关于这99.98%信心等级。
我们是几乎99.98%自信的这意思是不同之处不是平等的到零。
在事实，和这数据，
它轮流出去那我们能是关于81%自信的
那逐步适配是在至少作为好的，
如果不是更好的，比每一个方法其他比广义的回归套索。
现在让我们考虑这关系之间置信曲线。
如果二或者更多的置信曲线显著地重叠
和这意思是不同之处的每个是不是有意义地不同的从这其他。
这数据建议每个方法施行关于这相同的作为这其他
和尊重到这参考模型。
所以为了例子，
我们看那在平均的，这支持向量机器模型
施行较少的比。 5%比引导程序森林，
哪个是可以说不是A有意义的不同之处。
这信心间隔做不是重叠直到关于这4%信心等级，
哪个建议这些价值观会是预期的
如果两个都方法真的做有关于这相同的不同之处在表现
和尊重到这参考。
如果这平均的不同之处在表现
是关于这相同的为了二信心曲线，
但这信心间隔不重叠也很多，
这数据建议
这楷模履行关于这相同的作为每个其他和尊重到这参考模型。
然而，我们是自信的的A非有意义的不同之处。
这特别的案件是稀有的比这其他的
和我不有一个例子到展示和这数据放。
在这其他手，如果这平均的不同之处在表现
之间A一对的置信曲线是有意义地不同的
和这信心曲线有小的重叠，
这数据建议这楷模履行
不同地从一其他和尊重到这参考。
为了例子，这广义的回归套索模型预测关于13.8%
更多的的这变化在这回复比做这决定树模型。
而且，这置信曲线不重叠
直到关于这99.9%信心等级，
哪个建议这些结果是相当异常
如果这方法实际上履行关于这相同的和尊重到这参考。
最后，如果这平均的不同之处在表现之间A一对
的置信曲线是有意义地不同的从一其他
和这曲线有大量重叠，
这数据建议那
尽管这方法履行不同地从一其他和尊重到这参考，
它不会是奇怪如果这不同之处是狂怒。
为了例子，我们能看那在平均的
支持向量机器预料到的关于1.4%更多的的这方差在这回复
比做过[听不清 00:19:18]最近的邻居。
然而，这信心间隔开始到重叠在关于这17%信心等级，
哪个建议它不会是奇怪
如果这不同之处在表现之间每个方法
和这参考是实际上较小比建议经过这观点估计。
同时地，
它不会是奇怪如果这实际的不同之处是更大比测量，
或者如果这方向的这不同之处是实际上颠倒了。
在其他字，这不同之处在表现是不确定。
笔记那它不是可能的到评估这变化性和表现
之间二楷模相对的到一其他
什么时候这差异是相对的到A第三模型。
到比较这变化性和表现
之间二方法相对的到一其他，
一的这二方法必须是这参考方法
从哪个这差异是测量。
但什么关于多种的比较？
不我们需要到调整这P 值
到控制这家庭明智的类型1错误速度？
在这纸关于置信曲线，
丹尼尔巴勒建议那调整是需要的在确认性的学习
在哪里A目标是预先指定的，但不是在探索性的学习。
这主意建议使用未调整的P 值为了多种的置信曲线
在一个探索性的时尚
和仅有的A单身的置信曲线生成的从不同的数据
到确认你的发现的A重要的不同之处
之间二方法什么时候使用意义测试。
那说，请保持在头脑这危险的樱桃采摘、 p-黑客攻击
什么时候进行探索性的学习。
在概括，这模型筛选平台介绍在联合管理计划专业版16
提供A方法到同时地比较这表现
的预测性的楷模已创建使用不同的方法论。
联合管理计划有A长的常设目标到提供A图形和每一个统计，
和置信曲线帮助到充满那差距。
为了这模型筛选平台。
你可能自然预计到使用意义测试到区分
之间这表现的各种各样的方法存在比较的。
然而， P 值有来在下面增加审查在最近的年
为了遮蔽这尺寸的表现差异。
在添加，
P 值是经常被误解作为这可能性这无效的假设是真的。
反而的P值是这可能性的观察A不同之处
作为或者更多的极端，假设这无效的假设是真的。
这可能性的正确地拒绝这无效的假设什么时候它是错误的
是决定经过A力量或者一减测试版。
我有争论那它是不是罕见到仅有的有A 50%机会
的正确地拒绝这无效的假设和一个α价值的.05 。
作为一个选择， A信心间隔可以是显示反而的A贷款P-价值。
然而，这问题会是左边打开作为到哪个信心等级到展示。
置信曲线地址这些担忧经过显示全部信心间隔
向上到一个任意地高的-等级的信心。
这意思是不同之处在这表现
是清楚地可见的在这0%信心等级，和那行为作为A观点估计。
全部的这事物存在平等的，类型1和类型2错误是相等的。
置信曲线不嵌入A偏见向贸易类型1错误为了类型 2。
甚至所以，经过默认，
A垂直的线是显示在这信心曲线图形
为了这标准无效的假设的不不同之处。
在添加，
A水平的线是显示那描绘出这95%信心间隔，
哪个容易提供A典型的意义测试分析如果想要的。
这默认值为了这些线是容易地修改的，
但不同的无效的假设和信心级别想要的。
甚至所以，给定这相当广阔和有时强调的建议
到代替意义测试和观点估计和信心间隔，
它可能是最好的到看法A置信曲线作为A观点估计
沿着和A几乎综合的看法的它是联系不确定。
如果你有反馈关于这信心曲线的加入，
请离开A评论在这联合管理计划社区地点。
和不忘记到投票为了这推介会
如果你成立它有趣的或者有用。
感谢你为了观看这推介会和我希望你有A伟大的天。
