你好，我的姓名是布莱恩弗里克.
我是A新铸造的产品经理在杰普,聚焦在这联合管理计划用户经验。
之前，我曾是A软件开发商在职的在出口报告
到站立独自的超文本标记语言文件文件，联合管理计划居住，和联合管理计划民众。
在这推介会，
我是去到讲话关于使用信心曲线
作为一个选择到空H假设意义测试
在这语境的预测性的模型筛选。
额外的材料在这主题能是成立在这联合管理计划社区网站
和这纸联系和这推介会。
博士。拉斯沃尔芬格, WHO是A杰出的研究同胞在杰普,是A共-作者，
和我会喜欢到感谢他为了他的贡献。
这模型筛选平台介绍在跳专业版16、
允许你到评价这表现
的多种的预测性的楷模使用叉-验证。
到展示你如何这模型筛选平台作品，
我是去到使用这糖尿病数据桌子，
哪个是可用的在这联合管理计划样本数据图书馆。
患病的选择模型筛选从这分析预测性造型菜单。
联合管理计划回应经过显示这模型筛选对话。
这第一的三列在这数据桌子
代表疾病进展在连续的，二进制，和序数形式。
患病的使用这连续的柱子命名的是作为这回复多变的。
患病的使用全部这列从年龄到葡萄糖在这X因素角色。
患病的类型1-2-3-4在这放随机的种子输入盒子为了再现性。
患病的选择这查看盒子下一个到K折叉验证
和离开K放到五。
患病的类型三进入这输入盒子下一个到重复K折叠。
在这方法列表，患病的取消选择神经，
和现在患病的选择好的。
联合管理计划回应经过训练和证实楷模为了每个的这已选择方法
使用他们的默认范围设置和叉验证。
后完成这训练和证实过程，
联合管理计划显示这结果在A新的窗户。
为了每个造型方法，这模型筛选平台提供
表现措施在这形式的观点估计
为了这系数的决心，
哪个是还已知的作为右平方，这根平均的平方错误，
和这标准偏差为了这根平均的平方错误。
现在患病的点击选择主导的。
联合管理计划回应经过突出显示这方法那施行最好的
穿过这表现措施。
什么是丢失的这里是A形象的
到展示你这个尺寸的这不同之处之间这主导的方法
和这其他方法，沿着和这可视化
的这不确定联系和这差异。
但为什么不是只是展示磷价值观表明无论这差异是重要的？
不应该A决定关于无论一模型是优越的到其他
是基于在意义？
第一的，
自从A P值提供A可能性基于在A标准化不同之处，
A磷价值经过本身失去信息关于这生的不同之处，
所以A重要的不同之处不意味着A有意义的不同之处。
但是那真的A问题？
我意思是，不是它无意义到是担心的
和这尺寸的A不同之处之间二楷模前意义测试是用过的
到决定无论这不同之处是真实的？
这问题和那线的思维是那它是力量，或者一减贝塔,
那决定我们的能力到正确地拒绝A无效的假设。
作者这样的作为雅各布科恩和坦率施密特
有建议那典型的学习有A力量到探测差异
在这范围的0.4到0.6 。
让我们认为我们有A不同之处在哪里这力量到探测A真的不同之处
是0.5在一个Α价值的0.05 。
那建议我们会探测这真的不同之处
在平均的50%的这时间。
在那案件，意义测试会确认真实的差异
不更好的比翻转一个不带偏见的硬币。
如果全部其他事物是平等的，类型一和类型二错误是相等的。
但意义测试那使用一个Α价值的.05
经常隐含地认为T型窝错误是优选到类型一错误，
特别如果这力量是作为低的作为0.5 。
A常见的建议到地址这些和其他问题和意义测试
是到展示这观点估计沿着和信心间隔。
一异议到正在做所以是那A观点估计
沿着和95%信心间隔
是有效地这相同的事物作为意义测试。
甚至如果我们认为那是真的， A观点估计和信心间隔
仍然看跌期权这震级的这不同之处在这范围的这不确定
正面和中心，
然而A孤独的磷价值隐藏他们两个都。
各种各样的作者，包括科恩和施密特,
有受到推崇的替换意义测试
和观点估计和信心间隔。
甚至所以，这推荐到使用信心间隔
乞求这问题， “哪个那些做我们展示？”
显示中仅有的这95%信心间隔
会可能鼓励你到解释它作为其他形式的意义测试。
这解决方案假如经过信心曲线
是到字面上地展示全部信心间隔
向上到一个任意地高的信心等级。
所以如何做你展示信心曲线在JMP？
到方便地创造信心曲线在杰普,
安装这信心曲线添加-在经过来访这联合管理计划社区主页。
类型“信心曲线”进入这搜索输入场地。
点击在这第一的入口那出现。
现在点击这下载图标下一个到置信曲线.jmp添加在，
和现在你能点击在这下载的文件。
联合管理计划回应经过询问如果我想到安装这添加-在。
你会点击“安装。”
然而，患病的点击“取消，”作为我已经有这添加-在安装。
如何做你使用这添加-在？
第一的，到产生信心曲线为了这报告，
选择“节省结果桌子”
从这顶部红色的三角形菜单位于在这模型屏幕报告窗户。
联合管理计划回应经过创造A新的桌子含有，之中其他的，
这下列的列：
审判，哪个包含这身份标识为了三套的叉验证结果;
折叠，哪个包含这身份标识为了这五清楚的套的子样本
用过的为了验证在每个审判;
方法，哪个包含这方法用过的到创造楷模从这测试数据，
和尼，哪个包含这数字的数据点用过的在这验证褶皱。
笔记那这审判柱子将要是丢失的如果这数字的重复是确切地一，
在哪个案件这审判柱子是两者都不已创建也不需要。
节省为了那例外，
这些列是基本的为了这信心曲线添加-在
到功能适当地。
在添加到这些列，
你需要一柱子那提供这公制到比较方法。
患病的是使用右平方作为这公制的兴趣在这推介会。
一次你有这模型屏幕和结果桌子，
点击“添加- ins”从这JMP的主要的菜单酒吧和然后选“信心曲线。”
这逻辑那如下会是更好的放置在A巫师,
和我希望到添加那功能性在A未来发布的这添加-在。
作为它是，这第一的对话那出现
要求你到选择这姓名的这桌子那曾是生成的
什么时候你选择了“节省结果桌子”
从这模型筛选报告红色的三角形菜单。
这姓名的这桌子在这案件是模型筛选统计数据验证放。
下一个， A对话是显示的那要求这姓名的这方法
那将要服务作为这基线
从哪个全部这其他表现指标是测量。
我建议开始和这方法
那曾是已选择什么时候你点击了这选择主导的，或者在这案件，
我已选择或者点击了选择主导的选项
在这模型屏幕和报告窗户，
哪个在这案件是合身步明智的。
最后， A对话是显示的
那要求你到选择这公制到是比较的之间这各种各样的方法。
作为提及早些时候，患病的使用右平方作为这公制为了比较。
跳回应经过创造A信心曲线桌子那包含磷价值观
和相应的信心级别
为了这意思是公制不同之处之间这选择的基线方法
和每个的这其他方法。
更多的具体来说，这生成的桌子有列为了这下列的：
模型，在哪个每个排包含这姓名的这造型方法
谁的表现是评价的相对的到这基线方法;
P值，
在哪个每个排包含这可能性联系和这表现不同之处
在至少作为极端作为这价值观显示在这不同之处在右正方形柱子;
信心间隔，在哪个每个排包含这信心等级我们有
那这真的意思是是包含在这联系间隔。
和最后，不同之处在右正方形，在哪个每个排是这最大限度或者最低限度
的这预期的不同之处在右平方联系和这信心等级
显示在这信心间隔柱子。
从这桌子，信心曲线是已创建
和显示在这图形建设者图形。
什么是信心曲线？
到阐明这钥匙属性的A信心曲线，
患病的隐藏全部但这支持向量机器信心曲线
使用这当地的数据筛选经过点击在支持向量机器。
经过默认， A信心曲线仅有的节目这线
那连接这极端的每个信心间隔。
到看这点,选择展示控制控制板从这红色的三角形菜单
位于下一个到这文本那读图形构建r在这标题酒吧。
现在患病的转移点击这积分图标。
联合管理计划回应经过显示这结尾点的这信心间隔
那制作向上这信心曲线。
现在我将要飞涨在和检查A观点。
如果你徘徊这老鼠指针超过任何的这些点,
A徘徊标签节目这磷价值，信心间隔，
不同之处在这尺寸的这公制，
和这方法用过的到产生这模型存在比较的到这参考。
现在我将要转动离开这点经过转移点击这积分图标
和点击这完毕按钮。
甚至尽管这个人点是不更长显示，
你能仍然看法这联系徘徊标签
经过放置这老鼠指针超过这信心曲线。
这观点估计为了这意思是不同之处在表现
之间支持矢量M机器和合身步明智的
是显示在这0%信心等级，
哪个是这意思是价值的这差异计算的使用叉验证。
信心曲线地块这程度的每个信心间隔
从这生成的桌子之间这零和99. 99%信心等级，
哪个是一个任意地高的价值。
沿着这左边是轴，
P值联系和信心间隔是显示。
沿着这正确的是轴，
这信心等级联系和每个信心间隔显示。
这是轴用途A日志规模，
所以那更多的解决是显示在更高信心水平。
经过默认，二参考线是绘制的旁边A信心曲线。
这垂直的线代表这传统的无效的假设
的不不同之处在影响。
注意你能改变这垂直的线位置
和从而这隐含的无效的假设
在这X轴设置。
这水平的线
通过通过这传统的95%信心间隔。
作为和这垂直的参考线，
你能改变这水平的线位置
和从而这隐含的等级的意义，
经过改变这是轴设置。
如果A信心曲线十字架这垂直的线多于这水平的线，
你不能拒绝这无效的假设使用意义测试。
为了例子，我们不能拒绝这无效的假设为了支持向量机器。
在这其他手，
如果A信心曲线十字架这垂直的线以下这水平的线，
你能拒绝这无效的假设。
例如，我们可以拒绝原假设提升树。
如何是信心曲线计算过？
这当前的执行的信心曲线
假设这差异是计算的使用右次重复
K折叉验证。
这程度的每个信心间隔是计算的
使用什么是已知的作为A方差已更正重新采样T 测试。
笔记那作者克劳德·纳多和约书亚本吉奥
著名的那A已纠正重新采样T-测试
是通常用过的在案例在哪里训练套
是五或者十次更大比验证套。
为了更多的细节，请看这纸联系和这推介会。
所以如何是信心曲线解释？
第一的， A信心曲线以图形方式描绘
这主要的不同之处在这公制的兴趣之间A给定方法
和A参考方法在这0%信心等级。
我们能评价无论这意思是不同之处之间方法是有意义的。
如果这意思是不同之处不是有意义的,有小的观点在更远分析
的这给定方法相对这参考方法和尊重到这选择的公制。
什么构成A有意义的不同之处依靠在这公制的兴趣
作为出色地作为这故意的科学的或者工程应用。
为了例子，你能看这模型发达和A决定树方法
是在平均的关于14%更差比合身步明智的，
哪个可以说是A有意义的不同之处。
如果这不同之处是有意义的,
我们能评价如何恰恰这不同之处有到过测量的
经过评估这宽度的这联系信心间隔。
为了任何信心间隔不是穿越这默认垂直的轴，
我们有在至少那等级的信心那这意思是不同之处是非零。
为了例子，这决定树信心曲线不叉这是轴
直到关于这99. 98%信心等级，
所以我们是几乎99. 98%自信的这意思是不同之处不是平等的到零。
在事实，和这数据放，
它轮流出去那我们能是关于81%自信的
那合身步明智的是在至少作为好的，如果不是更好的，
比每一个方法其他比广义的回归套索。
现在让我们考虑这关系之间信心曲线。
如果二或者更多的信心曲线显著地重叠
和这意思是不同之处的每个是不是有意义地不同的从这其他，
这数据建议每个方法施行
关于这相同的作为这其他和尊重到这参考模型。
为了例子，我们能看那在平均的，
的S支持向量机器模型施行
较少的比改善 0.5%比引导程序森林，
哪个是争论不是A有意义的不同之处。
还有信心间隔
做不是重叠直到关于百分之四信心等级，
哪个建议这些价值观会是预期的
如果两个都方法真的做有关于这相同的不同之处在表现
和尊重到这参考。
如果这平均的不同之处在表现
是关于这相同的为了二信心曲线
但这信心间隔不重叠也很多，
这数据建议这楷模履行关于这相同的作为每个其他
和尊重到这参考模型。
然而，我们是自信的的A非有意义的不同之处。
这特别的案件是比较稀有的比这其他的，和
我不有一个例子到展示和这数据放。
在这其他手，
如果这平均的不同之处在表现之间A一对的信心曲线
是有意义地不同的和这信心曲线有小的重叠，
这数据建议这楷模履行不同地从一其他
和尊重到这参考。
为了例子，这广义的回归套索模型
预测关于13. 8%更多的的这变化在这回复
比做这决定树模型。
而且，这信心曲线不重叠
直到关于这99. 9%信心等级，
哪个建议这些结果是相当异常
如果这方法实际上履行关于这相同的和尊重到这参考。
最后，如果这平均的不同之处在表现
之间A一对的信心曲线
是有意义地不同的从一其他和这曲线有大量重叠，
这数据建议那尽管这方法履行不同地从一其他
和尊重到这参考，
它不会是奇怪如果这差异是这差异虚假的。
为了例子，我们能看那在平均的，
支持向量机器预料到的约1.4%更多的的这方差
在这回复比做过K最近的邻居。
然而，这信心间隔开始到重叠
在关于这17%信心等级，
哪个建议它不会是奇怪如果这不同之处在表现
之间每个方法在这参考
是实际上较小比建议经过这观点估计。
同时地，
它不会是奇怪如果这实际的不同之处是更大比测量，
或者如果这方向的这不同之处是实际上颠倒了。
在其他字，这不同之处在表现是不确定。
笔记那它不是可能的到评估这变化性在表现
之间二楷模相对的到一其他
什么时候这差异是相对的到A第三模型。
到比较这变化性在表现之间二方法
相对的到一其他，
一的这二方法必须是这参考方法
从哪个这差异是测量。
但什么关于多种的比较？
不我们需要到调整这P值
到控制这家庭明智的类型一错误速度？
在他的纸关于信心曲线，丹尼尔巴尔建议
那调整是需要的在确认性的学习
在哪里A目标是预先指定的，但不是在探索性的学习。
这建议使用未调整的P值为了多种的信心曲线
在一个探索性的时尚
和仅有的A单身的信心曲线生成的从不同的数据
到确认你的发现的A重要的不同之处之间二方法
什么时候使用意义测试。
那说，请保持在头脑这危险的樱桃采摘
和磷黑客攻击什么时候进行探索性的学习。
在概括，这模型筛选平台介绍在联合管理计划专业版16
提供A方法到同时地比较这表现
的预测性的楷模已创建使用不同的方法论。
联合管理计划有A长的-常设目标到提供A图形和每一个统计，
和信心曲线帮助到充满那差距
为了这模型筛选平台。
你可能自然预计到使用意义测试到区分
之间这表现的这各种各样的方法存在比较的。
然而， P值有来在下面增加审查在最近的年
为了遮蔽这尺寸的表现差异。
在添加，
P值是经常被误解作为这可能性这无效的假设是错误的。
反而， A P值是这可能性的观察A不同之处作为或者更多的极端，
假设这无效的假设是真的。
这可能性的正确地拒绝这无效的假设
什么时候它是错误的是决定经过力量，或者一减测试版。
我有争论那它是不是罕见到仅有的有A 50%机会
的正确地拒绝这无效的假设和一个Α价值的0.05 。
作为一个选择， A信心间隔可以是显示反而的A孤独的P值。
然而，这问题会是左边打开作为到哪个信心等级到展示。
信心曲线地址这些担忧
经过显示全部信心间隔向上到一个任意地高的等级的信心。
这意思是不同之处在表现
是清楚地可见的在百分之零信心等级，
和那行为作为A观点估计。
全部其他事物存在平等的，
类型一和类型二错误是相等的，
所以信心曲线不嵌入A偏见向交易T类型一错误
为了类型二。
甚至所以，经过默认， A垂直的线是显示在这信心曲线图形
为了这标准无效的假设的不不同之处。
在添加， A水平的线是显示那描绘出
这95%信心间隔，
哪个容易提供A典型的意义测试分析如果想要的。
这默认值为了这些线是容易地修改的
如果A不同的无效的假设和信心等级是想要的。
甚至所以，给定这相当广阔和有时强调的建议
到代替意义测试和观点估计和信心间隔，
它可能是最好的到看法A信心曲线作为A观点估计
沿着和A几乎综合的看法的它是联系不确定。
如果你有反馈关于这信心曲线添加-在，
请离开A评论在这JMP C社区地点
和不忘记到投票为了这推介会
如果你成立它有趣的和或者有用。
感谢你为了观看这推介会，和我希望你有A伟大的天。
