你好，我的姓名是布莱恩弗里克。
我是一种新铸造产品经理在JMP,聚焦在这JMP用户经验。
之前，一世曾是一种软件开发商在职的在出口报告
到站立独自的HTML文件文件， JMP居住，和JMP民众。
在这介绍，
我是去到讲话关于使用信心曲线
作为一个选择到空 H假设意义测试
在这语境的预测性的模型筛选。
额外的材料在这主题能够是成立在这JMP社区网站
和这纸联系和这介绍。
博士。拉斯沃尔芬格，谁是一种杰出的研究伙计在JMP,是一种合作-作者，
和一世将喜欢到谢谢他为了他的贡献。
这模型筛选平台介绍了在跳临16,
允许你到评价这表现
的多预测性的楷模使用叉-验证。
到显示你如何这模型筛选平台作品，
我是去到采用这糖尿病数据桌子，
哪一个是可用的在这JMP样本数据图书馆。
生病选择模型筛选从这分析预测性造型菜单。
JMP回应经过显示这模型筛选对话。
这第一的三列在这数据桌子
代表疾病进展在连续，二进制，和序数形式。
生病采用这连续柱子命名为是作为这回复多变的。
生病采用全部这列从年龄到葡萄糖在这X因素角色。
生病类型1-2-3-4在这放随机的种子输入盒子为了再现性。
生病选择这查看盒子下一个到K折叉验证
和离开ķ放到五。
生病类型三进入这输入盒子下一个到重复ķ折叠。
在这方法列表，生病取消选择神经，
和现在生病选择好的。
JMP回应经过训练和证实楷模为了每个的这选择方法
使用他们的默认范围设置和叉验证。
后完成这训练和证实过程，
JMP显示这结果在一种新的窗户。
为了每个造型方法，这模型筛选平台提供
表现措施在这形式的观点估计
为了这系数的决心，
哪一个是还已知作为R平方，这根平均的平方错误，
和这标准偏差为了这根平均的平方错误。
现在生病点击选择主导的。
JMP回应经过突出显示这方法那施行最好的
穿过这表现措施。
什么是失踪这里是一种形象的
到显示你的尺寸的这区别之间这主导的方法
和这其他方法，沿着和这可视化
的这不确定联系和这差异。
但为什么不是只是显示磷价值观表示无论这差异是重大？
不应该一种决定关于无论一模型是优越的到其他
是基于在意义？
第一的，
自从一种P值提供一种可能性基于在一种标准化区别，
一种磷价值经过本身输信息关于这生的区别，
所以一种重大区别没有意味着一种有意义的区别。
但是那真的一种问题？
一世意思是，不是它无意义到是担心的
和这尺寸的一种区别之间二楷模前意义测试是用过的
到决定无论这区别是真实的？
这问题和那线的思维是那它是力量，要么一减贝塔，
那决定我们的能力到正确地拒绝一种空值假设。
作者这样的作为雅各布科恩和坦率施密特
有建议那典型的学习有一种力量到探测差异
在这范围的0.4到0.6 .
让我们认为我们有一种区别在哪里这力量到探测一种真的区别
是0.5在一个Α价值的0.05 .
那建议我们将探测这真的区别
在平均的50%的这时间。
在那案子，意义测试将确认真实的差异
不更好的比翻转一个不偏不倚硬币。
如果全部其他事物是平等的，类型一和类型二错误是相等的。
但意义测试那采用一个Α价值的.05
经常含蓄地认为T型我错误是可取的到类型一错误，
特别如果这力量是作为低的作为0.5 .
一种常见的建议到地址这些和其他问题和意义测试
是到显示这观点估计沿着和信心间隔。
一异议到正在做所以是那一种观点估计
沿着和95%信心间隔
是有效这相同的事物作为意义测试。
甚至如果我们认为那是真的，一种观点估计和信心间隔
仍然看跌期权这震级的这区别在这范围的这不确定
正面和中央，
然而一种孤独磷价值隐藏他们两个都。
各种各样的作者，包含科恩和施密特，
有推荐的更换意义测试
和观点估计和信心间隔。
甚至所以，这推荐到采用信心间隔
乞求这题， “哪一个那些做我们显示？”
显示只要这95%信心间隔
将可能鼓励你到解释它作为其他形式的意义测试。
这解决方案假如经过信心曲线
是到字面上地显示全部信心间隔
向上到一个任意高的信心等级。
所以如何做你显示信心曲线在JMP?
到方便创建信心曲线在JMP,
安装这信心曲线添加-在经过参观这JMP社区主页。
类型“信心曲线"进入这搜索输入场地。
点击在这第一的入口那出现。
现在点击这下载图标下一个到置信曲线.jmp添加在，
和现在你能够点击在这已下载文件。
JMP回应经过问如果一世想到安装这添加-在。
你将点击“安装。”
然而，生病点击“取消，”作为一世已经有这添加-在安装。
如何做你采用这添加-在？
第一的，到产生信心曲线为了这报告，
选择“保存结果桌子”
从这最佳红色的三角形菜单位于在这模型屏幕报告窗户。
JMP回应经过创造一种新的桌子包含，之中其他，
这下列的列：
审判，哪一个包含这身份标识为了三套的叉验证结果;
折叠，哪一个包含这身份标识为了这五清楚的套的子样本
用过的为了验证在每个审判;
方法，哪一个包含这方法用过的到创建楷模从这测试数据，
和N,哪一个包含这数字的数据积分用过的在这验证折叠。
笔记那这审判柱子将要是失踪如果这数字的重复是确切地一，
在哪一个案子这审判柱子是两者都不创建也不需要。
保存为了那例外，
这些列是基本的为了这信心曲线添加-在
到功能适当地。
在添加到这些列，
你需要一柱子那提供这公制到比较方法。
生病是使用R平方作为这公制的兴趣在这介绍。
一次你有这模型屏幕和结果桌子，
点击“添加-英斯"从这JMP的主要的菜单酒吧和然后选“信心曲线。”
这逻辑那跟随将是更好的放置在一种巫师，
和一世希望到添加那功能性在一种未来发布的这添加-在。
作为它是，这第一的对话那出现
要求你到选择这姓名的这桌子那曾是生成
什么时候你选择了“保存结果桌子”
从这模型筛选报告红色的三角形菜单。
这姓名的这桌子在这案子是模型筛选统计数据验证放。
下一个，一种对话是显示那要求这姓名的这方法
那将要服务作为这基线
从哪一个全部这其他表现指标是测量。
一世建议开始和这方法
那曾是选择什么时候你点击这选择主导的，要么在这案子，
一世选择要么点击选择主导的选项
在这模型屏幕和报告窗户，
哪一个在这案子是合身步明智的。
最后，一种对话是显示
那要求你到选择这公制到是比较的之间这各种各样的方法。
作为提及早些时候，生病采用R平方作为这公制为了比较。
跳回应经过创造一种信心曲线桌子那包含磷价值观
和相应的信心水平
为了这意思是公制区别之间这选择基线方法
和每个的这其他方法。
更多的具体来说，这生成桌子已列为了这下列的：
模型，在哪一个每个排包含这姓名的这造型方法
谁的表现是评估相对的到这基线方法;
P值，
在哪一个每个排包含这可能性联系和这表现区别
在至少作为极端作为这价值观显示在这区别在R正方形柱子;
信心间隔，在哪一个每个排包含这信心等级我们有
那这真的意思是是包含在这联系间隔。
和最后，区别在R正方形，在哪一个每个排是这最大要么最低限度
的这预期的区别在R平方联系和这信心等级
显示在这信心间隔柱子。
从这桌子，信心曲线是创建
和显示在这图形建造者图形。
什么是信心曲线？
到阐明这钥匙属性的一种信心曲线，
生病隐藏全部但这支持向量机器信心曲线
使用这当地的数据筛选经过点击在支持向量机器。
经过默认，一种信心曲线只要节目这线条
那连接这极端的每个信心间隔。
到看这点，选择显示控制控制板从这红色的三角形菜单
位于下一个到这文本那读图形构建r在这标题酒吧。
现在生病转移点击这积分图标。
JMP回应经过显示这结尾积分的这信心间隔
那制作向上这信心曲线。
现在一世将要飞涨在和检查一种观点。
如果你徘徊这老鼠指针超过任何的这些点，
一种徘徊标签节目这磷价值，信心间隔，
区别在这尺寸的这公制，
和这方法用过的到产生这模型存在比较的到这参考。
现在一世将要转动离开这积分经过转移点击这积分图标
和点击这完毕按钮。
甚至尽管这个人积分是不更长显示，
你能够仍然看法这联系徘徊标签
经过放置这老鼠指针超过这信心曲线。
这观点估计为了这意思是区别在表现
之间支持矢量 M机器和合身步明智的
是显示在这0%信心等级，
哪一个是这意思是价值的这差异计算的使用叉验证。
信心曲线地块这程度的每个信心间隔
从这生成桌子之间这零和99. 99%信心等级，
哪一个是一个任意高的价值。
沿着这剩下是轴，
P值联系和信心间隔是显示。
沿着这正确的是轴，
这信心等级联系和每个信心间隔显示。
这是轴用途一种日志规模，
所以那更多的解决是显示在更高信心水平。
经过默认，二参考线条是绘制旁边一种信心曲线。
这垂直的线代表这传统的空值假设
的不区别在影响。
注意你能够改变这垂直的线位置
和从而这隐含的空值假设
在这X轴设置。
这水平的线
通行证通过这传统的95%信心间隔。
作为和这垂直的参考线，
你能够改变这水平的线位置
和从而这隐含的等级的意义，
经过改变这是轴设置。
如果一种信心曲线十字架这垂直的线更多这水平的线，
你不能拒绝这空值假设使用意义测试。
为了例子，我们不能拒绝这空值假设为了支持向量机器。
在这其他手，
如果一种信心曲线十字架这垂直的线以下这水平的线，
你能够拒绝这空值假设。
例如，我们可以拒绝原假设提升树。
如何是信心曲线计算？
这当前的执行的信心曲线
假设这差异是计算的使用R次重复
K折叉验证。
这程度的每个信心间隔是计算的
使用什么是已知作为一种方差已更正重采样T 检验。
笔记那作者克劳德·纳多和约书亚本吉奥
著名的那一种更正重采样T-测试
是通常用过的在案例在哪里训练套
是五要么十次较大比验证套。
为了更多的细节，请看这纸联系和这介绍。
所以如何是信心曲线解释？
第一的，一种信心曲线以图形方式描绘
这主要的区别在这公制的兴趣之间一种给定方法
和一种参考方法在这0%信心等级。
我们能够评价无论这意思是区别之间方法是有意义的。
如果这意思是区别不是有意义的，有小的观点在进一步分析
的这给定方法相对这参考方法和尊重到这选择公制。
什么构成一种有意义的区别要看在这公制的兴趣
作为好吧作为这故意的科学的要么工程应用。
为了例子，你能够看这模型发达和一种决定树方法
是在平均的关于14%更差比合身步明智的，
哪一个可以说是一种有意义的区别。
如果这区别是有意义的，
我们能够评价如何恰恰这区别已是测量的
经过评估这宽度的这联系信心间隔。
为了任何信心间隔不是穿越这默认垂直的轴，
我们有在至少那等级的信心那这意思是区别是非零。
为了例子，这决定树信心曲线没有叉这是轴
直到关于这99. 98%信心等级，
所以我们是几乎99. 98%自信的这意思是区别不是平等的到零。
在事实，和这数据放，
它转弯出去那我们能够是关于81%自信的
那合身步明智的是在至少作为好的，如果不是更好的，
比每一个方法其他比广义的回归套索。
现在让我们考虑这关系之间信心曲线。
如果二要么更多的信心曲线显着地重叠
和这意思是区别的每个是不是有意义地不同的从这其他，
这数据建议每个方法施行
关于这相同的作为这其他和尊重到这参考模型。
为了例子，我们能够看那在平均的，
小号支持向量机器模型施行
较少的比好 0.5%比引导程序森林，
哪一个是争论不休不是一种有意义的区别。
和信心间隔
做不是重叠直到关于百分之四信心等级，
哪一个建议这些价值观将是预期的
如果两个都方法真的做有关于这相同的区别在表现
和尊重到这参考。
如果这平均的区别在表现
是关于这相同的为了二信心曲线
但这信心间隔别重叠也很多，
这数据建议这楷模履行关于这相同的作为每个其他
和尊重到这参考模型。
然而，我们是自信的的一种非有意义的区别。
这特定案子是稀有比这其他，和
一世别有一个例子到显示和这数据放。
在这其他手，
如果这平均的区别在表现之间一种一对的信心曲线
是有意义地不同的和这信心曲线有小的重叠，
这数据建议这楷模履行不同的从一其他
和尊重到这参考。
为了例子，这广义的回归套索模型
预测关于13. 8%更多的的这变化在这回复
比做这决定树模型。
而且，这信心曲线别重叠
直到关于这99. 9%信心等级，
哪一个建议这些结果是相当异常
如果这方法实际上履行关于这相同的和尊重到这参考。
最后，如果这平均的区别在表现
之间一种一对的信心曲线
是有意义地不同的从一其他和这曲线有大量重叠，
这数据建议那尽管这方法履行不同的从一其他
和尊重到这参考，
它不会是奇怪如果这差异是这差异虚假的。
为了例子，我们能够看那在平均的，
支持向量机器预料到的约 1.4%更多的的这方差
在这回复比做过ķ最近的邻居。
然而，这信心间隔开始到重叠
在关于这17%信心等级，
哪一个建议它不会是奇怪如果这区别在表现
之间每个方法在这参考
是实际上更小比建议经过这观点估计。
同时地，
它不会是奇怪如果这实际的区别是较大比测量，
要么如果这方向的这区别是实际上逆转。
在其他字，这区别在表现是不确定。
笔记那它不是可能的到评估这变化性在表现
之间二楷模相对的到一其他
什么时候这差异是相对的到一种第三模型。
到比较这变化性在表现之间二方法
相对的到一其他，
一的这二方法必须是这参考方法
从哪一个这差异是测量。
但什么关于多比较？
别我们需要到调整这P值
到控制这家庭明智的类型一错误速度？
在他的纸关于信心曲线，丹尼尔巴尔建议
那调整是需要在确认的学习
在哪里一种目标是预先指定，但不是在探索性的学习。
这建议使用未经调整P值为了多信心曲线
在一个探索性的时尚
和只要一种单身的信心曲线生成从不同的数据
到确认您的发现的一种重大区别之间二方法
什么时候使用意义测试。
那说，请保持在头脑这危险的樱桃采摘
和磷黑客攻击什么时候进行探索性的学习。
在概括，这模型筛选平台介绍了在JMP临16
提供一种方法到同时地比较这表现
的预测性的楷模创建使用不同的方法论。
JMP已一种长-常设目标到提供一种图形和每一个统计，
和信心曲线帮助到充满那差距
为了这模型筛选平台。
你可能自然预计到采用意义测试到区分
之间这表现的这各种各样的方法存在比较的。
然而， P值有来在下面增加审查在最近的年
为了遮蔽这尺寸的表现差异。
在添加，
P值是经常误解作为这可能性这空值假设是错误的。
反而，一种P值是这可能性的观察一种区别作为要么更多的极端，
假设这空值假设是真的。
这可能性的正确地拒绝这空值假设
什么时候它是错误的是决定经过力量，要么一减贝塔。
我有争论那它是不是罕见到只要有一种50%机会
的正确地拒绝这空值假设和一个Α价值的0.05 .
作为一个选择，一种信心间隔可以是显示反而的一种孤独P值。
然而，这题将是剩下打开作为到哪一个信心等级到显示。
信心曲线地址这些担忧
经过显示全部信心间隔向上到一个任意高的等级的信心。
这意思是区别在表现
是清楚地可见的在百分之零信心等级，
和那行为作为一种观点估计。
全部其他事物存在平等的，
类型一和类型二错误是相等的，
所以信心曲线别嵌入一种偏见向交易T是的一错误
为了类型二。
甚至所以，经过默认，一种垂直的线是显示在这信心曲线图形
为了这标准空值假设的不区别。
在添加，一种水平的线是显示那划定
这95%信心间隔，
哪一个容易提供一种典型的意义测试分析如果想要的。
这默认值为了这些线条是容易地修改的
如果一种不同的空值假设和信心等级是想要的。
甚至所以，给定这相当广阔和有时强调建议
到代替意义测试和观点估计和信心间隔，
它可能是最好的到看法一种信心曲线作为一种观点估计
沿着和一种几乎综合的看法的它的联系不确定。
如果你有回馈关于这信心曲线添加-在，
请离开一种评论在这JMP C社区地点
和别忘记到投票为了这介绍
如果你成立它有趣的和要么有用。
谢谢你为了观看这介绍，和我希望你有一种伟大的日。
