你好。 我的 姓名 是 布莱恩 弗里克。
我是 a 产品 经理 在 JMP 专注 在 这 JMP 用户 经验。
之前， I 曾是 a 软件 开发者 在职的 在 出口 报告
到 独立 HTML 火 文件。
JMP 居住 和 JMP 民众。
在 这 推介会，
我是 去 到 讲话 关于 使用 置信曲线
作为 一个 选择 到 无效的 假设 意义 测试
在 这 语境 的 预测 模型 筛查。
额外的 材料 在 这 主题 能 是 成立 在 这 JMP 社区 网站
在 这 纸 联系 和 这 推介会。
博士 拉斯 沃尔芬格 是 a 杰出 研究 同伴 在 JMP
和 a 共同 作者， 和 I 会 喜欢 到 感谢 他 为了 他的 贡献。
这 模型 筛查 平台， 介绍 在 JMP 专业版 16
允许 你 到 评价 这 表现
的 多种的 预测 模型 使用 叉 验证。
到 展示 你 如何 这 模型 筛查 平台 作品，
我是 去 到 使用 这 糖尿病 数据 桌子，
哪个 是 可用的 在 这 JMP 样本 数据 图书馆。
患病的 选择 模型 筛选 从 这 分析 预测 造型 菜单。
JMP 回应 经过 显示 这 模型 筛查 对话。
这 第一的 三 列 在 这 数据 桌子
代表 疾病 进展 在 连续的 二进制 和 序数 形式。
患病的 使用 这 连续的 柱子 命名 Y 作为 这 回复 多变的。
患病的 使用 这 列 从 年龄 到 葡萄糖 在 这 X 因素 角色。
患病的 类型 1234 在 这 放 随机的 种子 输入 盒子 为了 可重复性，
患病的 选择 这 查看 盒子 下一个 到 K-Fold 叉 验证 和 离开 K 放 到 五。
患病的 3型 进入 这 输入 盒子 下一个 到 重复 KF 老的。
在 这 方法 列表， 患病的 取消选择 神经。
现在 患病的 点击 好的。
JMP 回应 经过 训练 和 验证 模型 为了 每个 的 这 选定 方法
使用 他们的 默认 范围 设置 和 叉 验证。
后 完成 这 训练 和 验证 过程，
JMP 显示器 这 结果 在 a 新的 窗户。
为了 每个 造型 方法。
这 模型 筛查 平台 提供 表现 措施
在 这 形式 的 观点 估算 为了 这 系数 的 决心，
还 已知 作为 R 平方， 这 根 平均的 平方 错误，
和 这 标准 偏差 为了 这 根 平均的 平方 错误。
现在 患病的 点击 选择 主导的。
JMP 回应 经过 突出显示 这 方法
那 表演 最好的 穿过 这 表现 措施。
是什么 丢失的 这里 是 a 形象的 到 展示 这 尺寸 的 这 差异
之间 这 主导的 方法 和 这 其他 方法，
沿着 和 这 可视化 的 这 不确定
联系 和 这 差异。
但 为什么 不是 只是 展示 P- 值 表明 无论 这 差异 是 重要的？
不应该 a 决定 关于 无论 一 模型 是 优越的 到 其他
是 基于 在 意义？
第一的， 自从 这 P- 价值 提供 a 可能性
基于 在 a 标准化 不同之处，
a P值 经过 本身 失败 信息 关于 这 生的 不同之处。
一个 重要的 不同之处 不 意味着 a 有意义的 不同之处。
是 那 真的 a 问题？
I 意思是， 不是 它 无意义
到 是 担心的 和 这 尺寸 的 这 不同之处 之间 二 模型
前 使用 意义 测试
到 决定 无论 这 不同之处 是 真实的？
这 问题 和 那 线 的 思维 是 那 它是 力量 或者 一 减 测试版
那 决定 我们的 能力 到 正确 拒绝 a 无效的 假设。
作者 这样的 作为 雅各布 科恩 和 坦率 史密斯
有 建议 那 典型的 研究 有 这 力量 到 探测 差异
在 这 范围 的 0.4 至 0.6 .
所以 我们来吧 认为 我们 有 a 不同之处。
在哪里 这 力量 到 探测 a 真的 不同之处？
零 五 在 一个 阿尔法 等级 零 五。
那 建议 我们 会 探测 这 真的 不同之处， 在 平均的 50% 的 这 时间。
所以 在 那 案件， 意义 测试 会 确认 真实的 差异
不 更好的 比 翻转 一个 公正的 硬币。
如果 全部 其他 事物 是 平等的， 1型 和 类型 2 错误 是 相等的。
但 意义 测试 那 使用 一个 阿尔法 价值 的 0.05。
经常 隐式地 认为 类型 2 错误 是 优选 到 1型 错误，
特别 如果 这 力量 是 作为 低的 作为 0.5 .
A 常见的 建议 到 地址 这些 和 其他 问题 和 意义 测试
是 到 展示 这 观点 估计 沿着 和 这 信心 间隔。
一 异议 到 正在做 所以 是 那
a 观点 估计 沿着 和 a 95% 信心 间隔
是 有效地 这 相同的 事物 作为 意义 测试。
甚至 如果 我们 认为 那 是 真的， a 观点 估计 和 信心 间隔
仍然 放置 这 震级 的 这 不同之处
和 这 范围 的 这 不确定 正面 和 中心，
然而 a 贷款 P值 隐藏 他们 两个都。
所以 各种各样的 作者们， 包括 科恩 和 史密斯
有 受到推崇的 替换 意义 测试
和 观点 估算 和 信心 间隔。
甚至 所以， 这 推荐 到 使用 信心 间隔 乞求 这 问题，
哪个 一个 做 我们 展示？
显示 仅有的 这 95% 信心 间隔
会 可能 鼓励 你 到 解释 它 作为 其他 形式 的 意义 测试。
这 解决方案 假如 经过 置信曲线
是 到 字面上地 展示 全部 信心 间隔
向上 到 一个 任意地 高的 信心 等级。
如何 做 I 展示 置信曲线 和 JMP？
到 方便 创造 置信曲线 和 JMP，
安装 这 置信曲线 插件 经过 访问 这 JMP 社区 首页。
类型 置信曲线 进入 这 搜索 输入 场地。
点击 这 置信曲线 结果。
现在 点击 这 下载 图标 下一个 到 置信曲线。 兆帕 dd- 在。
现在 点击 这 下载 文件。
JMP 回应 经过 问 如果 I 想 到 安装 这 添加- 在。
你 会 点击 安装。
然而， 患病的 点击 取消 作为 我已经 已经 已安装 这 插件。
所以 如何 做 你 使用 这 插件？
第一的。
到 产生 置信曲线 为了 这 报告， 选择 节省 结果 桌子
从 这 顶部 红色的 三角形 菜单 位于 在 这 模型 筛查 报告 窗户。
JMP 回应 经过 创建 a 新的 桌子 包含 之中 其他的。
这 下列的 列 审判。
哪个 包含 这 标识符 为了 这 三 套
的 叉 验证 结果。
折叠。
哪个 包含 这 标识符
为了 这 五 清楚的 套 的 子样本 用过的 为了 验证 在 每个 审判。
方法。
哪个 包含 这 方法 用过的 到 创造 模型 从 这 测试 数据。
和 在。
哪个 包含 这 数字 的 数据 积分 用过的 在 这 验证 折叠。
笔记 那 这 审判 柱子 将要 是 丢失的 如果 这 数字 的 重复 是 确切地 一，
在 哪个 案件 这 审判 柱子 是 两者都不 创建 也不 需要。
节省 为了 那 例外， 这些 列 是 基本的
为了 这 置信曲线 插件 到 功能 适当地。
在 添加 到 这些 列， 你 需要 一 柱子
那 提供 这 指标 到 比较 之间 方法。
患病的 是 使用 R 平方 作为 这 指标 的 兴趣 在 这 推介会。
一次 你 有 这 模型 筛选 结果 桌子，
点击 插件 从 JMPs 主要的 菜单 酒吧 和 然后 选择 置信曲线。
这 逻辑 那 跟随 会 是 更好的 放置 在 a 巫师，
和 I 希望 到 添加 那 功能 在 a 未来 发布 的 这 插件。
作为 它 是， 这 第一的 对话 那 出现
请求 你 到 选择 这 姓名 的 这 桌子
那 曾是 生成的 什么时候 你 选择 '节省 结果 桌子'，
从 这 模型 屏幕 报告 红色的 三角形 菜单。
这 姓名 的 这 桌子 在 这 案件 是 模型 屏幕 统计数据 验证 放。
下一个， a 对话 是 显示
那 请求 这 姓名 的 这 方法 那 将要 服务 作为 这 基线
从 哪个 全部 这 其他 表现 指标 是 测量。
I 建议 开始 和 这 方法 那 曾是 选定 什么时候 你 点击
这 选择 主导的 选项
在 这 模型 筛查 报告 窗户， 哪个 在 这 案件 是 合身 分步进行。
最后， a 对话 是 显示
那 请求 你 到 选择 这 指标 到 是 比较的 之间 这 各种各样的 方法。
作为 提及 早些时候， 患病的 使用 R 平方 作为 这 指标 为了 比较。
JMP 回应 经过 创建 a 信心 曲线 桌子 那 包含 P值
和 相应的 信心 级别 为了 这 意思是 不同之处
之间 这 选定 基线 方法 和 每个 的 这 其他 方法。
更多的 具体来说， 这 生成的 桌子 有 列 为了 这 下列的。
模型。
在 哪个 每个 排 包含 这 姓名 的 这 造型 方法
谁 表现 是 评估 相对的 到 这 基线 方法。
P- 价值 在 哪个 每个 排 包含 这 可能性
联系 和 这 表现 不同之处
在 至少 作为 极端 作为 这 价值 所示 在 这 不同之处 在 我们的 正方形 柱子。
信心 间隔 在 哪个 每个 排 包含 这 信心 等级。
我们 有 那 这 真的 意思是 是 包含 在 这 联系 间隔
和 最后， 不同之处 在 我们的 正方形，
在 哪个 每个 排 是 这 最大限度 或者 最低限度
的 这 预期的 不同之处 在 R 平方
联系 和 这 信心 等级 所示 在 这 信心 间隔 柱子。
从 这 桌子， 置信曲线 是 创建
和 所示 在 这 图形 建造者 图形。
所以 什么 是 置信曲线？
到 阐明 这 钥匙 属性 的 a 置信曲线
患病的 隐藏 全部 但 这 支持 向量 机器的 置信曲线
使用 这 当地的 数据 筛选 经过 点击 在 支持 向量 机器。
经过 默认， a 置信曲线 仅有的 演出
这 线条 那 连接 这 极端情况 的 每个 信心 间隔。
到 看 这 积分， 选择 展示 控制 控制板 从 这 红色的 三角形 菜单
位于 下一个 到 这 文本 那 阅读 图形 建造者 在 这 标题 酒吧。
现在 患病的 转移 点击 这 积分 图标。
JMP 回应 经过 显示 这 端点 的 这 信心 间隔
那 制作 向上 这 置信曲线。
现在 I 将要 飞涨 在 和 检查 a 观点。
如果 你 徘徊 这 老鼠 指针 超过 任何 的 这些 积分。
A 徘徊 标签 演出 P - 价值 信心 间隔，
不同之处 在 这 尺寸 的 这 指标
和 这 方法 用过的 到 产生 这 模型
存在 比较的 到 这 参考 模型。
现在 出色地 转动 离开 这 积分 经过 转移 点击 这 积分 图标
和 点击 这 完毕 按钮。
甚至 尽管 这 个人 积分 是 不 更长 如图所示
你 能 仍然 看法 这 联系 徘徊 标签
经过 放置 这 老鼠 指针 超过 这 置信曲线。
观点 估计 为了 这 主要的 不同之处
在 表现 之间 这 运动 向量 机器 和 循序渐进 模型
是 所示 在 这 0% 信心 等级，
哪个 是 这 意思是 价值 的 这 差异 计算 使用 叉 验证。
A 置信曲线 图表 这 程度
的 每个 信心 间隔 从 这 生成的 桌子 之间 零
和 这 99.99% 信心 等级 沿着 和 这 左边 Y 轴。
P 值 联系 和 这 信心 间隔 是 所示
沿着 这 正确的 y 轴。
这 信心 等级 联系 和 每个 信心 间隔 已显示。
这 Y 轴 用途 a 日志 规模
所以 那 更多的 解决 是 所示 在 更高 信心 级别。
经过 默认， 二 参考 线条 是 绘制 旁边 a 置信曲线。
这 垂直的 线 代表
这 传统的 无效的 假设 的 不 不同之处 在 影响。
笔记 你 能 改变 这 垂直的 线 位置
和 从而 这 隐式 无效的 假设。
在 这 X轴 设置。
这 水平的 线 通过 通过 这 传统的 95% 信心 间隔。
作为 和 这 垂直的 参考 线，
你 能 改变 这 水平的 线 位置
和 从而 这 隐式 等级 的 意义
经过 变化 这 Y 轴 设置。
如果 a 置信曲线 十字架 这 垂直的 线 多于 这 水平的 线，
你 不能 拒绝 这 无效的 假设 使用 意义 测试。
为了 例子， 我们 不能 拒绝 这 无效的 假设 为了 支持 向量 机器。
在 这 其他 手， 如果 a 置信曲线
十字架 这 垂直的 线 以下 这 水平的 线，
你 能 拒绝 这 无效的 假设 使用 意义 测试。
为了 例子， 我们 能 拒绝 这 无效的 假设 为了 增强 树。
如何 是 置信曲线 计算？
这 当前的 执行 的 信心 曲线 假设
这 差异 是 计算
使用 R 时间 重复 K折 叉 验证。
这 程度 的 每个 信心 间隔 是 计算
使用 什么 是 已知 作为 a 方差 已更正 重采样 t检验。
笔记 那 作者 克劳德 纳多 和 约书亚·本吉奥
笔记 那 a 已更正 重采样 T检验
是 通常 用过的 在 案例 在哪里 训练 套
是 五 或者 十 时代 更大的 比 验证 套。
为了 更多的 细节， 请 看 这 纸 联系 和 这 推介会。
所以 如何 是 置信曲线 解读？
第一的， 这 置信曲线 图形化 描绘
这 主要的 不同之处 在 这 指标 的 兴趣 之间 a 给定 方法
和 a 参考 方法 在 这 0% 信心 等级。
所以 我们 能 评价 无论 这 意思是 不同之处 之间 这 方法
是 有意义的。
如果 这 主要的 不同之处 不是 有意义的， 有 小的 观点 在 更远 分析
的 a 给定 方法 相对 这 参考 方法 和 尊重 到 这 选定 公制。
什么 构成 a 有意义的 不同之处 取决于 在 这 指标 的 兴趣
作为 出色地 作为 这 故意的 科学 或者 工程 应用。
为了 例子，
你 能 看 这 模型 发达 和 a 决定 树 方法
是 在 平均的 关于 14% 更糟 比 循序渐进地健身，
哪个 可以说 是 a 有意义的 不同之处。
如果 这 不同之处 是 有意义的，
我们 能 评价 如何 恰恰 这 不同之处 有 到过 测量
经过 评估 如何 很多 这 置信度 C 骂 宽度 变化
穿过 这 信心 级别。
为了 任何 信心 间隔 不是 过境 这 默认 垂直的 轴，
我们 有 在 至少 那 等级 的 信心 那 这 主要的 不同之处 是 非零。
为了 例子，
这 决定 树 信心 曲线 不 叉 这 Y 轴
直到 关于 这 99.98% 信心 等级。
我们 是 几乎 99.98% 自信的 这 意思是 不同之处 不是 平等的 到 零。
在 事实， 和 这 数据，
它 转弯 出去 那 我们 能 是 关于 81% 自信的
那 循序渐进 是 在 至少 作为 好的，
如果 不是 更好的， 比 每一个 方法 其他 比 广义 回归 套索。
现在 我们来吧 考虑 这 关系 之间 置信曲线。
如果 二 或者 更多的 置信曲线 显著地 重叠
和 这 意思是 不同之处 的 每个 是 不是 有意义地 不同的 从 这 其他。
这 数据 建议 每个 方法 表演 关于 这 相同的 作为 这 其他
和 尊重 到 这 参考 模型。
所以 为了 例子，
我们 看 那 在 平均的， 这 支持 向量 机器 模型
表演 较少的 比 . 5% 比 Bootstrap 森林，
哪个 是 可以说 不是 a 有意义的 不同之处。
这 信心 间隔 做 不是 重叠 直到 关于 这 4% 信心 等级，
哪个 建议 这些 值 会 是 预期的
如果 两个都 方法 真的 做 有 关于 这 相同的 不同之处 在 表现
和 尊重 到 这 参考。
如果 这 平均的 不同之处 在 表现
是 关于 这 相同的 为了 二 信心 曲线，
但 这 信心 间隔 不 重叠 也 很多，
这 数据 建议
这 模型 履行 关于 这 相同的 作为 每个 其他 和 尊重 到 这 参考 模型。
然而， 我们 是 自信的 的 a 非 有意义的 不同之处。
这 特别的 案件 是 稀有的 比 这 其他的
和 I 不 有 一个 例子 到 展示 和 这 数据 放。
在 这 其他 手， 如果 这 平均的 不同之处 在 表现
之间 a 一对 的 置信曲线 是 有意义地 不同的
和 这 信心 曲线 有 小的 重叠，
这 数据 建议 这 模型 履行
不同 从 一 其他 和 尊重 到 这 参考。
为了 例子， 这 广义 回归 套索 模型 预测 关于 13.8%
更多的 的 这 变化 在 这 回复 比 做 这 决定 树 模型。
而且， 这 置信曲线 不 重叠
直到 关于 这 99.9% 信心 等级，
哪个 建议 这些 结果 是 相当 异常
如果 这 方法 实际上 履行 关于 这 相同的 和 尊重 到 这 参考。
最后， 如果 这 平均的 不同之处 在 表现 之间 a 一对
的 置信曲线 是 有意义地 不同的 从 一 其他
和 这 曲线 有 大量 重叠，
这 数据 建议 那
尽管 这 方法 履行 不同 从 一 其他 和 尊重 到 这 参考，
它 不会 是 奇怪 如果 这 不同之处 是 狂怒。
为了 例子， 我们 能 看 那 在 平均的
支持 向量 机器 预测 关于 1.4% 更多的 的 这 方差 在 这 回复
比 做过 [听不清 00:19:18] 最近的 邻居。
然而， 这 信心 间隔 开始 到 重叠 在 关于 这 17% 信心 等级，
哪个 建议 它 不会 是 奇怪
如果 这 不同之处 在 表现 之间 每个 方法
和 这 参考 是 实际上 较小的 比 建议 经过 这 观点 估算值。
同时地，
它 不会 是 奇怪 如果 这 实际的 不同之处 是 更大的 比 测量，
或者 如果 这 方向 的 这 不同之处 是 实际上 反转。
在 其他 字， 这 不同之处 在 表现 是 不确定。
笔记 那 它 不是 可能的 到 评估 这 变异性 和 表现
之间 二 模型 相对的 到 一 其他
什么时候 这 差异 是 相对的 到 a 第三 模型。
到 比较 这 变异性 和 表现
之间 二 方法 相对的 到 一 其他，
一 的 这 二 方法 必须 是 这 参考 方法
从 哪个 这 差异 是 测量。
但 什么 关于 多种的 对比？
不 我们 需要 到 调整 这 P值
到 控制 这 家庭 明智的 1型 错误 速度？
在 这 纸 关于 置信曲线
丹尼尔 伯勒 建议 那 调整 是 需要 在 确认 研究
在哪里 a 目标 是 预先指定的， 但 不是 在 探索性的 研究。
这 主意 建议 使用 未经调整 P值 为了 多种的 置信曲线
在 一个 探索性的 时尚
和 仅有的 a 单身的 置信曲线 生成的 从 不同的 数据
到 确认 你的 发现 的 a 重要的 不同之处
之间 二 方法 什么时候 使用 意义 测试。
那 说， 请 保持 在 头脑 这 危险 的 樱桃 采摘， p值操纵
什么时候 进行 探索性的 研究。
在 概括， 这 模型 筛选 平台 介绍 在 JMP 专业版 16
提供 a 方法 到 同时地 比较 这 表现
的 预测 模型 创建 使用 不同的 方法论。
JMP 有 a 长的 常设 目标 到 提供 a 图形 和 每一个 统计数据，
和 置信曲线 帮助 到 充满 那 差距。
为了 这 模型 筛选 平台。
你 可能 自然 预计 到 使用 意义 测试 到 区分
之间 这 表现 的 各种各样的 方法 存在 比较的。
然而， P值 有 来 在下面 增加 审查 在 最近的 年
为了 遮蔽 这 尺寸 的 表现 差异。
在 添加，
P值 是 经常 误解 作为 这 可能性 这 无效的 假设 是 真的。
反而 的 P值 是 这 可能性 的 观察 a 不同之处
作为 或者 更多的 极端， 假设 这 无效的 假设 是 真的。
这 可能性 的 正确 拒绝 这 无效的 假设 什么时候 它 是 错误的
是 决定 经过 a 力量 或者 一 减 测试版。
I 有 争论 那 它 是 不是 罕见 到 仅有的 有 a 50% 机会
的 正确 拒绝 这 无效的 假设 和 一个 阿尔法 价值 的 0.05 .
作为 一个 选择， a 信心 间隔 可以 是 所示 反而 的 a 贷款 P- 价值。
然而， 这 问题 会 是 左边 打开 作为 到 哪个 信心 等级 到 展示。
置信曲线 地址 这些 担忧 经过 显示 全部 信心 间隔
向上 到 一个 任意地 高的- 等级 的 信心。
这 意思是 不同之处 在 这 表现
是 清楚地 可见的 在 这 0% 信心 等级， 和 那 行为 作为 a 观点 估计。
全部 的 这 事物 存在 平等的， 1型 和 类型 2 错误 是 相等的。
置信曲线 不 嵌入 a 偏见 向 贸易 1型 错误 为了 类型 2。
甚至 所以， 经过 默认，
a 垂直的 线 是 所示 在 这 信心 曲线 图形
为了 这 标准 无效的 假设 的 不 不同之处。
在 添加，
a 水平的 线 是 所示 那 描绘 这 95% 信心 间隔，
哪个 容易 提供 a 典型的 意义 测试 分析 如果 期望的。
这 默认值 为了 这些 线条 是 容易地 修改的，
但 不同的 无效的 假设 和 信心 级别 期望的。
甚至 所以， 给定 这 相当 广阔 和 有时 强调 建议
到 代替 意义 测试 和 观点 估算 和 信心 间隔，
它 可能 是 最好的 到 看法 a 置信曲线 作为 a 观点 估计
沿着 和 a 几乎 综合的 看法 的 它是 联系 不确定。
如果 你 有 反馈 关于 这 信心 曲线的 插件，
请 离开 a 评论 在 这 JMP 社区 地点。
和 不 忘记 到 投票 为了 这 推介会
如果 你 成立 它 有趣的 或者 有用。
感谢 你 为了 观看 这 推介会 和 I 希望 你 有 a 伟大的 天。
