你好。 我的 姓名 是 布萊恩 弗里克。
我是 a 產品 主管 在 JMP 專注 在 這 JMP 使用者 經驗。
之前， I 曾是 a 軟體 開發者 在職的 在 出口 報告
到 獨立 HTML 火 文件。
JMP 居住 和 JMP 民眾。
在 這 推介會，
我是 去 到 演講 關於 使用 置信曲線
作為 一個 選擇 到 無效的 假設 意義 測試
在 這 情境 的 預測 模型 篩檢。
額外的 材料 在 這 主題 能 是 成立 在 這 JMP 社群 網站
在 這 紙 聯繫 和 這 推介會。
博士 拉斯 沃爾芬格 是 a 傑出 研究 同伴 在 JMP
和 a 共同 作者， 和 I 會 喜歡 到 感謝 他 為了 他的 貢獻。
這 模型 篩檢 平台， 介紹 在 JMP 專業版 16
允許 你 到 評價 這 表現
的 多種的 預測 模型 使用 叉 驗證。
到 展示 你 如何 這 模型 篩檢 平台 作品，
我是 去 到 使用 這 糖尿病 數據 桌子，
哪個 是 可用的 在 這 JMP 樣本 數據 圖書館.
患病的 選擇 模型 篩選 從 這 分析 預測 造型 菜單。
JMP 回應 經過 顯示 這 模型 篩檢 對話。
這 第一的 三 列 在 這 數據 桌子
代表 疾病 進展 在 連續的 二進位 和 序數 形式。
患病的 使用 這 連續的 柱子 命名 Y 作為 這 回覆 多變的。
患病的 使用 這 列 從 年齡 到 葡萄糖 在 這 X 因素 角色。
患病的 類型 1234 在 這 放 隨機的 種子 輸入 盒子 為了 可重複性，
患病的 選擇 這 查看 盒子 下一個 到 K-Fold 叉 驗證 和 離開 K 放 到 五。
患病的 3型 進入 這 輸入 盒子 下一個 到 重複 KF 老的。
在 這 方法 列表， 患病的 取消選擇 神經。
現在 患病的 點選 好的。
JMP 回應 經過 訓練 和 驗證 模型 為了 每個 的 這 選定 方法
使用 他們的 預設 範圍 設定 和 叉 驗證。
後 完成 這 訓練 和 驗證 過程，
JMP 顯示器 這 結果 在 a 新的 窗戶。
為了 每個 造型 方法。
這 模型 篩檢 平台 提供 表現 措施
在 這 形式 的 觀點 估算 為了 這 係數 的 決心，
也 已知 作為 R 平方， 這 根 平均的 平方 錯誤，
和 這 標準 偏差 為了 這 根 平均的 平方 錯誤。
現在 患病的 點選 選擇 主導的。
JMP 回應 經過 突出顯示 這 方法
那 表演 最好的 穿過 這 表現 措施。
是什麼 遺失的 這裡 是 a 形象的 到 展示 這 尺寸 的 這 差異
之間 這 主導的 方法 和 這 其他 方法，
沿著 和 這 視覺化 的 這 不確定
聯繫 和 這 差異。
但 為什麼 不是 只是 展示 P- 值 表明 無論 這 差異 是 重要的？
不應該 a 決定 關於 無論 一 模型 是 優越的 到 其他
是 基於 在 意義？
第一的， 自從 這 P- 價值 提供 a 可能性
基於 在 a 標準化 不同之處，
a P值 經過 本身 失敗 資訊 關於 這 生的 不同之處。
一個 重要的 不同之處 不 意味著 a 有意義的 不同之處。
是 那 真的 a 問題？
I 意思是， 不是 它 無意義
到 是 擔心的 和 這 尺寸 的 這 不同之處 之間 二 模型
前 使用 意義 測試
到 決定 無論 這 不同之處 是 真實的？
這 問題 和 那 線 的 思維 是 那 它是 力量 或者 一 減 測試版
那 決定 我們的 能力 到 正確 拒絕 a 無效的 假設。
作者 這樣的 作為 雅各 柯恩 和 坦白 史密斯
有 建議 那 典型的 研究 有 這 力量 到 探測 差異
在 這 範圍 的 0.4 至 0.6 .
所以 我們來吧 認為 我們 有 a 不同之處。
在哪裡 這 力量 到 探測 a 真的 不同之處？
零 五 在 一個 阿爾法 等級 零 五。
那 建議 我們 會 探測 這 真的 不同之處， 在 平均的 50% 的 這 時間。
所以 在 那 案件， 意義 測試 會 確認 真實的 差異
不 更好的 比 翻轉 一個 公正的 硬幣。
如果 全部 其他 事物 是 平等的， 1型 和 類型 2 錯誤 是 相等的。
但 意義 測試 那 使用 一個 阿爾法 價值 的 0.05。
常 隱式地 認為 類型 2 錯誤 是 優選 到 1型 錯誤，
特別 如果 這 力量 是 作為 低的 作為 0.5 .
A 常見的 建議 到 地址 這些 和 其他 問題 和 意義 測試
是 到 展示 這 觀點 估計 沿著 和 這 信心 間隔。
一 異議 到 正在做 所以 是 那
a 觀點 估計 沿著 和 a 95% 信心 間隔
是 有效地 這 相同的 事物 作為 意義 測試。
甚至 如果 我們 認為 那 是 真的， a 觀點 估計 和 信心 間隔
仍然 放置 這 規模 的 這 不同之處
和 這 範圍 的 這 不確定 正面 和 中心，
然而 a 貸款 P值 隱藏 他們 兩個都。
所以 各種各樣的 作者們， 包括 柯恩 和 史密斯
有 受到推崇的 替換 意義 測試
和 觀點 估算 和 信心 間隔。
甚至 所以， 這 推薦 到 使用 信心 間隔 乞求 這 問題，
哪個 一個 做 我們 展示？
顯示 僅有的 這 95% 信心 間隔
會 可能 鼓勵 你 到 解釋 它 作為 其他 形式 的 意義 測試。
這 解決方案 假如 經過 置信曲線
是 到 字面上地 展示 全部 信心 間隔
向上 到 一個 任意地 高的 信心 等級。
如何 做 I 展示 置信曲線 和 JMP？
到 方便 創造 置信曲線 和 JMP，
安裝 這 置信曲線 外掛 經過 訪問 這 JMP 社群 首頁。
類型 置信曲線 進入 這 搜尋 輸入 場地。
點選 這 置信曲線 結果。
現在 點選 這 下載 圖示 下一個 到 置信曲線。 百萬帕 dd- 在。
現在 點選 這 下載 文件。
JMP 回應 經過 問 如果 I 想 到 安裝 這 添加- 在。
你 會 點選 安裝。
然而， 患病的 點選 取消 作為 我已經 已經 已安裝 這 插件。
所以 如何 做 你 使用 這 插件？
第一的。
到 產生 置信曲線 為了 這 報告， 選擇 節省 結果 桌子
從 這 頂部 紅色的 三角形 選單 位於 在 這 模型 篩檢 報告 窗戶。
JMP 回應 經過 創建 a 新的 桌子 包含 之中 其他的。
這 下列的 列 審判。
哪個 包含 這 識別符 為了 這 三 套
的 叉 驗證 結果。
折疊。
哪個 包含 這 識別符
為了 這 五 清楚的 套 的 子樣本 用過的 為了 驗證 在 每個 審判。
方法。
哪個 包含 這 方法 用過的 到 創造 模型 從 這 測試 數據。
和 在。
哪個 包含 這 數位 的 數據 積分 用過的 在 這 驗證 折疊。
筆記 那 這 審判 柱子 將要 是 遺失的 如果 這 數位 的 重複 是 確切地 一，
在 哪個 案件 這 審判 柱子 是 兩者都不 創建 也不 需要。
節省 為了 那 例外， 這些 列 是 基本的
為了 這 置信曲線 外掛 到 功能 適當地。
在 添加 到 這些 列， 你 需要 一 柱子
那 提供 這 指標 到 比較 之間 方法。
患病的 是 使用 R 平方 作為 這 指標 的 興趣 在 這 推介會。
一次 你 有 這 模型 篩選 結果 桌子，
點選 外掛 從 JMPs 主要的 選單 酒吧 和 然後 選擇 置信曲線。
這 邏輯 那 跟隨 會 是 更好的 放置 在 a 巫師，
和 I 希望 到 添加 那 功能 在 a 未來 發布 的 這 插件。
作為 它 是， 這 第一的 對話 那 出現
請求 你 到 選擇 這 姓名 的 這 桌子
那 曾是 產生的 什麼時候 你 選擇 '節省 結果 桌子'，
從 這 模型 螢幕 報告 紅色的 三角形 菜單。
這 姓名 的 這 桌子 在 這 案件 是 模型 螢幕 統計數據 驗證 放。
下一個， a 對話 是 顯示
那 請求 這 姓名 的 這 方法 那 將要 服務 作為 這 基線
從 哪個 全部 這 其他 表現 指標 是 測量。
I 建議 開始 和 這 方法 那 曾是 選定 什麼時候 你 點選
這 選擇 主導的 選項
在 這 模型 篩檢 報告 窗戶， 哪個 在 這 案件 是 合身 分步進行。
最後， a 對話 是 顯示
那 請求 你 到 選擇 這 指標 到 是 比較的 之間 這 各種各樣的 方法。
作為 提及 早些時候， 患病的 使用 R 平方 作為 這 指標 為了 比較。
JMP 回應 經過 創建 a 信心 曲線 桌子 那 包含 P值
和 相應的 信心 等級 為了 這 意思是 不同之處
之間 這 選定 基線 方法 和 每個 的 這 其他 方法。
更多的 具體來說， 這 產生的 桌子 有 列 為了 這 下列的。
模型。
在 哪個 每個 排 包含 這 姓名 的 這 造型 方法
誰 表現 是 評估 相對的 到 這 基線 方法。
P- 價值 在 哪個 每個 排 包含 這 可能性
聯繫 和 這 表現 不同之處
在 至少 作為 極端 作為 這 價值 所示 在 這 不同之處 在 我們的 方塊 柱子。
信心 間隔 在 哪個 每個 排 包含 這 信心 等級。
我們 有 那 這 真的 意思是 是 包含 在 這 聯繫 間隔
和 最後， 不同之處 在 我們的 正方形，
在 哪個 每個 排 是 這 最大限度 或者 最低限度
的 這 預期的 不同之處 在 R 平方
聯繫 和 這 信心 等級 所示 在 這 信心 間隔 柱子。
從 這 桌子， 置信曲線 是 創建
和 所示 在 這 圖形 建造者 圖形。
所以 什麼 是 置信曲線？
到 闡明 這 鑰匙 屬性 的 a 置信曲線
患病的 隱藏 全部 但 這 支援 向量 機器的 置信曲線
使用 這 當地的 數據 篩選 經過 點選 在 支援 向量 機器。
經過 預設, a 置信曲線 僅有的 演出
這 線條 那 連接 這 極端情況 的 每個 信心 間隔。
到 看 這 積分， 選擇 展示 控制 控制板 從 這 紅色的 三角形 選單
位於 下一個 到 這 文字 那 閱讀 圖形 建造者 在 這 標題 酒吧。
現在 患病的 轉移 點選 這 積分 圖示.
JMP 回應 經過 顯示 這 端點 的 這 信心 間隔
那 製作 向上 這 置信曲線。
現在 I 將要 飛漲 在 和 檢查 a 觀點。
如果 你 徘徊 這 老鼠 指針 超過 任何 的 這些 積分。
A 徘徊 標籤 演出 P - 價值 信心 間隔，
不同之處 在 這 尺寸 的 這 指標
和 這 方法 用過的 到 產生 這 模型
存在 比較的 到 這 參考 模型。
現在 出色地 轉動 離開 這 積分 經過 轉移 點選 這 積分 圖示
和 點選 這 完畢 按鈕。
甚至 儘管 這 個人 積分 是 不 更長 如圖所示
你 能 仍然 看法 這 聯繫 徘徊 標籤
經過 放置 這 老鼠 指針 超過 這 置信曲線。
觀點 估計 為了 這 主要的 不同之處
在 表現 之間 這 運動 向量 機器 和 循序漸進 模型
是 所示 在 這 0% 信心 等級，
哪個 是 這 意思是 價值 的 這 差異 計算 使用 叉 驗證。
A 置信曲線 圖表 這 程度
的 每個 信心 間隔 從 這 產生的 桌子 之間 零
和 這 99.99% 信心 等級 沿著 和 這 左邊 Y 軸。
P 值 聯繫 和 這 信心 間隔 是 所示
沿著 這 正確的 y 軸。
這 信心 等級 聯繫 和 每個 信心 間隔 已顯示。
這 Y 軸 用途 a 紀錄 規模
所以 那 更多的 解決 是 所示 在 更高 信心 級別。
經過 預設, 二 參考 線條 是 繪製 旁邊 a 置信曲線。
這 垂直的 線 代表
這 傳統的 無效的 假設 的 不 不同之處 在 影響。
筆記 你 能 改變 這 垂直的 線 位置
和 從而 這 隱式 無效的 假設。
在 這 X軸 設定.
這 水平的 線 透過 透過 這 傳統的 95% 信心 間隔。
作為 和 這 垂直的 參考 線，
你 能 改變 這 水平的 線 位置
和 從而 這 隱式 等級 的 意義
經過 變化 這 Y 軸 設定.
如果 a 置信曲線 十字架 這 垂直的 線 多於 這 水平的 線，
你 不能 拒絕 這 無效的 假設 使用 意義 測試。
為了 例子， 我們 不能 拒絕 這 無效的 假設 為了 支援 向量 機器。
在 這 其他 手， 如果 a 置信曲線
十字架 這 垂直的 線 以下 這 水平的 線，
你 能 拒絕 這 無效的 假設 使用 意義 測試。
為了 例子， 我們 能 拒絕 這 無效的 假設 為了 增強 樹。
如何 是 置信曲線 計算？
這 目前的 執行 的 信心 曲線 假設
這 差異 是 計算
使用 R 時間 重複 K折 叉 驗證。
這 程度 的 每個 信心 間隔 是 計算
使用 什麼 是 已知 作為 a 變異數 已更正 重採樣 t檢定。
筆記 那 作者 克勞德 納多 和 約書亞·本吉奧
筆記 那 a 已更正 重採樣 T檢驗
是 通常 用過的 在 案例 在哪裡 訓練 套
是 五 或者 十 時代 更大的 比 驗證 套。
為了 更多的 細節， 請 看 這 紙 聯繫 和 這 推介會。
所以 如何 是 置信曲線 解讀？
第一的， 這 置信曲線 圖形化 描繪
這 主要的 不同之處 在 這 指標 的 興趣 之間 a 給定 方法
和 a 參考 方法 在 這 0% 信心 等級。
所以 我們 能 評價 無論 這 意思是 不同之處 之間 這 方法
是 有意義的。
如果 這 主要的 不同之處 不是 有意義的， 有 小的 觀點 在 更遠 分析
的 a 給定 方法 相對 這 參考 方法 和 尊重 到 這 選定 公制。
什麼 構成 a 有意義的 不同之處 取決於 在 這 指標 的 興趣
作為 出色地 作為 這 故意的 科學 或者 工程 應用。
為了 例子，
你 能 看 這 模型 發達 和 a 決定 樹 方法
是 在 平均的 關於 14% 更糟 比 循序漸進地健身，
哪個 可以說 是 a 有意義的 不同之處。
如果 這 不同之處 是 有意義的，
我們 能 評價 如何 恰恰 這 不同之處 有 到過 測量
經過 評估 如何 很多 這 置信度 C 罵 寬度 變化
穿過 這 信心 級別。
為了 任何 信心 間隔 不是 過境 這 預設 垂直的 軸，
我們 有 在 至少 那 等級 的 信心 那 這 主要的 不同之處 是 非零。
為了 例子，
這 決定 樹 信心 曲線 不 叉 這 Y 軸
直到 關於 這 99.98% 信心 等級。
我們 是 幾乎 99.98% 自信的 這 意思是 不同之處 不是 平等的 到 零。
在 事實， 和 這 數據，
它 轉彎 出去 那 我們 能 是 關於 81% 自信的
那 循序漸進 是 在 至少 作為 好的，
如果 不是 更好的， 比 每一個 方法 其他 比 廣義 回歸 套索。
現在 我們來吧 考慮 這 關係 之間 置信曲線。
如果 二 或者 更多的 置信曲線 顯著地 重疊
和 這 意思是 不同之處 的 每個 是 不是 有意義地 不同的 從 這 其他。
這 數據 建議 每個 方法 表演 關於 這 相同的 作為 這 其他
和 尊重 到 這 參考 模型。
所以 為了 例子，
我們 看 那 在 平均的， 這 支援 向量 機器 模型
表演 較少的 比 . 5% 比 Bootstrap 森林，
哪個 是 可以說 不是 a 有意義的 不同之處。
這 信心 間隔 做 不是 重疊 直到 關於 這 4% 信心 等級，
哪個 建議 這些 值 會 是 預期的
如果 兩個都 方法 真的 做 有 關於 這 相同的 不同之處 在 表現
和 尊重 到 這 參考。
如果 這 平均的 不同之處 在 表現
是 關於 這 相同的 為了 二 信心 曲線，
但 這 信心 間隔 不 重疊 也 很多，
這 數據 建議
這 模型 執行 關於 這 相同的 作為 每個 其他 和 尊重 到 這 參考 模型。
然而， 我們 是 自信的 的 a 非 有意義的 不同之處。
這 特別的 案件 是 稀有的 比 這 其他的
和 I 不 有 一個 例子 到 展示 和 這 數據 放。
在 這 其他 手， 如果 這 平均的 不同之處 在 表現
之間 a 一對 的 置信曲線 是 有意義地 不同的
和 這 信心 曲線 有 小的 重疊，
這 數據 建議 這 模型 執行
不同 從 一 其他 和 尊重 到 這 參考。
為了 例子， 這 廣義 回歸 套索 模型 預測 關於 13.8%
更多的 的 這 變化 在 這 回覆 比 做 這 決定 樹 模型。
而且， 這 置信曲線 不 重疊
直到 關於 這 99.9% 信心 等級，
哪個 建議 這些 結果 是 相當 例外
如果 這 方法 實際上 執行 關於 這 相同的 和 尊重 到 這 參考。
最後， 如果 這 平均的 不同之處 在 表現 之間 a 一對
的 置信曲線 是 有意義地 不同的 從 一 其他
和 這 曲線 有 大量 重疊，
這 數據 建議 那
儘管 這 方法 執行 不同 從 一 其他 和 尊重 到 這 參考，
它 不會 是 奇怪 如果 這 不同之處 是 狂怒。
為了 例子， 我們 能 看 那 在 平均的
支援 向量 機器 預測 關於 1.4% 更多的 的 這 變異數 在 這 回覆
比 做過 [聽不清楚 00:19:18] 最近的 鄰居。
然而， 這 信心 間隔 開始 到 重疊 在 關於 這 17% 信心 等級，
哪個 建議 它 不會 是 奇怪
如果 這 不同之處 在 表現 之間 每個 方法
和 這 參考 是 實際上 較小的 比 建議 經過 這 觀點 估算值。
同時地，
它 不會 是 奇怪 如果 這 實際的 不同之處 是 更大的 比 測量，
或者 如果 這 方向 的 這 不同之處 是 實際上 反轉。
在 其他 字， 這 不同之處 在 表現 是 不確定。
筆記 那 它 不是 可能的 到 評估 這 變異性 和 表現
之間 二 模型 相對的 到 一 其他
什麼時候 這 差異 是 相對的 到 a 第三 模型。
到 比較 這 變異性 和 表現
之間 二 方法 相對的 到 一 其他，
一 的 這 二 方法 必須 是 這 參考 方法
從 哪個 這 差異 是 測量。
但 什麼 關於 多種的 對比？
不 我們 需要 到 調整 這 P值
到 控制 這 家庭 明智的 1型 錯誤 速度？
在 這 紙 關於 置信曲線
丹尼爾 伯勒 建議 那 調整 是 需要 在 確認 研究
在哪裡 a 目標 是 預先指定的， 但 不是 在 探索性的 研究。
這 主意 建議 使用 未經調整 P值 為了 多種的 置信曲線
在 一個 探索性的 時尚
和 僅有的 a 單身的 置信曲線 產生的 從 不同的 數據
到 確認 你的 發現 的 a 重要的 不同之處
之間 二 方法 什麼時候 使用 意義 測試。
那 說， 請 保持 在 頭腦 這 危險 的 櫻桃 採摘， p值操縱
什麼時候 進行 探索性的 研究。
在 概括， 這 模型 篩選 平台 介紹 在 JMP 專業版 16
提供 a 方法 到 同時地 比較 這 表現
的 預測 模型 創建 使用 不同的 方法論。
JMP 有 a 長的 常設 目標 到 提供 a 圖形 和 每一個 統計數據，
和 置信曲線 幫助 到 充滿 那 差距。
為了 這 模型 篩選 平台。
你 可能 自然 預計 到 使用 意義 測試 到 區分
之間 這 表現 的 各種各樣的 方法 存在 比較的。
然而， P值 有 來 在下面 增加 審查 在 最近的 年
為了 遮蔽 這 尺寸 的 表現 差異。
在 添加，
P值 是 常 誤解 作為 這 可能性 這 無效的 假設 是 真的。
反而 的 P值 是 這 可能性 的 觀察 a 不同之處
作為 或者 更多的 極端， 假設 這 無效的 假設 是 真的。
這 可能性 的 正確 拒絕 這 無效的 假設 什麼時候 它 是 錯誤的
是 決定 經過 a 力量 或者 一 減 測試版。
I 有 爭論 那 它 是 不是 罕見 到 僅有的 有 a 50% 機會
的 正確 拒絕 這 無效的 假設 和 一個 阿爾法 價值 的 0.05 .
作為 一個 選擇， a 信心 間隔 可以 是 所示 反而 的 a 貸款 P- 價值。
然而， 這 問題 會 是 左邊 打開 作為 到 哪個 信心 等級 到 展示。
置信曲線 地址 這些 擔憂 經過 顯示 全部 信心 間隔
向上 到 一個 任意地 高的- 等級 的 信心。
這 意思是 不同之處 在 這 表現
是 清楚地 可見的 在 這 0% 信心 等級， 和 那 行為 作為 a 觀點 估計。
全部 的 這 事物 存在 平等的， 1型 和 類型 2 錯誤 是 相等的。
置信曲線 不 嵌入 a 偏見 向 貿易 1型 錯誤 為了 類型 2。
甚至 所以， 經過 預設,
a 垂直的 線 是 所示 在 這 信心 曲線 圖形
為了 這 標準 無效的 假設 的 不 不同之處。
在 添加，
a 水平的 線 是 所示 那 描繪 這 95% 信心 間隔，
哪個 容易 提供 a 典型的 意義 測試 分析 如果 期望的。
這 預設值 為了 這些 線條 是 容易地 修改的，
但 不同的 無效的 假設 和 信心 等級 期望的。
甚至 所以， 給定 這 相當 廣闊 和 有時 強調 建議
到 代替 意義 測試 和 觀點 估算 和 信心 間隔，
它 可能 是 最好的 到 看法 a 置信曲線 作為 a 觀點 估計
沿著 和 a 幾乎 綜合的 看法 的 它是 聯繫 不確定。
如果 你 有 回饋 關於 這 信心 曲線的 插件，
請 離開 a 評論 在 這 JMP 社群 地點。
和 不 忘記 到 投票 為了 這 推介會
如果 你 成立 它 有趣的 或者 有用。
感謝 你 為了 觀看 這 推介會 和 I 希望 你 有 a 偉大的 天。
