こんにちは。 私の 名前 は ブライアン フリッケ。
私は a 製品 マネージャー で JMP 集中 の上 の JMP ユーザー 経験。
以前、 I だった a ソフトウェア 開発者 働く の上 輸出 報道
に スタンドアロン HTML 火 ファイル。
JMP ライブ そして JMP 公共。
で これ プレゼンテーション、
私は 行く に 話す について 使用 信頼曲線
として 1 代替 に ヌル 仮説 意義 テスト
で の コンテクスト の 予測 モデル スクリーニング。
追加 材料 の上 これ 主題 できる なれ 見つかった の上 の JMP コミュニティ Webサイト
で の 紙 関連する と これ プレゼンテーション。
博士 ラス ウォルフィンガー は a 傑出した 研究 仲間 で JMP
そして a 共同 著者、 そして I だろう のように に 感謝 彼 のために 彼の 貢献。
の モデル スクリーニング プラットフォーム、 紹介された で JMP プロ 16
許可する あなた に 評価する の パフォーマンス
の 複数 予測 モデル 使用 クロス 検証。
に 見せる あなた どうやって の モデル スクリーニング プラットフォーム 作品、
私は 行く に 使用 の 糖尿病 データ テーブル、
どれの は 利用可能 で の JMP サンプル データ 図書館。
病気 選ぶ モデル スクリーニング から の 分析 予測 モデリング メニュー。
JMP 応答する による 表示中 の モデル スクリーニング 対話。
の 初め 三つ 列 で の データ テーブル
代表する 病気 進行状況 で 連続 バイナリ そして 序数 形式。
病気 使用 の 連続 カラム 名前 Y として の 応答 変数。
病気 使用 の 列 から 年 に グルコース で の X 要素 役割。
病気 タイプ 1234 で の セット ランダム シード 入力 箱 のために 再現性、
病気 選択 の チェック 箱 次 に K折り クロス 検証 そして 離れる K セット に 五。
病気 タイプ3 の中へ の 入力 箱 次 に 繰り返し KF 古い。
で の 方法 リスト、 病気 選択解除 ニューラル。
今 病気 クリック わかった。
JMP 応答する による トレーニング そして 検証中 モデル のために それぞれ の の 選択済み 方法
使用 彼らの デフォルト パラメータ 設定 そして クロス 検証。
後 完了 の トレーニング そして 検証中 プロセス、
JMP ディスプレイ の 結果 で a 新しい ウィンドウ。
のために それぞれ モデリング 方法。
の モデル スクリーニング プラットフォーム 提供する パフォーマンス 対策
で の 形状 の ポイント 推定値 のために の 係数 の 決定、
また 知られている として R 2乗、 の 根 平均 二乗 エラー、
そして の 標準 偏差 のために の 根 平均 二乗 エラー。
今 病気 クリック 選択 支配的な。
JMP 応答する による 強調表示 の 方法
それ 実行する 最高 横切って の パフォーマンス 対策。
何ですか ない ここ は a グラフィック に 見せる の サイズ の の 違い
間 の 支配的な 方法 そして の 他の 方法、
平行 と の 視覚化 の の 不確実性
関連する と の 違い。
しかし なぜ ない ただ 見せる P- 値 示す かどうか の 違い は 重要な？
すべきではない a 決断 について かどうか 1つ モデル は 優れた に 別の
なれ ベース の上 意義？
初め、 以来 の P- 価値 提供する a 確率
ベース の上 a 標準化された 違い、
a P値 による 自体 負ける 情報 について の 生 違い。
あ、あ 重要な 違い しない 暗示する a 意味のある 違い。
は それ 本当に a 問題？
I 平均、 ではない それ 無意味
に なれ 心配している と の サイズ の の 違い 間 二 モデル
前に 使用 意義 テスト
に 決定する かどうか の 違い は 本物？
の 問題 と それ ライン の 考え は それ その 力 または 1つ マイナス ベータ
それ 決定する 私たちの 能力 に 正しく 拒否する a ヌル 仮説。
著者 そのような として ジェイコブ コーエン そして フランク スミス
持っている 提案 それ 典型的な 研究 持っている の 力 に 検出する 違い
で の 範囲 の 0.4～0.6 .
それで さあ 仮定する 私たちは 持っている a 違い。
どこ の 力 に 検出する a 真実 違い？
ゼロ 五 で 1 アルファ レベル ゼロ 五。
それ 示唆する 私たちは だろう 検出する の 真実 違い、 の上 平均 50% の の 時間。
それで で それ 場合、 意義 テスト だろう 識別する 本物 違い
いいえ より良い よりも ひっくり返す 1 偏りのない コイン。
もし 全て 他の もの は 等しい、 1型 そして タイプ2 エラー は 同等。
しかし 意義 テスト それ 使用 1 アルファ 価値 の 0.05
頻繁 暗黙のうちに 仮定する タイプ2 エラー は 好ましい に 1型 エラー、
特に もし の 力 は として 低い として 0.5 .
A 一般 提案 に 住所 これら そして 他の 問題 と 意義 テスト
は に 見せる の ポイント 見積もり 平行 と の 自信 間隔。
1つ 異議 に 行う それで は それ
a ポイント 見積もり 平行 と a 95% 自信 間隔
は 効果的に の 同じ もの として 意義 テスト中。
平 もし 私たちは 仮定する それ は 真実、 a ポイント 見積もり そして 自信 間隔
まだ プット の は、 の の 違い
そして の 範囲 の の 不確実性 フロント そして 中心、
一方 a ローン P値 隠す 彼ら 両方。
それで 様々な 著者、 含む コーエン そして スミス、
持っている 推奨 交換 意義 テスト
と ポイント 推定値 そして 自信 間隔。
平 それで、 の おすすめ に 使用 自信 間隔 懇願する の 質問、
どれの 1つ する 私たちは 見せる？
表示中 のみ の 95% 自信 間隔
だろう おそらく 奨励する あなた に 解釈する それ として 別の 形状 の 意義 テスト中。
の 解決 提供された による 信頼曲線
は に 文字通り 見せる 全て 自信 間隔
上 に 1 恣意的に 高い 自信 レベル。
どうやって する I 見せる 信頼曲線 そして JMP？
に 都合よく 作成する 信頼曲線 そして JMP、
インストール の 信頼曲線 アドイン による 訪問 の JMP コミュニティ ホームページ。
タイプ 信頼曲線 の中へ の 検索 入力 分野。
クリック の 信頼曲線 結果。
今 クリック の ダウンロード アイコン 次 に 信頼曲線。 JMPa dd- で。
今 クリック の ダウンロード済み ファイル。
JMP 応答する による 質問 もし I 欲しい に インストール の 追加- で。
あなた だろう クリック インストール。
しかし、 病気 クリック キャンセル として 私は すでに インストール済み の アドイン。
それで どうやって する あなた 使用 の アドイン？
初め。
に 生成する 信頼曲線 のために これ 報告、 選択 保存 結果 テーブル
から の トップ 赤 三角形 メニュー 位置した の上 の モデル スクリーニング 報告 ウィンドウ。
JMP 応答する による 作成 a 新しい テーブル 含む の間で その他。
の 続く 列 トライアル。
どれの を含む の 識別子 のために の 三つ セット
の クロス 検証 結果。
折り畳み。
どれの を含む の 識別子
のために の 五 明確な セット の サブサンプル 使用済み のために 検証 で それぞれ トライアル。
方法。
どれの を含む の 方法 使用済み に 作成する モデル から の テスト データ。
そして で。
どれの を含む の 番号 の データ ポイント 使用済み で の 検証 折り畳む。
注記 それ の トライアル カラム 意思 なれ ない もし の 番号 の 繰り返し は その通り 1つ、
で どれの 場合 の トライアル カラム は どちらでもない 作成済み または 必要だ。
保存 のために それ 例外、 これら 列 は 不可欠
のために の 信頼曲線 アドイン に 関数 きちんと。
で 追加 に これら 列、 あなた 必要 1つ カラム
それ 提供する の メトリック に 比較する 間 方法。
病気 なれ 使用 R 二乗 として の メトリック の 興味 で これ プレゼンテーション。
一度 あなた 持っている の モデル スクリーニング 結果 テーブル、
クリック アドオン から JMP 主要 メニュー バー そして それから 選択 信頼曲線。
の 論理 それ 続く だろう なれ より良い 配置済み で a 魔法使い、
そして I 希望 に 追加 それ 機能性 で a 未来 リリース の これ アドイン。
として それ は、 の 初め ダイアログ それ 表示される
リクエスト あなた に 選択 の 名前 の の テーブル
それ だった 生成された いつ あなた 選んだ '保存 結果 テーブル'、
から の モデル 画面 報告書 赤 三角形 メニュー。
の 名前 の の テーブル で これ 場合 は モデル 画面 統計 検証 セット。
次、 a 対話 は 表示
それ リクエスト の 名前 の の 方法 それ 意思 仕える として の ベースライン
から どれの 全て の 他の パフォーマンス 指標 は 測定した。
I 提案する 起動 と の 方法 それ だった 選択済み いつ あなた クリック
の 選択 支配的な オプション
で の モデル スクリーニング 報告 ウィンドウ、 どれの で これ 場合 は フィット 段階的に。
ついに、 a ダイアログ は 表示
それ リクエスト あなた に 選択 の メトリック に なれ 比較 間 の 様々な 方法。
として 言及された 以前、 病気 使用 R 二乗 として の メトリック のために 比較。
JMP 応答する による 作成 a 自信 曲線 テーブル それ を含む P値
そして 対応する 自信 レベル のために の 平均 違い
間 の 選ばれた ベースライン 方法 そして それぞれ の の 他の 方法。
もっと 具体的には、 の 生成された テーブル もっている 列 のために の 続く。
モデル。
で どれの それぞれ 行 を含む の 名前 の の モデリング 方法
だれの パフォーマンス は 評価 相対的 に の ベースライン 方法。
P- 価値 で どれの それぞれ 行 を含む の 確率
関連する と の パフォーマンス 違い
で 少しでも として 過激 として の 価値 表示 で の 違い で 私たちの 四角 カラム。
自信 間隔 で どれの それぞれ 行 を含む の 自信 レベル。
私たちは 持っている それ の 真実 平均 は 含まれる で の 関連する 間隔
そして ついに、 違い で 私たちの 四角、
で どれの それぞれ 行 は の 最大 または 最小
の の 期待される 違い で R 二乗
関連する と の 自信 レベル 表示 で の 自信 間隔 カラム。
から これ テーブル、 信頼曲線 は 作成済み
そして 表示 で の グラフ ビルダー グラフ。
それで 何 は 信頼曲線？
に 明らかにする の 鍵 属性 の a 信頼曲線、
病気 隠れる 全て しかし の サポート ベクター 機械の 信頼曲線
使用 の 地元 データ フィルター による クリック の上 サポート ベクター 機械。
による デフォルト、 a 信頼曲線 のみ ショー
の 線 それ 接続する の 極端な の それぞれ 自信 間隔。
に 見る の ポイント、 選択 見せる コントロール パネル から の 赤 三角形 メニュー
位置した 次 に の 文章 それ 読む グラフ ビルダー で の タイトル バー。
今 病気 シフト クリック の ポイント アイコン。
JMP 応答する による 表示中 の エンドポイント の の 自信 間隔
それ 作る 上 の 信頼曲線。
今 I 意思 ズーム で そして 診る a ポイント。
もし あなた ホバー の ねずみ ポインタ 以上 どれでも の これら ポイント。
A ホバー ラベル ショー P - 価値 自信 間隔、
違い で の サイズ の の メトリック
そして の 方法 使用済み に 生成する の モデル
いる 比較 に の 参照 モデル。
今 良い 振り向く オフ の ポイント による シフト クリック の ポイント アイコン
そして クリック の 終わり ボタン。
平 けれど の 個人 ポイント は いいえ より長く 示されている、
あなた できる まだ ビュー の 関連する ホバー ラベル
による 配置 の ねずみ ポインタ 以上 の 信頼曲線。
ポイント 見積もり のために の 主要 違い
で パフォーマンス 間 の スポーツ ベクター 機械 そして 段階的にフィットする モデル
は 表示 で の 0% 自信 レベル、
どれの は の 平均 価値 の の 違い 計算された 使用 クロス 検証。
A 信頼曲線 プロット の 範囲
の それぞれ 自信 間隔 から の 生成された テーブル 間 ゼロ
そして の 99.99% 自信 レベル 平行 と の 左 Y 軸。
P 値 関連する と の 自信 間隔 は 表示
平行 の 右 y 軸。
の 自信 レベル 関連する と それぞれ 自信 間隔 表示されています。
の Y 軸 使用する a ログ 規模
それで それ もっと 解決 は 表示 で より高い 自信 レベル。
による デフォルト、 二 参照 線 は プロット 一緒に a 信頼曲線。
の 垂直 ライン 表現する
の 伝統的 ヌル 仮説 の いいえ 違い で 効果。
注記 あなた できる 変化 の 垂直 ライン 位置
そして これにより の 暗黙 ヌル 仮説。
で の X軸 設定。
の 水平 ライン パス を通して の 従来の 95% 自信 間隔。
として と の 垂直 参照 ライン、
あなた できる 変化 の 水平 ライン 位置
そして これにより の 暗黙 レベル の 意義
による 変化 の Y 軸 設定。
もし a 信頼曲線 十字架 の 垂直 ライン その上 の 水平 ライン、
あなた できない 拒否する の ヌル 仮説 使用 意義 テスト中。
のために 例、 私たちは できない 拒否する の ヌル 仮説 のために サポート ベクター 機械。
の上 の 他の 手、 もし a 信頼曲線
十字架 の 垂直 ライン 下に の 水平 ライン、
あなた できる 拒否する の ヌル 仮説 使用 意義 テスト中。
のために 例、 私たちは できる 拒否する の ヌル 仮説 のために ブースト 木。
どうやって は 信頼曲線 計算された？
の 現在 実装 の 自信 曲線 想定する
の 違い は 計算された
使用 R回 繰り返し K折り クロス 検証。
の 範囲 の それぞれ 自信 間隔 は 計算された
使用 何 は 知られている として a 分散 修正済み リサンプリング t検定。
注記 それ 著者 クロード ナドー そして ジョシュア・ベンジオ、
注記 それ a 修正済み リサンプリング T検定
は 通常 使用済み で ケース どこ トレーニング セット
は 五 または 10 タイムズ 大きい よりも 検証 セット。
のために もっと 詳細、 お願いします 見る の 紙 関連する と これ プレゼンテーション。
それで どうやって は 信頼曲線 解釈された？
初め、 の 信頼曲線 グラフィカルに 描写する
の 主要 違い で の メトリック の 興味 間 a 与えられた 方法
そして a 参照 方法 で の 0% 自信 レベル。
それで 私たちは できる 評価する かどうか の 平均 違い 間 の 方法
は 意味のある。
もし の 主要 違い ではない 意味のある、 そこには 少し ポイント で さらに遠く 分析
の a 与えられた 方法 対 の 参照 方法 と 尊敬 に の 選ばれた メトリック。
何 構成する a 意味のある 違い 場合による の上 の メトリック の 興味
として 良い として の 意図された 科学的な または エンジニアリング 応用。
のために 例、
あなた できる 見る の モデル 発展した と a 決断 木 方法
は の上 平均 について 14% 悪い よりも フィットステップワイズ、
どれの おそらく は a 意味のある 違い。
もし の 違い は 意味のある、
私たちは できる 評価する どうやって 正確に の 違い もっている された 測定済み
による 評価 どうやって 多くの の 信頼度C 叱る 幅 変更
横切って の 自信 レベル。
のために どれでも 自信 間隔 ない 横断 の デフォルト 垂直 軸、
私たちは 持っている で 少しでも それ レベル の 自信 それ の 主要 違い は ゼロ以外。
のために 例、
の 決断 木 自信 曲線 しない クロス の Y 軸
それまで について の 99.98% 自信 レベル。
私たちは は ほぼ 99.98% 自信に満ちている の 平均 違い ではない 等しい に ゼロ。
で 事実、 と これ データ、
それ ターン 外 それ 私たちは できる なれ について 81% 自信に満ちている
それ 段階的にフィットする は で 少しでも として 良い、
もし ない より良い、 よりも 毎 方法 他の よりも 一般化された 回帰 投げ縄。
今 さあ 考慮する の 関係 間 信頼曲線。
もし 二 または もっと 信頼曲線 大幅 重複
そして の 平均 違い の それぞれ は ない 意味のある 違う から の 他の。
の データ 提案する それぞれ 方法 実行する について の 同じ として の 他の
と 尊敬 に の 参照 モデル。
それで のために 例、
私たちは 見る それ の上 平均、 の サポート ベクター 機械 モデル
実行する 少ない よりも . 5% よりも Bootstrap 森、
どれの は おそらく ない a 意味のある 違い。
の 自信 間隔 する ない 重複 それまで について の 4% 自信 レベル、
どれの 示唆する これら 値 だろう なれ 期待される
もし 両方 方法 本当に する 持っている について の 同じ 違い で パフォーマンス
と 尊敬 に の 参照。
もし の 平均 違い で パフォーマンス
は について の 同じ のために 二 自信 曲線、
しかし の 自信 間隔 しないで 重複 あまりにも 多くの、
の データ 示唆する
の モデル 実行する について の 同じ として それぞれ 他の と 尊敬 に の 参照 モデル。
しかし、 私たちは は 自信に満ちている の a 非 意味のある 違い。
これ 特定の 場合 は レア よりも の その他
そして I しないで 持っている 1 例 に 見せる と これ データ セット。
の上 の 他の 手、 もし の 平均 違い で パフォーマンス
間 a ペア の 信頼曲線 は 意味のある 違う
そして の 自信 曲線 持っている 少し 重なり、
の データ 示唆する の モデル 実行する
異なる から 1つ 別の と 尊敬 に の 参照。
のために 例、 の 一般化された 回帰 ラッソ モデル 予測する について 13.8%
もっと の の 変化 で の 応答 よりも する の 決断 木 モデル。
さらに、 の 信頼曲線 しないで 重複
それまで について の 99.9% 自信 レベル、
どれの 示唆する これら 結果 は とても 普通でない
もし の 方法 実は 実行する について の 同じ と 尊敬 に の 参照。
ついに、 もし の 平均 違い で パフォーマンス 間 a ペア
の 信頼曲線 は 意味のある 違う から 1つ 別の
そして の 曲線 持っている かなり 重なり、
の データ 示唆する それ
その間 の 方法 実行する 異なる から 1つ 別の と 尊敬 に の 参照、
それ しないだろう なれ 驚くべき もし の 違い は 激怒。
のために 例、 私たちは できる 見る それ の上 平均
サポート ベクター 機械 予測 について 1.4% もっと の の 分散 で の 応答
よりも した [聞き取れない 00:19:18] 最寄りの 隣人。
しかし、 の 自信 間隔 始める に 重複 で について の 17% 自信 レベル、
どれの 示唆する それ しないだろう なれ 驚くべき
もし の 違い で パフォーマンス 間 それぞれ 方法
そして の 参照 は 実は 小さい よりも 提案 による の ポイント 推定値。
同時に、
それ しないだろう なれ 驚くべき もし の 実際の 違い は 大きい よりも 測定された、
または もし の 方向 の の 違い は 実は 逆になった。
で 他の 言葉、 の 違い で パフォーマンス は 不確か。
注記 それ それ ではない 可能 に 評価 の 変動性 そして パフォーマンス
間 二 モデル 相対的 に 1つ 別の
いつ の 違い は 相対的 に a 三番目 モデル。
に 比較する の 変動性 そして パフォーマンス
間 二 方法 相対的 に 1つ 別の、
1つ の の 二 方法 しなければならない なれ の 参照 方法
から どれの の 違い は 測定した。
しかし 何 について 複数 比較？
しないで 私たちは 必要 に 調整する の P値
に コントロール の 家族 賢い 1型 エラー レート？
で これ 紙 について 信頼曲線、
ダニエル バロウ 示唆する それ 調整 は 必要 で 確認用 研究
どこ a ゴール は 事前に指定されている、 しかし ない で 探索的 研究。
これ アイデア 示唆する 使用 未調整 P値 のために 複数 信頼曲線
で 1 探索的 ファッション
そして のみ a シングル 信頼曲線 生成された から 違う データ
に 確認する あなたの 調査結果 の a 重要な 違い
間 二 方法 いつ 使用 意義 テスト中。
それ 言った、 お願いします 保つ で 心 の 危険性 の チェリー ピッキング、 p値ハッキング
いつ 実施 探索的 研究。
で まとめ、 の モデル スクリーニング プラットフォーム 紹介された で JMP プロ 16
提供する a 手段 に 同時に 比較する の パフォーマンス
の 予測 モデル 作成済み 使用 違う 方法論。
JMP もっている a 長さ 立っている ゴール に 提供する a グラフ と 毎 統計、
そして 信頼曲線 ヘルプ に 埋める それ ギャップ。
のために の モデル スクリーニング プラットフォーム。
あなた かもしれない 当然 期待する に 使用 意義 テスト に 区別する
間 の パフォーマンス の 様々な 方法 いる 比較した。
しかし、 P値 持っている 来る 下 増加 精査 で 最近の 年
のために 隠す の サイズ の パフォーマンス 違い。
で 追加、
P値 は 頻繁 誤解された として の 確率 の ヌル 仮説 は 真実。
その代わり の P値 は の 確率 の 観察 a 違い
として または もっと 過激、 想定 の ヌル 仮説 は 真実。
の 確率 の 正しく 拒否する の ヌル 仮説 いつ それ は 間違い
は 決定した による a 力 または 1つ マイナス ベータ。
I 持っている 主張した それ それ は ない 珍しい に のみ 持っている a 50% チャンス
の 正しく 拒否する の ヌル 仮説 と 1 アルファ 価値 の 0.05 .
として 1 代替、 a 自信 間隔 できた なれ 表示 その代わり の a ローン P- 価値。
しかし、 の 質問 だろう なれ 左 開ける として に どれの 自信 レベル に 見せる。
信頼曲線 住所 これら 懸念事項 による 表示中 全て 自信 間隔
上 に 1 恣意的に 高い- レベル の 自信。
の 平均 違い で の パフォーマンス
は 明らかに 見える で の 0% 自信 レベル、 そして それ 行為 として a ポイント 見積もり。
全て の の もの いる 等しい、 1型 そして タイプ 2 エラー は 同等。
信頼曲線 しないで 埋め込み a バイアス に向かって トレーディング 1型 エラー のために タイプ2。
平 それで、 による デフォルト、
a 垂直 ライン は 表示 で の 自信 曲線 グラフ
のために の 標準 ヌル 仮説 の いいえ 違い。
で 追加、
a 水平 ライン は 表示 それ 明確にする の 95% 自信 間隔、
どれの すぐに 提供する a 典型的な 意義 テスト 分析 もし 望ましい。
の デフォルト のために これら 線 は 簡単に 修正された、
しかし 違う ヌル 仮説 そして 自信 レベル 望ましい。
平 それで、 与えられた の それよりも 広範囲 そして 時々 強調 提案
に 交換する 意義 テスト と ポイント 推定値 そして 自信 間隔、
それ 5月 なれ 最高 に ビュー a 信頼曲線 として a ポイント 見積もり
平行 と a ほぼ 包括的な ビュー の その 関連する 不確実性。
もし あなた 持っている フィードバック について の 自信 曲線の アドイン、
お願いします 離れる a コメント の上 の JMP コミュニティ サイト。
そして しないで 忘れる に 投票する のために これ プレゼンテーション
もし あなた 見つかった それ 面白い または 役に立つ。
感謝 あなた のために 視聴中 これ プレゼンテーション そして I 希望 あなた 持っている a 素晴らしい 日。
