こんにちは。 私の名前はブライアンフリッケ。
私はある製品マネージャーでJMP集中したの上のJMPユーザー経験。
以前、私だったあるソフトウェア開発者働くの上輸出するレポート
にスタンドアロンHTML火ファイル。
JMPライブそしてJMP公共。
でこれプレゼンテーション、
私は行くに話すについて使用して信頼曲線
としての代替にヌル仮説意義テスト
でのコンテクストの予測的なモデルふるい分け。
追加材料の上これ主題できるなれ見つかったの上のJMPコミュニティWebサイト
での紙関連するとこれプレゼンテーション。
博士。ラスウルフィンガーはある傑出した研究仲間でJMP
そしてある共同著者、そして私するだろうのようにに感謝彼のために彼の貢献。
のモデルふるい分けプラットホーム、紹介されたでJMPプロ16
許可しますあなたに評価するのパフォーマンス
の複数予測的なモデル使用してクロス検証。
に見せるあなたどうやってのモデルふるい分けプラットホーム作品、
私は行くに使用の糖尿病データテーブル、
どれのは利用可能でのJMPサンプルデータ図書館。
病気選ぶモデルふるい分けからの分析された予測的なモデリングメニュー。
JMP答えるによる表示するのモデルふるい分け対話。
の初め三つ列でのデータテーブル
代表する病気進行で継続的なバイナリそして序数フォーム。
病気使用の継続的なカラム名前付きYとしての応答変数。
病気使用の列から年にグルコースでのバツ要素役割。
病気タイプ1234でのセットランダムシード入力箱のために再現性、
病気選択するのチェック箱次にKフォールドクロス検証そして離れるKセットに五。
病気タイプ3の中への入力箱次に繰り返されたKF古い。
での方法リスト、病気選択を解除するニューラル。
今病気クリックわかった。
JMP答えるによるトレーニングそして検証中モデルのためにそれぞれのの選択されたメソッド
使用して彼らのデフォルトパラメータ設定そしてクロス検証。
後完了するのトレーニングそして検証中プロセス、
JMPディスプレイの結果である新しい窓。
のためにそれぞれモデリング方法。
のモデルふるい分けプラットホーム提供しますパフォーマンス対策
での形状のポイント見積りのためにの係数の決定、
また知られているとしてR二乗、の根平均二乗エラー、
そしての標準偏差のためにの根平均二乗エラー。
今病気クリック選択する支配的な。
JMP答えるによるハイライトの方法
それ実行します最高横切ってのパフォーマンス対策。
なに？ないここはあるグラフィックに見せるのサイズのの違い
間の支配的な方法そしての他のメソッド、
平行との視覚化のの不確実性
関連するとの違い。
しかしなぜないただ見せるP-価値観示すかどうかの違いは重要な？
すべきではありませんある決断についてかどうか1つモデルは優れたに別の
なれベースのの上意義？
初め、以来のP-価値提供しますある確率
ベースのの上ある標準化された違い、
あるP値による自体負ける情報についての生違い。
あ、あ重要な違いしません暗示するある意味のある違い。
はそれ本当にある問題？
私平均、そうではありませんそれ無意味な
になれ心配しているとのサイズのの違い間二モデル
前に使用して意義テスト
に決定するかどうかの違いは本物？
の問題とそれラインの考えはそれその力または1つマイナスベータ
それ決定する私たちの能力に正しく拒否するあるヌル仮説。
著者そのようなとしてジェイコブコーエンそしてフランクスミス
持っている提案されたそれ典型的な研究持っているの力に検出する違い
での範囲の.4 ～ .6 。
それでしましょう仮定する私たちは持っているある違い。
どこの力に検出するある真実違い？
ゼロ五でのアルファレベルゼロ五。
それ示唆する私たちはするだろう検出するの真実違い、の上平均50%のの時間。
それででそれ場合、意義テストするだろう識別する本物違い
いいえより良いよりもひっくり返すの公平なコイン。
もし全て他のものは等しい、タイプ1そしてタイプ2エラーは同等。
しかし意義テストそれ使用のアルファ価値の.05。
頻繁暗黙的に仮定するタイプ2エラーは好ましいにタイプ1エラー、
特にもしの力はとして低いとして.5 。
あ一般提案に住所これらそして他の問題と意義テスト
はに見せるのポイント見積もり平行との自信間隔。
1つ異議にやってるそれではそれ
あるポイント見積もり平行とある95%自信間隔
は効果的にの同じものとして意義テスト中。
平もし私たちは仮定するそれは真実、あるポイント見積もりそして自信間隔
まだ置くの大きさのの違い
そしての範囲のの不確実性フロントそして中心、
一方あるローンP値隠す彼ら両方。
それで様々な著者、含むコーエンそしてスミス、
持っている推奨交換する意義テスト
とポイント見積りそして自信間隔。
平それで、のおすすめに使用自信間隔懇願するの質問、
どれのものする私たちは見せる？
表示中のみの95%自信間隔
するだろうおそらく奨励するあなたに解釈するそれとして別の形状の意義テスト中。
の解決提供されたによる信頼曲線
はに文字通り見せる全て自信間隔
上にの恣意的に高い自信レベル。
どうやってする私見せる信頼曲線そしてJMP?
に都合よく作成する信頼曲線そしてJMP、
インストールの信頼曲線加えるによる訪問のJMPコミュニティホームページ。
タイプ信頼曲線の中への検索入力分野。
クリックの信頼曲線結果。
今クリックのダウンロードアイコン次に信頼曲線。 JMPa dd-で。
今クリックのダウンロードされたファイル。
JMP答えるによる尋ねるもし私欲しいにインストールの追加-で。
あなたするだろうクリックインストール。
しかし、病気クリックキャンセルとして私はすでにインストールされていますの加える。
それでどうやってするあなた使用の加える？
初め。
に生成する信頼曲線のためにこれ報告、選択する保存結果テーブル
からの上赤三角形メニュー位置したの上のモデルふるい分け報告窓。
JMP答えるによる作成ある新しいテーブル含むの間でその他。
の続く列トライアル。
どれの含まれていますの識別子のためにの三つセット
のクロス検証結果。
折り畳み。
どれの含まれていますの識別子
のためにの五明確なセットのサブサンプル使用済みのために検証でそれぞれトライアル。
方法。
どれの含まれていますのメソッド使用済みに作成するモデルからのテストデータ。
そしてで。
どれの含まれていますの番号のデータポイント使用済みでの検証折り目。
注記それのトライアルカラム意思なれないもしの番号の繰り返すはその通り1つ、
でどれの場合のトライアルカラムはどちらでもない作成したまたは必要です。
保存のためにそれ例外、これら列は不可欠
のためにの信頼曲線加えるに関数きちんと。
で追加にこれら列、あなた必要1つカラム
それ提供しますのメトリックに比較する間方法。
病気なれ使用してR二乗としてのメトリックの興味でこれプレゼンテーション。
一度あなた持っているのモデルふるい分け結果テーブル、
クリックアドインからJMP主要メニューバーそしてそれから選択する信頼曲線。
の論理それ続くするだろうなれより良い置いたであるウィザード、
そして私希望に追加それ機能性である未来リリースのこれ加える。
としてそれは、の初めダイアログそれ表示されます
リクエストあなたに選択するの名前ののテーブル
それだった生成されたいつあなた選んだ'保存結果テーブル'、
からのモデル画面レポート赤三角形メニュー。
の名前ののテーブルでこれ場合はモデル画面統計検証セット。
次、ある対話は表示される
それリクエストの名前のの方法それ意思仕えるとしてのベースライン
からどれの全ての他のパフォーマンスメトリクスは測定した。
私提案する起動との方法それだった選択されたいつあなたクリック
の選択する支配的なオプション
でのモデルふるい分け報告窓、どれのでこれ場合はフィット段階的に。
ついに、あるダイアログは表示される
それリクエストあなたに選択するのメトリックになれ比較した間の様々な方法。
として言及された以前、病気使用R二乗としてのメトリックのために比較。
JMP答えるによる作成ある自信曲線テーブルそれ含まれていますP値
そして対応する自信レベルのためにの平均違い
間の選ばれたベースライン方法そしてそれぞれのの他の方法。
もっと具体的には、の生成されたテーブルもっている列のためにの続く。
モデル。
でどれのそれぞれ行含まれていますの名前ののモデリング方法
だれのパフォーマンスは評価された相対的にのベースライン方法。
P-価値でどれのそれぞれ行含まれていますの確率
関連するとのパフォーマンス違い
で少しでもとして過激としての価値示されているでの違いで私たちの四角カラム。
自信間隔でどれのそれぞれ行含まれていますの自信レベル。
私たちは持っているそれの真実平均は含まれているでの関連する間隔
そしてついに、違いで私たちの四角、
でどれのそれぞれ行はの最大または最小
のの期待される違いでR二乗
関連するとの自信レベル示されているでの自信間隔カラム。
からこれテーブル、信頼曲線は作成した
そして示されているでのグラフビルダーグラフ。
それで何は信頼曲線?
に明らかにするの鍵属性のある信頼曲線、
病気隠れる全てしかしのサポートベクター機械の信頼曲線
使用しての地元データフィルターによるクリックするの上サポートベクター機械。
によるデフォルト、ある信頼曲線のみショー
の行それ接続するの極端なのそれぞれ自信間隔。
に見るのポイント、選択する見せるコントロールパネルからの赤三角形メニュー
位置した次にの文章それ読むグラフビルダーでのタイトルバー。
今病気シフトクリックのポイントアイコン。
JMP答えるによる表示するのエンドポイントのの自信間隔
それ作る上の信頼曲線。
今私意思ズームでそして診るあるポイント。
もしあなたホバリングのねずみポインタ以上どれでものこれらポイント。
あホバリングラベルショーP -価値自信間隔、
違いでのサイズののメトリック
そしての方法使用済みに生成するのモデル
いる比較したにの参照モデル。
今良い振り向くオフのポイントによるシフトクリックするのポイントアイコン
そしてクリックするの終わりボタン。
平けれどの個人ポイントはいいえより長いです示されている、
あなたできるまだビューの関連するホバリングラベル
による置くのねずみポインタ以上の信頼曲線。
ポイント見積もりのためにの主要違い
でパフォーマンス間のスポーツベクター機械そしてステップワイズにフィットモデル
は示されているでの0%自信レベル、
どれのはの平均価値のの違い計算された使用してクロス検証。
あ信頼曲線プロットの範囲
のそれぞれ自信間隔からの生成されたテーブル間ゼロ
そしての99.99%自信レベル平行との左Y軸。
P価値観関連するとの自信間隔は示されている
平行の右y軸。
の自信レベル関連するとそれぞれ自信間隔示されています。
のY軸用途あるログ規模
それでそれもっと解決は示されているでより高い自信レベル。
によるデフォルト、二参照行はプロットされた並んである信頼曲線。
の垂直ラインを表します
の伝統的ヌル仮説のいいえ違いで効果。
注記あなたできる変化の垂直ライン位置
そしてそれによっての暗黙ヌル仮説。
でのX軸設定。
の水平ラインパスするを通しての従来の95%自信間隔。
としてとの垂直参照ライン、
あなたできる変化の水平ライン位置
そしてそれによっての暗黙レベルの意義
による変化のY軸設定。
もしある信頼曲線十字架の垂直ラインその上の水平ライン、
あなたできない拒否するのヌル仮説使用して意義テスト中。
のために例、私たちはできない拒否するのヌル仮説のためにサポートベクター機械。
の上の他の手、もしある信頼曲線
十字架の垂直ライン下にの水平ライン、
あなたできる拒否するのヌル仮説使用して意義テスト中。
のために例、私たちはできる拒否するのヌル仮説のためにブーストされた木。
どうやっては信頼曲線計算された？
の現在実装の自信曲線仮定します
の違いは計算された
使用してR回繰り返されたK倍クロス検証。
の範囲のそれぞれ自信間隔は計算された
使用して何は知られているとしてある分散修正されましたリサンプリングされたT検定。
注記それ著者クロードナドーそしてヨシュア・ベンジオ
注記それある修正されましたリサンプリングされたT検定
は通常使用済みでケースどこトレーニングセット
は五または十回より大きなよりも検証セット。
のためにもっと詳細、お願いします見るの紙関連するとこれプレゼンテーション。
それでどうやっては信頼曲線解釈した？
初め、の信頼曲線グラフィック的に描いています
の主要違いでのメトリックの興味間ある与えられた方法
そしてある参照方法での0%自信レベル。
それで私たちはできる評価するかどうかの平均違い間のメソッド
は意味のある。
もしの主要違いそうではありません意味のある、あるよ少しポイントでさらに遠く分析
のある与えられた方法対の参照方法と尊敬にの選ばれたメトリック。
何構成するある意味のある違い依存しますの上のメトリックの興味
として良いとしての意図されました科学的またはエンジニアリング応用。
のために例、
あなたできる見るのモデル発展したとある決断木方法
はの上平均について14%悪いよりもステップワイズにフィット、
どれのおそらくはある意味のある違い。
もしの違いは意味のある、
私たちはできる評価するどうやって正確にの違いもっているされた測定された
による評価するどうやって多くのの自信Cウルブ幅変化
横切っての自信レベル。
のためにどれでも自信間隔ない交差点のデフォルト垂直軸、
私たちは持っているで少しでもそれレベルの自信それの主要違いはゼロ以外。
のために例、
の決断木自信曲線しませんクロスのY軸
それまでについての99.98%自信レベル。
私たちははほぼ99.98%自信を持っての平均違いそうではありません等しいにゼロ。
で事実、とこれデータ、
それターン外それ私たちはできるなれについて81%自信を持って
それステップワイズにフィットはで少しでもとして良い、
もしないより良い、よりも毎方法他のよりも一般化された回帰なげなわ。
今しましょう考慮するの関係間信頼曲線。
もし二またはもっと信頼曲線大幅重なり合う
そしての平均違いのそれぞれはない意味のある違うからの他の。
のデータ提案するそれぞれ方法実行しますについての同じとしての他の
と尊敬にの参照モデル。
それでのために例、
私たちは見るそれの上平均、のサポートベクター機械モデル
実行します少ないよりも。 5%よりもブートストラップ森、
どれのはおそらくないある意味のある違い。
の自信間隔するない重なり合うそれまでについての4%自信レベル、
どれの示唆するこれら価値観するだろうなれ期待される
もし両方メソッド本当にする持っているについての同じ違いでパフォーマンス
と尊敬にの参照。
もしの平均違いでパフォーマンス
はについての同じのために二自信曲線、
しかしの自信間隔しないでください重なり合うあまりにも多くの、
のデータ示唆する
のモデル実行するについての同じとしてそれぞれ他のと尊敬にの参照モデル。
しかし、私たちはは自信を持ってのある非意味のある違い。
これ特定の場合はレアよりものその他
そして私しないでください持っているの例に見せるとこれデータセット。
の上の他の手、もしの平均違いでパフォーマンス
間あるペアの信頼曲線は意味のある違う
そしての自信曲線持っている少し重なって、
のデータ示唆するのモデル実行する
違うから1つ別のと尊敬にの参照。
のために例、の一般化された回帰なげなわモデル予測するについて13.8%
もっとのの変化での応答よりもするの決断木モデル。
さらに、の信頼曲線しないでください重なり合う
それまでについての99.9%自信レベル、
どれの示唆するこれら結果はとても普通でない
もしのメソッド実は実行するについての同じと尊敬にの参照。
ついに、もしの平均違いでパフォーマンス間あるペア
の信頼曲線は意味のある違うから1つ別の
そしての曲線持っているかなり重なって、
のデータ示唆するそれ
その間のメソッド実行する違うから1つ別のと尊敬にの参照、
それしないだろうなれ驚くべきもしの違いは激怒。
のために例、私たちはできる見るそれの上平均
サポートベクター機械予測されたについて1.4%もっとのの分散での応答
よりもした[聞き取れない 00:19:18]最寄りの隣人たち。
しかし、の自信間隔始めるに重なり合うでについての17%自信レベル、
どれの示唆するそれしないだろうなれ驚くべき
もしの違いでパフォーマンス間それぞれ方法
そしての参照は実は小さいよりも提案されたによるのポイント見積り。
同時に、
それしないだろうなれ驚くべきもしの実際の違いはより大きなよりも測定した、
またはもしの方向のの違いは実は逆転した。
で他の言葉、の違いでパフォーマンスは不確かな。
注記それそれそうではありません可能に評価の変動性そしてパフォーマンス
間二モデル相対的に1つ別の
いつの違いは相対的にある三番目モデル。
に比較するの変動性そしてパフォーマンス
間二メソッド相対的に1つ別の、
1つのの二メソッドしなければならないなれの参照方法
からどれのの違いは測定した。
しかし何について複数比較？
やめてください私たちは必要に調整するのP値
にコントロールの家族賢いタイプ1エラーレート？
でこれ紙について信頼曲線、
ダニエルバロウ示唆するそれ調整は必要なで確認的な研究
どこあるゴールは事前に指定された、しかしないで探索的な勉強します。
これアイデア示唆する使用して未調整のP値のために複数信頼曲線
での探索的なファッション
そしてのみあるシングル信頼曲線生成されたから違うデータ
に確認するあなたの所見のある重要な違い
間二メソッドいつ使用して意義テスト中。
それ言った、お願いします保つで心の危険のチェリーピッキング、 p-ハッキング
いつ指揮する探索的な勉強します。
でまとめ、のモデルふるい分けプラットホーム紹介されたでJMPプロ16
提供しますある手段に同時に比較するのパフォーマンス
の予測的なモデル作成した使用して違う方法論。
JMPもっているある長さ立っているゴールに提供するあるグラフと毎統計、
そして信頼曲線ヘルプに埋めるそれギャップ。
のためにのモデルふるい分けプラットホーム。
あなたかもしれない当然期待するに使用意義テストに差別化する
間のパフォーマンスの様々なメソッドいる比較した。
しかし、 P値持っている来る下増加した精査で最近の年
のために曖昧にするのサイズのパフォーマンス違い。
で追加、
P値は頻繁誤解されたとしての確率のヌル仮説は真実。
その代わりのP値はの確率の観察するある違い
としてまたはもっと過激、仮定してのヌル仮説は真実。
の確率の正しく拒否するのヌル仮説いつそれは間違い
は決定したによるある力または1つマイナスベータ。
私持っている主張したそれそれはない珍しいにのみ持っているある50%チャンス
の正しく拒否するのヌル仮説とのアルファ価値の.05 。
としての代替、ある自信間隔できたなれ示されているその代わりのあるローンP-価値。
しかし、の質問するだろうなれ左開けるとしてにどれの自信レベルに見せる。
信頼曲線住所これら懸念事項による見せている全て自信間隔
上にの恣意的に高い-レベルの自信。
の平均違いでのパフォーマンス
は明らかに見えるでの0%自信レベル、そしてそれ行為としてあるポイント見積もり。
全てののものいる等しい、タイプ1そしてタイプ2エラーは同等。
信頼曲線しないでください埋め込むあるバイアスに向かって取引タイプ1エラーのためにタイプ2。
平それで、によるデフォルト、
ある垂直ラインは示されているでの自信曲線グラフ
のためにの標準ヌル仮説のいいえ違い。
で追加、
ある水平ラインは示されているそれ輪郭を描くの95%自信間隔、
どれのすぐに余裕があるある典型的な意義テスト分析もし希望。
のデフォルトのためにこれら行は簡単に変更された、
しかし違うヌル仮説そして自信レベル希望。
平それで、与えられたのそれよりも広いそして時々強調した提案
に交換する意義テストとポイント見積りそして自信間隔、
それ5月なれ最高にビューある信頼曲線としてあるポイント見積もり
平行とあるほぼ包括的なビューのその関連する不確実性。
もしあなた持っているフィードバックについての自信カーブの加える、
お願いします離れるあるコメントの上のJMPコミュニティサイト。
そしてしないでください忘れるに投票するのためにこれプレゼンテーション
もしあなた見つかったそれ面白いまたは役に立つ。
感謝あなたのために見てるこれプレゼンテーションそして私希望あなた持っているある素晴らしい日。
