こんにちは、わたしの名前はブライアンフリッケ。
私a新たにミント製品マネジャーでJMP、フォーカシングオンthe JMPユーザー経験。
以前、私だったaソフトウェアデベロッパー働くオンエクスポートレポート
に台1人HTMLファイルファイル、 JMP住む、とJMP公衆。
のこれプレゼンテーション、
私行くにトークだいたいを使用して自信曲線
なのでと別にヌルH ypothesis意義テスト
のthe環境の予測モデルふるい分け。
追加素材オンこれ主題できるなれ見つかったオンthe JMPコミュニティWebサイト
とthe紙関連するとこれプレゼンテーション。
博士ラスウォルフィンガー、 WHOはa著名リサーチ仲間でJMP、はa co -著者、
と私だろうお気に入りに感謝彼ために彼の貢献。
Theモデルふるい分けプラットホーム紹介されたのジャンププロ16、
許可します君に評価theパフォーマンス
の多数予測モデルを使用してクロス-検証。
に見せる君どうやってtheモデルふるい分けプラットホーム作品、
私行くに使用するthe糖尿病データテーブル、
どれのは利用可能のthe JMPサンプルデータ図書館。
病気選ぶモデルふるい分けからthe分析する予測モデリングメニュー。
JMP応答しますに表示theモデルふるい分けダイアログ。
The最初三列のtheデータテーブル
代表する疾患進行の継続的、バイナリ、と序数フォーム。
病気使用するthe連続桁名前付きYなのでthe応答変数。
病気使用するすべてthe列から年にグルコースのtheバツ要素役割。
病気タイプ1-2-3-4のtheセットするランダムシード入力箱ために再現性。
病気選択するthe小切手箱次にKフォールドクロス検証
と離れるKセットするに五。
病気タイプ三の中へthe入力箱次に繰り返されるK折り畳み。
のthe方法リスト、病気選択を解除ニューラル、
と今病気選択するわかった。
JMP応答しますにトレーニングと検証モデルために各のthe選択メソッド
を使用して彼らのディフォルトパラメータ設定とクロス検証。
後完了theトレーニングと検証処理する、
JMPディスプレイthe結果のa新着窓。
ために各モデリング方法、 theモデルふるい分けプラットホーム提供します
パフォーマンス対策のthe形の点見積り
ためにthe係数の決定、
どれのはまた既知なのでR二乗、 the根平均二乗エラー、
とthe標準偏差ためにthe根平均二乗エラー。
今病気クリック選択する支配的。
JMP応答しますにハイライトthe方法それ実行します一番
横切ってtheパフォーマンス対策。
何ですかないここはaグラフィック
に見せるあなたはサイズのthe違いの間にthe支配的方法
とthe他のメソッド、平行とthe視覚化
のthe不確実性関連するとthe違い。
だがどうしていいえただ見せるP値示すどうにかthe違いそれは重要？
すべきではないa決断だいたいどうにか一モデルは優れましたに別
なれベースオン意義？
初め、
以来a P値提供しますa確率ベースオンa標準化違い、
a P価値に自体負ける情報だいたいthe生違い、
それでa重要違いしません意味するa意味のある違い。
だがはそれ本当a問題？
私平均、そうではありませんそれ無意味になれ心配している
とtheサイズのa違いの間に2モデル前意義テストは中古
に決定どうにかthe違いは本物？
The問題とそれラインの考えはそれこれはパワー、また一マイナスベータ、
それ決定する私たちの能力に正しく拒絶aヌル仮説。
著者そのようななのでヤコブコーエンとフランクシュミット
持ってる提案それ典型的研究持ってるaパワーに探知違い
のthe範囲の0.4に0.6 0.6 。
しましょう仮定する私たち持ってるa違いどこtheパワーに探知a true違い
は0.5でとアルファ価値の0.05 。
それか提案する私たちだろう探知the true違い
オン平均50パーセントのthe時間。
のそれ場合、意義テストだろう識別本物違い
いいえより良いよりもフリッピングと偏りのないコイン。
もしもすべて他のものそれは同等、タイプ一とタイプ二エラーそれは同等。
だが意義テストそれ使用するとアルファ価値の.05
頻繁暗黙のうちに推定タイプTをエラーそれは好ましいにタイプ一エラー、
特にもしもtheパワーはなので低いなので0.5 。
A一般提案に住所これらはと他の問題と意義テスト
はに見せるthe点見積もり平行と自信間隔。
一異議にやってそれではそれa点見積もり
平行と95パーセント自信間隔
は効果的にthe同じものなので意義テスト。
平もしも私たち推定それは本当、 a点見積もりと自信間隔
まだプットtheマグニチュードのthe違いのthe範囲のthe不確実性
フロントと中心、
一方a孤独P価値隠します彼ら両方。
様々著者、含むコーエンとシュミット、
持ってるおすすめされた交換意義テスト
と点見積りと自信間隔。
平それで、 theおすすめに使用する自信間隔
頼むthe質問、 "どれのものする私たち見せる？"
表示中それだけthe 95パーセント自信間隔
だろうおそらく奨励君に解釈それなので別形の意義テスト。
The解決提供されたに自信曲線
はに文字通り見せるすべて自信間隔
上にと任意に高い自信レベル。
それでどうやってする君見せる自信の曲線JMP？
に便利に作成自信曲線のJMP、
インストールthe自信曲線追加-のに訪問the JMPコミュニティホームページ。
タイプ"自信カーブ」の中へthe探す入力分野。
クリックオンthe最初エントリそれが表示されます。
今クリックtheダウンロードアイコン次にConfidence Curves.jmp追加の、
と今君できるクリックオンtheダウンロードファイル。
JMP応答しますに尋ねるもしも私欲しいですにインストールthe追加-の。
君はだろうクリック"インストール。"
しかし、病気クリック"キャンセル、"なので私すでに持ってるthe追加-のインストールされています。
どのようにする君使用するthe追加-の？
初め、に生成自信曲線ためにこれ報告、
選択する"保存結果テーブル"
からthe上赤三角形メニュー位置したオンtheモデル画面報告窓。
JMP応答しますに作成a新着テーブル含む、の中その他、
the続く列：
トライアル、どれの含むthe識別子ために三セットのクロス検証結果;
折り畳み、どれの含むthe識別子ためにthe五明確セットのサブサンプル
中古ために検証の各トライアル;
方法、どれの含むtheメソッド中古に作成モデルからtheテストデータ、
とN、どれの含むthe番号のデータポイント中古のthe検証ひだ。
ノートそれtheトライアル桁意思なれないもしもthe番号の繰り返すはまさに一、
のどれの場合theトライアル桁はない作成したまたは必要です。
保存ためにそれ例外、
これらは列それは必要不可欠ためにthe自信曲線追加-の
に関数ちゃんと。
の添加にこれらは列、
君必要一桁それ提供しますtheメトリックに比較メソッド。
病気なれを使用してR二乗なのでtheメトリックの興味のこれプレゼンテーション。
一度君持ってるtheモデル画面と結果テーブル、
クリック"追加-インズ」からthe JMPの主要メニューバーとその後、s選出"自信カーブス。」
The論理それ続くだろうなれより良い置いたのaウィザード、
と私望むに追加それ機能性のa将来リリースのthe追加-の。
としてそれは、 the最初ダイアログそれが表示されます
リクエスト君に選択するthe名前のtheテーブルそれだった生成された
いつ君選んだ"保存結果テーブル"
からtheモデルふるい分けレポート赤三角形メニュー。
The名前のtheテーブルのこれ場合はモデルふるい分け統計学検証セットする。
次、 aダイアログは表示それリクエストthe名前のthe方法
それ意思仕えるなのでtheベースライン
からどれのすべてthe他のパフォーマンスメトリックそれは測定。
私提案起動とthe方法
それだった選択いつ君クリックしましたthe選択する支配的、またのこれ場合、
私選択またクリックしました選択する支配的オプション
のtheモデル画面と報告窓、
どれののこれ場合はフィットステップ賢い。
ついに、 aダイアログは表示
それリクエスト君に選択するtheメトリックになれ比較の間にthe様々メソッド。
として言及されたついさっき、病気使用するR二乗なのでtheメトリックために比較。
ジャンプ応答しますに作成a自信曲線テーブルそれ含むP値
と対応する自信レベル
ためにthe平均メトリック違いの間にthe選ばれたベースライン方法
と各のthe他のメソッド。
もっと具体的には、 the生成されたテーブルもっている列ためにthe続く：
モデル、のどれの各行含むthe名前のtheモデリング方法
だれのパフォーマンスは評価済み相対的にtheベースライン方法;
P値、
のどれの各行含むthe確率関連するとtheパフォーマンス違い
で少しでもなので過激なのでthe値示されているのthe違いのR平方桁;
自信間隔、のどれの各行含むthe自信レベル私たち持ってる
それthe true平均は含まれていますのthe関連する間隔。
と最後に、違いのR平方、のどれの各行はthe最大また最小
のthe期待される違いのR二乗関連するとthe自信レベル
示されているのthe自信間隔桁。
からこれテーブル、自信曲線それは作成した
と示されているのtheグラフビルダーグラフ。
何それは自信カーブ？
に明らかにするthe鍵属性のa自信曲線、
病気隠れるすべてしかしtheサポートベクター機械自信曲線
を使用してtheローカルデータフィルターにクリックオンサポートベクター機械。
にディフォルト、 a自信曲線それだけショーthe行
それ接続the極端の各自信間隔。
に見るtheポイント、選択する見せるコントロールパネルからthe赤三角形メニュー
位置した次にthe文章それ読み取りグラフビルドrのtheタイトルバー。
今病気シフトクリックtheポイントアイコン。
JMP応答しますに表示the終わりポイントのthe自信間隔
それ作る上the自信曲線。
今私意思ズームのと診るa点。
もしも君ホバーtheねずみポインタ以上どれかのこれらはポイント、
aホバーラベルショーthe P価値、自信間隔、
違いのtheサイズのtheメトリック、
とthe方法中古に生成theモデルであること比較にthe参照。
今私意思順番オフtheポイントにシフトクリックtheポイントアイコン
とクリックthe終わりボタン。
平けれどthe個人ポイントそれはいいえより長いです示されている、
君できるまだ見るthe関連するホバーラベル
に配置theねずみポインタ以上the自信曲線。
The点見積もりためにthe平均違いのパフォーマンス
の間にサポートベクトルMアチェ語とフィットステップ賢い
は示されているでthe 0パーセント自信レベル、
どれのはthe平均価値のthe違い計算されたを使用してクロス検証。
自信曲線プロットthe範囲の各自信間隔
からthe生成されたテーブルの間にtheゼロと99。 99パーセント自信レベル、
どれのはと任意に高い価値。
平行the左Y軸、
P値関連すると自信間隔それは示されています。
平行the正しいY軸、
the自信レベル関連すると各自信間隔示されています。
The Y軸使用aログ規模、
それでそれもっと解像度は示されているでより高い自信レベル。
にディフォルト、 2参照行それはプロットと一緒にa自信曲線。
The垂直ラインを表すthe伝統的ヌル仮説
のいいえ違いの効果。
注意してくださいできる変化するthe垂直ライン位置
とそれによってthe暗黙ヌル仮説
のtheバツ軸設定。
The水平ライン
パス使ってthe従来型95パーセント自信間隔。
としてとthe垂直参照ライン、
君できる変化するthe水平ライン位置
とそれによってthe暗黙レベルの意義、
に変化the Y軸設定。
もしもa自信曲線交差するthe垂直ラインその上the水平ライン、
君できません拒絶theヌル仮説を使用して意義テスト。
ために例、私たちできません拒絶theヌル仮説ためにサポートベクターマシン。
オンthe他の手、
もしもa自信曲線交差するthe垂直ライン下the水平ライン、
君できる拒絶theヌル仮説。
たとえば、次の帰無仮説を棄却できます。ブースト木。
どのようにそれは自信曲線計算されましたか？
The現在実装の自信曲線
仮定the違いそれは計算されたを使用してRタイムズ繰り返される
Kフォールドクロス検証。
The範囲の各自信間隔は計算された
を使用して何は既知なのでa分散修正済みリサンプリングT検定。
ノートそれ著者クロード・ナドーとヨシュアベンジオ
了解しましたそれa修正リサンプリングT-テスト
は通常中古のケースどこトレーニングセット
それは五また十タイムズ大きいよりも検証セット。
ためにもっと詳細、お願いします見るthe紙関連するとこれプレゼンテーション。
それでどうやってそれは自信曲線通訳？
初め、 a自信曲線グラフィカルに描く
the主要違いのtheメトリックの興味の間にa与えられた方法
とa参照方法でthe 0パーセント自信レベル。
私たちできる評価どうにかthe平均違いの間にメソッドは意味のある。
もしもthe平均違いそうではありません意味のある、あります少し点のさらに分析
のthe与えられた方法対the参照方法と尊敬にthe選ばれたメトリック。
何構成するa意味のある違い依存しますオンtheメトリックの興味
なので良いなのでthe意図されました科学的またエンジニアリング申し込み。
ために例、君できる見るtheモデル発展したとa決断木方法
はオン平均だいたい14パーセント悪いよりもフィットステップ賢い、
どれの間違いなくはa意味のある違い。
もしもthe違いは意味のある、
私たちできる評価どうやって正確にthe違いもっているその間測定
に評価the幅のthe関連する自信間隔。
ためにどれか自信間隔いいえ交差点theディフォルト垂直軸、
私たち持ってるで少しでもそれレベルの自信それthe平均違いはゼロ以外。
ために例、 the決断木自信曲線しませんクロスthe Y軸
それまでだいたいthe 99。 98パーセント自信レベル、
それで私たちそれはほぼ99。 98パーセント自信があるthe平均違いそうではありません同等にゼロ。
の事実、とこれデータセットする、
それターンアウトそれ私たちできるなれだいたい81パーセント自信がある
それフィットステップ賢いはで少しでもなので良い、もしもいいえより良い、
よりも毎日方法他のよりも一般化回帰ラッソ。
今しましょう検討the関係の間に自信曲線。
もしも2またもっと自信曲線大幅オーバーラップ
とthe平均違いの各はいいえ意味のある違うからthe他の、
theデータ提案各方法実行します
だいたいthe同じなのでthe他のと尊敬にthe参照モデル。
ために例、私たちできる見るそれオン平均、
Sサポートベクター機械モデル実行します
以下よりも0.5パーセント良くよりもブートストラップ森、
どれのはarguablいいえa意味のある違い。
そしてその自信間隔
するいいえオーバーラップそれまでだいたい4パーセント自信レベル、
どれの提案するこれらは値だろうなれ期待される
もしも両方メソッド本当する持ってるだいたいthe同じ違いのパフォーマンス
と尊敬にthe参照。
もしもthe平均違いのパフォーマンス
はだいたいthe同じために2自信曲線
しかしthe自信間隔しないでくださいオーバーラップそれも多くの、
theデータ提案するtheモデル実行だいたいthe同じなので各他の
と尊敬にthe参照モデル。
しかし、私たちそれは自信があるのa非意味のある違い。
これ特に場合はレアよりもtheその他、と
私しないでください持ってると例に見せるとこれデータセットする。
オンthe他の手、
もしもthe平均違いのパフォーマンスの間にaペアの自信曲線
は意味のある違うとthe自信曲線持ってる少しオーバーラップ、
theデータ提案するtheモデル実行別の方法でから一別
と尊敬にthe参照。
ために例、 the一般化回帰なげなわモデル
予測するだいたい13.13。 8パーセントもっとのthe変化のthe応答
よりもしますthe決断木モデル。
さらに、 the自信曲線しないでくださいオーバーラップ
それまでだいたいthe 99。 9パーセント自信レベル、
どれの提案これらは結果それはとても普通でない
もしもtheメソッド実際に実行だいたいthe同じと尊敬にthe参照。
ついに、もしもthe平均違いのパフォーマンス
の間にaペアの自信曲線
は意味のある違うから一別とthe曲線持ってるかなりオーバーラップ、
theデータ提案するそれその間theメソッド実行別の方法でから一別
と尊敬にthe参照、
それしませんなれ驚くべきもしもthe違いそれはthe違いスプリアス。
ために例、私たちできる見るそれオン平均、
サポートベクター機械予測約1.4パーセントもっとのthe分散
のthe応答よりもしたK最寄り隣人。
しかし、 the自信間隔始めるにオーバーラップ
でだいたいthe 17パーセント自信レベル、
どれの提案するそれしませんなれ驚くべきもしもthe違いのパフォーマンス
の間に各方法のthe参照
は実際に小さいよりも提案にthe点見積り。
同時に、
それしませんなれ驚くべきもしもthe実際違いは大きいよりも測定、
またもしもthe方向のthe違いは実際に逆転した。
の他の言葉、 the違いのパフォーマンスは不確か。
ノートそれそれそうではありません可能に評価the変動性のパフォーマンス
の間に2モデル相対的に一別
いつthe違いそれは相対的にa三番モデル。
に比較the変動性のパフォーマンスの間に2メソッド
相対的に一別、
一のthe 2メソッドしなければならないなれthe参照方法
からどれのthe違いそれは測定。
だが何だいたい多数比較？
しないでください私たち必要に調整the P値
にコントロールthe家族賢いタイプ一エラー割合？
の彼の紙だいたい自信曲線、ダニエルバー提案する
それ調整それは必要の確認研究
どこaゴールは事前に指定、しかしいいえの探索的研究。
これ提案するを使用して未調整P値ために多数自信曲線
のと探索的ファッション
とそれだけa独身自信曲線生成されたから違うデータ
に確認君の見つけるのa重要違いの間に2メソッド
いつを使用して意義テスト。
それか言った、お願いします保つのマインドthe危険のチェリーピッキング
とPハッキングいつ指揮探索的研究。
のまとめ、 theモデルふるい分けプラットホーム紹介されたのJMPプロ16
提供しますa手段に同時に比較theパフォーマンス
の予測モデル作成したを使用して違う方法論。
JMPもっているa長さ-立っているゴールに提供aグラフと毎日統計、
と自信曲線ヘルプに塗りつぶしそれギャップ
ためにtheモデルふるい分けプラットホーム。
君はそうかもしれない当然予想に使用する意義テストに差別化
の間にtheパフォーマンスのthe様々メソッドであること比較しました。
しかし、 P値持ってる来て下増加精査の最近年
ために不明瞭theサイズのパフォーマンス違い。
の添加、
P値それは頻繁誤解なのでthe確率theヌル仮説はfalse。
その代わり、 a P値はthe確率の観察a違いなのでまたもっと過激、
仮定theヌル仮説は本当。
The確率の正しく拒否するtheヌル仮説
いつそれはfalseは決定にパワー、また一マイナスベータ。
私は主張したそれそれはいいえ珍しいにそれだけ持ってるa 50パーセント機会
の正しく拒否するtheヌル仮説ととアルファ価値の0.05 。
としてと別、 a自信間隔できるなれ示されている代わりはのa孤独P値。
しかし、 the質問だろうなれ左開いたなのでにどれの自信レベルに見せる。
自信曲線住所これらは懸念
に表示中すべて自信間隔上にと任意に高いレベルの自信。
The平均違いのパフォーマンス
は明らかに見えるでゼロパーセント自信レベル、
とそれ使徒言行録なのでa点見積もり。
全て他のものであること同等、
タイプ一とタイプ二エラーそれは同等、
それで自信曲線しないでください埋め込むaバイアスに向かってトレーディングT ype一エラー
ためにタイプ二。
平それで、にディフォルト、 a垂直ラインは示されているのthe自信曲線グラフ
ためにthe標準ヌル仮説のいいえ違い。
の添加、 a水平ラインは示されているそれ描写する
the 95パーセント自信間隔、
どれのすぐに余裕があるa典型的意義テスト分析もしも望ましい。
Theデフォルトためにこれらは行それは簡単に変更
もしもa違うヌル仮説と自信レベルは望ましい。
平それで、与えられたtheそれよりも広いと時折強勢音提案
に交換意義テストと点見積りと自信間隔、
それ五月なれ一番に見るa自信曲線なのでa点見積もり
平行とaほぼ包括的見るのこれは関連する不確実性。
もしも君持ってるフィードバックだいたいthe自信曲線追加-の、
お願いします離れるaコメントオンthe JMP Cオムニティサイト
としないでください忘れるに投票ためにこれプレゼンテーション
もしも君見つかったそれ面白いとまた使える。
感謝君ために見てこれプレゼンテーション、そして私望む君持ってるaすごい日。
