こんにちは、私の名前はブライアンフリッケ。
わたしはある新しく鋳造された製品マネジャーでJMP、焦点を合わせるの上のJMPユーザー経験。
以前、私だったあるソフトウェアデベロッパー働くの上輸出するレポート
に台1人HTMLファイルファイル、 JMPライブ、とJMP公共。
のこれプレゼンテーション、
わたしは行くに話だいたいを使用して自信曲線
としての別にヌルH仮説意義テスト
ののコンテクストの予測的なモデルふるい分け。
追加材料の上これ主題できるなれ見つかったの上のJMPコミュニティWebサイト
との紙関連するとこれプレゼンテーション。
博士。ラスウォルフィンガーWHOはある優れたリサーチ仲間でJMP、はある共-著者、
と私するだろう好きに感謝彼ために彼の貢献。
のモデルふるい分けプラットホーム紹介されたのジャンププロ16、
許可しますあなたに評価のパフォーマンス
の多数予測的なモデルを使用してクロス-検証。
に見せるあなたどうやってのモデルふるい分けプラットホーム作品、
わたしは行くに使用の糖尿病データテーブル、
どれのは利用可能ののJMPサンプルデータ図書館。
病気選ぶモデルふるい分けからの分析する予測的モデリングメニュー。
JMP答えるに表示するのモデルふるい分けダイアログ。
の初め三つ列ののデータテーブル
代表する疾患進行の継続的な、バイナリ、と序数フォーム。
病気使用の継続的な桁名前付きYとしての応答変数。
病気使用全ての列から年にグルコースののバツ要素役割。
病気タイプ1-2-3-4のの設定ランダムシード入力箱ために再現性。
病気選択するのチェック箱次にKフォールドクロス検証
と離れるK設定に五。
病気タイプ三つの中への入力箱次に繰り返しK折り畳み。
のの方法リスト、病気選択を解除するニューラル、
と今病気選択するOK。
JMP答えるにトレーニングと検証中モデルために各のの選択されたメソッド
を使用して彼らのデフォルトパラメータ設定とクロス検証。
後完了するのトレーニングと検証中プロセス、
JMPディスプレイの結果のある新しい窓。
ために各モデリング方法、のモデルふるい分けプラットホーム提供します
パフォーマンス対策のの形状の点見積り
ためにの係数の決定、
どれのはまた知られているとしてR二乗、の根平均二乗エラー、
との標準偏差ためにの根平均二乗エラー。
今病気クリック選択する支配的。
JMP答えるにハイライトの方法それか実行します一番
横切ってのパフォーマンス対策。
なに？ないここはあるグラフィック
に見せるあなたはサイズのの違い間の支配的方法
との他のメソッド、平行との視覚化
のの不確実性関連するとの違い。
しかしなぜいいえただ見せるP価値観示すどうにかの違いそれは重要？
すべきではありませんある決断だいたいどうにか一モデルは上長に別
なれベースのの上意義？
初め、
以来あるP値提供しますある確率ベースのの上ある標準化された違い、
あるP価値に自体負ける情報だいたいの生違い、
それである重要違いしません意味するある意味のある違い。
しかしはそれか本当ある問題？
私平均、そうではありませんそれ無意味なになれ心配している
とのサイズのある違い間二モデル前意義テストは使用済み
に決定どうにかの違いは本物？
の問題とそれかラインの考えはそれかこれは力、また一マイナスベータ、
それか決定する私たちの能力に正しく拒絶あるヌル仮説。
著者そのようなとしてジェイコブコーエンとフランクシュミット
もつ提案されたそれか典型的研究もつある力に探知違い
のの範囲の0.4に0.6 。
しましょう仮定する私たちもつある違いどこの力に探知ある真実違い
は0.5でのアルファ価値の0.05 。
それか示唆する私たちするだろう探知の真実違い
の上平均50パーセントのの時間。
のそれか場合、意義テストするだろう識別本物違い
いいえより良いよりもひっくり返すの公平なコイン。
もしも全て他のものそれは同等、タイプ一とタイプ二エラーそれは同等。
しかし意義テストそれか使用のアルファ価値の.05
頻繁暗黙的に推定タイプTをエラーそれは好ましいにタイプ一エラー、
特にもしもの力はとして低いとして0.5 。
あ一般提案に住所これらはと他の問題と意義テスト
はに見せるの点見積もり平行と自信間隔。
一異議にやってるそれではそれかある点見積もり
平行と95パーセント自信間隔
は効果的にの同じものとして意義テスト中。
平もしも私たち推定それかは真実、ある点見積もりと自信間隔
まだ置くの大きさのの違いのの範囲のの不確実性
正面と中心、
一方ある孤独なP価値隠す彼ら両方。
様々著者、含むコーエンとシュミット
もつおすすめされた交換する意義テスト
と点見積りと自信間隔。
平それで、のおすすめに使用自信間隔
懇願するの質問、 "どれのものする私たち見せる？"
表示中それだけの95パーセント自信間隔
するだろうおそらく奨励あなたに解釈それとして別形状の意義テスト中。
の解決提供されたに自信曲線
はに文字通り見せる全て自信間隔
上にの恣意的に高い自信レベル。
それでどうやってするあなた見せる自信曲がるJMP?
に都合よく作成自信曲線のJMP、
インストールの自信曲線追加-のに訪問のJMPコミュニティホームページ。
タイプ"自信曲線」の中への検索入力分野。
クリックの上の初めエントリそれかが表示されます。
今クリックのダウンロードアイコン次に信頼曲線.jmp追加の、
と今あなたできるクリックの上のダウンロードされたファイル。
JMP答えるに尋ねるもしも私欲しいにインストールの追加-の。
あなたするだろうクリック"インストール。"
しかし、病気クリック"キャンセル、"として私すでにもつの追加-のインストールされています。
どうやってするあなた使用の追加-の？
初め、に生成自信曲線ためにこれ報告、
選択する"保存結果テーブル"
からの上赤三角形メニュー位置したの上のモデル画面報告窓。
JMP答えるに作成ある新しいテーブルを含む、の中他、
の続く列:
トライアル、どれの含まれていますの識別子ために三つセットのクロス検証結果;
折り畳み、どれの含まれていますの識別子ためにの五明確セットのサブサンプル
使用済みために検証の各トライアル;
方法、どれの含まれていますのメソッド使用済みに作成モデルからのテストデータ、
とNさんどれの含まれていますの番号のデータポイント使用済みのの検証折り目。
ノートそれかのトライアル桁意思なれないもしもの番号の繰り返すはその通り一、
のどれの場合のトライアル桁はない作成したまたは必要です。
保存ためにそれか例外、
これらは列それは不可欠ためにの自信曲線追加-の
に関数ちゃんと。
の添加にこれらは列、
あなた必要一桁それか提供しますのメトリックに比較メソッド。
病気なれを使用してR二乗としてのメトリックの興味のこれプレゼンテーション。
一度あなたもつのモデル画面と結果テーブル、
クリック"追加-インス」からのJMPの主要メニューバーとそれから、選ぶ"自信曲線。」
の論理それか続くするだろうなれより良い置いたのあるウィザード、
と私望みに追加それか機能性のある未来リリースのの追加-の。
としてそれは、の初めダイアログそれか表示されます
リクエストあなたに選択するの名前ののテーブルそれかだった生成された
いつあなた選んだ"保存結果テーブル"
からのモデルふるい分けレポート赤三角形メニュー。
の名前ののテーブルのこれ場合はモデルふるい分け統計検証設定。
次、あるダイアログは表示されるそれかリクエストの名前のの方法
それか意思仕えるとしてのベースライン
からどれの全ての他のパフォーマンスメトリクスそれは測定した。
私提案起動との方法
それかだった選択されたいつあなたクリックしたの選択する支配的、またのこれ場合、
私選択されたまたクリックした選択する支配的オプション
ののモデル画面と報告窓、
どれののこれ場合はフィットステップ賢い。
ついに、あるダイアログは表示される
それかリクエストあなたに選択するのメトリックになれ比較した間の様々方法。
として言及されたついさっき、病気使用R二乗としてのメトリックために比較。
ジャンプ答えるに作成ある自信曲線テーブルそれか含まれていますP価値観
と対応する自信レベル
ためにの平均メトリック違い間の選ばれたベースライン方法
と各のの他の方法。
もっと具体的には、の生成されたテーブルもっている列ためにの続く：
モデル、のどれの各行含まれていますの名前ののモデリング方法
だれのパフォーマンスは評価された相対的にのベースライン方法;
P値、
のどれの各行含まれていますの確率関連するとのパフォーマンス違い
で少しでもとして過激としての価値観示されているのの違いのR四角桁;
自信間隔、のどれの各行含まれていますの自信レベル私たちもつ
それかの真実平均は含まれているのの関連する間隔。
とついに、違いのR四角、のどれの各行はの最大また最小
のの期待される違いのR二乗関連するとの自信レベル
示されているのの自信間隔桁。
からこれテーブル、自信曲線それは作成した
と示されているののグラフビルダーグラフ。
何それは自信曲線？
に明らかにするの鍵属性のある自信曲線、
病気隠れる全てしかしのサポートベクター機械自信曲線
を使用しての地元データフィルターにクリックするの上サポートベクター機械。
にデフォルト、ある自信曲線それだけショーの行
それか接続の極端なの各自信間隔。
に見るのポイント、選択する見せるコントロールパネルからの赤三角形メニュー
位置した次にの文章それか読むグラフの構築rののタイトルバー。
今病気シフトクリックのポイントアイコン。
JMP答えるに表示するの終わりポイントのの自信間隔
それか作る上の自信曲線。
今私意思ズームのと診るある点。
もしもあなたホバリングのねずみポインタ以上どれでものこれらはポイント、
あるホバリングラベルショーのP価値、自信間隔、
違いののサイズののメトリック、
との方法使用済みに生成のモデルであること比較したにの参照。
今私意思振り向くオフのポイントにシフトクリックするのポイントアイコン
とクリックするの終わりボタン。
平けれどの個人ポイントそれはいいえより長いです示されている、
あなたできるまだ意見の関連するホバリングラベル
に置くのねずみポインタ以上の自信曲線。
の点見積もりためにの平均違いのパフォーマンス
間サポートベクトル M痛みとフィットステップ賢い
は示されているでの0パーセント自信レベル、
どれのはの平均価値のの違い計算されたを使用してクロス検証。
自信曲線プロットの範囲の各自信間隔
からの生成されたテーブル間のゼロと99. 99パーセント自信レベル、
どれのはの恣意的に高い価値。
平行の左Y軸、
P値関連すると自信間隔それは示されています。
平行の右Y軸、
の自信レベル関連すると各自信間隔示されています。
のY軸用途あるログ規模、
それでそれかもっと解決は示されているでより高い自信レベル。
にデフォルト、二参照行それはプロットされた並んである自信曲線。
の垂直ラインを表しますの伝統的ヌル仮説
のいいえ違いの効果。
注意してくださいできる変化の垂直ライン位置
とそれによっての暗黙ヌル仮説
ののバツ軸設定。
の水平ライン
パスする終えたの従来型95パーセント自信間隔。
としてとの垂直参照ライン、
あなたできる変化の水平ライン位置
とそれによっての暗黙レベルの意義、
に変化のY軸設定。
もしもある自信曲線十字架の垂直ラインその上の水平ライン、
あなたできない拒絶のヌル仮説を使用して意義テスト中。
ために例、私たちできない拒絶のヌル仮説ためにサポートベクター機械。
の上の他の手、
もしもある自信曲線十字架の垂直ライン下の水平ライン、
あなたできる拒絶のヌル仮説。
たとえば、次の帰無仮説を棄却できます。ブーストされた木。
どうやってそれは自信曲線計算された？
の現在実装の自信曲線
仮定しますの違いそれは計算されたを使用してR回繰り返された
Kフォールドクロス検証。
の範囲の各自信間隔は計算された
を使用して何は知られているとしてある分散修正しましたリサンプリングされたT検定。
ノートそれか著者クロード・ナドーとヨシュアベンジオ
了解しましたそれかある修正されましたリサンプリングされたて、テスト
は通常使用済みのケースどこトレーニングセット
それは五また十回より大きなよりも検証セット。
ためにもっと詳細、お願いします見るの紙関連するとこれプレゼンテーション。
それでどうやってそれは自信曲線解釈した？
初め、ある自信曲線グラフィック的に描いています
の主要違いののメトリックの興味間ある与えられた方法
とある参照方法での0パーセント自信レベル。
私たちできる評価どうにかの平均違い間メソッドは意味のある。
もしもの平均違いそうではありません意味のある、あるよ少し点のさらに遠く分析
のの与えられた方法対の参照方法と尊敬にの選ばれたメトリック。
何構成するある意味のある違い依存しますの上のメトリックの興味
として良いとしての意図されました科学的またエンジニアリング応用。
ために例、あなたできる見るのモデル発展したとある決断木方法
はの上平均だいたい14パーセント悪いよりもフィットステップ賢い、
どれのおそらくはある意味のある違い。
もしもの違いは意味のある、
私たちできる評価どうやって正確にの違いもっているその間測定された
に評価するの幅のの関連する自信間隔。
ためにどれでも自信間隔いいえ交差点のデフォルト垂直軸、
私たちもつで少しでもそれかレベルの自信それかの平均違いはゼロではない。
ために例、の決断木自信曲線しませんクロスのY軸
それまでだいたいの99. 98パーセント自信レベル、
それで私たちそれはほぼ99. 98パーセント自信を持っての平均違いそうではありません同等にゼロ。
の事実、とこれデータ設定、
それターン外それか私たちできるなれだいたい81パーセント自信を持って
それかフィットステップ賢いはで少しでもとして良い、もしもいいえより良い、
よりも毎日方法他のよりも一般化された回帰なげなわ。
今しましょう検討の関係間自信曲線。
もしも二またもっと自信曲線大幅重なり合う
との平均違いの各はいいえ意味のある違うからの他の、
のデータ提案各方法実行します
だいたいの同じとしての他のと尊敬にの参照モデル。
ために例、私たちできる見るそれかの上平均、
Sサポートするベクター機械モデル実行します
以下よりも0.5パーセント改善よりもブートストラップ森、
どれのは議論の余地があるいいえある意味のある違い。
そしてその自信間隔
するいいえ重なり合うそれまでだいたい4パーセント自信レベル、
どれの示唆するこれらは価値観するだろうなれ期待される
もしも両方メソッド本当するもつだいたいの同じ違いのパフォーマンス
と尊敬にの参照。
もしもの平均違いのパフォーマンス
はだいたいの同じために二自信曲線
しかしの自信間隔しないでください重なり合うそれも多くの、
のデータ示唆するのモデル実行だいたいの同じとして各他の
と尊敬にの参照モデル。
しかし、私たちそれは自信を持ってのある非意味のある違い。
これ特に場合は珍しいよりもの他、と
私しないでくださいもつの例に見せるとこれデータ設定。
の上の他の手、
もしもの平均違いのパフォーマンス間あるペアの自信曲線
は意味のある違うとの自信曲線もつ少し重なって、
のデータ示唆するのモデル実行違うから一別
と尊敬にの参照。
ために例、の一般化された回帰なげなわモデル
予測するだいたい13. 8パーセントもっとのの変化のの応答
よりもするの決断木モデル。
さらに、の自信曲線しないでください重なり合う
それまでだいたいの99. 9パーセント自信レベル、
どれの示唆するこれらは結果それはとても普通でない
もしものメソッド実際実行だいたいの同じと尊敬にの参照。
ついに、もしもの平均違いのパフォーマンス
間あるペアの自信曲線
は意味のある違うから一別との曲線もつかなり重なって、
のデータ示唆するそれかその間のメソッド実行違うから一別
と尊敬にの参照、
それそうはしないだろうなれ驚くべきもしもの違いそれはの違い偽りの。
ために例、私たちできる見るそれかの上平均、
サポートベクター機械予測された約1.4パーセントもっとのの分散
のの応答よりもしたK最寄りのご近所さん。
しかし、の自信間隔始めるに重なり合う
でだいたいの17パーセント自信レベル、
どれの示唆するそれそうはしないだろうなれ驚くべきもしもの違いのパフォーマンス
間各方法のの参照
は実際小さいよりも提案されたにの点見積り。
同時に、
それそうはしないだろうなれ驚くべきもしもの実際違いはより大きなよりも測定した、
またもしもの方向のの違いは実際逆転した。
の他の言葉、の違いのパフォーマンスは不確かな。
ノートそれかそれそうではありません可能に評価の変動性のパフォーマンス
間二モデル相対的に一別
いつの違いそれは相対的にある三番目モデル。
に比較の変動性のパフォーマンス間二メソッド
相対的に一別、
一のの二メソッドしなければならないなれの参照方法
からどれのの違いそれは測定した。
しかし何だいたい多数比較？
やめてください私たち必要に調整のP値
にコントロールの家族賢いタイプ一エラーレート？
の彼の紙だいたい自信曲線、ダニエルバール示唆する
それか調整それは必要なの確認的な研究
どこあるゴールは事前に指定された、しかしいいえの探索的な勉強します。
これ示唆するを使用して未調整のP値ために多数自信曲線
のの探索的なファッション
とそれだけある独身自信曲線生成されたから違うデータ
に確認あなたの見つけるのある重要違い間二メソッド
いつを使用して意義テスト中。
それか言った、お願いします保つのマインドの危険のチェリーピッキング
とPハッキングいつ指揮する探索的な勉強します。
のまとめ、のモデルふるい分けプラットホーム紹介されたのJMPプロ16
提供しますある意味に同時に比較のパフォーマンス
の予測的なモデル作成したを使用して違う方法論。
JMPもっているある長さ-立っているゴールに提供あるグラフと毎日統計、
と自信曲線ヘルプに塗りつぶしそれかギャップ
ためにのモデルふるい分けプラットホーム。
あなたそうかもしれない当然予想に使用意義テストに差別化する
間のパフォーマンスのの様々メソッドであること比較した。
しかし、 P値もつ来て下増加した精査の最近年
ために曖昧にするのサイズのパフォーマンス違い。
の添加、
P値それは頻繁誤解されたとしての確率のヌル仮説は間違い。
その代わり、あるP値はの確率の観察するある違いとしてまたもっと過激、
仮定してのヌル仮説は真実。
の確率の正しく拒否するのヌル仮説
いつそれは間違いは決定に力、また一マイナスベータ。
私は主張したそれかそれはいいえ珍しいにそれだけもつある50パーセントチャンス
の正しく拒否するのヌル仮説とのアルファ価値の0.05 。
としての別、ある自信間隔できるなれ示されているその代わりのある孤独なP値。
しかし、の質問するだろうなれ左開けるとしてにどれの自信レベルに見せる。
自信曲線住所これらは懸念
に見せている全て自信間隔上にの恣意的に高いレベルの自信。
の平均違いのパフォーマンス
は明らかに見えるでゼロパーセント自信レベル、
とそれか行為としてある点見積もり。
全て他のものであること同等、
タイプ一とタイプ二エラーそれは同等、
それで自信曲線しないでください埋め込むあるバイアスに向かってトレーディングTそうそう一エラー
ためにタイプ二。
平それで、にデフォルト、ある垂直ラインは示されているのの自信曲線グラフ
ためにの標準ヌル仮説のいいえ違い。
の添加、ある水平ラインは示されているそれか輪郭を描く
の95パーセント自信間隔、
どれのすぐに余裕があるある典型的意義テスト分析もしも希望。
のデフォルトためにこれらは行それは簡単に修正された
もしもある違うヌル仮説と自信レベルは希望。
平それで、与えられたのそれよりも広いと時々強調した提案
に交換意義テストと点見積りと自信間隔、
それ5月なれ一番に意見ある自信曲線としてある点見積もり
平行とあるほぼ包括的意見のこれは関連する不確実性。
もしもあなたもつフィードバックだいたいの自信曲線追加-の、
お願いします離れるあるコメントの上のJMP Cコミュニティサイト
としないでください忘れるに投票ためにこれプレゼンテーション
もしもあなた見つかったそれ面白いとまた使える。
感謝あなたために見てるこれプレゼンテーション、そして私望みあなたもつある素晴らしい日。
