のほとんど有名な引用で全ての統計はジョージボックスの
"全てモデルは間違っている、しかしいくつかのは役に立つ。"
私は聞いたこれ引用でほとんど毎会議
私はこれまでされたに、そしてなぜならのこれ、
に私の回想、私は実は避けられたを使用してこれ引用でどれでも話す前に。
しかしいつ私見た上
の初め時間それだったこれまでセットで印刷、それだったである1976年ジャーナル
ののアメリカ人統計的協会記事。
その見つかったであるセクション呼ばれた倹約。
すぐに後それ初め実例
のの引用、彼話すについての重要性の見つける
の最も単純なモデルそれ説明しますの観察された現象。
これ金額に見つけるモデルそれオファーある合理的バランス
の適合度対モデル複雑そしてはその通り
何私は行くになれ話しているについて今日でこれプレゼンテーション。
JMPそしてJMPプロオファーある多くの違うモデリング能力、
それぞれとある多くの出力関連しているに選択するあるモデル。
今日私は行くに行くの中へいくつかの詳細の中へいくつかのののほとんど重要のこれら、
ハイライト彼らのモチベーションそしての仮定後ろに彼ら。
あ多くのの議論意思なれについてのAICcそしてBICモデル選択基準、
どれのは直接そしてとてもデータ-効率的ツールのためにアドレッシングの問題。
箱持っていたで心と彼の引用、
どれのはどうやってに探すある役に立つモデルからあるセットの欠陥のあるまたは間違っているもの。
として私だった置くこれプレゼンテーション一緒に、
私行ったを通しての派生ののAICそしてのビック。
私欲しかったに得るあるクリア理解
の何これら似ている-探しているメソッド本当にはそして何仮定彼らは作った。
その後、外の好奇心、
私したのインターネット検索のAIC対BIC 対相互検証。
それだった面白いに見るで全てこれらインターネットフォームそれそこにははまだ
それで多くの議論、平けれどこれらメソッド持っているされたその周りのために50年。
持っている最近審査の派生ののメソッド、
それ見た目のようにそこにははまだある多くの誤解外そこには。
私考えるの理由のためにこれはそれ両方モデル選択基準
持っているとても深いそしてテクニカル派生
にもかかわらずのシンプルさの彼らの数式、両方の彼らは等しいにマイナス二回
の対数尤度ののフィットしたモデル、
プラスある単純ペナルティベースのの上の番号のモデルパラメーター。
あなたできない推測の理由
のためにのペナルティ条項からの式一人で、
どれの作る彼ら思われる神秘的なそして任意。
1つの私の目標今日はに試す
に謎を解くこれらそれなし行く船外の上の数学。
に置くこれ全てでのコンテクストのの分析ワークフロー、
私たちはできる考えるのの分析プロジェクトとして持っている四選考科目ステップ。
私たちは初め持っているに取得するのデータ、得るそれ整頓されたそして掃除された上。
それから私たちはフィットいくつかのモデルにそれである方法
それはどちらかマニュアルまたは自動化されたによるソフトウェアのようにJMPまたはJMPプロ。
一度私たちは持っています終わりそれ、それから私たちは必要に選ぶ1つの彼ら
としてのモデルそれだった行くに仕事と移動中フォワード。
これはある致命的ステップでのプロセスそれ良いなれ焦点を合わせるの上今日。
その重要それ私たちは得るのモデル選択右
なぜならの品質のの結果そしての結論私たちは作る
での終わり必要それ私たちは持っているある合理的に良いモデル。
ここはの主要方法それ私は見た人々作る決断についてモデル。
仮説テストはおそらくの初め1つ人々学ぶについて。
これらはほとんど一般的に使用済みに決定するもしある回帰係数
は統計的に大幅違うからゼロ、
どれの音のようにあるモデル選択問題。
その間彼らはは頻繁使用済みでそれ方法、
仮説テストは派生下ある特定のセットの仮定
それ明示的にするないアカウントのために持っているかわったのモデル
または持っている使用済みあるモデルそれだった選ばれたとしての最高
中でいくつかの代替案。
それから私たちは持っているの一般的な経験的な手順それ評価モデルベースの
の上データ開催外からのモデルフィッティングプロセス。
これらテクニックできるなれ適用済みに両方古典的な統計的モデル
として良いとして機械学ぶモデル。
で私の意見、差し出す検証、で特定の、はの方法に行く
もしあなた持っているある全体多くのデータ。
それから私たちは持っている何全て呼ばれたの小さいデータ分析的手順。
これらだった派生のために状況いつあなた持っているに作るある決断
についてどれのモデルに使用、しかしあなたしないでください持っている十分データ
に所有外どれでも観察。
のほとんど一般的に使用済みのこれらはのAICそしてのビック。
しかしそこにはは他の良い-知られているテクニック
のように一般化された Cロス検証そしてマローズC P.
それターン外それこれら二は実は漸近的に同等
にのAIC、それでで大きいサンプルあなたすべき得るの同じ結論からGCV、
マローズCP、そしてのAIC、で特定の、のためにで少しでも正方形-ベースのモデル。
それから私たちはまた持っている何病気電話モデル-特定のアプローチのようにVIP
そして部分的に正方形モデルそしてのキュービッククラスタリング基準
クラスタリング中モデル。
これらはかわいい適所そして私しませんなれ話しているについて彼らどれでももっとここ今日。
それから私たちはまた持っているビジュアルツールのように実際の予測されたプロット
そしてROC曲線。
関係なくのどうやってあなた選ぶあなたのモデル、
これらプロットは良いに取るある見てで前に移動中フォワードとあるモデル
なぜなら彼らは提供するもっと面白い情報
よりもどれでも個人統計意思そしてできる教えて私たちもしの最高モデル
それ私たちは持っています考慮されたそれで遠いはまだある良い十分モデルのために私たちに使用。
私の自分の初め出会いとモデル選択基準で私のプロ人生
だった戻るでの半ば2000年、その周りいつJMP5そしてJMP 6だった外。
JMP持っていた追加したの能力に提供する能力分析
のために非普通配布物。
能力分析はあるとても重要道具
のために評価するかどうかある製造業プロセスは」有能"
の配達する製品それは内で仕様。
JMPユーザー欲しかったに決定する」最高分布"のためにのデータ
それで彼らのプロセス能力メトリクスするだろう最高反映するの現実
の彼らの状況。
JMP顧客理解したそれあなたできたフィット違う分布とJMP
そして知っていたそれ多くののの分布来たとある適合度テストである場合
の持っているあるハンマー原因となるあなたに探す爪どこにでも。
彼らはだった試しています全ての分布彼らはできた探すそしてだった選択するの1つ
との最大p値としての分布
のために彼らの能力分析。
彼らは欲しかった私たちに成文化するこれの中へある新しいフィット全て分布特徴
それするだろう自動化するこれプロセスのために彼ら。
しかし私たちはだったそれよりも不快とこれリクエストのためにある番号の理由。
のために1つもの、の違う分布適合するJMP
来たと違う種類の適合度テスト。
の普通持っていたあるシャピロ-ウイルクテスト。
のワイブル持っていたあるクラーメール＝フォン・ミーゼステスト、そしての対数正規化持っていたあるコルモゴロフテスト。
そのとても奇妙なに比較するテスト
それはそれよりも違うから1つ別の。
別の問題とこれアプローチはそれ分布ともっとパラメーター
は行くに傾向があるに持っているの角の上それらのと少ない。
もし私たちは選ぶの分布ベースのの上の最大p値、
それ意思いつも好意分布
ともっとパラメーターとして私たちは見るこことの二-パラメータ普通比較した
との四-パラメータジョンソンスー分布。
それからのためにいくつかののの分布
のようにのワイブルのクレイマーフォンミーゼスWテスト、
私たちはのみ持っていたテーブル価値観のp値行く上に何かのようにP等しい25.
しかし平もし私たちは連結全ての適合度テスト下
にただ1つそして得た正確なp値のために全ての彼ら、
あるよまだあるより大きな哲学的な問題で賭け金そしてそれはそれ仮説テスト
のようにこれらできるのみ定量化する証拠に対してのヌル仮説。
もしのヌル仮説は真実、
それからのp値はある均一に配布されたランダム変数。
で他の言葉、もしのヌル仮説は真実、
それからの確率それのp値は間0.1そして0.2はその通り
の同じとしての確率それそれは間0.8そして0.9。
Sええいあるp値の0.9そうではありませんもっと証拠それの仮説
は真実よりもあるp値の0.3。
戻るに私たちの例、なぜなら全て四のこれら分布
持っている良かったね-の-フィットp値より大きなよりも0.05。
を通してこれレンズ、全て四分布
フィットのデータ合理的に良い、平けれどの適合度テスト言う
全ての分布は良い、の結論についてのプロセス
生成するのデータは違う依存しての上の分布。
もしあなた使用あるピーク参照価値の1.33
に決定するもしのプロセスは有能、それから選択するの実行可能なを示します
それのプロセスはない十分に有能に会うの仕様、
一方の他の分布示すそれのプロセスは有能。
私たちは認識するそれそこには持っていたになれあるより良い方法に決定する
の分布自動的にそして来たにの結論
それこれすべきなれ見たとしてあるとても基本的な親切のモデル選択問題。
で私たちの検索のためにある音方法のために選択するある分布、
私たちはつまずいたその上これとても良い本の上モデル選択によるバーナムそしてアンダーソン。
彼らは与える注意深い派生ののAICからの視点
の情報、理論、そして相互検証。
彼らはまた与えるある導出ののビックの中へどうやってのAICできるなれ派生
での同じ方法とある違う予測についての前分布。
バーナムそしてアンダーソンまた気をつけて見せる
仮説テストはそれよりも支離滅裂なとしてあるモデル選択戦略。
の本持っていたあるかわいい大きいインパクトの上私の自分のビューのモデリング
そしてまたの上JMP統計的モデリングプラットフォーム。
戻るにの分布選択問題のためにの一瞬、
いつ私たちは行った先にそして追加したある分布セレクタ、
私たちは終了しました上電話をかけるそれフィット全てそして私たちはベースそれの上のAICc.
ここの上の左、
私たちは持っている二分布のの能力分析データ
私たちはだった探しているで前に、の普通そしてのジョンソンすー。
のジョンソンスーさんの適合度p値はより大きなよりもの普通のなぜならそれもっている
二もっとパラメーターよりもの普通分布。
今の上の右、
私たちは見るの結果のあるフィット全てを使用してのAICc.
の普通来る外としての最高-フィッティング分布、
しかしのジョンソン・スーは近くの底。
これはなぜならのAICcは罰するそれのために持っているこれら二余分なパラメーター。
これ特徴もっている今された使用済み多くの、多くの回
そして私信じる人々は一般的にかわいいハッピーとそれ。
今私は行くに行くを通して
ある幾分数学的しかしうまくいけばアクセス可能な説明
の何のAICc本当には。
全て右。
今私は行くに行くの中へいくつかの基本的な理論後ろにのAIC。
病気なれとして簡単なとして可能そして使用の最高類推として私できる、
しかし私考えるそれは重要になれ露出にの根底にある概念それであなたできる見る
それのAICもっているある厳格な財団それもっているいくつかのセンスにそれ。
のAIC-タイプ選択基準はベースのの上ある距離-タイプメトリック
間確率分布呼ばれたのカルバック-ライブラーまたはクアラルンプール発散。
それ数値化するの額
の情報失ったによるを使用して確率分布二
1つ確率分布1つはの正しい1つ。
クアラルンプール発散もっているの財産のいつもいるより大きなよりもまたは等しいにゼロ
そしてはのみ等しいにゼロいつの二確率分布
はの同じ。
これはに言うそれを使用しての間違っている分布いつもリード
にある理論的には定量化可能な、厳密にポジティブ情報損失。
これはかわいい頭がおかしい抽象的なもの、
それで私は行くに翻訳するそれの中への言語の統計的モデリング。
いつ私たちははを使用してデータで統計に学ぶについてどうやって何か作品、
私たちはは明示的にまたは暗黙的にフィッティング確率モデルにのデータ
に近似の真実モデルそれ生成されたそれ。
もし私たちは知っていたの真実確率生成する機構、私たちはできた使用のクアラルンプール発散
に定量化するどうやって遠いまたはどうやって間違っているのモデルはからの真実。
私たちはできたそれから試すいくつかのモデルそして探すの1つそれはの一番近い
にの真実。
赤池認識されたこれそして詰まったの真実
そしてのモデル確率数式の中へのクアラルンプール発散式
そして使用済みある少し代数に見るそれのクアラルンプール発散持っていた二条項。
の初め学期のみ含まれていますの真実確率-生成する機構
のためにのデータ、どれの私たちはできる一度もない知る以来私たちはできるのみ仕事とモデル。
しかし、これはある絶え間ないそれはの同じのために全てモデル
それあなたフィットにのデータ
として長さとして私たちは遊ぶによるあるカップル単純ルール。
の2番学期は何赤池発見したは経験的に推定できるそしてとある多く
の数学、彼見つかったある単純式に見積もりこれ2番学期。
で特定の、
彼発見したそれ二回のクアラルンプール発散は等しいにある絶え間ない
それはの同じのために全てモデル、プラス二回のネガティブ対数尤度
ののデータ使用済みにフィットのモデル、プラス二回の番号のパラメーター。
すべて持っていたされた乗算されたによるある要素の二ただにフォローするの同じ大会
としてある可能性比率テスト、以来の絶え間ない学期はの同じ
のために全てモデルとして長さとして私たちはしないでください変化
の応答データ、私たちはできるフィットいくつかのモデル、
そしての1つだれのAICはの最小はの1つそれは推定
に持っているの最小のK L発散からの真実そしてであるセンスはの1つ
それはの少しでも間違っている。
使用するのAICのためにモデル選択は全体的に類似したにそこにはいる
あるコレクションの島々そしてあなた欲しいに知るどれののの島々あなた知るの
は一番近いに別の島それあなた知るあなたはそうします一度もないなれできる
に得るに。
の直接解決にこれ問題するだろうなれに計算するの距離
からそれぞれのの島々にの1つそれ私たちは欲しいに得る近いに。
今、何もしの島私たちは欲しかったに得る近いにだった囲まれた
によるある円形高いフェンスそれ私たちはできたアプローチ？
の島は完璧にでの真ん中ののフェンス、
それでの距離からの中心のの島にのフェンス
はいつもの同じ。
しかしのフェンスだった遠い十分離れてからの島それそれ同封された
それ私たちはできませんでした見るそれまたは測定の距離
からのフェンスにのインテリア島。
私たちはできるまだ見積もりの距離からそれぞれ島にのフェンス。
なぜならの主要島はでの中心ののフェンス、
私たちは知るそれの島一番近いにのフェンスはの一番近い島。
これはその通りの状況とのAIC。
とのAIC、私たちはできる見積もりの距離からの真実にそれぞれののモデル。
それぞれAIC見積もりはオフによるの同じ額。
その間私たちはできない見積もりの絶対距離ののモデル
からの真実、私たちはできる知るどれのモデルはの一番近い
である相対的センス。
のオリジナルAICはベースの
の上の可能性ののトレーニングデータプラスあるパラメータペナルティ。
のトレーニング可能性評価するのの良さフィットののモデル。
私たちはできない使用これ学期による自体けれど、なぜならそれは偏った下向き
としてのモデルパラメーターだった選ばれたに最小化する
のネガティブ対数尤度。
とある多くの数学、赤池派生あるとても単純表現
それ修正しますのためにこれバイアス。
のオリジナルペナルティはただ2 K
どこKはの合計番号の推定パラメーター。
のために線形回帰とあるスロープ
そしてのインターセプト、私たちはまた持っているにカウントの分散。
のためにそれ場合あなたするだろう持っているK等しい三つそしてない二。
そこにはは重要仮定それ導かれたに2 Kペナルティ。
私たちはできる特徴づける彼らゆるくそれのモデルもっているになれ合理的に良い。
のAICはまだ行くになれ屈強しかし、なぜならもしあるモデルは悪い、
それからの可能性成分意思なれ大きいそして意思支配する
のペナルティ中での良いモデル。
の2K学期意思好意の小さいモデルとして長さ
としてのサンプルサイズは大きい。
しかし、それしませんでした取る長さのために人々に探すそれこれオリジナルAIC
頻繁ショーモデルそれオーバーフィットで小さいサンプル、
それであるもっと正確な、より高い-注文近似にのバイアスだった派生。
いつこれ余分な学期は追加した、
の基準になる知られているとしてのAICcまたはの修正されましたAIC。
残念ながら、の評判それのAICオーバーフィット
持っていたなるありふれた前にの修正だった発見した
そして広く知られているについて。
の修正になる無限としてK Nに近づく
押すのモデル選択基準離れてからモデルそれはほぼ飽和した。
知らせまたそれの修正学期行きますにゼロとしてN行きますに無限大。
で大きいサンプルのAICそしてAICcは同等。
のAICcは何私たちは報告でトランプなぜならそれ作品良いのために小さいサンプル
そしてそれでもそれだった派生のためにガウス配布物、
経験示唆するそれその良い十分と他の一般的に使用済み配布物。
今私は行くに説明するのAICc
である本物例それだったある五-要素中央複合デザインと31走る、
そしての応答だったの額のp DNA生産されたによるあるバイオリアクター。
病気説明するのAICcを使用しての一般化された回帰プラットホーム、
与えるそれある満杯応答表面モデル
と全て主要効果相互作用そして2番-注文条項。
私フィット四モデルにのデータ。
1つはある満杯応答表面モデルを使用して少しでも正方形それだったフィット自動的に。
それから私使用フォワード選択
下の普通、対数標準、そして指数関数的配布物。
私選んだの指数関数的分布に説明する貧しいモデルフィット。
のモデル持っていた2 2、9、9、そして1パラメーターそれぞれ、
そしてのモデルとの最低AICcだったのlogN普通のとのAICc
のについて334.8。
私たちはできる壊すのAICそしてAICc計算
下に見るどうやって違う部品ののペナルティは貢献しています。
の満杯少しでも正方形モデル
もっているの最低可能性、しかしの最高AICc全体。
いつ私たちは見てでの2番-注文修正そしてのオリジナルAIC価値観、
私たちは見るそれそのの2番注文修正学期それは押す
のモデル選択基準になれとても大きいのためにこれモデル。
のlogN普通のフォワード選択ログ可能性はある少しより低い
よりもの普通フォワード選択1つ。
彼らは両方持っている九パラメーター、それで彼らの罰則はの同じ
そしてのlogN普通のフォワード選択モデルもっているのより低いAICc.
の指数関数的フォワード選択モデルもっているの最も貧しいモデルフィットとして測定された
によるの対数尤度、しかしまたのみもっている1つパラメータ
でのモデル。
全体それもっているの最小ペナルティ貢献にのAICc.
しかしの貧しいフィットののモデルはそのようなそれの可能性支配する
そしての指数関数的モデルはの2番からの最悪として測定されたによるのAICc.
もしあなたレビューの一般的な導出
ののAICでのバーナムそしてアンダーソン本、
あなたはそうします見るそれ何その実は推定はの期待される価値
のある仮説的なテストセット可能性のためにあるデータセットそれもっているの同じサイズ
そして応答構造、しかしない価値観としてのトレーニングセット。
の期待される価値観また取るの中へ考慮の変動性
での見積もりののMLE。
私探すこれ相互検証解釈ののAIC
になれかわいい説得力のある。
私考えるそのまた重要にポイント外それこれ相互検証導出
ののAICするない仮定するで全てそれ私たちは持っているの正しいモデル。
に見せるそれこれ相互検証解釈本当に作品、
私作成したあるシミュレーション式を使用しての平均ののモデル私は示されている
での前のスライドとして良いとしていくつかの他のもの。
これ方法私たちは知っていたそれなしののモデルだった実はの正しい1つ。
私フィットそれぞれのの四モデルに新しいトレーニングデータある千回
そしてセットそれ上それでそれ仕事するだろう報告の独立した差し出す可能性
を使用して別の新しいデータセット。
私保たれたそれぞれのの四モデル構造
そして分布無傷のそしてしたない適用する変数選択。
これだったに完璧に真似するのちょうど相互検証解釈
ののAIC。
からそこには、私作成したあるテーブルのシミュレートされた
差し出す可能性そして計算された彼らの平均のためにそれぞれのの四モデル。
これはのAICそしてAICcまとめテーブルから前に、
とのシミュレーション-ベースの平均差し出す対数尤度
追加した以上ここにの右、あなたできる見るそれの満杯普通モデル
差し出す可能性はとても近いにそのAICc価値
そしてそれの2番-注文修正学期だった不可欠のためにこれマッチに起こる。
の上の他の手、
あなた見るそれのシミュレートされた平均指数関数的差し出す対数尤度
はまたとても近いにのAICc.
両方の普通そしてlogN普通の差し出す可能性は近い
にのオリジナルログ普通モデルA ＩＣｃ．
の普通差し出す可能性はある少しより小さい。
私属性これに平均化するある束のシミュレーションモデル、
作るのシミュレートされたデータある少し少しもっと通常は配布された
よりものオリジナルデータだった。
そこにははあるカップル単純ルールそれは必要なに作るAICc比較
本当に有効間違うモデル。
のほとんど重要はそれの確率論的一部ののデータ
もっているに滞在するの同じ、の同じ行持っているになれ使用済み
そしてそれはのYさんで特定のそれしなければならないなれの同じ。
の×のできるなれ違う、のコース、平もし彼らはだった元はランダム、
ないのみしなければならないのYさんなれの同じ、しかし彼らはできないなれかわったまたは変身した。
の変身するだろう持っているになれ建てられたの中へのモデル適当に。
のAICはまたのみ定義済み
のために行儀が良い最大可能性推定者
そして他の密接に関連している方法。
これ説明するなぜあなたしないでください見るAICc
のためにニューラルネットワークそして他の機械学ぶモデル。
また、あなた持っているに保つで心それただなぜならあなた見つかったあるモデルそれのAICc
言うはの最高、それしません平均それそれはある良いモデル。
使用あなたの過去経験そしてモデル診断プロットに確保する
それのモデルは右十分になれ役に立つ。
戻るにのpDNAデータ、私たちは見る二同等モデル。
の上の上、私たちは持っているあるlogN普通のモデル
そしての上の底私たちは持っているある普通フィットにのログ-変身した応答。
あなたできる見るそれの一般化されたRS四角い
はの同じのためにこれら二モデル、しかしのAICcsはとても違う。
これはなぜならのlogN普通のフィット
暗黙的にビルドしますの変身の中への可能性。
しかしのログ規模普通フィットするない。
でこれ場合、の右ものに使用はのlogN普通の。
こちらですある素早いデモンストレーションそれあなた持っているに決めるの分布
そしての入力変数での同じ時間。
ここはシミュレートされたデータからあるってEST（東部基準時タイプモデル
二グループの通常は配布されたデータとの同じ分散、
しかし違う手段。
もしあなたフィット全てでの分布プラットホーム、
それ選ぶの普通二混合とのAICcの1036。
これはの正しい分布
もしあなたしないでください知るのグループ身元のの行。
一度あなた含むのグループ化変数けれど、
あなた見るそれの普通来る外の上上ののAICcの717またはそれで。
私たちはまた試してみたのワイブル対数標準
そしてガンマそしての普通まだ来た外の上上、平けれどそれらの分布
したより良いで分布それなし含むのグループ化変数。
あなたならそうするだろう持っているに試す違うモデル構造物
そして分布一緒にに探すの右組み合わせ。
今私は行くに変化歯車そして話すある少し少しについてのビック、
どれのはの他の主要分析的モデル選択基準そしてJMP。
のビックはやる気のあるである完全に違う方法
よりものAIC。
シュワルツ使用済みある大きいサンプル口論であるベイジアンコンテクストに近似
のログ確率ののデータ後持っている統合されたのモデル外、
仮定してあるフラット前の上のパラメーター、の表現似ているにのAICポップス外
とあるKログでタイプペナルティ学期それよりもよりも二回k.
そこにはだったまた他の条項での積分それはいつも無視されました。
1つはKログ2パイ、どれのだった考慮されたあまりにも小さい
に取引とそしての他の1つ
はある正規化された分散ののMLE、どれのするだろうまたなれのKを注文します。
私しませんでした勉強のAICまたはビックインどれでも深さで学校。
私ただ覚えて聴覚の控えるAICオーバーフィット、
BIC下合ういくつかの回で違うクラス、
どれの私解釈されたとしてある強い懐疑論について両方の彼ら。
比較するのAICcそしてBIC ペナルティ、私たちは見るそれのAICc意思防ぐ
大きいモデルからいる選ばれたいつのサンプルサイズは小さい、
一方のビック意思まだ許可する大きいモデル。
私見るのKログそして正規化絶え間ないペナルティでのBICとして幾分
少ない説得力のあるよりもの相互検証解釈ののAIC-タイプ罰則。
何かそれリード
にある限界的な確率ののデータはもっと抽象的なに自分よりも何か
それは直接解釈可能なとしてある相互検証メトリック
取るの中へアカウントパラメータ不確実性。
私は完全にわかっている
それ私は編集中ここ、しかしこれは何ですか働いた良い
のために自分それで遠い。
戻るにのp DNA DoE 1つもっと時間。
ここはの同じモデルフィットでのpDNA例
を使用してのビックファースト選択の上上そしてのAICcの上の底。
知らせそれのビックのの満杯普通モデル
はないとして遠い離れてからの他のモデルとしてとのAICc.
の最高モデル全体として評価されたによるのビックはある対数標準、
しかしと13パラメーターこれ時間その周りそれよりもよりも九。
のフォワード選択されたビックノーマルモデルまたもっているあるカップルもっとパラメーター。
で小さいサンプル、逆ににのAICオーバーフィット、
BIC下フィットします、のAICcできる選ぶ小さいモデルよりものビックで小さいサンプル。
ここ私たちは見るの効果選ばれたによるのビックとのAICc.
のセットのBICセレクト効果はあるスーパーセットののもの選ばれた
によるのAICc.
あまた知らせ、興味深いことに、それ全て四効果ない選ばれた
によるのAICcは統計的にBIC の下では重要です。
下のビック、のpH2乗学期は非常に重要な、
しかしそれそうではありません現在でのAICcモデル、のために例。
私するだろう言うそれ全ての重要な効果
すべき持っているアスタリスクによる彼ら、
しかし全て重要なp値持っているアスタリスクによる彼らJでMP報告します。
その代わり、病気ただ言うそれ私取るp値の効果
後選択とある粒の塩。
それでもの二モデル選ぶ違う効果、
いくつかのの彼ら非常に統計的に重要なでのモデル。
もし私たちは見てでのプロフィール
または変数重要性からこれら二モデル、
彼らは教えてあるとても似ている話。
餌レートはによる遠いのほとんど重要
そして後それの注文するはの同じ間の二モデル。
pHのみ影響3%のの変化での応答表面下のビック
最高モデルそしてそうではありません含まれていますで全てでのAICc最高モデル。
これはあるとてもクリア例
の統計的意義そして実用的関連性
いる二違うもの。
そこにははある多くの意見外そこにはについてのAICcそしてのビック。
のために例、バーナムそしてアンダーソン
言うそれ両方メソッドは一貫性のあるのためにの疑似-真実モデルとしてN行きます
に無限大。
しかしそれからあるよその他それ言う
それのビックはののみ1つ一貫性のあるのためにの真実。
バーナムそしてアンダーソン言うそれあなたできるセット上シミュレーションに作る1つ見て良い、
変化の方法そのセット上ある少し少しそしてそれはフリップの結果。
バーナムそしてアンダーソン、
誰がはについてのほとんどダイ・ハードAICcファン外そこにはで彼らのシミュレーション、
見つかったそれのAICc選ぶ少ない本当に悪いモデルよりものビック。
私考えるそのないある悪いアイデアに見てで両方ビックとAICc
後申請中変数選択。
もしの最高モデル下両方はかわいい多くのの同じ、どれのは頻繁の場合、
あなたできる感じるかわいい良いについてどちらかの彼ら、もし彼らは違う
その良いに考えるについての理由なぜそして使用あなたの主題案件専門知識
にヘルプ作るある決断。
私の最後トピックはモデル選択基準そして線形混合されたモデル。
これはあるかわいい複雑状況、特になぜならそこにはそうではありませんコンセンサス
間ソフトウェアベンダーでどうやってに計算するのモデル選択基準。
に説明するこれ、私作成したあるスプリットプロットデザインと四要因。
そこにはは二全体プロット効果そして二スプリットプロット効果。
もしあなた取るの同じデータそしてフィットの同じモデルでJMPプロ
そしてSASを使用してフィット混合されたそしてプロシージャ混合、
あなた意思見るそれの可能性そしてモデル選択基準しないでくださいマッチ、
しかしの分散見積りする、あなた得る違う修理済み効果
パラメータ見積り、しかしの修理済み効果テスト同意する。
1つのの理由のためにこれはそれJMPそしてSAS修理済み効果デザイン行列
使用ある違うコーディング戦略のためにカテゴリー的な効果。
の上の左私持っているのJMPデザインマトリックスのためにのスプリットプロット例、
そしての上の右あなた見るのSAS 1つ。
JMP作成しますある行のマイナスもの
のためにの最後レベルのカテゴリー的な効果どれのは見たで青ここ
一方SAS作成しますある行のゼロ。
どちらでもない1つのこれらは右または間違っている。
そののように変化単位または変化座標システム。
JMPカテゴリー的な効果和にゼロ、一方SASカテゴリー的な効果
できるなれ解釈されたとして違いからの最後レベル。
それでもの生パラメータ見積り異なる、
予測意思なれの同じ間の二コーディングなぜならのモデル
は基本的に同等。
ほとんどものそれ案件
しませんなれ違う間の二ソフトウェア製品。
しかし、 REML、方法使用済みに見積もり混合された効果モデル
もっているの曖昧さでそれ。
のベースガウス可能性での上
意思なれの同じでどちらかソフトウェアなぜならそのある本物可能性。
しかしのREMLまたは残留物可能性報告によるプロシージャ混合された
そしてJMPプロのフィット混合されたそうではありませんある本物可能性。
もしそれだったある本物可能性、それから私たちはするだろう得るの同じ価値観
関係なくのどれのコーディングまたはソフトウェア私たちは使用済み。
これはなぜならあるよの余分なペナルティ追加したにのガウス可能性
のためにREMLそれ減らすのバイアスのの分散見積り。
しかしこれ依存しますの上のデザインマトリックス
である方法それはセンシティブにのコーディング使用済み。
JMPレポート、の生ガウス可能性、そしてのAICcそしてビックなことそれレポート
はベースのの上それそれよりもよりもの残留物可能性。
の番号のパラメーターフィット混合されたカウント
はの合計含む両方修理済み効果そして分散パラメーター。
私たちはしたそれこれ方法に作るそれそれでそれあなたできる使用JMPに比較するモデル
と違う修理済み-効果構造物として良いとして分散モデル。
でSAS、彼らはのみ報告の残留物またはREML対数尤度
そしてそれレポートモデル選択基準ベースのの上それ。
あなたできる見るここそれそれまたのみカウント分散パラメーターとして良い
なぜならの違い間のSAS可能性
そしてそのAICはのために暗示する二パラメーター、
ある分散成分そしてある残留物。
全てこれ手段はそれ
あなたできるのみpを使用してくださいロック混合されたのために比較する分散モデル
とのAICなぜならのモデル選択基準
含まれていますのREMLペナルティそしてそののみ数える分散パラメーター。
と全て期限尊敬、
私できる考えるのいくつかの良い理由のためにのSASアプローチ、
そしてそこにははおそらくいくつかの他の良い理由私しないでください平知るの。
しかし私個人的に好むの柔軟性余裕のあるによるのJMPアプローチ。
に要約すると、もしあなた比較する結果横切ってソフトウェア
のために非混合されたモデル、の平均パラメータ見積り5月異なる、
しかしさもないとすべてそれ以外すべきなれの同じ。
として長さとしてのソフトウェア計算する
の定数そしての可能性正しくとしてJMPそうです。
いつ私たちは得るにガウス混合されたモデル、
そこにははとても重要ソフトウェア違い
そしての範囲のの決断あなたできる作るについてのモデル
を使用してのソフトウェア5月なれとても違う
依存しての上の詳細のどうやってその可能性は計算された。
JMPモデル選択基準
は匹敵します両方内での同じプラットホーム
そして横切って他のモデリングプラットフォーム。
病気近いとこれ滑り台、どれの与える私の基本的な推奨事項
のために申請中のツール議論した今日。
仮説テストはある道具のためにいつあなた必要に証明する何か
そしては最高使用済みで状況いつあなた持っているある良いアイデア
ののモデル構造で前進。
いつあなたは働くの上ある問題で業界そしてのサンプルサイズは小さい、
私するだろうスティックに古典的な統計的モデル
そして使用のAICcとしての主要な道具のために選択する間彼ら。
とより大きなデータセット、いつ私持っている十分データに所有外
で少しでもある三番目のの観察、私使用差し出す相互検証に比較する
古典的な統計的モデルとして良いとして機械学ぶモデル。
で私の自分の仕事、私傾向があるに避けるK-折り畳み相互検証
そしてその分散。
のモデル選択基準は同等にそれでより大きなサンプル、
そして私傾向があるにスティックとより単純なモデルと小さいデータセット。
私知るそれないみんなは行くに同意すると自分の上これ、
しかしこれは何作品のために自分そしてはあるかわいい安全方法
にアプローチモデル選択。
選択するのほとんど役に立つモデルからあるセットの代替案それしなければならない全てなれ間違っている
の上いくつかのレベルはの重要決断、そしてこれらはの主要考慮事項
私持っているいつ決めるその上あるモデル選択戦略。
感謝あなたのためにあなたの注意そして私見てフォワードに話しているとあなた
での会うの専門家セッション。
