GenReg でのモデルの評価やあ、
一般化回帰を使用してモデルを構築する場合、標準最小二乗法 (検証列の有無にかかわらず) を使用すると、JMP はモデル サマリー アウトラインの下に多数の有用な指標を出力します。 ただし、別の方法 (Forward Selection や Lasso など) を使用して、検証列以外の検証方法を取得できる場合、比較できる単一のメトリックはありません。 したがって、検証列があれば、トレーニング セットと検証セットの R^2 のようなものを取得できます。 しかし、leave-one-out、AICc、またはホールドバック セットなどを使用すると、全体的なモデルの要約統計が得られません。 ソリューション パス プロットは、私が得ることができる最高のものであると思います。
ただし、複数のアプローチを比較しようとしている場合、ソリューション パス プロットは特に役に立ちません。 従来のステップワイズに戻ると、AICc 選択と BIC 選択を通じて同じ候補用語のセットを実行し、異なるモデルが得られることを確認し、R^2 または RMSE または AICc または BIC またはその他のモデルを比較できます。どのモデルが「より良い」かを確認するための要約統計。 従来のステップワイズで K-Fold 交差検証を選択すると、「RSquare K-Fold」統計を取得できます。
一般化回帰におけるこれらのツールの類似物は何ですか? GenReg が提供できる柔軟性を利用できることを非常に楽しみにしていますが、さまざまなオプションから選択する方法については迷っています。 単純なものがあると確信していますが、GenReg に比較的慣れていないので、それが何であるかはわかりません。
ありがとう、
マイケル
Re: GenReg でのモデルの評価ご協力いただきありがとうございます。見たいものを必ずウィッシュ リストに追加してください。
一番、
明細書
Re: GenReg でのモデルの評価うん... 私はいくつかの小さなデータセットを扱っているため、Leave-one-out に傾倒していますが、モデルを評価しようとする欲求不満に戻ります。 Goボタンを押して最善を尽くすだけではなく、なぜJMPが特定のモデルにたどり着くのかを説明する、もう少し定量的なものが欲しいです。
Re: GenReg でのモデルの評価マイケル、
3 レベルの検証列で目的を達成できると思います。トレーニング、検証、およびテスト。テスト データはモデルの適合には使用されず、テスト セットの R2 乗はトレーニング セットと検証セットの R2 乗と比較されます。近いほど良い。これは、小さなデータ セット (< 100 行) で達成するのは少し難しいですが、「すべてのモデル」が将来のデータをどれだけうまく予測するかを判断するための非常に良い方法であることがわかりました。
最後のポイントについてですが、Leave-one-out K-fold は、小さなデータ セットに対して選択できる最良の相互検証手法の 1 つだと思います。
Re: GenReg でのモデルの評価ビル、
ありがとう。 私はまだ勉強中ですが、今はもう少し理解できていると思います。
私が得ているのは、オールイン R^2 (データのすべての行) が役立つということですが、次のようなものをもっと探しています:
トレーニング セットと検証セットのモデル フィット統計の違いは、モデルがフィット プロセスから除外された観測値に対してどの程度ロバストであるかを示します。 モデルを構築するときに私が探したいものの 1 つは、より多くの観察結果を得たとしても、私のモデルが依然として適切であることを示す統計です。
おそらく、これを行う唯一の方法は、検証列を作成し、複数回の検証 (差し控える観測の複数のセットを特定する) を試みるのではなく、差し控える観測の 1 つのセットをランダムに特定することです。 私の考えでは、マルチフォールド検証はより堅牢なモデルにつながると思いますが、おそらくそうではないでしょうか?
マイケル
Re: GenReg でのモデルの評価マイケル、
あなたの返信に基づいて、開発者とさらに連絡を取りました。以下は彼が返信したものです。
「...彼が比較しているのは、モデル比較 (geneng で構築された前方選択モデルの場合) の R^2 と、stepwise プラットフォームで構築された前方選択モデルの R^2 です。 彼のモデル比較 (.8704) の R^2 は、データ全体で計算されます。 Stepwise の出力には、実際にはその情報も含まれています。以下で赤丸で囲みました。 彼が Stepwise レポートで丸で囲んだ値 (.8514) は、k 倍の R^2 です。 問題は、彼がデータ全体の R^2 を k 倍の R^2 と比較していることです。」 
開発者は、2 つのプラットフォームの違いについて話します。
「....（いつ）ジャンルングでの前方選択とステップワイズでの前方選択を比較する. 2 つのプラットフォームが前方選択を行う方法には、いくつかの微妙な違いがあります。 Genreg はスコア テストを見て次にどの効果を導入するかを決定し、Stepwise は wald テストを確認します。」
そして最後に、開発グループの Fang Chen による Stepwise の K-fold R2 の計算:
「Stepwise の K-Fold RSquare は、RSquare = 1 – SSE/SST の一般的な定義に従って計算されます。SSE は、K ホールドアウト サンプルのそれぞれからの残差に基づいて計算されます。
K-Fold R2乗 = 1 - ResV`*ResV / ( (Y-YMean)`*(Y-YMean)"
この最後のビットは、R2乗値が異なる理由について探していたものの核心かもしれません.より完全な答えを提供することを期待して、他のビットを追加しました。
HTH
Re: GenReg でのモデルの評価明細書、
私はまだ混乱しています。 GenReg の開発者は、GenReg がモデル (R^2? 何か他のもの?) の比較を行っていると言っていますが、どこにあるのかわかりません。メトリックが見つからないという元の投稿を参照してください。 また興味深いのは、段階的比較とモデル比較で R^2 が同じ方法で計算されるということです。 R^2 に対して明らかに 2 つの異なる値を取得したため、これは奇妙です。
ありがとう、
マイケル
Re: GenReg でのモデルの評価マイケル、
GenReg プラットフォームの開発者の 1 人からの以下の説明を参照してください。
「R^2 を計算するときは、モデルが null (切片のみ) モデルとどの程度適合しているかを比較しています。 トレーニング セットでは、これをどのように行うべきかは明らかです。トレーニング セットで推定された切片のみのモデルと適合度を比較します。 検証セットには、いくつかのあいまいさがあります。 ジャンルでは、適合するモデルをインターセプトのみのモデルと比較しますトレーニングセットに基づいて構築. 段階的比較とモデル比較では、近似モデルと切片のみのモデルを比較して R^2 が計算されます。検証セットに基づいて構築された."
開発者は続けて、「1 つの答えが必ずしも正しいか間違っているとは限らない」と感じていると述べています。とはいえ、彼は GenReg での方法を強く望んでいます。 
Re: GenReg でのモデルの評価@Bill_Worleyありがとうございました！ 表面的には、これは便利なアプローチです。 それは私が Stepwise で得たものと一致しません。 どのプラットフォームを信じるべきですか? (前方選択、Leave One Out、テーブル内の 38 行のデータを使用した GenReg、vs. Stepwise、38 フォールドが指定された赤い三角形からの k フォールド。) スクリーンショットを参照してください。 R^2 にはかなり顕著な違いがあり、係数推定にはわずかな違いがあります。
Re: GenReg でのモデルの評価おいマイケル、
あなたの質問に対する私の最初の反応は、モデル比較の使用を提案することです。比較する予測式をフォーミュラ デポに公開し、そこから移動するか、Gen Reg レポートから [分析] > [予測モデリング] > [モデル比較] に直接移動します。ただし、このオプションを使用するには、まず予測式をデータ テーブルに保存する必要があります。
HTH
一番、
明細書
