k-fold 適合品質を使用したクロス検証私は、1 つを除外する Lasso フィットまたは K 分割交差検証を使用しています。出力で R 平方およびその他の適合品質メトリック (例: AIC) を表示する最適な方法を教えてください。トレーニング セットと検証セット (すべてのホールドアウトの平均) にこれがあると便利です。
予測モデリングと機械学習Re: k 分割適合品質を使用したクロス検証こんにちはダニエル 、
コミュニティへようこそ！
個々のフォールドと平均で LASSO 回帰のパフォーマンス メトリックを取得するには、 モデル スクリーニングプラットフォームから一般化回帰を起動する方が簡単だと思います。その場合、「一般化回帰」と「追加の方法」のオプションのみをオンにし、モデルに入力できる用語の種類 (相互作用や二次効果の導入など)、フォールドの数、再現性のシード (必要な場合) を指定します。
プラットフォームが起動すると、個々の折り目と概要に関するすべての情報を含む新しいウィンドウが開きます。
この回答がお役に立てば幸いです。
Re: k 分割適合品質を使用したクロス検証ありがとうございます。それは役に立ちます。次に、最適なフォールドを選択して「選択を実行」すると、検証として最適な K フォールドを使用した Lasso フィットの結果が得られると思います。
Re: k 分割適合品質を使用したクロス検証こんにちはダニエル 、
K 分割交差検証を使用して LASSO モデルを起動した後、結果を処理する方法はいくつかあります。
- 「最良」の検証フォールドで最高のパフォーマンスを発揮する LASSO モデルを選択します。これは「チェリーピッキング」のように見え、「正直な評価」と選択手順ではないため、推奨されません。これは、データに適切なモデルを適合させるのではなく、モデルに適切なデータを選択するようなものであり、検証データが過剰適合してしまう可能性があります。
- 結果の一貫性と堅牢性を評価した後、すべてのデータでモデルを再トレーニングする: このアプローチは論理的に思えるかもしれません。モデルが堅牢で、すべてのフォールドで同様の結果が得られると評価したら、すべてのデータを使用してモデルをさらに改善したくなるからです。モデルのパラメータ (たとえば、含まれる用語やペナルティ値) をクロス検証データでのフィッティングとすべてのデータでのフィッティングの間で同じに保ち、モデルがデータセット全体で過剰適合しないようにできることが確実な場合は、これが実行可能なオプションになる可能性があります。このアプローチには、モデルの検証を見失うという欠点があるため、テスト データで何か問題が発生した場合、検証データなしでモデルをデバッグするのは困難です。
- K 個のモデルの平均モデルを作成する: これは私が推奨するアプローチです (可能な場合)。K 個のモデルを作成したら、各モデルを実行し、「予測式の公開」を使用して予測式を保存し、モデルをフォーミュラデポに保存できます。
モデルの式を数式デポに入力したら、「数式デポ」の横にある赤い三角形をクリックして、「 モデル比較」を選択します。これにより、モデルのパフォーマンスの短い概要が作成され、「モデル比較」の横にある赤い三角形をクリックすると、 モデルの平均化を作成できます。
このオプションを選択すると、データテーブルに、K モデルの平均方程式 (私の場合は、5 つの個別のクロス検証済みモデルの平均方程式/モデル) に対応する新しい数式が作成されます。
その後、同じモデル比較プラットフォームを使用して、K 個の個別モデルと平均モデルのパフォーマンスを再度比較できます。
このアプローチは、フォールドの数が多い場合や、使用するモデルが複雑な場合 (ニューラル ネットワークなど) は、実行が簡単ではない、または実行できない可能性があることに注意してください。回帰モデルや機械学習の「基本モデル」 (決定木、SVM、kNN など) などの単純なモデルの場合、このアプローチは、検証でデータを「失う」ことなく、過剰適合を回避し、堅牢性と一般化プロパティを確保するのに役立ちます。
クロスバリデーションの詳細については、次の投稿をご覧ください。
クロス検証 - 検証列法
k 倍 r2
また、モデルのトレーニング、検証、テストについてさらに詳しく知るには、Cassie Kozyrkov のプレイリスト「Making Friends with Machine Learning」を強くお勧めします。Making Friends with Machine Learning - YouTube
この回答があなたのお役に立ち、ご質問にお答えできれば幸いです。
Re: k 分割適合品質を使用したクロス検証ありがとうございます! あなたの洞察は、私が現在進んでいる機械学習の軌道にぴったりでした。
Re: k 分割適合品質を使用したクロス検証分析を完了するために、上記のように K 分割モデルの平均モデルを使用する場合、各モデルの独立変数の重要性を確認したいと思います。通常は VIF を使用します。平均式でこれをどのように行うかを教えてください。
ありがとう。
Re: k 分割適合品質を使用したクロス検証こんにちはダニエル
あなたの言っていることがよくわかりません。VIF 値は変数間の共線性の度合いを評価するのに役立ちますが、応答におけるこれらの変数の重要性を反映していません。
平均モデル式からのパラメータ推定値を比較して、要因の重要性を比較できます。
また、 プロファイラーに平均式をロードすることもできます (グラフ メニューで使用可能。「中間式を展開」をチェックして、応答が元の予測子にリンクされるようにします)。また、「 変数の重要度を評価」オプションを使用して、 Sobol 指数に基づいて変数の重要度 (主効果と合計効果の観点から) を計算します。
この回答がお役に立てば幸いです。
Re: k 分割適合品質を使用したクロス検証ありがとうございます。まだ学ぶべきことはたくさんありますが、あなたの反応は私に続けるための基盤を与えてくれます。
