リーブワンアウトクロスバリデーション誰かが、Leave-one-out検証用のGen Regのプラットフォームから以下に示すグラフを理解するのを手伝ってくれますか（または、Leave-one-out検証をよりよく理解するのを手伝ってくれるかもしれません）？私は糖尿病を使用し、Y（連続）を予測しています。検証プロットに特定のレコードが表示されるのはなぜですか？ソリューションパスの検証プロットは、すべてのリーブワンアウトの平均値をプロットすることを理解していました。
以下にスクリプトとともに添付されたデータセット。
Re：Leave-one-out相互検証こんにちはウェンディ、
あなたが見れば私は思うk-foldのヘルプドキュメントこれを説明するのに役立ちます。 1つを除外するのは、k =データの行数であるk-foldの特殊なケースです。
「最終モデルを取得するには、調整パラメーターの最適値に対して導出されたk個のモデルすべてをデータセット全体に適合させます。 これらのうち、検証ログの可能性が最も高いモデルが最終モデルとして選択されます。 その最終モデルに使用されるトレーニングセットはトレーニングセットとして指定され、そのモデルのホールドアウトフォールドは検証セットです。 これらは、プロットおよび最終ソリューションの報告結果で使用されるトレーニングセットと検証セットです。」
したがって、k個のモデルの1つ、つまり検証対数尤度が最も高いモデルのプロットのみが表示されます。
1つのデータポイントを持つ検証セットの実際の値と予測値を確認するのは少し奇妙だと思います。 しかし、うまくいけば、これが今の理由を説明しています。
乾杯、
フィル
Re：Leave-one-out相互検証こんにちは、ウェンディ、
はい、K-FoldまたはLeave-One-Out検証方法で使用されるScaled -Loglikelihood（=負の対数尤度を＃観測値で割ったもの）は平均化されますが、Actual byPredictedなどの診断プロットは単一モデルの結果を示します。
ラッソペナルティ付き回帰の解決策は、単一の調整パラメーターに依存します。 LOO検証を使用してグリッド上で最適値を検索すると、N個（たとえば、この場合は442個）のモデルが適合します。各旋削パラメータの値。多くのモデルがフィットします！ スケーリングされた-LL値は、442個のLOO観測値ごとに計算され、それらの平均が、異なる回転パラメーター値に適合したモデルからの別の平均スケーリングされた-LLと比較されます。これは、検証プロットに表示されるものです。（スケーリングされたパラメーター推定値の大きさの値は、調整パラメーターの値と同等であることに注意してください。）
次に、からのドキュメントに記載されているように、442モデルから最終モデルが選択されます。 @phil_kay ：「すべて」からの検証で最高のLLを示すモデルです。 kチューニングパラメータの最適値のために導出されたモデルは、データセット全体に適合します。」予測による実際の結果は、トレーニングセットとLOO観測に関する最終モデルの結果をプロットします。この場合、LOO検証として使用されると、このデータポイントが最大のLL値を生成するため、行305になります。
ご覧のとおり、K-foldおよびLOO検証方法は、ペナルティ付き回帰では、PartitionおよびNNとは少し異なる動作をします。これがお役に立てば幸いです。
ジャン
