1 つ以上の検証列添付の JMP ファイルでは、3 つの個別の検証列 (トレーニング セット = 70%、検証セット = 15%、トレーニング セット = 15%) を使用して、各応答変数の重量、回転半径、馬力に対して 3 つの個別の回帰モデルを構築しました。
回帰モデルを構築するには、応答変数ごとに検証列を作成する必要がありますか、それとも、応答変数 1 つにつき検証列 1 つで十分ですか?
基本的なデータ分析とモデリング予測モデリングと機械学習Re: 1 つ以上の検証列こんにちは@madhu さん
2025年明けましておめでとうございます！
あなたの質問には正しい解決策も間違った解決策もありません。
さまざまな応答に対して機械学習 (データ駆動型) 方式で予測モデルを構築しているため、さまざまなセットの使用方法は次のとおりです。
- トレーニングセット : 用途 モデルの実際のトレーニング、
- 検証セット : モデルの最適化（ハイパーパラメータの微調整、特徴量/閾値の選択など）やモデルの選択に使用されます。
- テストセット : 新しい/未知のデータに対する選択されたモデルの一般化と予測パフォーマンス評価に使用されます。この段階では、複数のモデルが競合することはありません。
3 つの応答すべてに対して 1 つの検証列を使用することで、データから抽出できる情報の量を理解し、同じトレーニング データと検証データを使用して、応答に応じた予測タスクの難易度をより適切に評価/比較し、「デバッグ」するのに役立つと考えます。
異なる検証列を使用してトレーニング、検証、テスト セット内の観測の再分割を変更すると、特定の応答が正しく/正確に予測されない理由を把握するのが難しくなる可能性があります。これは、モデルに適合するために使用されるポイントの層別化/再分割が原因でしょうか。それとも、この応答の予測がより困難であるためでしょうか。
ちなみに、1 つの検証列を使用する場合でも、階層化された検証列の数式を作成することをお勧めします。機能の階層化により、トレーニング、検証、テスト セットの分布が類似していることが保証され、セット間のデータ分布のシフトが防止され、アルゴリズムの学習/モデル適合の一般化が損なわれるのを防ぐことができます。数式検証列タイプを使用すると、シミュレーションを作成し、データのさまざまな類似した分割を使用してアルゴリズムの堅牢性を評価できます。
解決済み: 多数の繰り返し検証を自動化して 1 つの出力テーブルにまとめるにはどうすればよいでしょうか? - JMP ユーザー コミュニティ
解決済み: ブーストツリー - テーブルデザインの調整 - JMP ユーザーコミュニティ
また、固定ランダムシードを使用したK 分割クロス検証列を使用して (モデル結果の再現性を確保するため)、複数の応答に対するアルゴリズムの堅牢性と予測パフォーマンスを評価することもできます。
この回答がお役に立てば幸いです。
Re: 1 つ以上の検証列こんにちは@Victor_G
私の質問に対するコメントをありがとうございます。納得できました。よろしくお願いいたします。
