K-Fold CVのアウトオブフォールドメトリクスへのアクセスK-Fold CVをNeuralやSVMなどの手法と組み合わせて使用する場合、フォールド外のメトリクスにアクセスする方法はありますか？私の知る限り、JMPは最もパフォーマンスの高いフォールドのメトリクスのみを報告しますが、これはあまり役に立ちません。
高度な統計モデリング予測モデリングと機械学習Re: K-Fold CV のフォールド外メトリクスへのアクセスこんにちは@CentroidError56さん、
はい、レポート内の検証フォールド結果にアクセスするには、テストするモデルをチェックした状態でプラットフォームモデル スクリーニングを使用してください。
トレーニング、検証、および適合度のテスト
モデル スクリーニング プラットフォーム オプションから、 KFolds 結果テーブルを保存できます。
この解決策がお役に立てれば幸いです。
Re: K-Fold CV のフォールド外メトリクスへのアクセスこんにちは、ビクターさん。
ご返信ありがとうございます。私の知る限り、これは各手法のデフォルト設定でのみ機能するようです。チューニング設計の設定をフォールドデータを使って比較したいのですが、各フォールドを手動で実行しない限り、これは不可能のようです。手動で実行すると非常に時間がかかります。何か見落としているのでしょうか？
Re: K-Fold CV のフォールド外メトリクスへのアクセスこんにちは@CentroidError56さん、
おっしゃる通り、このオプションはデフォルトのハイパーパラメータ設定でのみ機能します。
同じフォールドでテストする特定のハイパーパラメータ構成を次のように実行します。
- 「検証列の作成」プラットフォームを使用して、K分割検証列を作成します。層別列（X列）とターゲット（Y列）を指定します。次に、分割数と乱数シード値を定義します。
- 検証ロールでこの K フォールド列を使用して、選択したモデリング プラットフォームを起動します。
この例では、JMP DiabetesデータセットとSVMプラットフォームを使用しました。適切なハイパーパラメータ設定（モデル2、3、20）を見つけるためのチューニング設計を実現しました。
-
次に、Ctrlキーを押しながら「予測式を公開」オプション（各モデルの横にある赤い三角で表示されます）をクリックします。先ほど見た3つのモデルの式が含まれた新しい「Formula Depot」ウィンドウが作成されます。
-
Formula Depot の横にある赤い三角形で、 モデル比較オプションをクリックし、3 つのモデルを選択します。
JMP は、5 分割検証列がすべてのモデルに使用されていることを認識し、グループ化列として使用できるかどうかを尋ねます。そこで、各分割ごとに個別のモデル結果を取得するために [はい] をクリックします。
- 私は現在、3 つのモデルそれぞれについて、個別のフォールドのパフォーマンス測定にアクセスできるようになりました。
この方法は、モデルの予測式のみを使用するため、使用するモデリング プラットフォームに関係なく機能し、異なるモデル タイプを組み合わせることができます。
この回答があなたの問題を解決することを願っています。
Re: K-Fold CV のフォールド外メトリクスへのアクセスこんにちは、ビクターさん。
うまくいきました！ありがとうございます！
