JMP Proでテストデータとトレーニングデータに別々にモデルを適用しているにもかかわらず、出力に「トレーニング」と「検証」の結果が表示される場合、テストデータとトレーニングデータのみの結果を取得するにはどうすればよいでしょうか。予測モデリングと機械学習Re: JMP Pro でモデルをテスト データとトレーニング データに別々に適用しているにもかかわらず、出力に「トレーニング」と「検証」の結果が表示される場合、テスト データとトレーニング データのみの結果を取得するにはどうすればよいでしょうか。あまり詳細が提供されていないので、推測してみます。ニューラル ネットワークをフィッティングしているのではないかと思います。ニューラル ネットワークには検証セットが必要です。そのため、テーブルにトレーニング データしかない場合でも、検証セットが作成されます (フィッティングを要求する前に、これらのオプションを確認しておく必要があります)。
2 つ目の推測は、2 つのテーブルがあるということです。1 つはトレーニング データ用、もう 1 つは検証データ用です。その場合は、行がトレーニング用か検証用かを示す列を持つ 1 つのテーブルにテーブルを結合します。次に、モデルを適合するときに、トレーニング用か検証用かを示す列をモデリング ダイアログの検証フィールドに入力します。これで、出力には、希望どおりに 2 つのセットの統計情報が提供されます。
私の推測が間違っている場合は、さらに詳しい情報を提供していただければ、サポートさせていただきます。
Re: JMP Pro でモデルをテスト データとトレーニング データに別々に適用しているにもかかわらず、出力に「トレーニング」と「検証」の結果が表示される場合、テスト データとトレーニング データのみの結果を取得するにはどうすればよいでしょうか。こんにちは@MathBayesWhale4 さん
コミュニティへようこそ！
このフォーラムの他のメンバーがあなたの質問に迅速かつ簡単に正確に回答できるようにするには、できるだけ多くのコンテキスト、使用しているプラットフォームと JMP のバージョンに関する詳細、遭遇した状況のスクリーンショット、可能であれば、直面している状況を示して再現できる小さな (匿名または JMP サンプルの) データセットを提供することをお勧めします。
質問の組み立て方については、 @jthiの投稿「正しい質問に素早く正しい答えを得る方法」で詳しく読むことができます。
質問に戻りますが、さまざまなセットとその使用法およびニーズが明確になるように、使用される用語についていくつか注意事項があります。
- トレーニングセット:モデルの実際のトレーニングに使用されます。
- 検証セット: モデルの最適化（ハイパーパラメータの微調整、特徴/しきい値の選択など）とモデルの選択に使用されます。
- テスト セット: 新しいデータや未知のデータに対する選択したモデルの一般化と予測パフォーマンス評価に使用されます。
予測的な考え方で機械学習アルゴリズムを使用している場合、検証戦略を使用しないことは非常にまれです（「見たことがない」とは言わないまでも）。これは、学習を調整するためのデータ（さまざまなハイパーパラメータ設定、機能選択など）が必要であり、複数のモデルを比較して 1 つを選択する必要があるためです（複数のモデルをトレーニングした場合）。利用可能な検証戦略は多数ありますが、質問に関連していないと思われるため、このトピックについては詳しく説明しません。必要な場合は、この回答をお読みください。 解決済み：Re: CROSS VALIDATION - VALIDATION COLUMN METHOD - JMP ユーザー コミュニティ
ご質問に関連して、使用したアルゴリズム/プラットフォーム、使用している JMP のバージョン (JMP/JMP Pro、ライセンス バージョンなど) に関する情報はほとんどありません。
@Dan_Obermillerの推測が正しく、ニューラル プラットフォームを使用している場合は、ニューラル モデルのノードのさまざまな重みをデータに合わせて調整し、過剰適合のリスクを回避できるように検証が必要です。JMP バージョンにはデフォルトでいくつかの検証オプションがありますが、JMP Pro の検証列でより柔軟なオプションを使用できます。 ニューラルの検証方法
- したがって、JMP ライセンスをお持ちの場合は、データを 2 つの部分に分割できます。1 つはトレーニング + 検証用のテーブル、もう 1 つはテスト用のテーブルです。トレーニングと検証用の最初のテーブルにニューラルを適合させ、予測式の列を保存し、その式をコピーしてテスト テーブルに貼り付けます。その後、テスト テーブルでモデルの適合をグラフィカルかつ統計的に分析できます (Graph Builder を使用して、予測値と実際の値、残差などを表示するグラフを作成します)。
また、すべてのデータを 1 つのテーブルで使用し、テスト セットに使用する行を「非表示および除外」して、ニューラル ネットワークがトレーニングと検証にこのデータを使用しないようにすることもできます。数式をテーブルに保存すると、非表示および除外された行の予測値も得られます。
- JMP Pro をお持ちの場合は、 検証列を作成できます。これは、0、1、2 の番号と、対応するラベル「トレーニング」、「検証」、「テスト」が付いた列です。何らかの理由で検証セットが必要ない場合は、いつでもトレーニング セットとテスト セットのみを設定できます。
この追加の回答がお役に立てば幸いです。
