ML モデル (ニューラル ネットワークやランダム フォレストなど) で k 分割相互検証を実行し、固定テスト データでモデルのパフォーマンスをチェックするにはどうすればよいですか?ニューラル ネットワークとランダム フォレスト モデルを適合させたい分類データセットがあります。 最適なモデルを選択するために k 分割相互検証を実行しています。
モデルのパフォーマンスをテストしたい別のデータ (固定テスト データ) があります。 そのデータを JMP に渡して分類レポートを取得するにはどうすればよいですか?
予測モデリングと機械学習Re: ML モデル (ニューラル ネットワークやランダム フォレストなど) で k 分割相互検証を実行し、固定テスト データでモデルのパフォーマンスをチェックするにはどうすればよいですか?こんにちは@abinavsharma91 、
複数の機械学習モデルで K 分割相互検証を使用するには、「モデル スクリーニング」プラットフォーム (「分析」、「予測モデリング」、「モデル スクリーニング」からアクセス可能) を使用し、試したいアルゴリズムを選択します。 (例ではニューラル ネットワークとランダム フォレスト)、および相互検証に使用される分割数 (ここでは、5 分割相互検証を使用したおもちゃのデータセット「Diamonds Data」の例):
テスト データには、いくつかのオプションがあります。
- データが 2 つのデータセット (トレーニング用、テスト用) に分割されている場合は、トレーニング データテーブルで相互検証を使用してモデルを実行し、最もパフォーマンスの高いモデルの数式を保存して、モデルの数式列をコピーして貼り付けることができます。これにより、テスト データに対するモデルのパフォーマンスを公平に評価するためにデータ漏洩が発生しません。
- すべてのデータを同じデータテーブル上に置くこともできますが、テストに使用する行を「非表示にして除外」することもできます。この方法では、モデルはトレーニングや相互検証にテスト データを使用しませんが、数式を保存することで、非表示および除外された行 (および同じテーブル上) の予測を引き続き行うことができます。
この回答がお役に立てば幸いです、
