モデルスクリーニングテストセットにおけるXGBoostの統計的パフォーマンスこんにちは、
モデルスクリーニングとネストされたクロスバリデーションを用いて、疾患分類のための複数の機械学習モデルを比較しています。XGBoostは、ROC-AUCと誤分類率において、テストセット全体で最高のパフォーマンスを示しています。しかし、決定閾値分析を実行して他の統計情報をより詳細に調べたいのですが、テストセットでは他のすべてのモデルのパフォーマンス（F1スコア、MCC、感度、スペクトラムなど）は表示されますが、XGBoostのパフォーマンスは表示されません。なぜでしょうか？これらの統計情報もレポートに含めたいのですが、XGBoostモデルでもテストセットでこれらの統計情報を取得する方法について何かアドバイスはありますか？
よろしくお願いいたします
月曜日
基本的なデータ分析とモデリング予測モデリングと機械学習Re: モデルスクリーニングテストセットにおける XGBoost の統計的パフォーマンスこんにちは@ルー 、
明確にするために、決定しきい値の調整はテスト セットではなく検証セットで行う必要があります。
使用される用語とその使用に関する注意事項を次に示します。
- トレーニングセット :モデルの実際のトレーニングに使用されます。
- 検証セット : モデルの最適化（ハイパーパラメータの微調整、特徴量/閾値の選択など）とモデル選択に使用されます。
- テストセット : 新しいデータや未知のデータに対する選択したモデルの一般化と予測パフォーマンス評価に使用されます。
検証セットの目的は、モデルの比較と選択、およびハイパーパラメータや決定しきい値の微調整を支援することです。
テスト セットは、モデルの最終的な公平な「検証」とモデルのパフォーマンスの最終的な評価として機能するため、モデルのトレーニングおよび微調整中には一切使用しないでください。
検証セットとテスト セットの違いについて詳しくは、次の会話をご覧ください。
JMP Proでテストデータとトレーニングデータに別々にモデルを適用しているにもかかわらず、出力に「トレーニング」と「検証」の結果が表示される場合、テストデータとトレーニングデータのみの結果を取得するにはどうすればよいでしょうか。 クロスバリデーション - バリデーション列法
...
具体的な質問ですが、私が間違っていなければ、XGBoost は@russ_wolfingerが作成したアドインを通じて JMP Pro バージョンでのみ使用できます。アドインによって追加された機能であるため、すべてのモデル調整オプション (決定しきい値など) が使用できない可能性があります。JMPのウィッシュ リストにウィッシュを作成するか、 XGBoost アドイン専用のページにこの状況に関するコメントを書き込むことができます。
ただし、XGBoost が最高のパフォーマンスを発揮するモデルである場合は、次のことが可能です。
- まず、テストセットをトレーニング/検証データから分離してください。こうすることで、モデルはどのステップでもテストデータを参照せず、モデルのハイパーパラメータと決定しきい値が固定された後にのみテストデータを使用するようになります。
- トレーニング/検証データセットにK フォールド検証列を作成します。
- XGBoost プラットフォームを起動し (アドイン メニューから)、K フォールド列検証を指定します。
- XGBoost トレーニングを実行し、検証セットの決定しきい値を調整します。
- 予測式を保存し、テスト セットでパフォーマンスを評価します。
この回答がお役に立てれば幸いです。
Re: モデルスクリーニングテストセットにおける XGBoost の統計的パフォーマンス素晴らしいご返答をありがとうございますビクターG
@Lu さん、モデルスクリーニングのリークに関する問題をバージョン19で修正しました。現在アーリーアダプター向けに提供されており、数週間以内に製品版が出荷される予定です。バージョン19を入手したら、再度実行することをお勧めします。XGBoostのテスト結果も表示されるはずです。 @Victor_G さんが鋭く指摘されているように、モデルの比較には必ずテストセット分割を使用してください。
XGBoostとTorchは、他のJMPプラットフォームとは異なり、2元分岐（学習と検証）のみを使用しますが、学習中に検証分岐を参照しないため、検証結果の漏洩がありません。これらの設定は、完全なK分割交差検証と、単一の3元分岐ではなく、分岐外の予測値を保存するように設計されています。
追加の提案がいくつかあります:
1. ビクターGが解説しているスタンドアロン設定を使用して、XGBoost の Autotune オプションを試してください。（アドインに付属のユーティリティ「Make K-Fold Columns」も使用できます。）これにより、フォールド外のパフォーマンスがさらに向上する可能性があります。
2. Torch Deep Learning ニューラル ネットも比較のために試してみる価値は間違いなくあります。絶対的に最高のパフォーマンスを得るには、XGBoost と組み合わせてください。
Re: モデルスクリーニングテストセットにおける XGBoost の統計的パフォーマンスVictorとRoss、素晴らしいご回答をありがとうございます。近い将来、モデルスクリーニングプラットフォームバージョン19の出力で何が実現されるのか、今からとても楽しみです！
よろしくお願いいたします
ゲーム
