予測スクリーニング予測モデルに関する講義と、予測式をデータセットに保存し、初期変数を X として予測式を新しい X として追加して予測スクリーニングを再実行するという提案を非常に興味深く聞いていました。
JMP Pro を使用したより優れた予測モデルの構築 - モデル スクリーニング
今日、同僚と話し合ったところ、彼の反応は「モデルの過剰適合について話している!」というものでした。
このアプローチでは、モデルをさらに過剰に適合させることになるでしょうか (モデルを作成するデータとは異なる検証データを使用した場合でも)。 私の同僚の意見は、同じデータを 2 回使用するというものでした。
私たちは二項 Y (健康または病気) に取り組んでおり、このアプローチは実際に予測を改善しますが、検証さえ不正確/過剰適合するような過剰適合を導入しただけなのでしょうか? #予測、#オーバーフィッティング、#スクリーニング
予測モデリングと機械学習ウィンドウズRe: 予測スクリーニングあなたのことを理解できるかどうかわかりません。データセット B が「盲検化されている」と言うとき、どの被験者がドーピングされているかわからない (または少なくとも知らないふりをしている) という意味ですか?そうであれば、B がテスト データ セットであると考えられます。通常、十分なデータがある場合は、A をトレーニング データと検証データに分割し、モデル (アンサンブル モデルを含む) をトレーニングしてから、それらを B に適用します。次に、B でのパフォーマンスに基づいて、モデルに戻って変更するという考えは、過剰適合を招くように思えます。これは、A でトレーニングし、B を検証セットとして使用することに似ています。しかし、その場合はテスト データがまったくありません。テスト データとは、モデリング プロセスから完全に切り離されて保持されるデータのことを意味します。
Re: 予測スクリーニング私の質問に対するフィードバックをくださった皆様、ありがとうございました！
あなたの問題に対するコメントとして@dale_lehman - このプロジェクトは、新しいデータセット（ドーピングされた被験者から採取された、または現在採取されている可能性のある盲検化された血液サンプル）で、ドーピングに関して選択された一連のバイオマーカーを検証することです。 したがって、既知のサンプルからのデータセット A を使用してモデルを修正する必要があり、アンサンブル アプローチは、モデルをデータセット B (ブラインド) に適用し、データセット A を使用して作成された式からデータセット B の予測結果を調査するための方法のようです。 。
必要に応じて、前に戻ってバイオマーカーの一部を交換し、事前に設定された予測力に達するまでこの手順を繰り返し実行できます。
プロジェクトについてもう少しうまく説明できたので (できれば)、グループ B を検証に使用する方法はわかりましたが、グループ B を使用してモデルをトレーニングする方法 (もう一度) を理解しているかどうかはわかりません (私は統計学者ではないことを思い出してください) ) が提案したように@andreacoombs1 。
これによってあなたの反応が変わるかどうかはわかりませんが、明確にしておきたいと思います。
Re: 予測スクリーニング実は今までビデオを見ていなかったんです。それを見た後、あなたの反応は私を少し困惑させます。2 つのものが混ざり合っているように見えますが、それらを解くのは困難です。確かに、潜在的な予測モデルを作成し、それらを新しいデータ (グループ B など) に公開すると、元の候補モデルが依然として最良であるかどうか、または新しいデータに直面したときに追加の調整や別のモデルによって予測が改善される可能性があるかどうかがわかるかもしれません。 - 過剰適合を避けるための古典的な方法。ただし、アンサンブル モデルを元の予測子とともに同じデータで実行すると、過学習だけが問題ではないと思います。そのプロセスにどういう意味があるのかまったくわかりません。スクリーニングから選択されたいくつかのモデルとともに元の予測変数を含めることで、最初から元の選択モデルが選択されるべきだったかどうかを確認しているだけではありませんか?そして、モデルが新しいデータに対してどのように機能するかを確認することが目的である場合、これは本当にアンサンブル モデリングと何か関係があるのでしょうか?アンサンブル モデルであるかどうかに関係なく、テスト データ セット (またはおそらく 2 番目のテスト データ セット) を用意して、サンプルからモデルがどのように実行されるかを確認するというアイデアはありませんか。言い換えれば、サンプル外テストは、モデル スクリーニング プラットフォームやアンサンブル モデリングとはほとんど、またはまったく関係がないようです。これは、どの予測モデルでも常に問題となります。
Re: 予測スクリーニング@ChristerMalmそして@dale_lehman 。その記録で私が提示したアンサンブル モデルは、元のモデルの構築に使用されたものと同じデータを使用して構築されたため、おそらく過剰適合していました。(説明をわかりやすくするために、「オリジナル モデル」と「アンサンブル モデル」という用語を引き続き使用します)。この過学習を防ぐ 1 つの戦略は、データ セット全体を 2 つのグループに分割することです。グループ A は元のモデルの構築用、グループ B はアンサンブル モデルの構築用です。元のモデルの構築中にグループ B を非表示にしたり除外したりできます。グループ A をトレーニング、検証、テストに分割して候補モデルを構築し、チャンピオン モデルを選択します。次に、グループ B をミックスに戻し、グループ B 全体をトレーニングに使用します。グループ B を検証として使用することも、検証とテストに分割することもできます。これにより、過学習を防ぐことができます。
Re: 予測スクリーニングこんにちは@dale_lehman 。アンドレア・クームズ@andreacoombs1は予測モデリングに関するセッションを発表しましたが、これについていくつか考えがあるかもしれません。
Re: 予測スクリーニングこんにちは@ChristerMalm 、
昨日の予測モデリングに関するセッションは非常に有益でした。 このトピックに関する正確な議論は覚えていませんが、同じ結果に対する入力の 1 つとして結果の予測式を使用する場合には慎重になります。 アンサンブル モデリングについての私の理解は、NN、ブースト ツリー、XGBoost などのさまざまなモデルが構築され、それらが平均化されるということです。 これは、モデル比較プラットフォームでレッドホット ボタンを使用して行うことも、それを行う列式を作成することもできます。 アンサンブル モデルは、単独の 1 つのモデルよりもデータによく適合するはずですが、常にそうとは限りません。 留意すべき点が 1 つあります。それは、最終目標が何であるか、およびモデルの解釈可能性がどの程度重要であるかによって異なります。 モデル方程式と入力が出力にどのように変換されるかを理解している場合は、モデル アンサンブルや複雑な非線形モデルが最善の方法ではない可能性があります。
Russ Wolfinger が話していて本当に重要なことの 1 つは、データに適切な検証スキームを見つけることだと思います。 間違ったトレーニング データと検証データのセットが選択された場合、たとえデータが良好であっても、彼が話した Nature 論文の例のように、ひどい適合が得られる可能性があります。 おそらく、最適な検証スキームを決定し、モデルの生成に取り組むことにもっと時間を費やすことが最善でしょう。
また、データセットが不均衡である可能性もあり、ある出来事が別の出来事よりもはるかに多く発生することを意味します。 その場合、ロジスティック確率のしきい値の変更を検討して、それが予測に役立つかどうかを確認することをお勧めします。 また、偽陽性と偽陰性のコストに価値を割り当てるための利益マトリックスのアプローチも検討してください。 Chris Gotwalt はまた、デシジョン ツリーを使用して、不均衡なデータのカットオフをよりよく理解するのに役立つ興味深いアプローチを示しました。
お役に立てれば、
DS
Re: 予測スクリーニング私はこれを見ていないので、反応を見ることに興味がありますが、最初の反応はあります。Model Screen プラットフォームの予測式を使用し、その予測式と他の予測子を使用してそのプラットフォームを再実行することは、少し過剰適合のように思えます。ただし、これはアンサンブル モデルを構築する方法だと思います。予測式が 1 つのモデルから取得され、新しいモデルがその出力を (他の予測子とともに) 使用して新しいモデルを作成する場合、それはアンサンブル モデルとして優れている可能性があります。オーバーフィッティングすることなく最初のモデルに戻ります。どの検証データを使用するかという問題は、私にとってはさらに微妙なように思えます。私なら同じ検証データを使用します。そうしないと、新しいモデルが古いモデルよりも優れているかどうかを本当に判断できません。おそらく、両方の予測式を保存し、これらを別の検証セットに適用して、パフォーマンスが向上するかどうかを確認することができます。
