予測スクリーニング予測モデルに関する講義に大きな関心を持って耳を傾け、予測式をデータセットに保存してから、初期変数をXとして予測スクリーニングを再実行し、予測式を新しいXとして追加するという提案を聞きました。
JMPProを使用したより良い予測モデルの構築-モデルスクリーニング
今日、私は同僚と話し合いました、そして彼の反応は「モデルの過剰適合について話していました！」でした。
このアプローチは、モデルをさらに適合させますか（モデルを作成するデータとは異なる検証データを使用する場合でも）。 私の同僚の意見は、同じデータを2回使用するというものでした。
二項式Y（Health or Sick）に取り組んでおり、このアプローチは確かに予測を改善しますが、検証でさえ不正確/過剰適合になるように、より多くの過剰適合を導入しただけですか？ ＃予測、＃過剰適合、＃スクリーニング
分析ウィンドウズRe：予測スクリーニング私はこれを見たことがないので、反応を見たいと思いますが、最初の反応はあります。モデル画面プラットフォームからの予測式を使用し、他の予測子と一緒に予測式を使用してそのプラットフォームを再実行すると、過剰適合のように聞こえます。ただし、これはアンサンブルモデルを構築する方法だと思います。予測式が1つのモデルからのものであり、新しいモデルがその出力を（他の予測子とともに）使用して新しいモデルを作成する場合、それは優れている可能性があるアンサンブルモデルです。オーバーフィットせずに最初のモデルに。どの検証データを使用するかという問題は、私にはもっと微妙に思えます。同じ検証データを使用します。そうしないと、新しいモデルが古いモデルよりも優れているかどうかを実際に判断できません。おそらく、両方の予測式を保存してから、これらを別の検証セットに適用して、パフォーマンスが向上するかどうかを確認できます。
Re：予測スクリーニングやあ@ChristerMalm 、
昨日の予測モデリングに関するセッションは非常に有益でした。 そのトピックに関する正確な議論を思い出せませんが、同じ結果の入力の1つとして、結果の予測式を使用する場合は注意が必要です。 アンサンブルモデリングについての私の理解は、NN、ブースティングツリー、XGBoostなどのさまざまなモデルが構築され、それらが平均化されるということです。 これは、赤いホットボタンを使用してモデル比較プラットフォームから実行できます。または、それを実行する列数式を作成することもできます。 アンサンブルモデルは、それ自体でどのモデルよりもデータに適合している必要がありますが、常にそうであるとは限りません。 覚えておくべきことの1つは、それは最終目標が何であるか、そしてモデルにとって解釈可能性がどれほど重要であるかに本当に依存します。 モデル方程式と入力が出力にどのように変換されるかを理解している場合、モデルアンサンブルと複雑な非線形モデルは最善の方法ではない可能性があります。
Russ Wolfingerが話していたことの1つは、データに適した検証スキームを見つけることが非常に重要だと思います。 トレーニングと検証のデータの間違ったセットが選択された場合、彼が話したネイチャーペーパーの例のように、データが良好であっても、ひどい適合が得られる可能性があります。 最適な検証スキームを決定し、モデルの生成に取り組むことに、より多くの時間を費やすのがおそらく最善でしょう。
また、データセットのバランスが崩れているように聞こえます。つまり、あるオカレンスが別のオカレンスよりもはるかに多いということです。 その場合は、ロジスティック確率のしきい値を変更して、それが予測に役立つかどうかを確認することをお勧めします。 また、誤検知と誤検知のコストに値を割り当てるための利益マトリックスアプローチを検討することもできます。 Chris Gotwaltはまた、不均衡なデータのカットオフをよりよく理解するのに役立つ決定木を使用する興味深いアプローチを示しました。
お役に立てれば、
DS
Re：予測スクリーニングやあ@dale_lehman 。アンドレア・クームス@ andreacoombs1予測モデリングに関するセッションを発表し、これについていくつかの考えがあるかもしれません。
Re：予測スクリーニング@ChristerMalmと@dale_lehman 。その記録で提示したアンサンブルモデルは、元のモデルの構築に使用されたのと同じデータを使用してアンサンブルモデルが構築されたため、過剰適合である可能性があります。（説明をまっすぐにするために、「元のモデル」と「アンサンブルモデル」の用語を続けます）。この過剰適合を防ぐための1つの戦略は、データセット全体を取得して、元のモデルを構築するためのグループAとアンサンブルモデルを構築するためのグループBの2つのグループに分割することです。元のモデルを作成するときに、グループBを非表示にしたり除外したりできます。グループAをトレーニング、検証、テストに分割して、候補モデルを構築し、チャンピオンモデルを選択します。次に、グループBをミックスに戻し、グループB全体をトレーニングに使用します。グループBを検証として使用することも、検証とテストに分割することもできます。これにより、過剰適合を防ぐことができます。
Re：予測スクリーニング私は今まで実際にビデオを見たことがありませんでした。それを見た後、あなたの反応は私を少し困惑させます。2つのことが混ざり合っているようです-解きほぐすのは難しいです。確かに、潜在的な予測モデルを作成し、それらを新しいデータ（たとえば、グループB）に公開すると、それらの元の候補モデルが依然として最良であるかどうか、または新しいデータに直面したときに追加の調整または異なるモデルが予測を改善する可能性があるかどうかを発見できます。 -過剰適合を回避するための古典的な方法。ただし、元の予測子と一緒にアンサンブルモデルを同じデータで実行すると、過剰適合だけが問題ではないと思います。そのプロセスの意味がまったくわかりません-スクリーニングから選択されたモデルと一緒に元の予測子を含めることによって、最初に選択された元のモデルが選択されるべきかどうかを確認するだけではありませんか？また、モデルが新しいデータでどのように機能するかを確認することが目的である場合、これは本当にアンサンブルモデリングと関係がありますか？アンサンブルモデルであるかどうかに関係なく、モデルがサンプルからどのように実行されるかを確認するために、テストデータセット（またはおそらく2番目のテストデータセット）を保持するという考えではありません。言い換えると、サンプル外のテストは、モデルスクリーニングプラットフォームやアンサンブルモデリングとはほとんどまたはまったく関係がないようです。これは、予測モデルでは常に問題になります。
