予測因子スクリーニングJMP ブートストラップ フォレストの予測子スクリーニングには、使用されます。これは非常にうまく機能しますが、なぜこれも非常に強力な方法であるブースト ツリーではなく、この方法が選ばれたのでしょうか? JMP は XGboosted を使用しますか?
予測モデリングと機械学習Re: プレディクタースクリーニングPredictor Screening プラットフォームは、指定するチューニング パラメーターの数が最小限 (現在は 1 つだけ: Number Trees) のブートストラップ フォレスト プラットフォームであり、列寄与率レポートのみを提供します。 魔法は、Predictor Screening プラットフォームが残りの調整パラメーターのデフォルト値を決定していることです。 この設定は、有用な予測変数を見つけるのに役立ちます。
同じ目的のために、最小限の数の調整パラメータ (たとえば 1 つのパラメータ) でブースト ツリーを適用したい場合、それは非常に困難な作業です。 たとえば、ブースト ツリーはランダム フォレストよりも検証方法の選択と使用法に大きく依存しており、検証方法の選択自体が技術です。
予測子スクリーニング プラットフォームは、有用な予測子を見つける目的を果たします。 これは Bootstrap Forecast に代わるものではありません。 予測子スクリーニングだけを使用した場合、最終的なモデルはランダム フォレスト モデルにはなりません。 おそらく、Predictor Screen で見つかった予測子を使用する他のモデルを使用することを決定するでしょう。 最終モデルで組み込みの変数選択メソッドを使用するのではなく、予測子スクリーニングを使用して有用な予測子を見つける利点は、この方法がパラメトリックな仮定に依存しないことです。
ランダム フォレストとブースト ツリーの間で、応答変数のタイプに基づいてパフォーマンスを結論付ける研究には出会ったことがありません。
Boosted Tree は、勾配ブースティング法の実装です。 XGBoostも同様です。 LightGBM などの他の実装も同様です。 それらの比較はかなり複雑になる可能性があり、おそらく主観的なものでもあります。 しかし、さまざまなツールを試して、その長所と短所を理解するのは常に刺激的です。
Re: プレディクタースクリーニング使用している JMP のバージョンはわかりませんが、16 JMP Pro を使用している場合は、さまざまなモデリング プラットフォームを比較できます。
https://www.jmp.com/support/help/en/16.0/#page/jmp/launch-the-model-screening-platform.shtml?os=mac&source=application&utm_source=helpmenu&utm_medium=application#ww267915
これは役に立つかもしれません。
Re: プレディクタースクリーニングこの長い回答をありがとうございます!
はい、ブートストラップとブーストの両方を実行することは、多くの候補から予測子を選択するのに良いアイデアだと思います。
ブートストラップ フォレストがカテゴリカルな応答に優先されると言っているのは正しいでしょうか?
XGboosted メソッドは jmp pro で使用されるメソッドよりも優れていますか?
Re: プレディクタースクリーニングこんにちは@フランクデルイック、
私は JMP が実際にバックエンドでどのように処理するか (実行される正確なコーディング) については専門家ではありませんが、ブートストラップ フォレストには 2 つのランダム化層があるため、ブートストラップ フォレストが使用されると考えています。1 つは、オブジェクトのサブセットをランダムに選択することです。要因。 たとえば、予測したい列があり、10 個の要因のうちどれがその予測に最もよく寄与するかをテストする場合、ブートストラップ フォレスト アプローチではサブセット (たとえば 10 個のうち 6 個) をランダムに選択し、デシジョン ツリーを使用して結果を最もよく予測します。次に、寄与度に基づいて要因をランク付けします。 もう 1 つのランダム化は、ブートストラップ フォレストがモデルに適合するために特定の数の行をランダムに選択し、残りを検証 (または単純化) するために行います。これは、反復ごとにランダムな選択と置換によって行われます。 ブーストされたツリーはデフォルトではこれを行わないと理解しています。
最後の質問に関しては、JMP Pro 用の XGBoost アドインを JMP Web サイトからダウンロードできます。 JMP Pro 14以降で動作すると思います。
余談ですが、JMP Pro を使用しているように聞こえるため、GenReg プラットフォームを実行し、さまざまな予測アルゴリズム (Lasso、Elastic Net など) を使用してモデル係数の推定値を確認し、ブートストラップ シミュレーションを実行するとよいでしょう。そこにもあります。 場合によっては異なる答えが得られることがありますが、これは境界線の要素が本当に重要かどうかを判断するのに役立ちます。 モデルに最適な予測子セットを見つけるという任務を負っている場合、私は両方のアプローチを行うことがよくあります。
お役に立てれば！、
DS
