親愛なるJMPチームへ
Boosted Trees と Random Forest の分野での潜在的な改善のためのいくつかのアイデアに従ってください。
1. 一般:
a) out of the bag (oob) エラー推定を使用するオプションを有効にします。 これらの見積もりにより、最適なモデルの複雑さを決定できるため、検証セットが不要になります (この場合、真のテスト セットとして使用できます)。 トレーニング/検証/テスト セットにデータを分割することができない小さなデータ セットの場合、予想されるモデルのパフォーマンスについて合理的な印象を得るには、oob も良いオプションです。
b) 平均多項式距離や平均二乗誤差などに基づいて、最適なツリー数を示すプロットを有効にします (実際、下のグラフのデータが真のテスト データであると言えるかどうかはわかりません。モデルの複雑さを決定するために使用されていますが、グラフの背後にあるアイデアが好きです)
2.ブーストツリー
JMP Random Forest のパフォーマンスは他のソフトウェア パッケージと比較して非常に優れていますが、JMP Boosted Trees は通常、モデルの予測能力に関して劣っています。
a) サブサンプリング サイズの定義/制御を有効にする (確率的勾配ブースティング)
ブースティングでは、サブサンプリングはアルゴリズムの重要な部分ですが、残念ながら JMP では利用できません。 独立して抽出されたサブサンプルを取得すると、分析にある程度のランダム性が導入され、過剰適合のリスクが軽減されます。 各ツリーは異なるサンプル セットに基づいて構築されるため、これらのモデルは通常、非常に適切に一般化されます (もちろん、ツリーの数を制御する必要があります)。 さらにサブサンプリングすると、oob エラー推定を使用できます。
b) ブースティングされたツリーでマルチレベルのカテゴリ応答を有効にする
よろしくお願いします
シルビオ
<meta http-equiv="Content-Type" content="text/html; charset=UTF-8" />2. a) サブサンプリング サイズの制御 (確率的勾配ブースティング) が JMP 13 に追加されました。
