增強樹和隨機森林 - 潛在的改進親愛的 JMP 團隊，
遵循一些關於增強樹和隨機森林領域潛在改進的想法。
1. 一般：
a) 啟用使用袋外 (oob) 誤差估計的選項。 這些估計允許確定最佳模型複雜性，使驗證集過時（在這種情況下可以用作真正的測試集）。 對於無法在訓練/驗證/測試集中拆分數據的較小數據集，oob 也是獲得對預期模型性能的合理印象的好選擇。
b) 啟用顯示最佳樹數的圖，例如基於平均多項式距離或平均平方誤差（事實上，我不確定是否可以公平地說下圖中的數據是真實的測試數據，因為它們有已用於確定模型 complexitx，但我喜歡圖表中的想法）
2. 增強樹
儘管與其他軟件包相比，JMP 隨機森林的性能非常好，但 JMP Boosted Trees 在模型的預測能力方面通常較差。
a) 能夠定義/控制子採樣大小（隨機梯度提升）
從我的角度來看，增強子採樣是算法的重要組成部分，遺憾的是 JMP 中不可用。 採用獨立繪製的子樣本會在分析中引入一些隨機性，從而減輕過度擬合的風險。 由於每棵樹都建立在不同的樣本集上，因此這些模型通常可以很好地概括（當然樹的數量仍然需要控制）。 進一步的二次抽樣可以使用 oob 誤差估計。
b) 在提升樹中啟用多級分類響應
此致
西爾維奧
回复：增強樹和隨機森林 - 潛在改進 - 狀態更改為：開放投票回复：增強樹和隨機森林 - 潛在的改進<meta http-equiv="Content-Type" content="text/html; charset=UTF-8" />2. a) JMP 13 中添加了控制子採樣大小（隨機梯度提升）。
