在JMP中挑戰Bootstrap森林嗨,
我的一個客戶是JMP中的challengin Bootstrap Forest對於改變算法的設置太不靈活了。他將其與H2O進行比較( http://docs.h2o.ai/h2o/latest-stable/h2o-docs/data-science/drf.html )。在附件中,我試圖將JMP的設置與它們的設置相匹配(灰色,黃色僅在H2O中)。
在JMP中有幾種設置無法改變(可能沒有實現),例如
- offset_column(偏移量是模型訓練期間使用的每行“偏差值”)
- balance_classes(過度採樣少數類以平衡類分佈)
- nbins(指定要構建的直方圖的bin數,然後在最佳點分割)
- stops_metric(多於R2和RMSE:指定用於提前停止的度量標準
- checkpoint(使用此選項構建新模型作為先前生成的模型的延續)
- col_sample_rate_per_tree / level(指定每棵樹或級別的列採樣率)
- min_split_improvement(此選項的值指定平方誤差減少的最小相對改進,以便進行拆分 - >可以幫助減少過度擬合)
- 還有一些
我已經問過他對這些選項的期望是什麼,因為我懷疑最終的模型會帶來如此嚴重的改進。他表示這是非常好的。然後我檢查了H2O站點並猜測它是由於一個非常特殊的問題而且你可能會使用所有這些調整選項獲得更好的結果。
您是否從其他客戶那裡聽說有其他(更好的工具)用於隨機森林模型?
而且,克里斯或其他開發人員:您認為添加一個或其他設置是一個不錯的選擇嗎?
謝謝,
馬丁
Re:在JMP中挑戰Bootstrap Forest馬丁,
這個H2O pacakge對我來說是新的,但看起來我可以在python和ipython筆記本中使用它。
git hub上的這個鏈接使它看起來一旦設置它也可能相對容易使用。
https://github.com/h2oai/h2o-3/blob/master/h2o-docs/src/product/tutorials/rf/rf.md 如果我有時間,我想看看我是否可以使用它。它可能比XGBoost更容易使用。它們都有一些用於調整的網格搜索選項。
“H2O是一種開源,內存,分佈式,快速,可擴展的機器學習和預測分析平台,允許您在大數據上構建機器學習模型,並在企業環境中輕鬆實現這些模型的生產。”它在主網頁上的描述與用於描述SAS Viya的語言非常類似。如果您的客戶想要這個,也許他們已經超出了JMP?
Re:在JMP中挑戰Bootstrap Forest更改停止指標的能力是我的補丁中的幾個客戶已經請求的。平衡等級可以通過反比例加權來實現,但如果是自動化則會很好。感謝您對此提出的建議。Re:在JMP中挑戰Bootstrap Forest將它放入jmpbeta@jmp.com電子郵件地址,供開發團隊查看。我還要指出,這可能是隨機森林的一個特殊子集。他們可能正在尋找“分佈式”位以避免版權問題,但它也可能表明存在不同之處。我遇到了一個名為“條件樹”的另一個,它是Gradient Boosted Tree的一種特殊風格...
FWIW,我與之交談的大多數數據科學家都滿足於我們所擁有的。他們上面提到的一些選項聽起來像是可以通過加權和不同的驗證策略來處理。
中號Re:在JMP中挑戰Bootstrap Forest還有一個評論:我已經聽說過神經網絡更多的調整選項,比如更多的層,更多的訓練和激活算法,......
但對於我來說,隨機森林對我來說是新的。所以我也很好奇其他人是否聽過類似的故事。