JMP Pro18 中的引導森林有變化嗎？多年來，我已經在許多不同的資料集（連續和名義回應變數）上使用引導森林，我通常了解該演算法的設定 - 我通常使用預設值。我對隨機（引導）森林的理解是，每棵樹都是使用隨機選擇的因素和隨機選擇的觀察結果（替換）來運行的。過去，當我觀察單一樹時，總是會發現有些樹只使用幾個變量，並且樹非常稀疏 - 其他樹則要復雜得多。在教學時，我用它來展示單一樹通常是毫無意義的——平均值可以產生良好的預測。
然而，當我在 JMP Pro 18 中運行引導森林時，我使用的每個資料集都顯示了每棵樹有數百個分裂。過去總是存在一些分裂次數少於 10 的樹，但現在根本沒有簡單的樹。實現該模型的方法是否發生了變化？
預測模型和機器學習回覆：JMP Pro18 中的引導森林有變化嗎？你好@dlehman1
Bootstrap Forest 平台透過對許多決策樹進行平均來擬合整合模型，其中每個決策樹都適合訓練資料的引導樣本（有替換）。每棵樹中的每個分割都會考慮預測變數的隨機子集（來自引導森林 ）。
訓練樣本選擇和特徵子集選擇的隨機性可以降低過度擬合的風險（透過根據略有不同的訓練資料創建多個獨立樹），提高準確性和對雜訊的魯棒性，並能夠處理缺失值、異常值和相關特徵/共線性（得益於每棵樹每次分裂時的子集特徵選擇）。
關於您最初的問題，由於我的電腦上不再有 JMP 17，所以我無法比較結果。關於JMP 17和JMP 18中啟動 Bootstrap Forest 時使用的預設超參數的文檔，預設設定似乎沒有區別。
如果單一樹看起來太複雜，您可以修改一些預設的超參數：
- 每棵樹的最小分裂數：預設為 10，但在小型資料集上，我傾向於將此值減小到 2。每棵樹的最小分裂數較大時往往會創建複雜的單一樹，這可能沒有好處，而且容易過度擬合。
- 每棵樹的最大分裂數：預設為 2000，但任何單一樹上的最大分裂數為 2000，這太多了（並且可能導致之前提到的類似問題）！我傾向於根據資料集的大小和任務的複雜性來減少這個值，大約 100-1000。
- 最小分割尺寸：預設為 5（具有候選分割的最小樣本數），但在小型資料集上它可能不相關（並且您可能會減少這個數字，即使這可能會導致更高的過度擬合風險），而在更大的資料集上您可能想要增加此值以增加每棵樹的穩健性。
- 早期停止：如果您使用了驗證集，請確保選取此選項，以確保如果驗證指標沒有隨著新樹的建立而改善，請停止樹的建立。
抱歉，我無法對您的問題提供更精確/明確的答案，您是否有一些螢幕截圖、數據集或任何可以顯示差異的東西？它可能有助於調試情況。
最好的，
回覆：JMP Pro18 中的引導森林有變化嗎？您的描述完全符合我的理解，我很清楚這些調整參數將如何影響所建立的樹。我找不到任何舊的例子，但我知道我已經向班級證明了單棵樹是沒有意義的，但獨立樹的平均值使得引導森林成為一個好的預測器。然而，所描述的部分似乎與結果樹不一致，即「每棵樹中的每個分割都會考慮預測變數的隨機子集」。我希望每棵樹中的預測因子都會有所不同，不僅在隨機選擇上，而且在選擇的數量上。這似乎與我以前從引導森林中獲得的結果相符 - 一些樹使用 2 個預測因子，其他樹使用 10 個，等等。現在所有樹似乎都有相同數量的分裂（並且在這樣做時，在每棵樹中使用相似數量的預測因子）。在我查看過的所有資料集中，分割的數量都在數百個數量級（中等大小，大約 10K - 100K 行）。我知道我以前見過一些只有少量裂縫的樹 - 但現在我再也見不到這種情況了。這就是我的問題。
回覆：JMP Pro18 中的引導森林有變化嗎？你好@dlehman1 ，
我嘗試使用兩個範例資料集，Diamonds Data.jmp（回歸任務）和Mushroom.jmp（分類任務）。
我對迴歸任務的印象和你一樣，即使在使用超參數時，單一樹也非常複雜。然而，我在分類任務中得到了更簡單、更令人滿意的單一樹，它們具有不同的深度和複雜性：
因此，它不會直接回答您關於 JMP 版本之間引導森林演算法可能發生的變化的問題（這可能是 JMP 技術人員@Mark_Bailey最好的回答），但我認為單個樹的複雜性與任務所需的精度（回歸相當於非常大的類與分類）和可用數據（數量和質量）有關。
希望這個答案仍然能幫助你，
回覆：JMP Pro18 中的引導森林有變化嗎？我附上了一個不同的例子：與蘑菇資料集大小相似，分類模型，變數數量相似（但有幾個連續因素，而所有蘑菇因素都是名義上的）。自舉森林中的樹都有數百個分裂。我還是很困惑。
回覆：JMP Pro18 中的引導森林有變化嗎？我並不直接支持這個平台，所以我無法立即提供解釋或幫助。我目前也致力於完成 JMP 19 中新平台和新功能的開發，因此我認為最快的結果是聯絡 JMP 支援（ support@jmp.com ）尋求答案。請在此回覆您所獲得的任何見解。
回覆：JMP Pro18 中的引導森林有變化嗎？大家好，
到目前為止，我們的測試尚未發現 JMP 17 和 18 版本之間存在任何方法學差異的證據。如果您對所觀察到的行為有任何疑問或擔憂，請繼續將其發送至support@jmp.com ；如果可能，請提供一個或多個範例附件，說明樹狀圖拆分行為與預期行為有何不同；我們很樂意繼續測試並進行進一步調查。
-JMP技術支持
回覆：JMP Pro18 中的引導森林有變化嗎？JMP 支援又來了！我得到不同結果的原因如下：
「每次分割採樣的術語數」的「舊」預設值（16 之前）為 floor(nX/4)，其中 nX 是輸入的 X 變數的數量。
我原以為 JMP 17 到 JMP 18 的行為有所改變，但顯然更早。我沒有註意到，在我的例子中，每次拆分採樣的項預設值為 1，而在 JMP 18（顯然還有 17、16 和 15）中預設值為 5。這解釋了差異。
