一種支援交叉驗證您好，我想對隨機森林進行一次保留交叉驗證，但我不知道 JMP pro 是否有此選項。 如果有的話在哪裡可以找到呢？
預測建模和機器學習回覆：一個人堅持交叉驗證啊啊，謝謝你@Victor_G為了引導我完成這個過程，我現在發現模型篩選平台內的引導森林使用的預設設定不適合該表，導致結果遺失。
回覆：一個人堅持交叉驗證你好@ih ,
是的，訊息本身沒有問題（因為它不會停止分析），但根據您使用的資料表，您可能會到處都是空格，而不是預期的結果（請參閱螢幕截圖“Error_RandomForest_Model-screening_LOOcrossval”）具有留一法交叉驗證的房價資料集）。
正如我之前提到的，當我使用帶有驗證公式列的「常規」Bootstrap Forest 平台（在驗證中使用單一觀察值進行留一交叉驗證）並選中「提前停止」選項時，我遇到了同樣的問題，所以這可能與模型篩選平台存在相同的問題，其中「提前停止」選項可能預設為選取狀態。
你可以看一下附上的房價表，裡面有幾個腳本來說明提到的問題：
- 「模型篩選價格隨機森林」：為了說明「模型篩選」平台沒有顯示結果的問題，
- 「Bootstrap Forest of Price (with Early Stopping)」：為了說明平台「Bootstrap Forest」在勾選「Early Stopping」時出現的類似錯誤問題，
- 「Bootstrap Forest of Price (without Early Stopping)」：為了說明我的回覆中顯示的解決方案以及 Chris Gotwalt 在他的範例中完成的解決方案，
- 「Rsquare 訓練留一法」和「列貢獻（部分）留一法」：顯示使用此方法和留一法交叉驗證所建立的資料表。
希望我提到的問題現在更清楚了。
取決於資料集@tuo88138 ，有兩種方法可供選擇來實現留一交叉驗證。
回覆：一個人堅持交叉驗證你好@Victor_G ，我不認為這是一個錯誤，只是一條警告訊息。我認為不可用的方法不會影響這個分析。
回覆：一個人堅持交叉驗證你好@ih ,
從我的角度來看，使用「模型篩選」和您提出的設定確實適用於 K 折交叉驗證，但並非總是適用於留一法（取決於資料集）。
如果我指定 K = 觀察數，即使在「方法」面板中僅選取 Bootstrap Forests，也會出現錯誤訊息「每個折疊內的驗證集太小，無法支援某些方法」。 因此，我也考慮過使用“模型篩選平台”，但可能不可能，具體取決於數據集（在使用此方法的“波士頓房價”數據集上，我沒有折疊的摘要以及每個折疊詳細信息中的缺失值）。 它確實適用於“Big Class”數據集。
你好@tuo88138
您可以按照 Chris Gotwalt 描述的方法進行操作，我剛剛測試過，效果非常好。 您可能必須在 Bootstrap Forest 分析面板中取消選取“Early Stopping”，以避免輸出中不同指標（Rsquare、RASE 等）出現“空白值”。
這種技術可以很有趣地比較多個模擬中變數的貢獻重要性（請參閱隨附的捕獲“Contribution-importance_simulations”），或提供一些指標的置信區間，例如Rsquare（請參閱捕獲“Confidence_Intervals_Rsquare”以在相同的資料集上訓練Rsquare）模擬次數）。
希望這個回答對你有幫助
回覆：一個人堅持交叉驗證模型篩選平台實際上使這變得非常簡單，只需將「折疊交叉驗證」部分中的 K 設定為等於活動行數即可。
在報告的“詳細信息”部分中查找每個折疊的詳細信息，如果您想知道哪一行與哪個折疊相關，可以打開“訓練”部分，選擇與該折疊對應的行，然後按表格下的“保存所選腳本” 。表中將新增一個新列，用於指示驗證行。
回覆：一個人堅持交叉驗證是的，我做到了。 問題是這樣的：我的資料集很小，所以我需要使用省略一個
回覆：一個人堅持交叉驗證是的，正好省略一個
回覆：一個人堅持交叉驗證你好@tuo88138 ,
作為@馬克貝利建議，您可以查看隨機森林模型背後的文檔和信息，因為該模型已經很強大，並且由於使用了引導過程，因此不需要特別需要交叉驗證：
- 隨機森林模型透過平均許多決策樹來擬合整合模型，每個決策樹都適合訓練資料的引導樣本。 由於引導是在訓練資料上完成的，因此並非所有資料都用於建立單獨的樹，因此在創建單獨的樹時未使用的樣本（稱為「袋外」（OOB）樣本）用於估計模型中的誤差，並且也可用於評估隨機森林中每棵樹的表現：每棵樹摘要 (jmp.com)
但是，如果您有興趣使用各種訓練和驗證樣本多次重新啟動隨機森林平台，可以透過以下方式執行此操作：
- 在資料集中建立驗證公式列（您可以指定每個集合的大小，因此您可以執行類似 K 折交叉驗證或留一驗證的操作），
- 建立隨機森林模型並在選單的「驗證」部分中指定驗證公式列。
- 模型擬合後，您可以右鍵單擊要通過交叉驗證評估的任何指標（例如，用於訓練和驗證集的 Rsquare 或 RASE，或者列貢獻中的平方和，以查看重要因素是否仍然存在）無論訓練/驗證集如何，排名方式都相同），然後按一下「模擬」。 「要切換的列」將是您的驗證公式列，也是「要切換的列」（以便產生和交換各種訓練和驗證集）。 您也可以指定要執行的模擬次數，如果您打算進行可重現的模擬，則可以指定隨機種子。
- 將建立一個新的資料表，其中包含已完成的單一模擬和結果。
整個過程可以在 Chris Gotwalt 的演講中看到：不同的目標，不同的模型：如何使用模型來尖銳化你的問題... - JMP 使用者社群（約17分鐘）
隨機森林的交叉驗證在JMP 中確實是可能的，但隨機森林是對混亂/噪聲數據具有魯棒性的模型，並且由於引導而在小數據集上準確，因此除非您有使用此交叉驗證的特定想法，您可以使用模型“按原樣”獲得良好的準確性估計（使用 OOB 樣本）和可靠的結果。
希望這個回答對你有幫助
回覆：一個人堅持交叉驗證你有讀過文檔嗎引導森林楷模？
回覆：一個人堅持交叉驗證當您說“...保留交叉驗證...您的意思是更常見的“留一”嗎？
