調整設計表後 Bootstrap Forest 故障?大家好,
我有一個案例,我想將 Bootstrap Forest 方法與調整設計表結合應用。 在按照 JMP-Help 中的說明進行操作時,我遇到了一個問題:調整表中描述的六個超參數中只有兩個進入了根據調整表的運行編號構建的模型數量。
這個問題也被其他人發現了嗎?
我已經跟大家討論過這個問題@喬納斯_林內我們並沒有想出一個令人滿意的解決方案。 或者這是一個錯誤?
預測建模和機器學習回覆:調整設計表後 Bootstrap Forest 故障?你好@喬納斯_林內和@Egon_Gross1 ,
去年,我使用了調整設計表來微調該主題的提升樹(類似的超參數): https://community.jmp.com/t5/Discussions/Boosted-Tree-Tuning-TABLE-DESIGN/mp/609591/highlight/true#M81062
我不在我的計算機後面,所以這是我現在能做的最好的事情,但如果有幫助的話我明天可以做一些測試(如果其他人之前沒有找到解決方案)。 列的命名非常敏感,因此這可以解釋為什麼使用某些超參數列而不使用其他列。
我希望這會有所幫助回覆:調整設計表後 Bootstrap Forest 故障?你好@Egon_Gross1和@喬納斯_林內,
我一直使用調優表進行模型調優,甚至為 NN、提升樹、引導森林和 XGBoost 製作模板。
我從來沒有遇到過超參數不被帶入調優表的問題,除非它們是恆定的。 我通常使用空間填充設計 DOE 平台以及我的調整模板表來產生包含所有運行的更大調整表。
一種可能是名稱,另一種可能是您可能需要確保列在其元資料中也具有關聯的正確設計角色。 如果某個欄位缺少該角色,那麼 DOE 平台可能無法正常運作。
JMP 幫助頁面似乎具有與調整表的角色關聯的正確列名稱。 附上我的範本資料表,希望對大家有幫助。
DS
回覆:調整設計表後 Bootstrap Forest 故障?幫助頁面和腳本索引之間似乎存在一些不一致。 以下是幫助頁面建議的調整表中不同超參數的列名稱:

在腳本索引中,列的命名略有不同(拆分/拆分):

以前有人遇到過同樣的問題嗎? 我們是否使用了錯誤的列名或其他原因? 前兩個超參數工作得很好。
回覆:調整設計表後 Bootstrap Forest 故障?@Egon_Gross1和@喬納斯_林內- 感謝您的提問,我現在也在 JMP 技術支援方面對此進行調查。 看來您在範例中與我們分享的調整表與如何一致@SDF1指定它,唯一的區別是他們似乎沒有為每個列指定編碼列屬性。我用您提供的範例在相同的隨機種子(= 1234)上嘗試了兩種方法,似乎沒有什麼區別。我將繼續調查,並在收集更多有用資訊後立即提供更新。乾杯, @派崔克朱利亞諾
回覆:調整設計表後 Bootstrap Forest 故障?你好@SDF1和@派崔克朱利亞諾和@喬納斯_林內和@Victor_G ,
非常感謝您的所有貢獻和支持。
嘗試不同的方法 - 除了 NN 嘗試(到目前為止) - 提供的 Tunung 表有效,但 RF 程式的表除外。 我對範例資料夾中的幾個表進行了嘗試。 使用調整表後,模型驗證集摘要部分僅包含「N 個項目、N 個樹、指定的 N 個樹和 R 方」列。 其他調整參數沒有顯示,我懷疑它們是否被使用。
問候
埃貢
回覆:調整設計表後 Bootstrap Forest 故障?你好@Egon_Gross1 ,
我在使用之前上傳的模板表時從未遇到過問題。 您究竟如何使用調優表或從範本表產生調優表? 同樣,如果調整參數恆定,DOE 平台將忽略該參數並且不將其包含在調整表中。 我不清楚為什麼你會遇到問題,因為這些模板每次我使用它們時都對我來說工作得很好。 如果您可以提供在此過程中執行的每個步驟的螢幕截圖,這可能有助於找出根本問題是什麼。
謝謝!,
DS
回覆:調整設計表後 Bootstrap Forest 故障?你好@SDF1 ,
不幸的是,我可以重現結果。 為了讓您能夠回顧一下,我新增了一份 pdf 文件,其中顯示了常規引導程式和使用調整表的引導程式的步驟。 如果有任何可疑之處,我感謝您的幫助。
韓國
埃貢1
回覆:調整設計表後 Bootstrap Forest 故障?你好@Egon_Gross1 ,
調整表和 Bootstrap Forest 平台如預期運作並且使用得比較正確。
因此,首先,您為模型擬合顯示的輸出是引導森林平台的標準輸出,它在模型驗證集摘要表中僅列出 N 個術語、N 個樹、指定的 N 個樹和 R 方。 其他參數列於下面的“規格”輪廓框中。 您可以在此處找到每棵樹的最小分割數和最小大小分割參數。最佳的僅型號。 JMP 不會儲存調整表每次執行的所有資料。 如果您想這樣做,則必須編寫自己的 JSL 程式碼。 我已經做到了這一點,並在JMP 中製作了一個通用的自動調整程序,以便我可以使用不同的平台運行模型,並記錄模型每次運行的擬合優度值,然後您可以實際可視化結果,然後縮小範圍擬合實際上可能會更好——具有超高 R^2 值並不總是最好的模型,因為它可能無法適應變化。 有時查看其他指標會更好。
不管怎樣,我確實提到了調音台的使用「在某種程度上」是正確的。 我的意思是,您確實應該使用我發送的調整表作為因子來加載到空間填充設計中。 前往 DOE > 特殊用途 > 空間填滿設計,然後按一下紅色三角形並選擇負載係數。 指定您想要執行的運行次數,然後按一下“快速靈活填充”,您將獲得一個已填充空間的新資料表,以探索超參數空間。 請注意,在我發送的模板中,第一行是 DOE 的較低設置,第二行是 DOE 的較高設置。 然後,當您執行建模平台(NN 或引導森林)時,您將選擇這種新的快速靈活填充設計作為調整表。
順便說一句,如果您願意,我很樂意與您分享 JSL 通用調優代碼。請告訴我。 不久前我為 JSL 腳本編寫者俱樂部做了一個關於它的示範。 它有其局限性,但也非常有用。
祝你好運!,
DS
回覆:調整設計表後 Bootstrap Forest 故障?你好@SDF1 ,
感謝您的澄清和評論,這對我幫助很大!
我認為結果的呈現與其他平台有些相似,這顯然是錯誤的。 使用您的調整表也效果很好,我得到了一個「模型驗證集摘要」表,用於調整表的所有定義的運行。
也許這很有趣@派崔克朱利亞諾和@喬納斯_林內根據您的 JSL 腳本在相應的表中實現所有品質測量結果的「完整版本」。
根據您提出的獲得 JSL 的要求,我將非常感激 - 提前致謝。
感謝所有的支持和想法。
韓國
埃貢1
回覆:調整設計表後 Bootstrap Forest 故障?你好@Egon_Gross1 ,
附件是 JSL 程式碼,用於運行幾個 JMP 建模平台的通用調整。
謝謝!,
DS
回覆:調整設計表後 Bootstrap Forest 故障?哇,這真是一個很棒的工具,可以微調不同的模型參數。 感謝分享!
回覆:調整設計表後 Bootstrap Forest 故障?您好@Egon_Gross1事實上,我與平台開發人員進行了核實,他們確認 BF 實際上正在使用所有指定的調整表列,正如@SDF1在這裡評論的那樣,但它只是沒有報告它們。我們正在努力解決此問題,並且應將其納入 JMP 18 開發週期中(在 2024 年第一季稍後首次發布 JMP 18.0 之後)。乾杯, @PatrickGiuliano (JMP 技術支援)