嗨,大家好
如果您有以下 JMP 神經網絡算法的資料,請告訴我。
- 是否在輸入中歸一化
-初始化的種類和參數設置
-W、b的初始化方法
-學習率設置
-時代編號設置
-如何檢查學習曲線以可視化驗證集的優化過程
- 超參數的默認值
益居,
Chris Gotwalt 寫了一篇關於 NN 算法的優秀白皮書:
https://www.jmp.com/content/dam/jmp/documents/en/white-papers/wp-jmp9-neural-104886.pdf . 我在下面的回復基於他的論文和 JMP 文檔。
(SE:請隨時插話。 )
簡
- 是否在輸入中歸一化
在 Model Launch 窗口中有一個名為 Transform Covariate 的選項。 有關詳細信息,請參閱第 5 頁。
-初始化的種類和參數設置
“一開始,會生成正態分佈的隨機起始值,並將懲罰參數設置為零。 在這個初始擬合之後,然後選擇懲罰參數的非零候選值,並對懲罰參數進行單變量線搜索。” (第 7 頁)
-W、b的初始化方法
正態分佈的隨機值(第 4 頁和第 7 頁))
-學習率設置
默認值為 0.1,但您可以在“模型啟動”窗口中選擇 (0, 1] 之間的任何值。
-時代編號設置
巡視次數可以在模型啟動窗口中設置。 默認為一。
-如何檢查學習曲線以可視化驗證集的優化過程
在 NN JMP 中不顯示累積驗證。 一個很好的建議,因為我希望看到類似於 Boosted Trees 中的報告。
- 超參數的默認值
這些“默認”超參數值顯示在模型啟動窗口中。 例如,一層、具有 3 個節點的 TanH、1 個遊覽等。我將使用這些設置的模型稱為基本模型,因為最佳實踐是擬合具有不同設置的多個模型,然後進行比較。