嗨,大家好
如果您有以下 JMP 神经网络算法的资料,请告诉我。
- 是否在输入中归一化
-初始化的种类和参数设置
-W、b的初始化方法
-学习率设置
-时代编号设置
-如何检查学习曲线以可视化验证集的优化过程
- 超参数的默认值
益居,
Chris Gotwalt 写了一篇关于 NN 算法的优秀白皮书:
https://www.jmp.com/content/dam/jmp/documents/en/white-papers/wp-jmp9-neural-104886.pdf . 我在下面的回复基于他的论文和 JMP 文档。
(SE:请随时插话。 )
简
- 是否在输入中归一化
在 Model Launch 窗口中有一个名为 Transform Covariate 的选项。 有关详细信息,请参阅第 5 页。
-初始化的种类和参数设置
“一开始,会生成正态分布的随机起始值,并将惩罚参数设置为零。 在这个初始拟合之后,然后选择惩罚参数的非零候选值,并对惩罚参数进行单变量线搜索。” (第 7 页)
-W、b的初始化方法
正态分布的随机值(第 4 页和第 7 页))
-学习率设置
默认值为 0.1,但您可以在“模型启动”窗口中选择 (0, 1] 之间的任何值。
-时代编号设置
巡视次数可以在模型启动窗口中设置。 默认为一。
-如何检查学习曲线以可视化验证集的优化过程
在 NN JMP 中不显示累积验证。 一个很好的建议,因为我希望看到类似于 Boosted Trees 中的报告。
- 超参数的默认值
这些“默认”超参数值显示在模型启动窗口中。 例如,一层、具有 3 个节点的 TanH、1 个游览等。我将使用这些设置的模型称为基本模型,因为最佳实践是拟合具有不同设置的多个模型,然后进行比较。