深度学习问题和资源大家好,
我想知道是否有人对 Torch 插件的一些高级设置有论文或书籍推荐?
例如,X 和 Y 滑动 sigma 是多少?如何选取 L1 值?等等。
任何关于图像和表格模型组合的推荐资源都将受到极大的赞赏。
最好的,
克洛维斯
回复:深度学习问题和资源感谢@cweisbart 的提问。该插件是几个主要组件的组合,目前可能没有一个好的权威参考,尽管我们计划随着时间的推移继续扩展培训材料。目前有一些想法:
- 将鼠标直接放在任何参数的标签上,都会弹出一个简短的描述。例如,对于 X Slide Sigma:“沿 X 轴的高斯随机偏移的标准偏差”。
- 总体而言,第三列中的所有高级选项均用于训练期间的动态图像增强。增强是一种强大的深度学习方法,用于为每个批次创建伪数据。例如,水平翻转狗或猫的图片仍然可以将其标记为狗或猫,并且模型能够看到更广泛的可能图像。其他图像处理(如移位、旋转、模糊)也是如此。使用增强训练的模型往往具有更好的泛化能力。
- L1 惩罚类似于 GenReg 中的套索惩罚,倾向于使解决方案稀疏化。值得尝试的好值是 1e-6 和 1e-5。同样,权重衰减就像一个岭惩罚,同样的两个值通常效果很好。
- 图像和表格模型的组合对于此插件来说有些独特。我们这样做是为了提供更灵活的混合搭配能力。表格模型始终在图像模型之后运行,并将图像模型中的嵌入作为输入。
- 文档(单击“插件”>“Torch 深度学习”>“帮助”)第 28-31 页有一些额外的详细信息。
- 我们一直尝试使用相当标准的术语,因此在网络上搜索特定术语可能会提供有用的结果、背景甚至示例。来自 PyTorch 文档本身的任何结果都应该非常可靠。
请随时发送更多反馈或问题,如果您想尝试一些更快的 GPU,请不要忘记我们有 TDL 和新的篝火服务器可用
回复:深度学习问题和资源感谢您的回复,非常有帮助!我正在扫描有关存储的 .pt 文件的帮助 pdf。我看到“inet”是图像主干,“tnet”是嵌入层,“linp”是最终层。我还有一些“_optim.pt”文件。它们代表什么?提前致谢!
回复:深度学习问题和资源@russ_wolfinger任何关于“_optim.pt”文件的反馈都将不胜感激!提前感谢你的帮助!
回复:深度学习问题和资源@cweisbart感谢提醒——“_optim.pt”文件是最大的,因为它们包含所有其他内容以及有关训练本身的信息,因此可以恢复。在 Torch 对话框中指定“恢复自”时会用到它们,但由于我们单独保存了主要模型组件,因此部署时不需要它们。