可重复性问题我使用 JMP 进行教学,并意识到以下情况下存在一些可重复性问题:
1) 我的学生使用不同的操作系统,如 Windows 和 MacOS,即使使用相同的随机种子(如 123),他们也会从需要随机化的模型(如 NN)中获得不同的结果。这个问题令人沮丧,因为出于可重复性原因使用随机种子的作业应该有一个唯一的真实解决方案以供比较,而不同的结果会让学生感到困惑。
2)一些方法(例如 SVM)具有传统的调整设计来找到良好的参数组合;但是,调整设计界面中没有提供随机种子选项,这会导致不同的结果,从而再次让学生感到困惑。
我不确定这些是否是已知问题。不过,我非常感激任何可以解决这些问题的反馈。
macOS预测模型和机器学习分享和交流结果视窗回复:可重复性问题你好@onurseref ,
我认为这是一个很好的案例,可以提交给我们的支持团队support@jmp.com - 如果您向他们发送电子邮件,他们会很乐意提供帮助。
谢谢,
本
回复:可重复性问题您好@onurseref ,对于 SVM 调优,或者在建模平台中没有随机种子的情况下,您和您的学生可以使用“随机种子重置插件” 。在启动平台之前设置一个随机种子,这样每次都能得到相同的 SVM 调优设计。
插件页面提到了跨机器和操作系统的随机种子已知问题。正如 Ben 所建议的,您可以联系我们的技术支持团队了解更多信息。
回复:可重复性问题感谢@Ross_Metusalem提供的随机种子重置插件解决方案。我会尝试一下,看看它能否缓解一些可复现性问题。我知道由于操作系统之间的架构差异,一些问题可能仍然存在。我会祈祷一切顺利。
回复:可重复性问题即使使用相同的种子值,不同的 CPU 架构也会从随机数生成器产生不同的结果。在本例中,苹果的 M 系列 CPU、英特尔的 x86 CPU 和 AMD 的 x86 CPU 是不同的。一种选择是,您可以使用相同的种子为作业生成 MacOS、英特尔 Windows 和 AMD Windows 系统的结果。
回复:可重复性问题谢谢@Ben_BarrIngh ,我们选择它来与这位客户进行进一步讨论。
干杯,
-Patrick Giuliano(JMP技术支持)