输入列的顺序会影响 Neural 平台中的结果我正在为课堂做一个小组项目,一旦一名成员以不同的顺序将列放入我们的文件中,他们的神经网络模型就会给出更糟糕的测试错误分类结果,从 16% 到 18%。为什么会这样?
回复:重新排序的列,现在模型给出了不同的结果嗨,凯特,
模型对话框中列出因素的顺序确实会影响神经网络的起始值,并会产生不同的结果。 结果的差异与神经网络第一次试验时分配给因素的权重不同有关。 确保获得相同结果的唯一方法是使用相同种子以相同顺序使用相同因子。
希望你喜欢这堂课!
米娅
回复:重新排序的列,现在模型给出了不同的结果您好,是的,我们确实有一个验证列。回复:重新排序的列,现在模型给出了不同的结果最后一个可能很明显的检查是神经网络例程需要一个验证集。 如果您没有指定验证集,JMP 将自动随机选择您的验证集。 为避免这种情况,请创建一个列来指定您的验证集,并在运行神经网络平台时指定它。 这与 Mia 的加载项一起应允许您获得可重现的结果。
回复:重新排序的列,现在模型给出了不同的结果嗨,凯特,
感谢您提出这个问题。神经网络有一个随机组件——它使用随机起始值作为权重,然后迭代更新权重以提高模型的性能。 如果在从 Neural 平台运行新模型之前运行该插件,它只会告诉 JMP 从相同的权重起始值开始(如果再次运行相同的模型)。该插件只不过是一行简单的 JMP 代码 (JSL)。我猜想如果列以不同的顺序洗牌,您可能会看到不同的结果(我会确认这一点)。我假设您对训练、验证(和测试)进行了相同的划分?
我希望你喜欢这堂课!
米娅
回复:重新排序的列,现在模型给出了不同的结果你太棒了!!太感谢了!
出色的客户服务和响应能力给我留下了深刻的印象。
祝你度过愉快的一周。
回复:重新排序的列,现在模型给出了不同的结果明白了!
你知道这很好@mia_stephens ' 加入。 她将能够说出它做什么和不做什么(我知道有一些修改)。 我会引导她到这个线程。
回复:重新排序的列,现在模型给出了不同的结果感谢您的答复。我们确实会重新访问您引用的文档。最终就像你说的,我们可能只需要接受这种“算法可变性”。
通过解释,强制获得可重现结果的愿望虽然在专业环境中不合适,但却是高度在学术环境中是可取的。这是一个研究生班的小组项目。不幸的是,团队成员都居住在不同的州,并试图相互协作以开发预测模型。对于神经网络,我们都使用相同的随机种子和随机种子插件,根据我们的教授,该插件是由 Mia Stephens 学术大使与 JMP 设计的,用于学术领域。同一个人使用相同的随机种子运行相同的模型,一天又一天会得到如此不同的反应(而且总是更糟糕的结果),这似乎很奇怪。在同一天运行时,该模型可靠地产生相同的测试误分类率。除了关闭计算机之外,唯一的变化是重新排列列以准备文件以进行额外的数据转储。 此外,其他团队成员无法重现运行同一模型的结果。
这迫使我们调查模型是否存在问题,或者它是否归因于随机性,我们认为随机性已被消除。
再次感谢您之前的回复。
回复:重新排序的列,现在模型给出了不同的结果预测建模中使用的许多算法必然具有随机性。 JMP 提供了多种使结果“可重现”的方法,具体取决于您所做的具体操作(在用户界面中查找对“随机种子”的引用并查看文档)。 几乎可以肯定,您所看到的变化就是出于这个原因,与洗牌列无关。
话虽如此,这是一个很好的补充问题,可以询问强制结果可重现是否值得,或者是否应该接受这种“算法可变性”。