关于验证的概念问题我希望统计学背景比我更丰富的人能解答这个问题。JMP 对所有预测模型都拥有强大的验证功能，包括交叉验证（尽管“拟合模型”平台没有此功能，但可以使用验证集）。数据科学家通常会将数据划分为训练数据集和验证数据集（有时也包括测试数据集）。然而，大多数使用传统统计方法（多元回归、逻辑回归）的已发表研究都没有使用任何验证。我一直在思考为什么会这样。我能想到的可能性包括：(1) 人们认为统计显著性使得验证变得不必要；(2) 历史实践变化缓慢；(3) 重点在于推断而不是预测（类似于布里曼的“两种文化”理论）。无论如何，我不明白为什么不使用验证，所以我想听听大家的看法。
预测模型和机器学习回复：关于验证的概念问题我怀疑缺乏验证很大程度上源于你的第二种选择，尤其是在与其他一些变化缓慢的实践/传统相结合的情况下。如果我们接受学术界倾向于只发表重要发现的观念，并且接受“不发表就消亡”的格言，那么我们自然会在一定程度上抑制在发表前进行极其严谨的理解。这或许可以部分解释最近发现的许多科学研究无法重复的原因。在我看来，如果科学界更容易接受验证，并且更愿意发表“平凡”的发现，我预计会看到更容易复制的结果，但或许就没那么令人兴奋了。
不过，我可能很容易犯错，或者过度概括。和你一样，我也想听听大家的想法。
回复：关于验证的概念问题首先，请定义一下你所说的验证。一种做法可能是从某个推理空间收集一个数据集，然后对其进行随机划分（？），这样只有一部分用于开发模型，其余部分用于检验该模型根据保留数据预测结果的效果。虽然这可能是一种公认的做法，但这并不是我所理解的验证（我可能是唯一一个这么想的人）。
我的一个信念是，要真正“验证”模型，我必须制作物理“样本”，并评估模型对这些实际样本的预测效果。对我来说，验证指的是模型对未来（条件变化）的预测效果。如果你的研究设计得足够好，并且推理空间足够大（这可能非常具有挑战性且耗费资源），那么你的模型在未来的预测中应该会表现得更好。
回复：关于验证的概念问题我指的是第一个定义（你不喜欢的那个），我认为这就是文献中所说的验证。当然，几乎所有模型最终都会用于样本外预测，而分区并不能解决未来变化的情况。没有什么模型能够（至少不是完美的）。最终，你的第二个想法是必要的——即使你已经从第一个意义上“验证”了一个模型，你也应该监控它的性能，看看它是否足够好，可以继续使用。但大多数已发表的论文（数据科学期刊除外）甚至都没有做第一种验证，我想问的是为什么。
回复：关于验证的概念问题我完全同意@statman和@Jed_Campbell的所有贡献。我唯一想补充的是，也许还有第四个“原因”？除非模型验证成为扩展问题求解过程（建模是其中的一个组成部分）的必要条件，否则你很难在文献中看到太多关于它的内容。这只是“历史实践变化缓慢”的另一个结果。
回复：关于验证的概念问题你好@dlehman1 ，
感谢您提出一个有趣的概念性问题。总的来说，我同意大家目前的评论——在这种情况下，定义“验证”的含义至关重要。然而，我认为验证可以包含两种含义——既可以作为改进模型预测的保留集，也可以生成用于测试模型预测能力的新样本。
对我来说，两者都很重要，都需要做——一个是为了改进模型，另一个是为了确保模型能够工作，特别是在生成靠近参数空间边界的新样本时，模型往往不太准确。
至于为什么已发表的著作往往不采用验证，很大程度上取决于你和@Jed_Campbell的评论：历史实践变化缓慢——但这更多是受科学界内部影响的结果，这些影响推动人们寻求显著的结果，而不是稳健的模型。我的背景是物理学，物理学家们以针对一种情况创建简单模型，然后将其推广到其他情况而臭名昭著。以单摆为例。这是几乎所有基本物理问题的基础，但在实践中，它并不是最好的模型——为了使模型在其他非理想情况下有效，对其进行了大量的调整和修改（想想必须将电子自旋添加到原子电子态的轨道力学中）。
对我来说，这个简单的摆并不能构成一个非常稳健的模型——但它确实满足了在数据中“发现”重要信息的兴趣和愿望。当然，这是一个很好的开始，我们都需要从某个地方开始。但是，如果想要生成一个更广泛、更稳健的模型，以便在更广泛的领域使用，则需要对讨论的两个定义进行验证。
更“平凡”的结果最终可能会带来更稳健、更好的模型和科学预测能力，但科学界的文化变革需要改变，并且可能需要淡化对引人注目、浮华的新发现的重视。
简而言之，我认为不仅历史实践的改变缓慢，科学界也需要进行文化变革，以明确科学成果的认可方式和内容。这需要重新调整优先事项。
DS
回复：关于验证的概念问题我可以提供以下信息：
文献发展至今，似乎存在着失衡之处，因为它相对忽视了该问题的科学性和逻辑性。这或许是意料之中的，因为许多作者，尽管是才华横溢的数学家，显然从未将自己的思想投入到任何一门自然科学的特定教育学科中，从未亲自负责过基础实验，也没有直接体验过所涉及的材料……”
罗纳德·费舍尔爵士，Colloq。国际化百。纳特。 《科学研究》，巴黎，第 110 期：13-19 (1962)
回复：关于验证的概念问题这是我见过的常见观点，我当然在精神上认同它。但我认为，在处理社会科学时，这种观点是不够的。许多问题（最低工资的影响、竞争政策、社交媒体使用的心理影响等等）不像物理科学那样适合用科学实验来解决。这并不能成为人们忽视良好科学实践的借口，但它确实在这些研究领域留下了一个空白（在我看来，这是一个很大的空白）。我认为这确实与验证问题有关——在我看来，这使得第一种验证（随机划分）在这些领域更为重要（尽管正如您所指出的，它并不充分）。
回复：关于验证的概念问题你好@dlehman1 ，
关于社会科学的观点很有道理。复制实验设计（DOE）或生成“新样本”而不让之前的实验结果影响参与者后续的反应要困难得多。每个人的人生经历都各不相同。
或许可以反过来，把它看作一份社会科学问卷。可以向社会科学界提出这样的问题：在研究你的主题时，你在分析和模型构建过程中是否使用验证的概念？你为什么使用或不使用验证？你是否了解使用验证的实践？一些开放式的提问可以为受访者提供机会，让他们透露更多/额外的信息。我估计你会得到很多不同的答案，但可能会有一些比较常见的——至少从概念/总体思路来看是这样，而不是具体细节。
DS
回复：关于验证的概念问题嗯，让社会科学领域的主题专家参与调查或抽样计划或 DOE 的制定或对来自此类工具的数据的解释是否不够？
为什么它们不能“像物理科学那样适用于科学实验”？我同意测量系统确实很有挑战性，但验证（保留一部分数据）如何改善这一点呢？
回复：关于验证的概念问题我觉得这个评论很奇怪。假设我们想估算关税对GDP的影响。实验难度大、成本高，而且耗时——在此期间，许多其他因素也在发生变化（当然，我们现在就在做这样的实验！）。这与社会科学实验截然不同。然而，社会科学领域确实存在这样的实验，有时也有一些自然实验可以利用（例如，现有的关税制度表现出很大的差异）。所以，我不排除社会科学实验的可能性，但我很难想象你会认为它们和物理科学一样可行。而我认为医学介于两者之间——有很多随机对照试验（RCT），但由于费用和伦理方面的考虑，这些试验的样本量通常比我们想要的要小得多（因此省略了许多我们想要的亚组分析）。
你问验证如何改善情况。我认为它不足以取代你想要的理想实验，但我认为在理想实验缺失的情况下，验证是必要的。如果模型不适用于我们现有的数据，我们凭什么相信它将来会有效？
回复：关于验证的概念问题毫无疑问，我很奇怪，而且可能和你的想法不同。如果你理解枚举和分析情况之间的区别，我会告诉你，我完全偏向于分析方法（我是一个虔诚的决定论者）。我同时使用定向抽样（基于假设）和实验（重点是如何在提高设计精度的同时扩大推理空间）。我对解释性研究不太“感兴趣”，而对预测模型更感兴趣（尽管两者都可能有用）。
没有哪个实验是“理想的”（即使理想，我们也不知道）。这就是为什么我总是建议（并推荐）研究人员制定多个不同的实验/采样计划。每个计划都应评估其可能获得的知识（例如，哪些可以分配（模型），哪些是混杂因素，哪些是限制因素（推断）），并将这些潜在知识与所需资源进行比较。
我不想讨论政治。我相信每个结果都有其原因。我不在乎是什么学科。每个学科在使用数据采集工具时都会遇到挑战。但这并不能成为不使用它们的借口。
