欢迎阅读一系列博客文章中的第一篇，我们将在其中探讨建模验证。听我说——我知道这听起来可能不是最令人兴奋的话题。但这是使现代数据分析成为可能的关键方法。如果没有验证，支持向量机和神经网络等复杂的机器学习算法几乎毫无用处。虽然它可以被视为一种相当“愚蠢”的方法，极大地简化了从数据中学习的过程，但它也需要谨慎应用，利用您对生成数据的过程或系统的最佳理解。了解验证是您在现代数据分析时代取得成功的基础。
在以后的文章中，我们将讨论保留和交叉验证的基础知识，以及使用 JMP Pro 中的“创建验证列”工具如何轻松实现这一点。我们将看到一些来自科学和工程的案例研究，这些案例研究说明了确保拟合交叉验证（BCV）和拟合引导分析（BBA）的必要性。我们还将介绍尖端方法，包括用于较小数据的自我验证集成模型（SVEM），例如设计实验。希望您会明白为什么 JMP 在帮助科学家和工程师自信地应用现代数据分析方面具有独特的作用。首先，我们将讨论普遍性的必要性。
普遍性和复制危机
本系列的主题源自与 JMP 首席数据科学家 Chris Gotwalt 和 KPA Group 董事长 Ron Kenett 的讨论。我们讨论了普遍性，它是统计学中的一个正式过程，也是人性的一部分。
罗恩： “我们总是一概而论。根据我们在一家餐厅的体验，我们可以推断我们在同一连锁店的另一家餐厅的体验。或者我们从一个工程项目推断另一个工程项目。”
克里斯： “这就是学习。大多数情况不会发生在 JMP 数据表中！”
Chris Gotwalt, JMP Chief Data ScientistChris Gotwalt，JMP 首席数据科学家
Ron Kenett, Chairman of the KPA Group罗恩·肯尼特 (Ron Kenett)，KPA 集团董事长
在学术研究中，可重复性一直很重要：能够独立重复任何研究的结果是科学的基石。自从2010年代初期“复制危机”一词首次被创造出来以来，随着心理学和医学领域一些严重问题的广泛认识，它一直是一个特别热门的话题。但在某些行业中，通用性也处于领先地位。普遍性正在提高可重复性。
克里斯： “在制药这样的受监管行业中，了解某个主张具有普遍性并且可以被证明是“事实”始终至关重要。如果你的药物在普通人群中的安全性或有效性明显低于你根据临床试验结果所承诺的，那么从各方面来说，代价都会很高。但 JMP 用户更多地致力于解决和改进工业问题。”
Ron： “我们将普遍性定义为影响信息质量的八个维度之一。解决这个问题可以提高数据分析所得出的信息的质量。”
普遍性可以忽略不计，但犯错的代价仍然很高。如果您从实验中得出的解决方案在投入生产时不起作用，那么您可能会浪费昂贵的材料、制造时间以及不得不返回研发再次解决问题的所有精力。相反，如果你做对了并且对你的解决方案充满信心，你就可以避免浪费并加快创新的步伐。
现代分析的普遍性
在“小”数据的世界中，我们使用 p 值等统计指标来了解做出无法概括的推论的风险。发明这些工具的目的是让我们能够使用小数据样本来生成有关我们真正关心的更大群体或系统的可靠见解。不幸的是，p 值可能会被误解、误用甚至滥用。
Ron： “很多人将 p 值理解为假设成立的概率，这是一种误导。它的教学方式大多是正确的，但它的使用方式大多是不正确的。”
尽管存在这些问题，并且与我们之前提到的复制危机的原因有关，但 p 值在很大程度上为科学家和工程师提供了良好的服务。对于更大的数据和更新的建模方法（例如人工神经网络），我们需要考虑不同的工具以确保通用性。
我希望您能和我一起阅读本系列的下一篇文章，我们将用科学和工程的例子来说明这一点。我们将首先向您展示如何得出不具有概括性的发现。由于开发人员采取了所有保护措施，这在 JMP 中实际上相当困难。这有助于了解 JMP 中的工具如何帮助您避免此类问题，以及验证如何让您轻松自信地应用分析。
了解更多：
考虑到这是一篇关于普遍性的文章，我认为“p 值在很大程度上为科学家和工程师提供了良好的服务”这一说法有些误导。 p 值（可以说）可能有助于思考从样本到其所抽取的总体的普遍性。但是，许多（如果不是大多数）应用程序涉及从样本推广到稍微不同的总体（不同的时间段、不同的地点、不同的人等）。在这些情况下，如果不假设您所推断的总体与抽取样本的总体基本相同。这种假设对于工程领域来说可能是合理的，但对于社会科学来说就不那么合理了。样本对于所推论的总体的适当性经常被依赖 p 值以某种方式处理而掩盖。
