欢迎阅读系列博文中的第一篇，我们将在其中探索建模验证。 和我在一起——我知道这听起来可能不是最令人兴奋的话题。 但它是使现代数据分析成为可能的关键方法。 如果没有验证，支持向量机和神经网络等复杂的机器学习算法几乎毫无用处。 虽然它可以被视为一种相当“愚蠢”的方法，可以大大简化从数据中学习的过程，但它也需要谨慎应用，使用你对生成数据的过程或系统的最佳理解。 了解验证是您在现代数据分析时代取得成功的基础。
在以后的博文中，我们将讨论 Holdback 和交叉验证的基础知识，以及使用 JMP Pro 中的制作验证列工具是多么容易。 我们将看到一些来自科学和工程的案例研究，这些案例研究说明了确保匹配交叉验证 (BCV) 和匹配引导分析 (BBA) 的必要性。 我们还将介绍前沿方法，包括用于较小数据（例如设计实验）的自验证集成模型 (SVEM)。 希望您会明白为什么 JMP 在使科学家和工程师能够自信地应用现代数据分析方面具有独特的作用。 首先，我们将讨论通用性的必要性。
普遍性和复制危机
本系列的主题来自与 JMP 首席数据科学家 Chris Gotwalt 和 KPA 集团主席 Ron Kenett 的讨论。 我们谈到了普遍性，它是统计学中的一个正式过程，也是人性的一部分。
Ron Kenett, Chairman of the KPA GroupKPA 集团主席 Ron Kenett
罗恩：“我们一直在概括。 根据我们在一家餐厅的体验，我们可以推断我们在同一连锁店的另一家餐厅的体验。 或者我们从一个工程项目推断到另一个工程项目。”
Chris Gotwalt, JMP Chief Data ScientistJMP 首席数据科学家 Chris Gotwalt
克里斯：“这就是学习。 大多数情况不会发生在 JMP 数据表中！”
在学术研究中，可重复性一直很重要：科学的基石应该是可以独立复制任何研究的结果。 自 2010 年代初首次提出“复制危机”一词以来，随着人们普遍认识到心理学和医学领域的一些严重问题，它一直是一个特别热门的话题。 但通用性在某些行业也处于领先地位。 通用性正在增强可重复性。
Chris：“在像制药这样受监管的行业中，了解一个声明是否具有普适性并且可以作为‘真相’进行辩护一直是至关重要的。”如果您的药物在一般人群中的安全性或有效性明显低于您根据临床试验结果承诺的水平，那么在各种方面都会付出高昂的代价。 但 JMP 用户更多的是致力于工业问题的解决和改进。”
Ron：“我们将普遍性定义为影响信息质量的八个维度之一。 解决它可以提高从数据分析中获得的信息的质量。”
普遍性可以忽略不计，但犯错的代价仍然很高。 如果你从实验中得出的解决方案在你投入生产时不起作用，那么你很可能已经浪费了昂贵的材料、制造时间以及所有的努力，不得不返回研发中再次解决问题。相反，如果你做对了并且对你的解决方案充满信心，你就可以避免浪费并加快创新的步伐。
现代分析的普遍性
在“小”数据的世界中，我们使用 p 值等统计指标来了解做出无法概括的推论的风险。 这些工具的发明是为了让我们能够使用少量数据样本对我们真正关心的更大的人口或系统产生可靠的见解。 不幸的是，p 值可能会被误解、误用甚至滥用。
Ron：“许多人将 p 值理解为假设成立的概率，这是一种误导。 它的教学方式大多是正确的，但它的使用方式大多是不正确的。”
尽管存在这些问题并且与我们之前提到的复制危机的原因有关，但 p 值在很大程度上为科学家和工程师提供了良好的服务。 对于更大的数据和更新的建模方法（如人工神经网络），我们需要考虑使用不同的工具来确保通用性。
我希望你能和我一起阅读本系列的下一篇文章，我们将在其中用科学和工程学的例子来说明这一点。 我们将首先向您展示如何生成不会一概而论的发现。 由于开发人员实施了所有保护措施，这在 JMP 中实际上相当困难。 这将有助于了解 JMP 中的工具如何保护您免受此类问题的侵害，以及验证如何让您轻松自信地应用分析。
