我们可以使用JMP使有意义的、数据驱动的、非党派关于新闻的决定？ 当然，但我们的重点应该是什么？ 我们也可以做一些有趣的事情吗？
至少从 2012 年开始（见陶），美国总统国情咨文的大致年级水平已经成为新闻。在这里，让我们看看如何使用 JMP 和回归来预测什么特朗普即将于 1 月 30 日发表的国情咨文演讲的年级水平。奥巴马（见陶）和特朗普（见威尔逊) 为他们的工会地址（或联合地址）的状态等级或缺乏等级。
在这里，我们将通过一个简单的线性回归模型检查国情咨文地址，正如我的新书第 9.2 章“简单线性回归”中所讨论的那样使用 JMP 进行生物统计学：实用指南. 但是，我们不能仅仅停留在创建回归模型，我们需要评估模型的质量及其错误；在这里，我们将研究此类诊断任务的基础知识，但第 10 章的所有内容我的书致力于这个主题。
年级水平被认为是基于 Flesch-Kincaid 的近似阅读水平，这是一种简单的方法，它试图将总单词、总句子、总音节映射到理解任何给定文本所需的近似教育年级水平。 有关详细信息，请参阅 DuBay (2004) 或 Bihl 和 Bauer (2017)。为什么以及是否适合评估国情咨文并不是直接关注的问题。 然而，我们试图在最近的一篇论文 Bihl 和 Bauer (2017) 中回答其中的一些问题，得出的结论是年级与演讲的类型相关（书面与口头，电视与非电视）。
作为一个简单的例子，为了预测不久的将来，我们将通过回归来看看演讲年份和年级水平之间的联系。在这样做时，我们还必须查看回归模型的整体质量。
数据采集
工会地址的所有状态都是从总统项目，UC-Santa Barbara 的一个不错的存储库。 对于数据清洗，e非常 [掌声] 和[笑声] 去掉了;表格也从 1800 年代的书面演讲中删除。 为了计算可读性统计数据，Microsoft Word 内置的 Flesch-Kincaid 等级计算用于所有演讲。 在 StateOftheUnion2017.jmp（附在这篇文章后面）中，我还为 2018 年未知的结果添加了一行。
回归模型构建
对于这个预测任务，我们将考虑线性回归以及预测和置信区间。 虽然在 Bihl 和 Bauer (2017) 中我们使用了许多变量，但在这里我们只会将 Flesch-Kincaid 视为因变量，将年份视为自变量。
我们可以使用 X 拟合 Y 来为此数据创建回归线。 一旦我们有了回归线，我们需要做一些事情：
1.评估基本拟合结果
2. 检查模型是否违反假设（正态性、异常值等）
3. 计算和可视化预测和置信区间
通过一个简单的回归模型，我们看到 Flesch-Kincaid 年级和年级之间的关系普遍下降。如果要查看线性拟合结果（我没有显示），我们会看到拟合摘要、方差分析、拟合不足和参数估计值。 乍一看，我们的拟合看起来不错，它的 R2 为 0.77，ANOVA 表显示了一个统计显着模型（95% 水平）。 但是，这些点分散在各处，因此有必要检查拟合的质量。 此外，回归模型是 Flesch-Kincaid = 101.96665 - 0.0459147*Year，这显然只适用于特定范围，因为它最终会变为负数。 一个过度推断的例子：如果我们推断到 2974 年，即电影 Idiocracy 的拍摄时间，卡马乔总统致辞具有 4.0 年教育的年级水平，但我们的模型将预测不可能的 -34 年级水平。
General Trend Between Year and Flesch-Kincaid Grade LevelGeneral Trend Between Year and Flesch-Kincaid Grade LevelGeneral Trend Between Year and Flesch-Kincaid Grade LevelGeneral Trend Between Year and Flesch-Kincaid Grade Level年份与 Flesch-Kincaid 年级水平之间的总体趋势在输出中，我们还看到缺少拟合表，因为我们有一些重复的值（几年有多个国情咨文地址）。 但由于这种情况发生的年份很少，例如 1790 年和 1980 年，因此我们无法从这张表中学到很多东西。 所以我们将忽略这张表。
为了回答我们的问题——特朗普 1 月 30 日的国情咨文演讲的年级水平是多少？– 我们将考虑置信区间（因为它与今天的数据有关，所以相当紧密）和预测区间（因为它们与未来值有关，所以比较宽）。对于回归分析，我们真的想查看残差，看看我们是否在违反各种回归假设（例如，正态性）方面存在明显问题。
为了检查预测和置信区间，我们需要访问红色三角形在JMP旁边线性拟合几次：
2. 选择平均置信限公式和个人置信限度公式- 我们需要这些来提供预测和置信区间的数值区间值。
3. 选择Confid 阴影拟合和Confid Shaded Indiv
回归模型充分性
回归模型和残差的许多假设（回归模型中的误差，即预测线与每个观测值之间的距离）都涉及正态性。 我们可以通过考虑正态分位数图（许多书中的正态概率图）来检验这一点。 这可以通过选择找到分析 > 分布在JMP并选择残差列。 虽然直方图看起来很正常，但我们不能完全相信这一点（参见 7.2我的书示例和讨论）。 所以我们要选择一个正态分位数来更好地检查正态性。 我们可以通过单击红色三角形并选择正态分位数图，结果如下图。 有趣的是，残差都遵循这条线，不在置信区间之外，也没有明显的形状。 因此，就正态性假设而言，我们做得很好。
Residual Normal Quantile PlotResidual Normal Quantile PlotResidual Normal Quantile PlotResidual Normal Quantile Plot残差正态分位数图异常值拉动回归线、非常数方差问题等可能存在其他问题。 有很多方法可以检查此类问题的残差；我是标准化残差的忠实粉丝，因为我们既可以查看残差的形状，又可以了解哪些点可能是异常值。标准化残差是通过将每个残差值除以标准差来计算的，我们可以将其近似为 ANOVA 模型的 MSE 的平方根。 对于我们的数据，我们将使用以下公式创建一个列。
Standardized Residuals EquationStandardized Residuals EquationStandardized Residuals EquationStandardized Residuals Equation标准化残差方程结果现在我们的残差被缩放了，如果我们通过预测来绘制残差，则y 轴是无单位的，对应于标准偏差。 因此，我们可以寻找较大的值，例如，通过大于 3 的值表示可能的异常值的基本启发式方法。 查看我们的残差，我们看不到明显的异常值，我们看到散布看起来很大程度上是随机的。 所以我们将继续它，因为没有令人信服的理由使用转换，这将涉及解释困难。 然而，我们应该注意到，在高 Flesch-Kincaid 值下，事情开始趋向于负误差，因此至少这里可能存在非恒定方差问题。
Standardized Residuals versus Predicted ValuesStandardized Residuals versus Predicted ValuesStandardized Residuals versus Predicted ValuesStandardized Residuals versus Predicted Values标准化残差与预测值
1 月 30 日国情咨文预测
对我们模型的质量有了一些信心，我们现在可以继续我们关心的问题：“W hat 是 Trevor 的预测特朗普 1 月 30 日国情咨文的年级水平？” 为此，我们可以使用预测和置信区间。 在视觉上，我们看到置信区间非常接近回归线，预测值覆盖了此之外更大的区域。 这是意料之中的，因为预测区间假设了更多的不确定性。
Regression Model with Both 95% Confidence and 95% Prediction IntervalsRegression Model with Both 95% Confidence and 95% Prediction IntervalsRegression Model with Both 95% Confidence and 95% Prediction IntervalsRegression Model with Both 95% Confidence and 95% Prediction Intervals具有 95% 置信度和 95% 预测区间的回归模型对于我们关心的值，我们需要查看2018年的数据表。 我们对 2018 年国情咨文的预测值为 9.31。 因此，这是我对即将到来的 1 月 30 日演讲的预测。
然而，这还不是全部。我们不能只停留在一个数字上，我们应该在这个数字上加上一个界限。 这2018年的预测区间很宽(6.0 到 12.6),如上图所示。 不要使用这个非常宽且无用的区间，让我们看一下置信区间，即 8.9 到 9.7。
因此，我对 1 月 30 日国情咨文的预测是 Flesch-Kincaid 等级水平为 9.31+-0.4。 现在让我们看看几周后我的正确（或错误）。 你有什么想分享的预测吗？
参考
根据我找到的副本（新闻周刊，不是总统项目），最终成绩是 9.3。就在趋势线上。你先在这里看到的。
要检查自己，您可以复制文本并在 Word 中获取可读性统计信息：
http://www.newsweek.com/state-union-full-text-795748
一旦总统项目发布他们的版本，我将再次检查它。但我怀疑除了轻微的印刷问题之外它会改变。
到目前为止，该模型看起来不错。
现场采样（5-10 分钟前）的 Flesch-Kincaid 等级水平为 8.6。虽然在置信区间之外，但由于使用凌乱的实时转写，这与更多尚未到来的情况很接近。.
来自 NPR 现场转写的数据（并按上述方式清理）。看到最终结果会很有趣。
https://www.npr.org/2018/01/30/580378279/trumps-state-of-the-union-address-annotated
也许愚蠢只是低估了我们的愚蠢程度，卡马乔总统将在 2308 年发表他的演讲。在弗莱施-金凯德模型被证明是错误的之前，用电解质浇水可能会导致人类灭亡。
如果您没有 JMP 并想尝试一下，这里是免费试用的链接： https://www.jmp.com/en_us/software/download-jmp-free-trial.html
顺便说一句，您可以使用 JMP 导出到 .csv 文件。
gmichaelson，我们能够为您发布 csv，希望对您有所帮助。
