我們可以使用JMP使有意義的、數據驅動的、非黨派關於新聞的決定？ 當然，但我們的重點應該是什麼？ 我們也可以做一些有趣的事情嗎？
至少從 2012 年開始（見陶），美國總統國情咨文的大致等級已經成為新聞。在這裡，讓我們看看如何使用 JMP 和回歸來預測什麼特朗普即將於 1 月 30 日發表的國情咨文演講的年級水平。奧巴馬（見陶）和特朗普（見威爾遜) 為他們的工會地址（或聯合地址）的狀態等級或缺乏等級。
在這裡，我們將通過一個簡單的線性回歸模型檢查國情咨文地址，如我的新書第 9.2 章“簡單線性回歸”中所述使用 JMP 進行生物統計學：實用指南. 但是，我們不能僅僅停留在創建回歸模型上，我們需要評估模型的質量及其錯誤；在這裡，我們將研究此類診斷任務的基礎知識，但第 10 章的所有內容我的書致力於這個主題。
年級水平被認為是基於 Flesch-Kincaid 的近似閱讀水平，這是一種簡單的方法，它試圖將總單詞、總句子、總音節映射到理解任何給定文本所需的近似教育年級水平。 有關詳細信息，請參閱 DuBay (2004) 或 Bihl 和 Bauer (2017)。為什麼以及是否適合評估國情咨文並不是直接關注的問題。 然而，我們試圖在最近的一篇論文 Bihl 和 Bauer (2017) 中回答其中的一些問題，得出的結論是年級與演講的類型相關（書面與口頭，電視與非電視）。
作為一個簡單的例子，並且為了預測不久的將來的樂趣，我們將通過回歸來查看演講年份和年級水平之間的聯繫。在這樣做時，我們還必須查看回歸模型的整體質量。
數據採集
工會地址的所有狀態都是從總統項目，UC-Santa Barbara 的一個不錯的存儲庫。 對於數據清洗，e非常 [掌聲] 和[笑聲] 去掉了;表格也從 1800 年代的書面演講中刪除。 為了計算可讀性統計數據，Microsoft Word 內置的 Flesch-Kincaid 等級計算用於所有演講。 在 StateOftheUnion2017.jmp（附在這篇文章後面）中，我還為 2018 年未知的結果添加了一行。
回歸模型構建
對於這個預測任務，我們將考慮線性回歸以及預測和置信區間。 雖然在 Bihl 和 Bauer (2017) 中我們使用了許多變量，但在這裡我們只會將 Flesch-Kincaid 視為因變量，將年份視為自變量。
我們可以使用 X 擬合 Y 來為此數據創建回歸線。 一旦我們有了回歸線，我們需要做一些事情：
1.評估基本擬合結果
2. 檢查模型是否違反假設（正態性、異常值等）
3. 計算和可視化預測和置信區間
通過一個簡單的回歸模型，我們看到 Flesch-Kincaid 年級和年級之間的關係普遍下降。如果要查看線性擬合結果（我沒有顯示），我們會看到擬合摘要、方差分析、擬合不足和參數估計值。 乍一看，我們的擬合看起來不錯，它的 R2 為 0.77，ANOVA 表顯示了一個統計顯著模型（95% 水平）。 但是，這些點分散在各處，因此有必要檢查擬合的質量。 此外，回歸模型是 Flesch-Kincaid = 101.96665 - 0.0459147*Year，這顯然只適用於特定範圍，因為它最終會變為負數。 一個過度推斷的例子：如果我們推斷到 2974 年，即電影 Idiocracy 的拍攝時間，卡馬喬總統致辭具有 4.0 年教育的年級水平，但我們的模型將預測不可能的 -34 年級水平。
General Trend Between Year and Flesch-Kincaid Grade LevelGeneral Trend Between Year and Flesch-Kincaid Grade LevelGeneral Trend Between Year and Flesch-Kincaid Grade LevelGeneral Trend Between Year and Flesch-Kincaid Grade Level年份與 Flesch-Kincaid 年級水平之間的總體趨勢在輸出中，我們還看到缺少擬合表，因為我們有一些重複的值（幾年有多個國情咨文地址）。 但由於這種情況發生的年份很少，例如 1790 年和 1980 年，因此我們無法從這張表中學到很多東西。 所以我們將忽略這張表。
為了回答我們的問題——特朗普 1 月 30 日的國情咨文演講的年級水平是多少？– 我們將考慮置信區間（因為它與今天的數據有關，所以相當緊密）和預測區間（因為它們與未來值有關，所以比較寬）。對於回歸分析，我們真的想查看殘差，看看我們是否在違反各種回歸假設（例如，正態性）方面存在明顯問題。
為了檢查預測和置信區間，我們需要訪問紅色三角形在JMP旁邊線性擬合幾次：
2. 選擇平均置信限公式和個人置信限度公式- 我們需要這些來提供預測和置信區間的數值區間值。
3. 選擇Confid 陰影擬合和Confid Shaded Indiv
回歸模型充分性
回歸模型和殘差的許多假設（回歸模型中的誤差，即預測線與每個觀測值之間的距離）都涉及正態性。 我們可以通過考慮正態分位數圖（許多書中的正態概率圖）來檢驗這一點。 這可以通過選擇找到分析 > 分佈在JMP並選擇殘差列。 雖然直方圖看起來很正常，但我們不能完全相信這一點（參見 7.2我的書示例和討論）。 所以我們要選擇一個正態分位數來更好地檢查正態性。 我們可以通過單擊紅色三角形並選擇正態分位數圖，結果如下圖。 有趣的是，殘差都遵循這條線，不在置信區間之外，也沒有明顯的形狀。 因此，就正態性假設而言，我們做得很好。
Residual Normal Quantile PlotResidual Normal Quantile PlotResidual Normal Quantile PlotResidual Normal Quantile Plot殘差正態分位數圖異常值拉動回歸線、非常數方差問題等可能存在其他問題。 有很多方法可以檢查此類問題的殘差；我是標準化殘差的忠實擁護者，因為我們既可以查看殘差的形狀，又可以了解哪些點可能是異常值。標準化殘差是通過將每個殘差值除以標準差來計算的，我們可以將其近似為 ANOVA 模型的 MSE 的平方根。 對於我們的數據，我們將使用以下公式創建一個列。
Standardized Residuals EquationStandardized Residuals EquationStandardized Residuals EquationStandardized Residuals Equation標準化殘差方程結果現在我們的殘差被縮放了，如果我們通過預測來繪製殘差，則y 軸是無單位的，對應於標準偏差。 因此，我們可以尋找較大的值，例如，通過大於 3 的值表示可能的異常值的基本啟發式方法。 查看我們的殘差，我們看不到明顯的異常值，我們看到散佈看起來很大程度上是隨機的。 所以我們將繼續它，因為沒有令人信服的理由使用轉換，這將涉及解釋困難。 然而，我們應該注意到，在高 Flesch-Kincaid 值下，事情開始趨向於負誤差，因此至少這裡可能存在非恆定方差問題。
Standardized Residuals versus Predicted ValuesStandardized Residuals versus Predicted ValuesStandardized Residuals versus Predicted ValuesStandardized Residuals versus Predicted Values標準化殘差與預測值
1 月 30 日國情咨文預測
對我們模型的質量有了一些信心，我們現在可以繼續我們關心的問題：“W hat 是 Trevor 的預測特朗普 1 月 30 日國情咨文的年級水平？” 為此，我們可以使用預測和置信區間。 在視覺上，我們看到置信區間非常接近回歸線，預測值覆蓋了此之外更大的區域。 這是意料之中的，因為預測區間假設了更多的不確定性。
Regression Model with Both 95% Confidence and 95% Prediction IntervalsRegression Model with Both 95% Confidence and 95% Prediction IntervalsRegression Model with Both 95% Confidence and 95% Prediction IntervalsRegression Model with Both 95% Confidence and 95% Prediction Intervals具有 95% 置信度和 95% 預測區間的回歸模型對於我們關心的值，我們需要查看2018年的數據表。 我們對 2018 年國情咨文的預測值為 9.31。 因此，這是我對即將到來的 1 月 30 日演講的預測。
然而，這還不是全部。我們不能只停留在一個數字上，我們應該在這個數字上加上一個界限。 這2018年的預測區間很寬(6.0 到 12.6),如上圖所示。 不要使用這個非常寬且無用的區間，讓我們看一下置信區間，即 8.9 到 9.7。
因此，我對 1 月 30 日國情咨文的預測是 Flesch-Kincaid 等級水平為 9.31+-0.4。 現在讓我們看看幾週後我的正確（或錯誤）。 你有什麼想分享的預測嗎？
參考
根據我找到的副本（新聞周刊，不是總統項目），最終成績是 9.3。就在趨勢線上。你先在這裡看到的。
要檢查自己，您可以復製文本並在 Word 中獲取可讀性統計信息：
http://www.newsweek.com/state-union-full-text-795748
一旦總統項目發布他們的版本，我將再次檢查它。但我懷疑除了輕微的印刷問題之外它會改變。
到目前為止，該模型看起來不錯。
現場採樣（5-10 分鐘前）的 Flesch-Kincaid 等級水平為 8.6。雖然在置信區間之外，但由於使用凌亂的實時轉寫，這與更多尚未到來的情況很接近。.
來自 NPR 現場轉寫的數據（並按上述方式清理）。看到最終結果會很有趣。
https://www.npr.org/2018/01/30/580378279/trumps-state-of-the-union-address-annotated
也許愚蠢只是低估了我們的愚蠢程度，卡馬喬總統將在 2308 年發表他的演講。在弗萊施-金凱德模型被證明是錯誤的之前，用電解質澆水可能會導致人類滅亡。
如果您沒有 JMP 並想嘗試一下，這裡是免費試用的鏈接： https://www.jmp.com/en_us/software/download-jmp-free-trial.html
順便說一句，您可以使用 JMP 導出到 .csv 文件。
gmichaelson，我們能夠為您發布 csv，希望對您有所幫助。
