使えますかJMP意味のある、データ駆動型の、非パルチザンニュースに関する決定？ もちろんですが、何に焦点を当てるべきでしょうか？ ちょっと楽しいこともできませんか？
少なくとも 2012 年以降 (参照タウ)、米国大統領一般教書演説のおおよその学年レベルがニュースになりました。ここで、JMP と回帰を使用してどのように予測できるかを見てみましょう。トランプの次の1月30日の一般教書演説の学年レベル。両方のオバマ（参照タウ）およびトランプ（を参照）ウィルソン) のニュースを作成しました組合アドレス（または共同アドレス）の状態の学年レベル、またはその欠如。
ここでは、私の新しい本の第 9.2 章「単純な線形回帰」で説明されているように、単純な線形回帰モデルを使用して一般教書演説を調べます。 JMP を使用した生物統計学: 実践ガイド. ただし、回帰モデルを作成するだけでは終わりません。モデルの品質とそのエラーを評価する必要があります。ここでは、そのような診断タスクの基本を調べますが、第 10 章のすべて私の本はこのトピックに専念しています。
学年レベルは、Flesch-Kincaid に基づくおおよその読解レベルと見なされます。これは、単語の総数、文の総数、音節の総数を、特定のテキストを理解するために必要なおおよその教育学年レベルにマッピングしようとする単純なアプローチです。 詳細については、DuBay (2004) または Bihl and Bauer (2017) を参照してください。なぜ、そしてこれが一般教書の評価に適切であるかは、直接の関心事ではありません。 しかし、私たちは最近の論文、Bihl and Bauer (2017) でこのいくつかに答えようとしました。学年レベルがスピーチのタイプに関連付けられていること（書面対口頭、テレビ放映対非テレビ放映）。
簡単な例として、そして近い将来を予測する楽しみのために、回帰を通じて発話年と学年との関係を見てみましょう。その際、回帰モデルの全体的な品質も確認する必要があります。
データ収集
組合のアドレスのすべての状態は、から収集されました大統領プロジェクト、UC-Santa Barbara の素晴らしいリポジトリです。 データクリーニングの場合、eとても [拍手] と[笑い] 除去された;テーブルは、1800 年代の書かれたスピーチからも削除されました。 読みやすさの統計を計算するために、Microsoft Word に組み込まれている Flesch-Kincaid グレード レベルの計算がすべてのスピーチに使用されました。 StateOftheUnion2017.jmp (この投稿に添付) には、まだ不明な 2018 年の結果の行も追加しました。
回帰モデルの構築
この予測タスクでは、線形回帰と、予測区間と信頼区間の両方を検討します。 Bihl and Bauer (2017) では多くの変数を使用しましたが、ここでは Flesch-Kincaid を従属変数として、年を独立変数としてのみ考慮します。
Fit Y by X を使用して、このデータの回帰直線を作成できます。 回帰直線が得られたら、いくつかのことを行う必要があります。
1. 基本的な適合結果を評価する
2. モデルの仮定違反 (正規性、異常値など) を調べる
3. 予測と信頼区間を計算して視覚化する
単純な回帰モデルでは、Flesch-Kincaid の学年レベルと学年の間に一般的に減少する関係が見られます。線形適合の結果 (ここでは示していません) を見ると、適合の概要、分散の分析、適合の欠如、およびパラメーター推定値が表示されます。 R2 は 0.77 で、ANOVA テーブルは統計的に有意なモデル (95% レベル) を示しています。 ただし、ポイントがあちこちに散らばっているため、フィットの質を調べる必要があります。 さらに、回帰モデルは Flesch-Kincaid = 101.96665 - 0.0459147*Year であり、これは最終的に負になるため、明らかに特定の範囲でのみ機能します。 外挿しすぎる例: 映画 Idiocracy が設定された 2974 年に外挿すると、カマチョ大統領のスピーチの学年レベルは 4.0 年ですが、私たちのモデルでは不可能な -34 学年レベルを予測します。
General Trend Between Year and Flesch-Kincaid Grade LevelGeneral Trend Between Year and Flesch-Kincaid Grade LevelGeneral Trend Between Year and Flesch-Kincaid Grade LevelGeneral Trend Between Year and Flesch-Kincaid Grade Level年と Flesch-Kincaid グレード レベルの間の一般的な傾向出力では、いくつかの繰り返し値があるため、適合表が不足していることもわかります (数年には複数の一般教書演説がありました)。 しかし、1790 年や 1980 年など、このような出来事があった年はごくわずかであるため、この表から多くを学ぶことはできません。 したがって、この表は無視します。
私たちの質問に答えるために-トランプの1月30日の一般教書演説の学年レベルは何ですか?– 信頼区間 (現在のデータに関係しているため、かなり狭い) と予測区間 (将来の値に関係しているため、より広い) の両方を検討します。回帰分析では、正規性など、さまざまな回帰の仮定に違反する顕著な問題があるかどうかを確認するために残差を確認する必要があります。
予測と信頼区間を調べるには、赤い三角形JMPの隣に線形フィット何回か：
2. 選択平均信頼限界式と個別信頼限界式- これらは、予測区間と信頼区間の数値区間値を提供するために必要です。
3. 選択コンフィッド シェーデッド フィットとConfid Shaded Indiv
回帰モデルの妥当性
回帰モデルと残差 (回帰モデルの誤差、つまり、予測された線と各観測値の間の距離) の多くの仮定には、正規性が含まれます。 これは、通常の分位点プロット (多くの書籍で使用されている正規確率プロット) を検討することで調べることができます。 これは、選択することで見つけることができます分析 > 分布のJMP残りの列を選択します。 ヒストグラムは正常に見えますが、これを完全に信頼することはできません (7.2 の正規性のテストを参照してください)。私の本例と議論のために）。 したがって、正規性をよりよく調べるために、正規の分位点を選択する必要があります。 これを行うには、赤い三角形をクリックして選択します通常の分位プロットとなり、次の図になります。 興味深いのは、すべての残差が直線に従っており、信頼区間の外になく、明らかな形状を示していないことです。 したがって、正規性の仮定に関する限り、問題はありません。
Residual Normal Quantile PlotResidual Normal Quantile PlotResidual Normal Quantile PlotResidual Normal Quantile Plot残差正規分位プロット外れ値が回帰直線を引っ張る、一定でない分散の問題など、他の問題が存在する可能性があります。 このような問題の残差を調べる方法はたくさんあります。私は標準化された残差の大ファンです。残差の形状を確認しながら、外れ値である可能性のあるポイントを把握できるからです。標準化された残差は、各残差値を標準偏差で割ることによって計算されます。標準偏差は、ANOVA モデルの MSE の平方根として近似できます。 このデータでは、次の式で列を作成します。
Standardized Residuals EquationStandardized Residuals EquationStandardized Residuals EquationStandardized Residuals Equation標準化された残差方程式その結果、残差がスケーリングされます。残差を prediced でプロットすると、 y 軸は単位がなく、標準偏差に対応します。 したがって、たとえば、3 を超える値は外れ値の可能性を示すという基本的なヒューリスティックによって、大きな値を探すことができます。 残差を見ると、明らかな外れ値は見られず、散布はほとんどランダムに見えることがわかります。 変換を使用するやむを得ない理由はなく、解釈が困難になるため、そのまま続行します。 ただし、Flesch-Kincaid の値が高いと、負のエラーに向かう傾向があることに注意する必要があります。そのため、少なくともここでは、一定でない分散の問題が発生する可能性があります。
Standardized Residuals versus Predicted ValuesStandardized Residuals versus Predicted ValuesStandardized Residuals versus Predicted ValuesStandardized Residuals versus Predicted Values標準化された残差と予測値
1月30日の一般教書演説
モデルの品質にある程度の自信が持てたので、関心のある質問に進むことができます。 hat は Trevor の予測ですトランプの1月30日の一般教書演説の学年レベルは?」 この目的のために、予測区間と信頼区間を使用できます。 視覚的には、信頼区間が回帰直線にかなり近く、予測区間がそれよりもはるかに広い領域をカバーしていることがわかります。 これは、予測間隔がより不確実性を想定しているためです。
Regression Model with Both 95% Confidence and 95% Prediction IntervalsRegression Model with Both 95% Confidence and 95% Prediction IntervalsRegression Model with Both 95% Confidence and 95% Prediction IntervalsRegression Model with Both 95% Confidence and 95% Prediction Intervals95% 信頼区間と 95% 予測区間の両方を持つ回帰モデル気になる値については、2018 年のデータ テーブルを調べる必要があります。 2018 年の一般教書演説の予測値は 9.31 です。 したがって、これは次の 1 月 30 日のスピーチに対する私の予測です。
ただし、これだけではありません。 1 つの数値にとどまることはできず、これに境界を含める必要があります。 の2018年の予測間隔は非常に広い(6.0～12.6)、上の図に見られるように。 この非常に広くて役に立たない区間を使用する代わりに、8.9 から 9.7 である信頼区間を見てみましょう。
したがって、1 月 30 日の一般教書演説に対する私の予測は、9.31+-0.4 の Flesch-Kincaid グレード レベルです。 では、私がどの程度正しいか (または間違っているか) を数週間で見てみましょう。 共有したい予測はありますか？
参考文献
私が見つけたコピー (大統領のプロジェクトではなく、ニューズウィーク) によると、最終的な学年レベルは 9.3 でした。まさにトレンドライン。あなたは最初にここを見ました。
自分で確認するために、テキストをコピーして、Word で読みやすさの統計を取得できます。
http://www.newsweek.com/state-union-full-text-795748
大統領プロジェクトがバージョンを投稿したら、もう一度確認します.しかし、小さな誤植の問題を除けば、それが変わるとは思えません。
これまでのところ、モデルはまともに見えます。
ライブ サンプリング (5 ～ 10 分前) の Flesch-Kincaid グレード レベルは 8.6 です。信頼区間の外ではありますが、これはまだこれからのことであり、乱雑なライブ転写の使用によるものです。.
NPR のライブ転写からの (および上記のようにクリーニングされた) データ。最終結果を見るのは興味深いでしょう。
https://www.npr.org/2018/01/30/580378279/trumps-state-of-the-union-address-annotated
多分愚かさは私たちの唖然とする速度を過小評価しており、カマーチョ大統領は 2308 年に演説を行う予定です。フレッシュ-キンケイド モデルが間違っていることが証明される前に、電解質で水をまくことは人類の終焉を引き起こす可能性があります。
Dr. Bihl に感謝します。これを読んで本当に役に立ちました。
JMP を持っておらず、試してみたい場合は、無料試用版へのリンクを次に示します。 https://www.jmp.com/en_us/software/download-jmp-free-trial.html
ちなみに、JMP を使用して .csv ファイルにエクスポートできます。
gmichaelson さん、csv を投稿できました。お役に立てば幸いです。
