Pouvons-nous utiliser JMP rendre significatif, basé sur les données, non partisan décisions concernant l'actualité ? Bien sûr, mais sur quoi doit-on se concentrer ? Pouvons-nous aussi faire quelque chose d'amusant ?
Depuis au moins 2012 (voir Tau ), le niveau scolaire approximatif des discours présidentiels américains sur l'état de l'Union a fait la une des journaux.Voyons comment nous pouvons utiliser JMP et la régression pour prédire ce que le niveau scolaire du prochain discours sur l'état de l'Union de Trump le 30 janvier.Obama (voir Tau ) et Trump (voir Wilson ) ont fait l'actualité du niveau scolaire, ou son absence, de leur état des adresses syndicales (ou adresses conjointes).
Ici, nous allons examiner les adresses sur l'état de l'Union via un modèle de régression linéaire simple, comme indiqué au chapitre 9.2 "Régression linéaire simple" de mon nouveau livre Biostatistiques à l'aide de JMP : un guide pratique . Cependant, nous ne pouvons pas nous contenter de créer un modèle de régression, nous devons évaluer la qualité du modèle et ses erreurs ; ici, nous allons examiner les bases de ces tâches de diagnostic, mais tout le chapitre 10 de mon livre est dédié à ce sujet.
Le niveau scolaire est considéré comme le niveau de lecture approximatif basé sur Flesch-Kincaid, qui est une approche simple qui tente de mapper le nombre total de mots, le nombre total de phrases, le nombre total de syllabes au niveau scolaire approximatif qu'il faudrait pour comprendre un texte donné. Pour plus de détails, voir DuBay (2004) ou Bihl et Bauer (2017).Pourquoi et si cela est même approprié pour évaluer l'état de l'Union ne nous concerne pas directement. Cependant, nous avons tenté de répondre à certaines de ces questions dans un article récent, Bihl et Bauer (2017), concluant que le niveau scolaire était associé au type de discours (écrit vs oral, télévisé vs non télévisé).
À titre d'exemple simple, et pour nous amuser à prédire l'avenir proche, nous allons simplement examiner le lien entre l'année de discours et le niveau scolaire par régression.Ce faisant, nous devons également examiner la qualité globale du modèle de régression.
Collecte de données
Toutes les adresses sur l'état de l'union ont été recueillies auprès des Projet Présidence , un joli dépôt à UC-Santa Barbara. Pour le nettoyage des données, e très [ Applaudissements ] et [ Rire ] a été éliminé; les tableaux ont également été supprimés des discours écrits des années 1800. Pour calculer les statistiques de lisibilité, le calcul de niveau scolaire Flesch-Kincaid intégré de Microsoft Word a été utilisé pour tous les discours. Dans StateOftheUnion2017.jmp (joint à ce post), j'ai également ajouté une ligne pour les résultats 2018 encore inconnus.
Construction de modèle de régression
Pour cette tâche de prédiction, nous considérerons la régression linéaire et les intervalles de prédiction et de confiance. Alors que dans Bihl et Bauer (2017) nous avons utilisé de nombreuses variables, nous ne considérerons ici que Flesch-Kincaid comme variable dépendante et l'année comme variable indépendante.
Nous pouvons utiliser Fit Y by X pour créer une ligne de régression pour ces données. Une fois que nous avons la droite de régression, nous devons faire quelques choses :
1. Évaluer les résultats d'ajustement de base
2. Examiner le modèle pour les violations des hypothèses (normalité, valeurs aberrantes, etc.)
3. Calculez et visualisez les prédictions et les intervalles de confiance
Avec un modèle de régression simple, nous constatons une relation généralement décroissante entre le niveau scolaire Flesch-Kincaid et l'année.Si l'on devait regarder les résultats de l'ajustement linéaire (que je ne montre pas), nous verrions le résumé de l'ajustement, l'analyse de la variance, le manque d'ajustement et les estimations des paramètres. À première vue, notre ajustement semble correct, il a un R2 de 0,77, le tableau ANOVA montre un modèle statistiquement significatif (niveau 95%). Cependant, les points sont dispersés partout, il est donc nécessaire d'examiner la qualité de l'ajustement. De plus, le modèle de régression est Flesch-Kincaid = 101,96665 - 0,0459147*Year, qui ne fonctionnera évidemment que pour une certaine plage car cela finira par devenir négatif. Un exemple d'extrapolation trop loin : si nous extrapolons jusqu'à l'année 2974, lorsque le film Idiocracy a été tourné, Discours du président Camacho a un niveau scolaire de 4,0 années d'études, mais notre modèle prédirait un niveau scolaire impossible de -34.
General Trend Between Year and Flesch-Kincaid Grade LevelGeneral Trend Between Year and Flesch-Kincaid Grade LevelGeneral Trend Between Year and Flesch-Kincaid Grade LevelGeneral Trend Between Year and Flesch-Kincaid Grade LevelTendance générale entre l'année et le niveau scolaire Flesch-KincaidDans la sortie, nous voyons également un manque de table d'ajustement puisque nous avons des valeurs répétées (quelques années avaient plusieurs adresses sur l'état de l'Union). Mais puisque très peu d'années ont eu cette occurrence, par exemple, 1790 et 1980, nous ne pouvons donc pas apprendre grand-chose de ce tableau. Nous allons donc ignorer ce tableau.
Afin de répondre à notre question - Quel sera le niveau scolaire du discours de Trump sur l'état de l'Union du 30 janvier ?– on considérera à la fois des intervalles de confiance (plutôt serrés puisqu'il s'agit des données d'aujourd'hui) et des intervalles de prédiction (qui sont plus larges puisqu'il s'agit de valeurs futures).Pour une analyse de régression, nous voulons vraiment examiner les résidus pour voir si nous avons des problèmes notables en violant diverses hypothèses de régression, par exemple, la normalité.
Pour examiner la prédiction et les intervalles de confiance, nous devrons visiter le triangle rouge dans JMP près de Ajustement linéaire parfois:
2. Sélectionnez Formule de limite de confiance moyenne et Formule de limite de confiance individuelle - nous en aurons besoin pour fournir les valeurs d'intervalle numériques pour les intervalles de prédiction et de confiance.
3. Sélectionnez Confid Shaded Fit et Confid Shaded Indiv
Adéquation du modèle de régression
De nombreuses hypothèses de modèles de régression et de résidus (l'erreur dans un modèle de régression, c'est-à-dire la distance entre la ligne prédite et chaque observation) impliquent la normalité. Nous pouvons examiner cela en considérant un diagramme quantile normal (un diagramme de probabilité normal dans de nombreux livres). Cela peut être trouvé en sélectionnant Analyse > Répartition dans JMP et sélection de la colonne résiduelle. Bien que l'histogramme semble normal, nous ne pouvons pas lui faire entièrement confiance (voir 7.2 Test de normalité de mon livre pour exemples et discussion). Nous voudrons donc sélectionner un quantile normal pour mieux examiner la normalité. Nous pouvons le faire en cliquant sur le triangle rouge et en sélectionnant Diagramme des quantiles normaux , ce qui donne la figure suivante. Il est intéressant de noter que les résidus suivent tous la ligne, ne sont pas en dehors de l'intervalle de confiance et ne montrent aucune forme apparente. Donc, nous sommes bons en ce qui concerne l'hypothèse de normalité.
Residual Normal Quantile PlotResidual Normal Quantile PlotResidual Normal Quantile PlotResidual Normal Quantile PlotDiagramme des quantiles normaux résiduels D'autres problèmes peuvent exister avec des valeurs aberrantes tirant la ligne de régression, des problèmes de variance non constante, etc. Il existe de nombreuses façons d'examiner les résidus pour de tels problèmes; Je suis un grand fan des résidus standardisés car nous pouvons à la fois regarder la forme des résidus tout en ayant une idée des points qui pourraient être des valeurs aberrantes.Les résidus standardisés sont calculés en divisant chaque valeur résiduelle par les écarts-types, que nous pouvons approximer comme la racine carrée de l'EQM du modèle ANOVA. Pour nos données, nous créerions une colonne avec la formule suivante.
Standardized Residuals EquationStandardized Residuals EquationStandardized Residuals EquationStandardized Residuals EquationÉquation des résidus normalisés Le résultat est maintenant que nos résidus sont mis à l'échelle, si nous traçons les résidus par prédiction, le l'axe y est sans unité et correspond à l'écart type. Nous pouvons donc rechercher de grandes valeurs, par exemple, par une heuristique de base selon laquelle les valeurs supérieures à 3 indiquent d'éventuelles valeurs aberrantes. En regardant nos résidus, nous ne voyons pas de valeurs aberrantes apparentes, et nous voyons que la dispersion semble largement aléatoire. Nous allons donc continuer car il n'y a aucune raison impérieuse d'utiliser une transformation, ce qui impliquerait des difficultés d'interprétation. Cependant, nous devons noter que les choses commencent à tendre vers des erreurs négatives à des valeurs Flesch-Kincaid élevées, il y a donc au moins un problème de variance non constante possible ici.
Standardized Residuals versus Predicted ValuesStandardized Residuals versus Predicted ValuesStandardized Residuals versus Predicted ValuesStandardized Residuals versus Predicted ValuesValeurs résiduelles standardisées par rapport aux valeurs prédites
Prédiction sur l'état de l'Union du 30 janvier
Avec une certaine confiance dans la qualité de notre modèle, nous pouvons maintenant passer à la question qui nous tient à cœur : "W C'est la prédiction de Trevor pour le niveau scolaire du discours sur l'état de l'Union du 30 janvier de Trump ? » Nous pouvons utiliser des intervalles de prédiction et de confiance à cette fin. Visuellement, nous voyons que l'intervalle de confiance est plutôt proche de la ligne de régression, l'intervalle de prédiction couvrant une zone beaucoup plus large en dehors de celle-ci. Ceci est attendu puisque l'intervalle de prédiction suppose plus d'incertitude.
Regression Model with Both 95% Confidence and 95% Prediction IntervalsRegression Model with Both 95% Confidence and 95% Prediction IntervalsRegression Model with Both 95% Confidence and 95% Prediction IntervalsRegression Model with Both 95% Confidence and 95% Prediction IntervalsModèle de régression avec des intervalles de confiance à 95 % et de prédiction à 95 %Pour la valeur qui nous intéresse, nous devons regarder dans le tableau de données à l'année 2018. Nous avons une valeur prédite de 9,31 pour le discours sur l'état de l'Union 2018. C'est donc ma prédiction pour le prochain discours du 30 janvier.
Cependant, ce n'est pas tout; nous ne pouvons pas nous arrêter à un seul nombre, et nous devrions inclure une borne à ce sujet. La l'intervalle de prédiction à 2018 est très large (6,0 à 12,6), comme le montre la figure ci-dessus. Au lieu d'utiliser cet intervalle très large et inutile, regardons l'intervalle de confiance, qui est de 8,9 à 9,7.
Ainsi, ma prédiction pour l'état de l'Union du 30 janvier est un niveau scolaire Flesch-Kincaid de 9,31 + -0,4. Voyons maintenant si j'ai raison (ou tort) dans quelques semaines. Avez-vous des prédictions à partager ?
Références
Selon la copie que j'ai trouvée (Newsweek, pas le projet de la présidence), le niveau final était de 9,3. Juste sur la ligne de tendance.Tu l'as vu ici en premier.
Pour vérifier vous-même, vous pouvez copier le texte et obtenir les statistiques de lisibilité dans Word :
http://www.newsweek.com/state-union-full-text-795748
Je le vérifierai à nouveau une fois que le projet de la présidence publiera sa version.Mais je doute que cela change en dehors de problèmes typographiques mineurs.
Jusqu'à présent, le modèle semble décent.
L'échantillonnage en direct (il y a 5 à 10 minutes) a le niveau scolaire Flesch-Kincaid à 8,6. Bien qu'en dehors de l'intervalle de confiance, c'est proche avec plus encore à venir et en utilisant une transcription en direct désordonnée..
Données provenant (et nettoyées comme ci-dessus) de la transcription en direct de NPR.Il sera intéressant de voir les résultats finaux.
https://www.npr.org/2018/01/30/580378279/trumps-state-of-the-union-address-annotated
Peut-être L'idiocratie a simplement sous-estimé notre taux d'abêtissement et le président Camacho prononcera son discours en 2308. L'arrosage avec des électrolytes pourrait entraîner la disparition de l'humanité avant que le modèle Flesch-Kincaid ne soit prouvé faux.
Merci Dr Bihl, c'était vraiment utile de lire ceci.
gmichaelson, nous avons pu publier un csv pour vous, j'espère que cela vous aidera.
Pouvez-vous publier les données au format .csv ?
