nav[aria-label="Primary Navigation"] { padding: 0; & ul { list-style: none; width: 100%; display: flex; flex-direction: row; justify-content: start; align-items: start; gap: 30px; padding: 0; & li { margin: 0; } & ul li { list-style: none; } } }

49642_de-DE

liliconcom

Regression zur Modellierung des Trends zur Lage der Union

Können wir verwenden JMP aussagekräftige, datengesteuerte, nicht- Partisan Entscheidungen über Nachrichten? Natürlich, aber worauf sollten wir uns konzentrieren? Können wir auch etwas machen, das ein bisschen Spaß macht?

Seit mindestens 2012 (vgl Tau ), hat die ungefähre Klassenstufe der US-Präsidentschaftsansprachen die Nachrichten gemacht.Sehen wir uns hier an, wie wir mithilfe von JMP und Regression vorhersagen können, was die Klassenstufe von Trumps bevorstehender Rede zur Lage der Nation am 30. Januar.Sowohl Obama (vgl Tau ) und Trump (vgl Wilson ) haben die Nachrichten für die gemacht Klassenstufe, oder deren Fehlen, über ihre Bundesstaatsadressen (oder gemeinsame Adressen).

Hier untersuchen wir die Adressen zur Lage der Nation anhand eines einfachen linearen Regressionsmodells, wie es in Kapitel 9.2 „Einfache lineare Regression“ meines neuen Buches besprochen wird Biostatistik mit JMP: Ein praktischer Leitfaden . Wir können jedoch nicht bei der Erstellung eines Regressionsmodells aufhören, wir müssen die Qualität des Modells und seine Fehler bewerten; Hier werden wir die Grundlagen solcher diagnostischen Aufgaben untersuchen, aber alle von Kapitel 10 mein Buch widmet sich diesem Thema.

Die Klassenstufe wird als ungefähre Lesestufe auf der Grundlage von Flesch-Kincaid betrachtet, einem einfachen Ansatz, der versucht, die Gesamtzahl der Wörter, Gesamtsätze und Silben der ungefähren Bildungsstufe zuzuordnen, die erforderlich wäre, um einen bestimmten Text zu verstehen. Für weitere Details siehe DuBay (2004) oder Bihl und Bauer (2017).Warum und ob dies überhaupt angemessen ist, um die Lage der Union zu bewerten, ist nicht von unmittelbarer Bedeutung. Wir haben jedoch versucht, einige davon in einem kürzlich erschienenen Artikel zu beantworten, Bihl und Bauer (2017), abschließend dass die Klassenstufe mit der Art der Rede (schriftlich vs. mündlich, im Fernsehen vs. nicht im Fernsehen übertragen) zusammenhängt.

Als einfaches Beispiel und zum Spaß bei der Vorhersage der nahen Zukunft betrachten wir einfach den Zusammenhang zwischen Redejahr und Klassenstufe durch Regression.Dabei müssen wir auch die Gesamtqualität des Regressionsmodells betrachten.

Datensammlung

Alle State of the Union-Adressen wurden aus dem gesammelt Präsidentschaftsprojekt , ein schönes Repository an der UC-Santa Barbara. Zur Datenbereinigung, z sehr [ Beifall ] und [ Lachen ] wurde entfernt; Tabellen wurden auch aus den schriftlichen Reden des 19. Jahrhunderts entfernt. Zur Berechnung der Lesbarkeitsstatistik wurde für alle Reden die in Microsoft Word integrierte Klassenstufenberechnung von Flesch-Kincaid verwendet. In StateOftheUnion2017.jmp (angehängt an diesen Beitrag) habe ich auch eine Zeile für die noch unbekannten Ergebnisse von 2018 hinzugefügt.

Erstellung von Regressionsmodellen

Für diese Vorhersageaufgabe werden wir die lineare Regression und sowohl Vorhersage- als auch Konfidenzintervalle berücksichtigen. Während wir in Bihl und Bauer (2017) viele Variablen verwendet haben, betrachten wir hier nur Flesch-Kincaid als abhängige Variable und Jahr als unabhängige Variable.

Wir können Fit Y by X verwenden, um eine Regressionslinie für diese Daten zu erstellen. Sobald wir die Regressionsgerade haben, müssen wir ein paar Dinge tun:

1. Bewertung der grundlegenden Anpassungsergebnisse

2. Untersuchung des Modells auf Verstöße gegen Annahmen (Normalität, Ausreißer etc.)

3. Berechnen und visualisieren Sie Vorhersage- und Konfidenzintervalle

Mit einem einfachen Regressionsmodell sehen wir eine allgemein abnehmende Beziehung zwischen der Flesch-Kincaid-Notenstufe und dem Jahr.Wenn man sich die Ergebnisse der linearen Anpassung ansehen würde (die ich nicht zeige), würden wir die Zusammenfassung der Anpassung, Varianzanalyse, fehlende Anpassung und Parameterschätzungen sehen. Auf den ersten Blick sieht unser Fit anständig aus, er hat ein R2 von 0,77, die ANOVA-Tabelle zeigt ein statistisch signifikantes Modell (95%-Niveau). Die Punkte sind jedoch überall verstreut, so dass eine Überprüfung der Qualität der Passung erforderlich ist. Außerdem ist das Regressionsmodell Flesch-Kincaid = 101,96665 - 0,0459147*Jahr, was offensichtlich nur für einen bestimmten Bereich funktioniert, da dieser schließlich negativ wird. Ein Beispiel für zu weites Extrapolieren: Wenn wir bis zum Jahr 2974 extrapolieren, als der Film Idiocracy gedreht wurde, Rede von Präsident Camacho hat eine Schulstufe von 4,0 Jahren, aber unser Modell würde eine unmögliche Schulstufe von -34 voraussagen.

General Trend Between Year and Flesch-Kincaid Grade LevelGeneral Trend Between Year and Flesch-Kincaid Grade LevelGeneral Trend Between Year and Flesch-Kincaid Grade LevelGeneral Trend Between Year and Flesch-Kincaid Grade LevelAllgemeiner Trend zwischen Jahr und Flesch-Kincaid-Klassenstufe

In der Ausgabe sehen wir auch einen Mangel an passender Tabelle, da wir einige wiederholte Werte haben (einige Jahre hatten mehrere State of the Union-Adressen). Da dies aber nur in wenigen Jahren vorkam, zB 1790 und 1980, können wir aus dieser Tabelle nicht viel lernen. Also ignorieren wir diese Tabelle.

Um unsere Frage zu beantworten: Welche Klassenstufe wird Trumps Rede zur Lage der Nation vom 30. Januar haben?– Wir werden sowohl Konfidenzintervalle (die ziemlich eng sind, da es sich um heutige Daten handelt) als auch Vorhersageintervalle (die breiter sind, da sie sich um zukünftige Werte handeln) berücksichtigen.Für eine Regressionsanalyse wollen wir uns wirklich die Residuen ansehen, um zu sehen, ob wir merkliche Probleme bei der Verletzung verschiedener Regressionsannahmen haben, z. B. Normalität.

Um die Vorhersage- und Konfidenzintervalle zu untersuchen, müssen wir die besuchen rotes Dreieck ein JMP neben Lineare Anpassung einige Male:

1. Wählen Vorhergesagt speichern und Residuen speichern – wir brauchen diese, um die Qualität unseres Modells zu bewerten (siehe Kapitel 10 meines Buches, Biostatistik mit JMP: Ein praktischer Leitfaden ).

2. Wählen Sie Formel für die mittlere Konfidenzgrenze und Formel für individuelle Konfidenzgrenze - Wir benötigen diese, um die numerischen Intervallwerte für die Vorhersage- und Konfidenzintervalle bereitzustellen.

3. Wählen Sie Zuverlässige schattierte Passform und Confid Shaded Indiv

Angemessenheit des Regressionsmodells

Viele Annahmen von Regressionsmodellen und Residuen (der Fehler in einem Regressionsmodell, dh der Abstand zwischen der vorhergesagten Linie und jeder Beobachtung) beinhalten Normalität. Wir können dies untersuchen, indem wir ein normales Quantildiagramm betrachten (in vielen Büchern ein normales Wahrscheinlichkeitsdiagramm). Diese finden Sie, indem Sie auswählen Analysieren > Verteilung in JMP und Auswählen der Restspalte. Obwohl das Histogramm normal aussieht, können wir dem nicht vollständig vertrauen (siehe 7.2 Testen auf Normalität von mein Buch für Beispiele und Diskussion). Wir wollen also ein normales Quantil auswählen, um die Normalität besser zu untersuchen. Wir können dies tun, indem wir auf das rote Dreieck klicken und auswählen Normales Quantil-Diagramm , was zu folgender Abbildung führt. Interessant ist, dass die Residuen alle der Linie folgen, nicht außerhalb des Konfidenzintervalls liegen und keine offensichtliche Form zeigen. Wir sind also gut, was die Normalitätsannahme angeht.

Residual Normal Quantile PlotResidual Normal Quantile PlotResidual Normal Quantile PlotResidual Normal Quantile PlotResiduen-Normalquantil-Plot Andere Probleme können mit Ausreißern auftreten, die die Regressionslinie ziehen, nicht konstante Varianzprobleme usw. Es gibt viele Möglichkeiten, Residuen auf solche Probleme zu untersuchen; Ich bin ein großer Fan von standardisierten Residuen, weil wir beide die Form der Residuen betrachten können und gleichzeitig einen Eindruck davon bekommen, welche Punkte Ausreißer sein könnten.Standardisierte Residuen werden berechnet, indem jeder Residuenwert durch die Standardabweichungen dividiert wird, die wir als Quadratwurzel des MSE des ANOVA-Modells approximieren können. Für unsere Daten würden wir eine Spalte mit der folgenden Formel erstellen.

Standardized Residuals EquationStandardized Residuals EquationStandardized Residuals EquationStandardized Residuals EquationStandardisierte Residuengleichung Das Ergebnis ist jetzt, dass unsere Residuen skaliert werden, wenn wir die Residuen durch Prädizierung darstellen, die Die y-Achse ist einheitslos und entspricht der Standardabweichung. Wir können also nach großen Werten suchen, zB durch eine einfache Heuristik, dass Werte über 3 mögliche Ausreißer anzeigen. Wenn wir unsere Residuen betrachten, sehen wir keine offensichtlichen Ausreißer, und wir sehen, dass die Streuung weitgehend zufällig aussieht. Wir werden also damit fortfahren, da es keinen zwingenden Grund gibt, eine Transformation zu verwenden, die Interpretationsschwierigkeiten mit sich bringen würde. Wir sollten jedoch beachten, dass sich die Dinge bei hohen Flesch-Kincaid-Werten zu negativen Fehlern hin entwickeln, sodass hier zumindest ein mögliches Problem mit nicht konstanter Varianz besteht.

Standardized Residuals versus Predicted ValuesStandardized Residuals versus Predicted ValuesStandardized Residuals versus Predicted ValuesStandardized Residuals versus Predicted ValuesStandardisierte Residuen im Vergleich zu vorhergesagten Werten

Prognose zur Lage der Union vom 30. Januar

Mit einigem Vertrauen in die Qualität unseres Modells können wir nun zu der uns wichtigen Frage übergehen: „W Hut ist die Trevor-Vorhersage für die Klassenstufe von Trumps Rede zur Lage der Nation vom 30. Januar?" Zu diesem Zweck können wir Vorhersage- und Konfidenzintervalle verwenden. Visuell sehen wir, dass das Konfidenzintervall ziemlich nahe an der Regressionslinie liegt, wobei das Vorhersageintervall einen viel größeren Bereich außerhalb davon abdeckt. Dies ist zu erwarten, da das Vorhersageintervall mehr Unsicherheit voraussetzt.

Regression Model with Both 95% Confidence and 95% Prediction IntervalsRegression Model with Both 95% Confidence and 95% Prediction IntervalsRegression Model with Both 95% Confidence and 95% Prediction IntervalsRegression Model with Both 95% Confidence and 95% Prediction IntervalsRegressionsmodell mit 95 % Konfidenz- und 95 %-Vorhersageintervallen

Für den Wert, der uns wichtig ist, müssen wir uns das Jahr 2018 in der Datentabelle ansehen. Wir haben einen Vorhersagewert von 9,31 für die Rede zur Lage der Nation 2018. Dies ist daher meine Vorhersage für die bevorstehende Rede am 30. Januar.

Dies ist jedoch nicht alles; wir können nicht bei einer einzigen Zahl aufhören, und wir sollten eine Schranke dafür einschließen. Das Vorhersageintervall bei 2018 ist sehr breit (6,0 bis 12,6), wie in der Abbildung oben zu sehen. Anstatt dieses sehr breite und nutzlose Intervall zu verwenden, schauen wir uns das Konfidenzintervall an, das zwischen 8,9 und 9,7 liegt.

Daher ist meine Vorhersage für den Zustand der Union am 30. Januar ein Flesch-Kincaid-Notenniveau von 9,31 + -0,4. Mal sehen, wie richtig (oder falsch) ich in ein paar Wochen liege. Haben Sie Vorhersagen, die Sie teilen möchten?