사용할 수 있습니까? JMP 의미 있고 데이터 중심적이지 않고 도당 뉴스에 대한 결정? 물론, 그러나 우리의 초점은 무엇입니까? 우리도 약간 재미있는 것을 할 수 있습니까?
적어도 2012년 이후(참조 타우 ), 미국 대통령 국정연설의 대략적인 학년 수준이 뉴스를 만들었습니다.이제 JMP와 회귀를 사용하여 다음을 예측하는 방법을 살펴보겠습니다. 트럼프의 다가오는 1월 30일 국정연설의 학년 수준.두 오바마(참조 타우 ) 및 트럼프(참조 윌슨 )에 대한 뉴스를 만들었습니다. 조합 주소(또는 공동 주소)의 학년 수준 또는 부족.
여기서 우리는 내 새 책의 9.2장 "단순 선형 회귀"에서 논의된 대로 단순 선형 회귀 모델을 통해 State of the Union 주소를 조사할 것입니다. JMP를 사용한 생물통계학: 실용 가이드 . 그러나 회귀 모델을 만드는 데 그치지 않고 모델의 품질과 오류를 평가해야 합니다. 여기에서는 이러한 진단 작업의 기본 사항을 살펴보겠지만, 10장의 모든 내용은 내 책 이 주제에 전념합니다.
학년 수준은 Flesch-Kincaid를 기반으로 한 대략적인 읽기 수준으로 간주되며, 이는 전체 단어, 전체 문장, 총 음절을 주어진 텍스트를 이해하는 데 필요한 대략적인 교육 학년 수준에 매핑하려는 간단한 접근 방식입니다. 자세한 내용은 DuBay(2004) 또는 Bihl and Bauer(2017)를 참조하십시오.이것이 국가를 평가하는 데 적절한 이유와 여부는 직접적인 관심사가 아닙니다. 그러나 우리는 최근 논문 Bihl and Bauer(2017)에서 이에 대한 일부 답을 시도했습니다. 학년 수준이 연설의 유형과 관련이 있다는 것(글쓰기 vs 구두, 텔레비전 방송 vs 비텔레비전).
간단한 예로 가까운 미래를 예측하는 재미를 위해 회귀를 통해 학년과 학년 간의 관계를 살펴보겠습니다.그렇게 하는 과정에서 회귀 모델의 전반적인 품질도 살펴봐야 합니다.
데이터 수집
모든 노동 조합 주소는 다음에서 수집되었습니다. 회장단 프로젝트 , UC-Santa Barbara의 멋진 저장소입니다. 데이터 정리의 경우 e 매우 [ 박수 갈채 ] 그리고 [ 웃음 ] 제거되었다; 표는 또한 1800년대의 서면 연설에서 제거되었습니다. 가독성 통계를 계산하기 위해 Microsoft Word의 내장 Flesch-Kincaid 학년 수준 계산이 모든 연설에 사용되었습니다. StateOftheUnion2017.jmp(이 게시물에 첨부)에는 아직 알려지지 않은 2018년 결과에 대한 행도 추가했습니다.
회귀 모델 구축
이 예측 작업을 위해 선형 회귀와 예측 및 신뢰 구간을 모두 고려할 것입니다. Bihl and Bauer(2017)에서는 많은 변수를 사용했지만 여기서는 Flesch-Kincaid를 종속 변수로, 연도를 독립 변수로 간주합니다.
Fit Y by X를 사용하여 이 데이터에 대한 회귀선을 만들 수 있습니다. 회귀선이 있으면 몇 가지 작업을 수행해야 합니다.
1. 기본 적합 결과 평가
2. 가정(정규성, 이상치 등) 위반에 대한 모델 검사
3. 예측 및 신뢰 구간 계산 및 시각화
단순 회귀 모델을 사용하면 Flesch-Kincaid 학년 수준과 연도 간의 관계가 일반적으로 감소하는 것을 볼 수 있습니다.선형 맞춤 결과(내가 표시하지 않음)를 보면 맞춤 요약, 분산 분석, 맞춤 부족 및 모수 추정치를 볼 수 있습니다. 언뜻 보기에 우리의 적합도는 괜찮아 보이고 R2는 0.77이고 ANOVA 테이블은 통계적 유의 모델(95% 수준)을 보여줍니다. 다만, 포인트가 여기저기 흩어져 있어 핏의 품질에 대한 검토가 필요하다. 또한 회귀 모델은 Flesch-Kincaid = 101.96665 - 0.0459147*Year이며 이는 결국 음수가 되기 때문에 특정 범위에서만 분명히 작동합니다. 너무 멀리 외삽하는 예: 영화 Idiocracy가 설정된 2974년으로 외삽하면 카마초 대통령 연설 4.0년 교육의 학년 수준이 있지만 우리 모델은 불가능한 -34학년 수준을 예측합니다.
General Trend Between Year and Flesch-Kincaid Grade LevelGeneral Trend Between Year and Flesch-Kincaid Grade LevelGeneral Trend Between Year and Flesch-Kincaid Grade LevelGeneral Trend Between Year and Flesch-Kincaid Grade Level연도와 Flesch-Kincaid 학년 수준 간의 일반적인 추세출력에서 일부 반복된 값(몇 년 동안 여러 State of the Union 주소가 있음)이 있기 때문에 적합하지 않은 테이블도 표시됩니다. 그러나 1790년과 1980년과 같이 아주 몇 년 동안 이러한 일이 발생했기 때문에 우리는 이 표에서 많은 것을 배울 수 없습니다. 따라서 이 표는 무시하겠습니다.
우리의 질문에 답하기 위해 – 트럼프의 1월 30일 국정연설의 학년은 어떻게 됩니까?– 우리는 신뢰 구간(오늘 데이터와 관련되어 있기 때문에 다소 빡빡함)과 예측 구간(미래 값과 관련이 있으므로 더 넓음)을 모두 고려할 것입니다.회귀 분석의 경우, 정규성과 같은 다양한 회귀 가정을 위반하는 데 눈에 띄는 문제가 있는지 확인하기 위해 잔차를 살펴보고 싶습니다.
예측 및 신뢰 구간을 조사하려면 다음을 방문해야 합니다. 빨간 삼각형 JMP 옆에 선형 맞춤 몇 번:
2. 선택 평균 신뢰 한계 공식 그리고 Indiv 신뢰 한계 공식 - 예측 및 신뢰 구간에 대한 수치 구간 값을 제공하기 위해 필요합니다.
3. 선택 자신감 있는 음영 핏 그리고 Confid Shaded Indiv
회귀 모델 적합성
회귀 모델 및 잔차의 많은 가정(회귀 모델의 오류, 즉, 예측된 선과 각 관측치 사이의 거리)에는 정규성이 포함됩니다. 정규 분위수 도표(많은 책에서 정규 확률 도표)를 고려하여 이것을 조사할 수 있습니다. 이것은 선택하여 찾을 수 있습니다 분석 > 분포 안에 JMP 및 잔여 컬럼을 선택하는 단계를 포함한다. 히스토그램이 정상으로 보이지만 이것을 완전히 신뢰할 수는 없습니다(7.2 정규성 테스트 참조). 내 책 예제 및 토론을 위해). 따라서 정규성을 더 잘 조사하기 위해 정규 분위수를 선택하려고 합니다. 빨간색 삼각형을 클릭하고 선택하여 이 작업을 수행할 수 있습니다. 정규 분위수 그림 , 결과는 다음 그림과 같습니다. 흥미로운 점은 잔차가 모두 선을 따르고 신뢰 구간을 벗어나지 않으며 뚜렷한 모양을 보이지 않는다는 것입니다. 따라서 정규성 가정이 진행되는 한 좋습니다.
Residual Normal Quantile PlotResidual Normal Quantile PlotResidual Normal Quantile PlotResidual Normal Quantile Plot잔차 정규 분위수 그림 회귀선을 당기는 이상값, 일정하지 않은 분산 문제 등이 있는 다른 문제가 있을 수 있습니다. 이러한 문제에 대한 잔차를 조사하는 방법에는 여러 가지가 있습니다. 나는 표준화된 잔차의 열렬한 팬입니다. 왜냐하면 우리는 잔차의 형태를 관찰하면서 어떤 점이 이상치일 수 있는지에 대한 인상을 얻을 수 있기 때문입니다.표준화된 잔차는 각 잔차 값을 ANOVA 모델의 MSE의 제곱근으로 근사할 수 있는 표준 편차로 나누어 계산됩니다. 데이터의 경우 다음 수식을 사용하여 열을 만듭니다.
Standardized Residuals EquationStandardized Residuals EquationStandardized Residuals EquationStandardized Residuals Equation표준화된 잔차 방정식 결과는 이제 잔차가 조정됩니다. 예측에 따라 잔차를 플롯하면 y축은 단위가 없으며 표준 편차에 해당합니다. 따라서 우리는 예를 들어 3보다 큰 값이 가능한 이상치를 나타내는 기본 휴리스틱에 의해 큰 값을 찾을 수 있습니다. 잔차를 보면 명백한 이상치가 보이지 않고 산포가 대체로 무작위로 보인다는 것을 알 수 있습니다. 해석의 어려움을 수반하는 변환을 사용해야 할 강력한 이유가 없기 때문에 계속 진행하겠습니다. 그러나 Flesch-Kincaid 값이 높으면 상황이 음수 오류로 향하기 시작하므로 최소한 여기에는 일정하지 않은 분산 문제가 있을 수 있습니다.
Standardized Residuals versus Predicted ValuesStandardized Residuals versus Predicted ValuesStandardized Residuals versus Predicted ValuesStandardized Residuals versus Predicted Values표준화된 잔차 대 예측된 값
1월 30일 연합국 예측
우리 모델의 품질에 대한 확신을 가지고 이제 우리가 관심 있는 질문으로 진행할 수 있습니다. "W 모자는 트레버 예측입니다. 트럼프 1월 30일 국정연설 학년 수준?" 이를 위해 예측 및 신뢰 구간을 사용할 수 있습니다. 시각적으로 우리는 신뢰 구간이 회귀선에 다소 가깝고 예측 반전이 이보다 훨씬 더 큰 영역을 포함한다는 것을 알 수 있습니다. 이는 예측 구간이 더 많은 불확실성을 가정하기 때문에 예상됩니다.
Regression Model with Both 95% Confidence and 95% Prediction IntervalsRegression Model with Both 95% Confidence and 95% Prediction IntervalsRegression Model with Both 95% Confidence and 95% Prediction IntervalsRegression Model with Both 95% Confidence and 95% Prediction Intervals95% 신뢰 구간과 95% 예측 구간이 모두 있는 회귀 모델우리가 관심을 갖고 있는 가치에 대해서는 2018년 데이터 테이블을 살펴봐야 합니다. 2018년 국정연설에 대한 예측값은 9.31입니다. 따라서 이것은 다가오는 1월 30일 연설에 대한 나의 예측입니다.
그러나 이것이 전부는 아닙니다. 우리는 단일 숫자에서 멈출 수 없으며 이것에 경계를 포함해야 합니다. 그만큼 2018년의 예측 구간은 매우 넓습니다. (6.0 ~ 12.6), 위의 그림에서 볼 수 있듯이. 이 매우 넓고 쓸모없는 구간을 사용하는 대신 8.9에서 9.7 사이의 신뢰 구간을 살펴보겠습니다.
따라서 1월 30일 State of the Union에 대한 내 예측은 9.31+-0.4의 Flesch-Kincaid 등급 수준입니다. 이제 몇 주 안에 내가 얼마나 옳고 그른지 봅시다. 공유하고 싶은 예측이 있습니까?
참고문헌
내가 찾은 사본(회장단 프로젝트가 아니라 Newsweek)에 따르면 최종 학년 수준은 9.3이었습니다. 추세선 바로 위에 있습니다.여기서 처음 보셨군요.
자신을 확인하려면 텍스트를 복사하고 Word에서 가독성 통계를 얻을 수 있습니다.
http://www.newsweek.com/state-union-full-text-795748
회장단 프로젝트가 버전을 게시하면 다시 확인하겠습니다.그러나 사소한 인쇄상의 문제를 제외하고는 바뀔지 의심스럽습니다.
지금까지 모델은 괜찮은 것 같습니다.
라이브 샘플링(5-10분 전)의 Flesch-Kincaid 등급 수준은 8.6입니다. 신뢰 구간을 벗어나는 동안 이것은 지저분한 라이브 트랜스크립트를 사용하여 더 많은 것을 제공하고 더 가깝습니다..
NPR의 실시간 트랜스크립트에서 얻은(그리고 위와 같이 정리한) 데이터입니다.최종 결과를 보는 것도 흥미로울 것입니다.
https://www.npr.org/2018/01/30/580378279/trumps-state-of-the-union-address-annotated
아마도 바보는 우리의 멍청함을 과소평가했고 Camacho 대통령은 2308년에 연설을 할 것입니다. 전해질로 물을 주는 것은 Flesch-Kincaid 모델이 잘못된 것으로 판명되기 전에 인류의 죽음을 초래할 수 있습니다.
Bihl 박사님 감사합니다. 이 글을 읽는 데 정말 유용했습니다.
JMP가 없고 사용해보고 싶다면 무료 평가판 링크가 있습니다. https://www.jmp.com/en_us/software/download-jmp-free-trial.html
덧붙여서 JMP를 사용하여 .csv 파일로 내보낼 수 있습니다.
gmichaelson, 우리는 당신을 위해 csv를 게시할 수 있었습니다. 도움이 되기를 바랍니다.
