핵심 아이디어
실제 중요성 대 통계적 중요성, 저전력
배경
John Kerrich는 제2차 세계대전 동안 덴마크의 포로수용소에서 자신을 발견한 영국 수학자였습니다. 이것은 그의 달력을 상당히 자유롭게 했습니다. 시간을 할애하기 위해 그는 일련의 확률 실험을 수행했습니다.
대부분의 통계학자들은 동전이 공정하다고 주장하며, 이는 Kerrich에게 이 주장을 테스트할 기회를 제공했습니다. 그는 동전을 10,000번 던져 앞면이 5,067번, 뒷면이 4,933번 나왔습니다. 생명과학에서의 통계실무 , 2판, Baldi 및 Moore, 페이지 209).
작업
이것이 공정한 동전인지 확인하십시오. "Fair"는 앞면과 뒷면이 발생할 가능성이 동일하다는 것을 의미합니다.
자료 케리치.jmp
데이터 세트에는 결과와 각 결과에 대한 개수가 포함됩니다.
결과 머리 또는 꼬리
카운트 10,000번 던질 때 앞면과 뒷면의 수
분석
우리는 10,000번의 뒤집기에서 앞면과 뒷면의 빈도를 탐색하는 것으로 시작합니다.
전시회 1 결과 분배
(분석 > 분포; 선택 결과 Y, 열 및 세다 Freq로 선택하고 확인을 클릭합니다.가로 레이아웃의 경우 상단 빨간색 삼각형 아래에서 스택을 선택합니다.)
확실히, 동전 나타납니다 공평하게 – 샘플에 거의 같은 수의 앞면과 뒷면이 있습니다.
95% 신뢰 구간(Exhibit 2)은 헤드의 가장 그럴듯한 확률 범위가 0.4969에서 0.5165 사이임을 나타냅니다.
Exhibit 2 결과에 대한 신뢰 구간
(분포 출력에서 아래쪽 빨간색 삼각형을 클릭하고 신뢰 구간 > 0.95를 선택합니다.)
이 데이터는 공정한 동전으로 볼 수 있는 결과와 일치합니다. 그러나 우리는 동전이 공정하다고 말할 수 없습니다. 우리는 귀무 가설을 확인할 수 없습니다.
가설 검정은 적합도 검정입니다.
Ho: 동전은 공정합니다.
하: 동전이 불공평해.
적합도 테스트(Exhibit 3)는 둘 다 0.1802의 p-값을 제공합니다. 동전이 공정하지 않다는 증거가 없습니다. 다시 말하지만 귀무 가설을 확인하지 않으려면 이중 부정이 필요합니다.
Exhibit 3 결과에 대한 적합도 테스트
(분포 출력에서 아래쪽 빨간색 삼각형을 클릭하고 확률 검정을 선택합니다. 앞면과 뒷면 모두 Hypoth Prob 아래에 0.5를 입력하고 완료를 클릭합니다.)
적합도 테스트 작동 방식
우도 비율과 Pearson 검정은 모두 관찰된 카운트를 비교합니다( 영형 나 ) 예상 카운트 (e 나 ). 이 경우 관찰된 카운트는 헤드에 대해 5,067( 영형 머리 ) 및 꼬리의 경우 4,933( 영형 꼬리 ). 앞면과 뒷면 모두에 대한 예상 카운트( 이자형 머리 그리고 이자형 꼬리 )는 5,000입니다.
우도비 테스트 통계가 다음과 같은지 확인(연습)할 수 있습니다.
Pearson 검정 통계량은 다음과 같습니다.
검정력 및 표본 크기
이 상황에서 데이터의 기본 분석은 매우 간단하지만 간단한 맥락에서 몇 가지 중요한 아이디어를 탐색할 수 있는 기회를 제공합니다. 샘플 크기가 매우 다른 두 개의 다른 데이터 세트를 고려해 보겠습니다.
전시 4 작은 샘플(작은 수) 및 매우 큰 샘플(많은 수)
작은 데이터 세트의 경우 샘플 비율 헤드는 0.62이고 큰 데이터 세트의 경우 샘플 비율은 0.502입니다. 동전이 불공평하다는 더 강력한 증거를 제공하는 것은 무엇입니까? 가설 테스트의 일부 측면에 익숙해지기 전까지는 결과가 놀랄 수 있습니다.
대규모 샘플 분석
확실히 동전은 공정해 보입니다(그림 5). 더 자주 발생하는 그래프에서 헤드 또는 테일을 구별하기는 어렵습니다. 실제로 앞면이 나오는 경우는 50.2%에 불과했습니다. 이 동전은 처음 보는 사람에게는 John Kerrich가 던진 것보다 훨씬 공정해 보입니다.
전시 5 배포 결과
추론은 다른 이야기를 합니다. 사실, 동전이 공정하지 않다는 주장에 대한 강력한 증거가 있습니다(자료 6).p값은 0.0047입니다!
전시 6 큰 표본에 대한 추론
이것은 실수입니까? 아니요. 신뢰 구간은 실제로 이 주장을 뒷받침합니다. 간격 추정치는 동전이 장기적으로 앞면이 나올 확률이 50.006%에서 50.34% 사이라는 것입니다. 간격은 50%를 제외하므로 코인이 랜드 헤드에 로드됩니다.
이것이 기이한 결과처럼 보인다면 대규모 표본이 가설 검정에 미치는 영향에 익숙하지 않을 수 있습니다. 통계 검정은 표본 크기가 클 때 귀무 가설에서 매우 작은 편차를 감지할 수 있는 능력이 있습니다. 여기서 귀무 가설은 동전이 공정하고 동전이 공정하지 않은 것처럼 보인다는 것입니다. 물론 동전이 아주 불공평하지는 않지만 앞면에 약간의 편향이 있는 것으로 보입니다. 이것은 공정한 동전이 실제로 의미하는 바일 수도 있고 아닐 수도 있습니다. 당신과 당신의 룸메이트가 쓰레기를 버리는 사람을 결정하기 위해 이 동전을 사용한다면, 이 동전은 완벽하게 공평할 수 있습니다. 그러나 카지노에서 이 동전을 사용하여 앞면에 베팅하고 고객은 뒷면에 베팅하고 시간당 $10의 베팅이 100,000번 있는 경우 카지노가 큰 성공을 거둘 수 있습니다.
통계에서 가설 검정의 검정력은 검정이 거짓일 때 귀무 가설을 기각할 확률입니다. 샘플 크기가 크면 테스트의 힘이 커집니다. 실제로 샘플 크기가 매우 큰 경우 귀무 가설을 기각하는 것이 일상적일 수 있습니다. 이것은 실질적인 중요성과 통계적 중요성의 차이에 도달합니다. 신뢰 구간, R과 같은 실질적인 중요성을 나타내는 척도 2 등은 표본 크기가 클 때 p-값보다 더 중요할 수 있습니다.
아주 작은 샘플에 대한 분석
이제 작은 샘플에 대한 결과를 고려합니다.
Exhibit 7의 막대 그래프와 빈도 분포를 보면 동전이 뒷면보다 앞면이 훨씬 더 많이 나온다는 분명한 증거처럼 보입니다. Kerrich 데이터의 50.67%에 비해 동전이 실제로 표본에서 62%의 시간 동안 앞면이 나왔습니다. 그러나 이전과 마찬가지로 추론은 다른 이야기를 할 것입니다.
전시 7 배포 결과 , 아주 작은 샘플
사실 p값은 모두 유의수준 0.05 이상이므로 동전이 공정하다는 귀무가설을 기각할 수 없습니다.
전시 8 매우 작은 샘플에 대한 추론
Exhibit 8의 신뢰 구간을 조사해보면 다시 한 번 알 수 있습니다. 표본 크기가 작기 때문에 신뢰 구간이 매우 넓습니다. 동전이 앞면이 나오는 시간의 비율에 대한 장기적 추정치의 간격은 0.48에서 0.74까지입니다. 이 간격에는 0.50 위 및 아래의 값이 포함되므로 공정한 동전을 배제할 충분한 증거가 없습니다.
도덕
샘플 크기는 통계적 추론에서 큰 역할을 합니다. 샘플 크기가 크면 차이를 감지할 수 있지만 그 차이는 실질적으로 중요하지 않을 수 있습니다. 샘플 크기가 작으면 무언가 진행되고 있는 것처럼 보일 때에도 차이(샘플과 귀무 가설 사이)를 감지하지 못할 수 있습니다. 큰 표본은 일반적으로 차이를 감지할 수 있는 힘이 크다는 것을 의미하는 반면 작은 표본은 일반적으로 낮은 검정력을 가집니다.
무작위로 생성된 데이터, 산점도 및 회귀를 사용하는 예는 이 아이디어를 더 잘 보여줍니다.
Kerrich Power.jmp에서 데이터를 생성하려면:
먼저 2,000행의 무작위 정규 값( 오류 )는 평균이 0이고 표준 편차가 1인 JMP 수식 편집기를 사용하여 생성되었습니다.
다음으로 x 값( x_big )이 생성되었습니다. 이 값은 1에서 8까지의 임의의 정수입니다.
마지막으로 y 값( y_big )은 임의의 정상 값( 오류 ) 및 x 값( x_big ).
선이 이 데이터에 맞지 않는 것처럼 보일 수 있지만 큰 데이터 세트(n = 2,000)는 약간의 놀라움을 제공합니다. Exhibit 9의 산점도에 추세가 보입니까?
전시 9 대규모 데이터 세트에 대한 산점도( y_big 그리고 x_big )
(분석, Y를 X로 맞춤, 사용 y_big Y, 응답 및 x_big X, 요인으로.) Exhibit 10에서 회귀선을 데이터에 맞춥니다. 선이 데이터에 맞습니까?
전시회 10 대규모 데이터 세트에 대한 회귀( y_big 그리고 x_big )
(Bivariate Fit 출력에서 빨간색 삼각형을 클릭하고 Fit Line을 선택하십시오.)
동안 R 2 0.056으로 5.6%에 불과합니다. y_big 다음을 사용한 회귀로 설명됩니다. x_big , p-값은 0.0001보다 작습니다(귀무 가설은 데이터에 추세가 없으며 대안은 데이터에 추세가 있다는 것입니다).
이것이 큰 샘플의 힘입니다. 작은 추세가 감지됩니다. 그러나 추세는 실질적으로 중요하지 않을 수 있습니다. 확실히 이것이 내 월급이 오르는 비율이라면 감명받지 않을 것입니다!
이제 큰 샘플에서 가져온 y 및 x 값이 있는 매우 작은 샘플을 살펴보겠습니다. 열 y_small 그리고 x_small 다섯 가지 관찰을 포함합니다.
그림 5의 플롯에서 데이터에 강한 선형 추세가 있는 것으로 나타납니다. 그러나 데이터의 명확한 패턴은 있지만 샘플 크기는 매우 작습니다(n = 5).
전시회 10 매우 작은 데이터 세트에 대한 회귀( y_small 그리고 x_small )
이 모든 것이 어디로 가고 있는지 추측했을 것입니다.
반면 R 2 64.2%로 변동이 많다는 것을 나타냅니다. y_small 에 대한 회귀로 설명할 수 있습니다. x_small , p-값은 0.1031입니다. 이는 선이 데이터에 적합하다는 약한 증거(기껏해야)만 있음을 의미합니다. 그래서 무슨 일이 일어나고 있습니까?
작은 데이터 세트의 경우 선이 데이터에 맞는 것처럼 보이지만 명백한 패턴에 대한 대체 설명으로 기회를 배제할 수 없습니다. P-값은 우연이 이와 같은 패턴을 생성할 수 있는 확률을 평가하는 방법입니다. 패턴이 있는 것처럼 보이지만 포인트가 서로의 진정한 관계 없이 무작위로 생성된 경우 패턴이 이렇게 강하거나 더 강할 수 있는 확률은 10.04%입니다. x_small 그리고 y_small .
요약
통계적 통찰력
큰 샘플은 미묘한 패턴을 감지할 수 있지만 때때로 이러한 패턴은 실질적으로 중요하지 않습니다. p-값이 매우 작다고 해서 항상 중요한 일이 발생하고 있음을 의미하는 것은 아닙니다. 특히 표본 크기가 큰 경우에는 더욱 그렇습니다. 작은 샘플은 상대적으로 명확한 패턴을 나타낼 수 있지만 패턴이 실제이며 우연한 변화에 의해 생성되지 않았는지 확신할 수 없습니다. 큰 p-값이 항상 아무 일도 일어나지 않는다는 것을 의미하지는 않습니다. 특히 샘플 크기가 작을 때 그렇습니다.
시사점
과학에서 가장 유익한 결과 중 일부는 그 결과가 검정력 및 표본 크기에 대해 언급한 것과 모순되는 것처럼 보일 때 발생합니다. 표본 크기가 매우 작은 파일럿 연구에서 관찰 가능한 효과를 발견하는 경우가 많습니다. 그러한 경우에 과학자들은 테스트의 낮은 검정력에도 불구하고 무언가가 발견되었기 때문에 p-값이 특별히 작지 않을 수 있음에도 불구하고 종종 격려를 받습니다. 이러한 결과는 종종 더 큰 연구를 통해 더 추구할 가치가 있습니다.
반면에 때때로 거대한 표본 크기를 포함하는 여러 연구에서 효과를 찾지 못했습니다. 비록 우리가 귀무가설을 결코 긍정할 수는 없지만, 여러 대규모 연구가 모두 효과에 대한 증거를 제시하지 못할 때 어느 시점에서 우리는 그 주장에 대해 매우 회의적이어야 합니다.
예를 들어, 많은(대부분은 아니지만) 농구 팬들은 일부 선수들이 뜨거운 연속 슈팅과 차가운 연속 슈팅을 가지고 있다고 생각합니다. 인지 심리학자 그룹은 NBA의 여러 대규모 데이터 세트를 사용하여 이 주장의 다양한 버전을 테스트했습니다. 그들은 연속 슈팅의 증거를 찾지 못했습니다("The Cold Facts About the 'Hot Hand' in Basketball"," Amos Tversky and Thomas Gilovich, Chance, Vol. 2,1989, Pages 16-21). 연속 촬영이 발생하지 않는다고 말할 수는 없지만(즉, 귀무 가설을 확인하는 것을 의미함), 서로 다른 데이터 세트의 수, 데이터 세트의 큰 샘플 크기, 사람들이 무작위 패턴을 잘못 인식하는 이유에 대한 설명이 결합되어 극도의 회의론을 불러일으키는 이유 연속 촬영을 현상으로 향합니다.
표본 크기가 작을 때(결과적으로 검정력이 낮음) 효과의 증거를 찾는 것이 중요할 수 있습니다. 표본 크기가 큰 경우(그래서 검정력이 높음) 효과를 찾지 못하는 것은 주목할 가치가 있습니다.
JMP ® 기능 및 힌트
이 사례에서는 분포 플랫폼을 사용하여 막대 차트와 빈도 분포를 생성하고, 비율에 대한 신뢰 구간을 생성하고, 적합도 테스트를 수행했습니다.
수식 편집기는 회귀 상황에서 표본 크기 및 검정력과의 관계를 설명하기 위해 무작위 데이터를 생성하는 데 사용되었습니다. Fit Y by X를 사용하여 산점도를 생성하고 회귀선을 맞추었습니다.
수업 과정
- Kerrich 동전 뒤집기 운동( 케리치.jmp ), 모집단은 무엇이며 표본은 무엇입니까? 샘플이 단순 무작위 샘플입니까? 표본이 단순무작위표본이 아니라면 대표표본이라고 생각하는가? 그 이유는 무엇? 동전 던지기가 독립적이라고 생각하십니까?
- Pearson 검정 통계의 이름을 딴 유명한 통계학자인 Karl Pearson은 동전을 24,000번 던져 12,012개의 앞면이 나왔습니다. JMP에서 데이터 테이블을 만들고 위에서 수행한 것과 유사한 이 데이터 분석을 수행합니다. 당신의 귀무가설은 무엇입니까? 어떤 결론을 내릴 수 있습니까?
- 대규모 샘플 예에서 우리는 251,000개의 앞면과 249,000개의 뒷면을 관찰했습니다. 우리는 250,000개의 앞면과 250,000개의 뒷면을 볼 것으로 예상했을 것입니다.
- 다음 공식을 사용하여 우도 비율과 Pearson 테스트 통계를 확인합니다.
- 많은 교과서에서는 다음 검정 통계량을 사용하여 한 비율(공정한 동전의 경우)이 포함된 검정을 수행합니다.
호: p = p 영형 ~ 대
하: p ≠ p 영형
이 검정의 경우 검정 통계량은 다음과 같습니다. 표본에서 머리의 비율은 어디에 있습니까? 머리의 가정된 비율이고, N 샘플 크기입니다.
컴퓨팅 지 그리고 확인합니다. 즉, 이것이 Pearson 검정 통계량의 또 다른 형태인지 확인합니다(p-값이 동일한지 확인할 수도 있음).
