주요 아이디어
실제 중요성과 통계적 중요성, 저전력
배경
존 케리치(John Kerrich)는 제2차 세계대전 당시 덴마크의 포로 수용소에 갇힌 영국의 수학자였습니다. 이로 인해 그의 달력이 상당히 자유로워졌습니다. 그는 시간을 보내기 위해 일련의 확률 실험을 수행했습니다.
대부분의 통계학자들은 동전이 공정하다고 주장하며, 이는 Kerrich에게 이 주장을 테스트할 기회를 제공했습니다. 그는 동전을 10,000번 던져 앞면이 5,067번, 뒷면이 4,933번 나올 시간을 가졌습니다. 생명과학에서의 통계학 실습 , 제2판, Baldi 및 Moore, 페이지 209).
작업
이것이 공정한 동전인지 판단하십시오. "공정하다"는 것은 앞면과 뒷면이 발생할 가능성이 동일하다는 것을 의미합니다.
자료 케리치.jmp
데이터 세트에는 결과와 각 결과에 대한 개수가 포함됩니다.
결과 머리 또는 꼬리
개수 10,000번의 뒤집기에서 앞면과 뒷면의 수
분석
우리는 10,000번의 뒤집기에서 앞면과 뒷면의 빈도를 탐색하는 것부터 시작합니다.
전시 1 결과 분배
(분석 > 분포; 선택 결과 Y, 열 및 세다 Freq로 선택하고 확인을 클릭합니다.가로 레이아웃의 경우 위쪽 빨간색 삼각형 아래에서 스택을 선택합니다.)
물론 동전은 나타납니다 공평하게 말하자면, 표본에는 대략 같은 수의 앞면과 뒷면이 있습니다.
95% 신뢰 구간(도표 2)은 앞면이 나올 가능성이 가장 높은 확률이 0.4969에서 0.5165 사이임을 나타냅니다.
그림 2 결과에 대한 신뢰 구간
(분포 출력에서 아래쪽 빨간색 삼각형을 클릭하고 신뢰 구간 > 0.95를 선택합니다.)
이러한 데이터는 공정한 동전에서 볼 수 있는 결과와 일치합니다. 그러나 우리는 동전이 공정하다고 말할 수 없습니다. 귀무가설을 확인할 수 없습니다.
가설 검정은 적합도 검정입니다.
호: 동전은 공평해요.
하: 동전이 공평하지 않아요.
적합도 테스트(Exhibit 3)는 모두 0.1802의 p-값을 제공합니다. 우리는 그 동전이 공정하지 않다는 증거를 갖고 있지 않습니다. 다시 말하지만, 귀무가설을 확인하는 것을 피하기 위해서는 이중부정이 필요합니다.
증거 3 결과에 대한 적합도 테스트
(분포 출력에서 아래쪽 빨간색 삼각형을 클릭하고 확률 테스트를 선택합니다. 앞면과 뒷면 모두에 대한 가설 확률에 0.5를 입력하고 완료를 클릭합니다.)
적합도 테스트의 작동 방식
우도비(Likelihood Ratio)와 Pearson 검정은 모두 관측된 개수를 비교합니다( 영형 나 )를 예상 개수(e 나 ). 이 경우 관측된 머리 수는 5,067개입니다( 영형 머리 ) 및 꼬리의 경우 4,933( 영형 꼬리 ). 앞면과 뒷면 모두에 대한 예상 개수( 이자형 머리 그리고 이자형 꼬리 )은 5,000입니다.
우도 비율 테스트 통계가 다음과 같은지 (연습) 확인할 수 있습니다.
Pearson 테스트 통계는 다음과 같습니다.
검정력 및 표본 크기
이 상황에서 데이터에 대한 기본 분석은 매우 간단하지만 간단한 맥락에서 몇 가지 중요한 아이디어를 탐색할 수 있는 기회를 제공합니다. 샘플 크기가 매우 다른 두 개의 다른 데이터 세트를 고려해 보겠습니다.
전시 4 작은 샘플(Small Count)과 매우 큰 샘플(Large Count)
작은 데이터 세트의 경우 표본 비율 머리는 0.62이고, 큰 데이터 세트의 경우 표본 비율은 0.502입니다. 어느 것이 해당 코인이 불공정하다는 더 강력한 증거를 제공할 수 있나요? 가설 검정의 일부 측면에 익숙해지기 전까지는 결과가 놀라울 수 있습니다.
대형 샘플 분석
확실히 동전은 공정해 보입니다(자료 5). 그래프에서 앞면 또는 뒷면 중 어느 쪽이 더 자주 발생하는지 구분하기는 어렵습니다. 실제로 앞면이 나오는 경우는 50.2%에 불과했습니다. 이 동전은 초심자에게는 John Kerrich가 뒤집은 동전보다 훨씬 더 공정해 보입니다.
전시 5 배포 결과
추론은 다른 이야기를 들려줍니다. 실제로, 해당 코인이 공정하지 않다는 주장에 대한 강력한 증거가 있습니다(자료 6).p-값은 0.0047입니다!
전시 6 대규모 표본에 대한 추론
이것은 실수입니까? 아니요. 신뢰 구간은 실제로 이 주장을 뒷받침합니다. 간격 추정치는 동전이 장기적으로 앞면이 나올 확률이 50.006%에서 50.34% 사이라는 것입니다. 간격은 50%를 제외하므로 코인은 랜드 헤드에 로드됩니다.
이것이 이상한 결과처럼 보인다면 대규모 표본이 가설 검정에 미치는 영향에 익숙하지 않을 수도 있습니다. 통계 검정은 표본 크기가 클 때 귀무 가설에서 매우 작은 편차를 탐지할 수 있는 힘을 가지고 있습니다. 여기서 귀무가설은 동전은 공정하고 동전은 공평하지 않은 것으로 보인다는 것입니다. 물론 동전이 그다지 불공평하지는 않지만 앞면에 약간의 편견이 있는 것으로 보입니다. 이것은 공정한 동전이 실제로 의미하는 것일 수도 있고 아닐 수도 있습니다. 귀하와 귀하의 룸메이트가 이 동전을 사용하여 쓰레기를 버리는 사람을 결정한다면 이 동전은 완벽하게 공평할 수 있습니다. 그러나 카지노가 앞면에 돈을 걸기 위해 이 동전을 사용하고 고객이 뒷면에 돈을 걸고 시간당 10달러의 100,000번의 베팅이 있다면 이는 카지노를 큰돈으로 만들 수 있습니다.
통계에서 가설 검정의 검정력은 귀무 가설이 거짓일 때 검정이 귀무 가설을 기각할 확률입니다. 표본 크기가 크면 테스트의 검정력이 높습니다. 실제로 표본 크기가 매우 큰 경우 귀무 가설을 기각하는 것이 일상적일 수 있습니다. 이는 실질적인 중요성과 통계적 중요성 사이의 차이를 가져옵니다. 신뢰 구간, R과 같은 실질적인 중요성을 나타내는 측정값 2 , 등은 표본 크기가 클 때 p-값보다 더 중요할 수 있습니다.
매우 작은 샘플에 대한 분석
이제 작은 표본에 대한 결과를 고려합니다.
예시 7의 막대 차트와 빈도 분포를 보면 동전이 뒷면보다 앞면이 훨씬 더 많이 나온다는 분명한 증거처럼 보입니다. Kerrich의 데이터에서는 50.67%에 비해 동전이 실제로 샘플에서 앞면이 나온 비율은 62%였습니다. 그러나 이전과 마찬가지로 추론은 다른 이야기를 들려줄 것입니다.
전시 7 배포 결과 , 매우 작은 샘플
실제로 p-값은 모두 유의 수준 0.05보다 높으므로 동전이 공정하다는 귀무가설을 기각할 수 없습니다.
전시 8 매우 작은 표본에 대한 추론
증거 8의 신뢰 구간을 조사하면 다시 드러납니다. 표본 크기가 작기 때문에 신뢰 구간이 매우 넓습니다. 동전의 앞면이 나올 시간의 비율에 대한 장기 추정치의 간격은 0.48에서 0.74입니다. 이 간격에는 0.50보다 크고 작은 값이 포함되어 있으므로 실제로 공정한 동전을 배제할 충분한 증거가 없습니다.
도덕
표본 크기는 통계적 추론에서 큰 역할을 합니다. 표본 크기가 크면 차이를 감지할 수 있지만 그 차이는 실제적으로 중요하지 않을 수 있습니다. 표본 크기가 작으면 무슨 일이 일어나고 있는 것처럼 보이더라도 표본과 귀무 가설 사이의 차이를 감지하지 못할 수 있습니다. 표본이 크다는 것은 일반적으로 차이를 탐지할 수 있는 검정력이 크다는 것을 의미하는 반면, 표본이 작다는 것은 일반적으로 검정력이 낮다는 것을 의미합니다.
무작위로 생성된 데이터, 산점도 및 회귀를 사용한 예는 이러한 아이디어를 더욱 잘 보여줍니다.
Kerrich Power.jmp에서 데이터를 생성하려면 다음을 수행하십시오.
먼저, 2,000행의 임의 정규 값( 오류 )은 JMP 공식 편집기를 사용하여 생성되었으며 평균은 0이고 표준 편차는 1입니다.
다음으로, x 값( x_big )이 생성되었습니다. 이 값은 1부터 8까지의 임의의 정수입니다.
마지막으로, y 값( y_big )는 임의의 정규 값( 오류 ) 및 x 값( x_big ).
이 데이터에 맞는 선이 없어 보일 수도 있지만 빅 데이터 세트(n = 2,000)는 몇 가지 놀라운 결과를 낳습니다. Exhibit 9의 산점도에서 추세를 볼 수 있습니까?
전시 9 대규모 데이터 세트에 대한 산점도( y_big 그리고 x_big )
(분석하고 Y를 X로 맞춤; 사용 y_big Y, 응답 및 x_big X, 요인으로.) Exhibit 10에서는 데이터에 회귀선을 적용했습니다. 선이 데이터에 적합합니까?
전시 10 대규모 데이터 세트에 대한 회귀( y_big 그리고 x_big )
(이변량 적합 출력에서 빨간색 삼각형을 클릭하고 적합선을 선택합니다.)
반면 R 2 0.056에 불과해 변동의 5.6%에 불과합니다. y_big 을 사용한 회귀로 설명됩니다. x_big , p-값은 0.0001보다 작습니다(귀무가설은 데이터에 추세가 없다는 것이고 대안은 데이터에 추세가 있다는 것입니다).
이것이 바로 대규모 샘플의 힘입니다. 작은 추세가 감지됩니다. 그러나 추세는 실제적으로 중요하지 않을 수 있습니다. 확실히, 이것이 내 월급이 오르는 비율이라면 나는 감동받지 않을 것입니다!
이제 큰 샘플에서 가져온 y 및 x 값이 포함된 매우 작은 샘플을 살펴보겠습니다. 열 y_small 그리고 x_작은 5개의 관측치를 포함합니다.
전시 5의 플롯에서는 데이터에 강한 선형 추세가 있는 것으로 보입니다. 그러나 데이터의 패턴은 분명하지만 표본 크기는 매우 작습니다(n = 5).
전시 10 매우 작은 데이터 세트에 대한 회귀( y_small 그리고 x_작은 )
나는 당신이 이 모든 것이 어디로 가는지 짐작했을 것이라고 확신합니다.
반면 R 2 64.2%로 변동폭이 크다는 것을 알 수 있다. y_small 회귀분석으로 설명할 수 있다. x_작은 , p-값은 0.1031입니다. 이는 선이 데이터에 적합하다는 (기껏해야) 약한 증거만 있음을 의미합니다. 무슨 일이 일어나고 있는 걸까요?
작은 데이터 세트를 사용하면 선이 데이터에 적합한 것처럼 보이지만 명백한 패턴에 대한 대안적인 설명으로 우연을 배제할 수는 없습니다. P-값은 우연이 이와 같은 패턴을 생성할 수 있는 확률을 평가하는 방법입니다. 패턴이 있는 것처럼 보이지만 포인트가 서로 실제 관계 없이 무작위로 생성된 경우 이렇게 강력하거나 더 강한 패턴을 얻을 수 있는 확률은 10.04%입니다. x_작은 그리고 y_small .
요약
통계적 통찰력
큰 샘플은 미묘한 패턴을 감지할 수 있으며 때로는 이러한 패턴이 실제로 중요하지 않은 경우도 있습니다. p-값이 매우 작다고 해서 항상 중요한 일이 발생하고 있다는 의미는 아닙니다. 특히 표본 크기가 클 경우에는 더욱 그렇습니다. 작은 샘플은 상대적으로 명확한 패턴을 나타낼 수 있지만 패턴이 실제이고 우연한 변화로 인해 생성된 것이 아니라고 확신할 수 없습니다. p-값이 크다고 해서 항상 아무 일도 일어나지 않는다는 의미는 아닙니다. 특히 표본 크기가 작은 경우에는 더욱 그렇습니다.
시사점
과학에서 가장 유익한 결과 중 일부는 결과가 우리가 검정력과 표본 크기에 대해 언급한 내용과 모순되는 것처럼 보일 때 발생합니다. 표본 크기가 매우 작은 예비 연구에서는 관찰 가능한 효과를 발견하는 경우가 많습니다. 그러한 경우, p-값이 특별히 작지는 않더라도 과학자들은 종종 격려를 받습니다. 왜냐하면 테스트의 낮은 검정력에도 불구하고 무언가가 발견되었기 때문입니다. 이러한 결과는 더 큰 규모의 연구를 통해 추가로 추구할 가치가 있는 경우가 많습니다.
반면에, 대규모 표본 크기를 포함하는 여러 연구에서는 효과를 찾지 못하는 경우도 있습니다. 귀무가설을 결코 긍정할 수는 없지만 여러 대규모 연구에서 모두 효과에 대한 증거가 나오지 않으면 어느 시점에서는 그 주장에 대해 매우 회의적이어야 합니다.
예를 들어, (대부분은 아니지만) 많은 농구 팬은 일부 선수가 연속 슈팅을 기록하고 있다고 믿습니다. 인지 심리학자 그룹은 NBA의 여러 대규모 데이터 세트를 사용하여 이 주장의 다양한 버전을 테스트했습니다. 그들은 연속 슈팅의 증거를 발견하지 못했습니다(“농구에서 '핫 핸드'에 관한 냉담한 사실,” Amos Tversky 및 Thomas Gilovich, Chance, Vol. 2, 1989, 페이지 16-21). 연속 사격이 발생하지 않는다고 말할 수는 없지만(이는 귀무 가설을 확인하는 것을 의미함) 다양한 데이터 세트의 수, 데이터 세트의 큰 표본 크기, 사람들이 무작위 패턴을 잘못 인식하는 이유에 대한 설명이 결합되어 극도의 회의론을 낳습니다. 현상으로 연속 촬영을 향해.
표본 크기가 작고 결과적으로 검정력이 낮은 경우 효과에 대한 증거를 찾는 것이 중요할 수 있습니다. 표본 크기가 크면(따라서 검정력이 높음) 효과를 찾지 못하는 것은 주목할 가치가 있습니다.
JMP ® 기능 및 힌트
이 사례에서는 분포 플랫폼을 사용하여 막대 차트와 빈도 분포를 생성하고, 비율에 대한 신뢰 구간을 만들고, 적합도 테스트를 수행했습니다.
회귀 상황에서 표본 크기 및 검정력과의 관계를 설명하기 위해 공식 편집기를 사용하여 무작위 데이터를 생성했습니다. 우리는 Fit Y by X를 사용하여 산점도를 생성하고 회귀선을 맞추었습니다.
수업 과정
- Kerrich 동전 뒤집기 운동의 경우 ( 케리치.jmp ), 모집단은 얼마이고 표본은 무엇입니까? 표본은 단순임의 표본인가? 표본이 단순임의표본이 아니라면 대표표본이라고 생각하시나요? 그 이유는 무엇? 동전 뒤집기가 독립적이라고 생각하시나요?
- 피어슨 테스트 통계의 이름을 딴 유명한 통계학자인 칼 피어슨(Karl Pearson)은 동전을 24,000번 던져 앞면이 12,012번 나왔습니다. JMP에서 데이터 테이블을 생성하고 위에서 수행한 것과 유사한 데이터 분석을 수행합니다. 귀무 가설은 무엇입니까? 어떤 결론을 내릴 수 있나요?
- 대규모 샘플 예에서 우리는 251,000개의 앞면과 249,000개의 꼬리를 관찰했습니다. 우리는 (공정한 동전의 경우) 250,000개의 앞면과 250,000개의 뒷면을 볼 것으로 예상했을 것입니다.
- 다음 공식을 사용하여 우도 비율과 Pearson 테스트 통계를 확인합니다.
- 많은 교과서에서는 한 비율(공정한 동전의 경우)을 포함하는 테스트를 수행하기 위해 다음 테스트 통계를 사용합니다.
호: p = p 영형 ~ 대
하: p ≠ p 영형
이 검정의 검정 통계량은 다음과 같습니다. 표본의 머리 비율은 어디에 있습니까? 는 머리의 가정된 비율이며, N 표본 크기입니다.
컴퓨팅 지 그리고 확인합니다. 즉, 이것이 Pearson 테스트 통계의 또 다른 형태인지 확인합니다(p-값이 동일한지 확인할 수도 있음).
