통계적 검정력은 모집단에 효과가 있을 경우 이를 감지하는 능력입니다. Firebolt가 Nimbus 2001보다 빠른지 테스트한다고 가정해 보겠습니다. 물론 그렇습니다. 하지만 통계적으로 이를 수행해 보겠습니다. 통계적 검정력은 실제로 빗자루 속도에 차이가 있을 때 널(H0: 속도에 차이가 없음)을 기각할 확률입니다.
가설 검정
검정력을 이해하려면 가설 검정을 이해해야 합니다. t-테스트나 F-테스트와 같은 기본 추론 테스트를 사용할 때 우리는 관찰한 차이가 다음과 같이 말할 만큼 극단적인지 묻습니다. 예쁜 확실히 그것은 차이가 없는 인구에서 나온 것이 아니었습니다. a) 차이가 없는 모집단에서 무작위로 추출한 경우 이 샘플 데이터를 얻을 확률 b) 우리가 선택한 일부 임계값을 비교하여 충분히 희귀한지 여부를 결정합니다. — 알파(보통 0.05, 일명 5%)라고 합니다.
나는 Firebolt와 Nimbus 사이의 평균 12MPH 차이를 발견했습니다(젠장, Malfoy). 모집단에서 Firebolt와 Nimbus 사이에 차이가 없다면 차이가 12 이상인 샘플을 얻을 가능성은 얼마나 됩니까? 이것이 우리의 p-값입니다. 그런 다음 p-값을 알파와 비교합니다. p-값이 알파보다 작으면 귀무 가설을 기각합니다.
제1종 오류(알파)
아래 그림에서 수직선은 알파 레벨을 나타냅니다. 널(H0) 분포 영역의 5%가 수직선의 오른쪽에 위치하도록 배치됩니다. 알파를 선택할 때 null이 true이고 Firebolt와 Nimbus 사이에 차이가 없다면 5%의 확률로 null을 거부할 만큼 충분히 큰 차이가 있는 샘플 데이터를 얻게 될 것입니다. null이 true인 경우에도 마찬가지입니다. 이것은 제1종 오류 — null이 사실임에도 불구하고 null을 거부할 확률입니다. 제1종 오류 비율은 우리가 통제합니다. 그것은 항상 우리가 선택하는 알파가 될 것입니다!
제2종 오류(베타)
또한 이 그림에서는 대립 가설 분포 Ha를 볼 수 있습니다. 이 예에서 이는 Firebolt와 Nimbus의 속도 간에 특정 차이가 있는 경우 간의 차이 분포입니다. 이는 Null 분포와 더 중요하게는 수직선과 겹칩니다. 배포판에 관계없이 속도의 차이는 왼쪽 수직선이 있으면 null을 거부할 수 없게 되며, 오른쪽 수직선이 있으면 null이 거부됩니다. 그래서 때로는 null을 거부해야 함에도 불구하고 (Ha가 참이기 때문에) 거부하지 못할 수도 있습니다. 이는 위 그림의 격자 영역(레이블이 지정됨)에서 발생합니다. Β ). Β 우리를 나타냅니다 제2종 오류 — 모집단에서 null이 거짓임에도 불구하고 null을 거부하지 못할 확률입니다.
올바른 결정을 내리기
제1종 및 제2종 오류는 모집단과 일치하지 않는 결정을 내릴 때 발생하지만 올바른 선택을 할 수도 있습니다! 귀무 가설을 올바르게 유지할 수 있습니다. — 그것이 거짓이라면 — 아니면 귀무가설을 올바르게 기각할 수 있습니다. — 그것이 사실이라면. 선 왼쪽의 Null 분포 비율은 Null이 참이고 Null을 올바르게 유지하는 시간을 나타냅니다. Null이 실제로 참일 때 이런 일이 발생할 확률은 1-알파입니다.
모집단에서 실제로 false인 경우 null을 올바르게 거부할 수도 있습니다. 대체 분포는 Null 가설이 거짓인 시간을 나타냅니다. 따라서 해당 분포의 선 오른쪽에 있는 모든 항목은 Null을 올바르게 거부하는 시간을 나타냅니다. 이것이...드럼롤이...우리의 통계적 힘이다 — 실제로 효과가 있는 경우 효과를 올바르게 감지하는 능력은 1-베타입니다.
많은 참가자를 운영하고, 빗자루를 날리고, 세포 접시를 키우는 데 시간을 할애하려면 힘이 매우 중요합니다. 실제로 차이가 있는 경우 이를 통계적으로 감지할 수 있는지 확인하고 싶을 것입니다. 시각적으로 보면 분포가 더 많이 겹칠수록 더 많은 대체 분포가 알파 차단 왼쪽에 있기 때문에 전력이 줄어드는 것을 알 수 있습니다.
몇 가지 사항이 분포의 중첩에 영향을 미칠 수 있습니다. — 그러므로 힘. 그것들을 살펴보겠습니다:
효과 크기 : 효과 크기는 두 분포 사이의 간격에 영향을 미칩니다. 빗자루의 차이가 12MPH인 경우 4MPH 차이보다는 감지하기 쉽지만 34MPH 차이보다는 감지하기가 더 어렵습니다. 우리는 효과 크기를 제어할 수 없으므로 이를 사용하여 힘을 변경할 수 있는 능력에 대해 별 5개 중 1개를 주겠습니다.
알파 : 알파는 p-값의 비교 수준입니다. 알파 = 0.10이면 선을 왼쪽으로 이동하게 되며, 이는 더 많은 대체 분포가 선의 오른쪽으로 이동하여 검정력이 증가함을 의미합니다. 그러나 제1종 오류를 범할 가능성도 높아집니다. 필드에는 일반적으로 알파에 대한 자체 표준(0.05가 널리 사용됨)이 있으므로 알파를 변경하는 유일한 실제 방법은 양측 테스트에서 단측 테스트로 전환하는 것입니다.
양측 테스트를 수행할 때 실제로 알파를 두 개로 분할합니다. 하나는 아래쪽 꼬리용이고 다른 하나는 위쪽 꼬리용입니다. 알파가 0.05인 경우 분포의 상위 2.5%와 분포의 하위 2.5%가 "Null 거부" 영역에 있게 됩니다. 분할하지 않으면 5%가 모두 하나가 될 수 있음을 의미합니다. — 이는 덜 극단적인 값이 여전히 거부 영역에 있음을 의미합니다. 아래 줄이 있지만 격자로 표시되지 않은 영역에 있는 모든 항목은 양측 테스트에서는 null을 거부하지 않지만 단측 테스트에서는 null을 거부하는 샘플의 예입니다. 때로는 이것이 타당하지만 단측 테스트를 사용할 때 사람들은 회의적일 수 있습니다.
표본의 크기 : 아, 표본 크기군요. 연구원의 가장 친한 친구. 표본 크기를 늘리는 것은 완전히 통제할 수 있으며 Null 및 대체 분포를 압축하여 더 날씬하게 만듭니다(Kardashian 허리 훈련을 생각해 보세요). 얇을수록 겹치는 경향이 줄어듭니다. 이는 더 큰 표본의 평균이 작은 표본의 평균보다 모집단 평균에 더 가까운 경향이 있기 때문입니다(데이터가 많을수록 모집단 평균을 잘못 추정할 가능성이 적음을 의미합니다. 이 특성을 "점근적 일관성"이라고 함). 더 좋은 소식은 모집단이 정규 분포를 따르지 않더라도 표본이 커지면 평균 분포가 더 정규 분포를 이룬다는 것입니다. #중심극한정리로의 회귀.
수학적인 이유는 표본 평균 분포의 오류 항이 표준 오류 또는 (차이에 대한 합동 표준 편차)이며 둘 다 분모의 분모에 n이 있기 때문입니다. — 이야 그거 한 입이구나! 기본적으로 n이 클수록 표준 오류/합동 표준 편차는 작아집니다(이로 인해 분포가 압박됩니다. 데이터가 많을수록 좋습니다). 두 그룹 간의 차이가 동일하더라도 오류 항이 작을수록 t-값은 더 커집니다!
데이터를 수집할 때 일반적으로 이러한 값 중 일부(보통 알파 및 효과 크기가 설정됨)를 전달받고 나머지는 계산하도록 남겨둡니다. 1온스의 콘 크기 차이를 80%의 확률로 감지하려면 얼마나 많은 아이스크림 콘을 테스트해야 합니까? 이러한 요인(알파, n, 효과 크기, 표준 편차)에 숫자를 연결하면 통계적 검정력을 계산할 수 있습니다. 또는 목표 검정력(효과가 있는 경우 얼마나 자주 감지할 수 있어야 합니까?)을 지정하고 필요한 표본 크기를 계산할 수 있습니다. 하지만 연필과 계산기를 꺼내기 전에 다음 도구를 사용하여 이 모든 작업을 수행할 수 있습니다. JMP '에스 표본 크기 및 검정력 계산기 !
참고: 이 기사의 버전은 원래 우리의 친구 부분 파생 .
