우리 모두는 누군가가 "옳지 않다"고 말하는 것을 들었습니다. 도전할 만큼 중요하지 않거나 화자와 갈등을 일으키고 싶지 않기 때문에 그냥 내버려 두는 경우가 있습니다.
이것은 내가 생각하기에 "비참할 정도"라고 생각하는 일련의 통계 진술 중 첫 번째입니다. 나는 처음에 다른 사람들로부터 피드백을 받기 위해 커뮤니티 토론 포럼에 이러한 진술을 게시하고 있습니다. 다행스럽게도 여러분 중 몇 분(커뮤니티 구성원에게 외침) @dale_lehman , @P_Bartell , @statman , @ih , @게오르그 , 그리고 @brady_brady ) 매우 사려 깊고 통찰력 있는 답변을 제공했습니다. 계속 해주십시오 토론 ! 오늘 게시한 두 번째 Cringeworthy Statistics 토론을 찾아보세요!
그리고 이 첫 번째 진술이 오글거릴 만한 이유에 대한 제 생각을 읽어보세요.
소개
통계의 세계에서 나의 "애완 동물" 중 하나는 가설 테스트와 관련된 가장 기본적인 진술과 관련이 있습니다. 종종 t-테스트(또는 ANOVA)가 상대적으로 높은 p-계수로 끝나면 통계학자/분석가는 "우리는 p>0.05이므로 두 모집단의 평균이 다르다는 것을 증명할 수 없습니다. 따라서 우리는 인구의 의미가 같다고 결론을 내립니다."
그 말의 전반부는 맞습니다. p>0.05(그리고 95% 신뢰도를 찾고 있고 표본이 정규 분포 모집단에서 나왔고...)인 경우 두 모집단의 평균이 다르다는 결론을 내릴 수 없습니다.
그러나 그것은 두 모집단의 수단이 동일하다는 것을 의미하지는 않습니다! 나는 이 말을 더 잘 알아야 할 사람들로부터도 항상 듣습니다. 이 잘못된 결론으로 바로 미끄러지기가 너무 쉽습니다. 청취자가 통계에 익숙하지 않으면 피해를 줄 수 있습니다!
간단한 예: 남성 대 여성의 평균 키
간단한 예로, 성인 남성의 키가 성인 여성의 키와 다른지 확인하고 싶다고 가정해 보겠습니다. 자원이 한정되어 있어 이 테스트에서 남성 3명과 여성 3명의 키만 측정할 수 있습니다. 우리는 거리에서 무작위로 세 명의 남성과 세 명의 여성을 멈추고 키를 측정합니다(아래 참조).
우리는 사용 JMP 의 Fit Y by X 플랫폼은 t-테스트를 수행하여 두 샘플의 평균을 비교합니다. 결과 p-값은 0.7096입니다. 결론에 대해 95%의 신뢰도를 원한다고 가정하고 p>0.05이므로 표본이 다른 평균을 가진 모집단에서 나온다고 95% 확신할 수 없다는 결론을 내립니다. 즉, 이 샘플을 기반으로 남성의 평균 키가 여성과 다르다고 말할 수 없습니다.
그러나 이것이 남성과 여성의 평균 키가 같다는 의미는 아닙니다. (찾아보시면 됩니다... 에 따르면 오늘의 의료 뉴스 , 2017년 남성의 평균 키는 67인치였습니다. 그리고 에 따르면 클리블랜드 클리닉 , 2018년 여성의 평균 키는 64인치였습니다.)
왜 이런 일이 일어났습니까? t-검정에서 남성이 (평균적으로) 여성보다 키가 크다는 것을 증명하지 못한 이유는 무엇입니까? 샘플링 때문입니다. 우리는 모든 남성과 모든 여성을 측정할 수 없기 때문에 이 테스트를 위해 각각 3개만 샘플링하기로 선택했습니다. 우리는 우연히 평균 키 정도의 남성 3명을 선택했지만 무작위로 선택된 여성 3명은 평균보다 약간 키가 컸습니다. 이를 측정 범위와 결합하면 남성과 여성의 실제 평균 키가 어디에 있는지에 대한 상당한 불확실성이 발생하여 높은 p-값이 발생했습니다.
이것은 "큰일"입니까?
예, 저는 이것이 실제로 큰 문제가 될 수 있다고 믿습니다! 보다 실용적이고 산업적인 예를 들어 보겠습니다. 약병에 분말을 채우는 기계가 있다고 가정해 보겠습니다. 귀사는 용량을 확장하기를 원하므로 두 번째 기계를 구입합니다. 기계 B가 기계 A와 같은 무게로 채우고 있는지 확인하라는 요청을 받았습니다.
빠른 테스트를 실행하고 머신 A에서 여러 바이알을 샘플링하고 머신 B에서 여러 바이알을 샘플링하고 t-테스트를 실행합니다. 0.35의 p-값으로 돌아옵니다. 상사에게 가서 기계가 동일한 충전 수준을 생산하고 있다고 말해야 합니까? 아니! 그렇게 하면 실수할 위험이 있습니다. 기계 B에서 나오는 모든 바이알의 평균 충진 중량이 실제로 기계 A보다 높다면 "무료" 재료를 제공함으로써 회사 비용이 발생합니다. B가 실제로 A보다 평균 충전 중량이 더 낮다면 고객을 불행하게 만들 위험이 있습니다.
우리는 그것에 대해 무엇을 할 수 있습니까?
평균의 확실성을 높이려면 샘플 크기를 늘리십시오. 이것은 또한 남성과 여성의 키 비교에 대한 보다 정확한 평가를 제공합니다. 그러나 여전히 두 모집단이 다르다는 것이 증명되었거나 다르다는 것이 증명되지 않았다는 것만 선언할 수 있는 문제에 직면해 있습니다. 당신은 그들이 "동일하다"고 결론을 내리는 것이 아닙니다.
동등성 검정(여러 t-검정 포함)을 실행할 수도 있습니다. 관심있으시면 안내해드릴께요 자세한 내용은 여기 . 동등성 테스트는 이 게시물의 범위를 벗어나므로 그대로 두겠습니다.
결론
따라서 요점은 무언가가 다르다는 것을 증명하기 위해 t-테스트(또는 ANOVA)를 사용할 수 있지만 무언가가 동일하다는 것을 증명하기 위해 (적어도 그 자체로는) 사용할 수 없다는 것입니다. 신청서에 실수가 없도록 용어와 결론에 주의하십시오!
과거에 이러한 진술을 했다면 기분 나빠하지 마십시오. 제 경험상 이것은 매우 쉽고 흔한 실수입니다. (완전 폭로: 제가 직접 만들어서 죄를 지었습니다!) 그래서 이 말은 저보다 앞서 많은 분들이 많이 하셨지만 반복해서 말씀드려야 할 것 같습니다.
