우리는 모두 누군가가 "옳지 않은" 말을 하는 것을 들어본 적이 있습니다. 때로는 이의를 제기할 만큼 중요하지 않거나, 말하는 사람과 갈등을 일으키고 싶지 않아서 그냥 넘어가는 경우도 있습니다.
제가 "민망스럽다"고 생각하는 일련의 통계적 진술 중 첫 번째입니다. 처음에는 다른 분들의 피드백을 받기 위해 커뮤니티 토론 포럼에 이 진술들을 게시합니다. 다행히도 여러 분(커뮤니티 멤버 @데일_레만 , @P_바텔 , @스탯맨 , @그들을 , @게오르그 , @브래디_브래디 )께서 매우 사려 깊고 통찰력 있는 답변을 주셨습니다. 토론을 계속 이어가 주세요! 오늘 제가 게시한 두 번째 민망스러운 통계 토론을 확인해 보세요!
그리고 이 첫 번째 진술이 왜 부끄러운지에 대한 내 생각을 읽어보세요.
소개
통계학에서 제가 "짜증 나는" 것 중 하나는 가설 검정과 관련된 가장 기본적인 진술과 관련이 있습니다. t-검정(또는 분산 분석)에서 비교적 높은 p-계수가 나오면 통계학자/분석가는 "p>0.05이므로 두 모집단의 평균이 다르다는 것을 증명할 수 없습니다. 따라서 모집단 평균이 동일하다고 결론지었습니다."라고 말하는 경우가 많습니다.
그 진술의 전반부는 맞습니다. 만약 p>0.05라면 (그리고 신뢰도 95%를 구하고, 표본이 정규 분포를 따르는 모집단에서 추출되었고, 그리고...), 두 모집단의 평균이 다르다고 결론 내릴 수 없습니다.
하지만 그렇다고 해서 두 모집단의 평균이 같다는 뜻은 아닙니다! 저는 이런 말을 늘 듣습니다. 심지어 더 잘 알아야 할 사람들에게서도요. 이런 잘못된 결론에 쉽게 빠질 수 있습니다. 게다가 듣는 사람이 통계에 익숙하지 않다면 오히려 해로울 수 있습니다!
간단한 예: 남성과 여성의 평균 키
간단한 예로, 성인 남성의 키가 성인 여성의 키와 다른지 확인하고 싶다고 가정해 보겠습니다. 자원이 제한되어 있으므로 이 테스트에서는 남성 세 명과 여성 세 명의 키만 측정할 수 있습니다. 길거리에서 남성 세 명과 여성 세 명을 무작위로 세워 키를 측정합니다(아래 그림 참조).
JMP 의 Fit Y by X 플랫폼을 사용하여 두 표본의 평균을 비교하는 t-검정을 수행했습니다. 결과 p값은 0.7096입니다. 결론에 대해 95% 신뢰도를 가정하고, p>0.05이므로 표본이 평균이 다른 모집단에서 추출되었다고 95% 확신할 수 없다는 결론을 내렸습니다. 즉, 이 표본을 기반으로 남성의 평균 키가 여성과 다르다고 말할 수 없습니다.
하지만 이것이 남녀의 평균 키가 같다는 뜻은 아닙니다. (참고로 오늘의 의학 뉴스 에 따르면 2017년 남성의 평균 키는 67인치(173cm)였고, 클리블랜드 클리닉 에 따르면 2018년 여성의 평균 키는 64인치(163cm)였습니다.)
왜 이런 일이 일어났을까요? t-검정에서 남성이 (평균적으로) 여성보다 키가 크다는 것을 증명하지 못한 이유는 무엇일까요? 바로 표본 추출 때문입니다. 모든 남성과 여성을 측정할 수는 없기 때문에, 이 검정에서는 각 표본에서 세 명씩만 추출했습니다. 우연히 평균 키 정도의 남성 세 명을 선택했지만, 무작위로 선택된 세 명의 여성은 평균보다 약간 더 컸습니다. 이러한 사실과 측정 범위의 차이로 인해 남녀의 실제 평균 키가 어느 정도인지에 대한 불확실성이 커졌고, 이것이 높은 p-값을 갖는 이유입니다.
이게 "큰일"이에요?
네, 정말 큰 도움이 될 거라고 생각합니다! 좀 더 실용적이고 산업적인 예를 들어 보겠습니다. 바이알에 분말을 채우는 기계가 있다고 가정해 보겠습니다. 회사에서 생산 용량을 늘리려고 해서 두 번째 기계를 구매했습니다. 그리고 기계 B가 기계 A와 같은 무게로 충전되는지 확인해 달라는 요청을 받았습니다.
기계 A에서 여러 바이알을 샘플링하고 기계 B에서 여러 바이알을 샘플링하여 간단한 테스트를 실행하고 t-검정을 실시했습니다. p-값은 0.35였습니다. 상사에게 기계의 충전량이 같다고 말해야 할까요? 절대 안 됩니다! 그렇게 하면 실수를 할 위험이 있습니다. 기계 B에서 나오는 모든 바이알의 평균 충전 중량이 기계 A보다 실제로 더 높다면, "무료" 재료를 제공함으로써 회사에 비용을 발생시키는 것입니다. 기계 B의 평균 충전 중량이 기계 A보다 실제로 더 낮다면, 고객 불만을 초래할 위험이 있습니다.
우리는 이에 대해 무엇을 할 수 있을까?
평균의 확실성을 높이려면 표본 크기를 늘려야 합니다. 이렇게 하면 남녀 키 비교에 대한 평가도 더욱 정확해집니다. 하지만 두 모집단이 다르다는 것이 증명되었거나, 그렇지 않다는 것이 증명되었을 뿐이라는 결론에 도달하게 됩니다. 두 모집단이 "동일하다"고 결론짓는 것이 아닙니다.
동등성 검정(다중 t-검정 포함)을 실행할 수도 있습니다. 관심이 있으시면 더 자세한 정보를 위해 여기를 참조하세요. 동등성 검정은 이 글의 범위를 벗어나므로 여기서는 다루지 않겠습니다.
결론
결론은 t-검정(또는 분산 분석)을 사용하여 무언가가 다르다는 것을 증명할 수는 있지만, (적어도 그 자체로는) 무언가가 같다는 것을 증명할 수는 없다는 것입니다. 응용 프로그램에서 실수를 하지 않도록 용어와 결론을 신중하게 사용하세요!
과거에 이런 말을 했다고 해서 기분 나빠하지 마세요. 제 경험상, 이런 실수는 매우 쉽고 흔한 일입니다. (솔직히 말해서 저도 그런 실수를 한 적이 있습니다!) 그래서 저보다 앞서 많은 사람들이 이런 말을 했지만, 다시 한번 강조할 가치가 있다고 생각합니다.
