부끄러운 통계 진술 #2 설명: 통계적 유의성 대 실질적 중요성
우리는 모두 누군가가 "옳지 않은" 말을 하는 것을 들어본 적이 있습니다. 때로는 그냥 넘어가기도 하는데, 도전할 만큼 중요하지 않거나 말하는 사람과 갈등을 일으키고 싶지 않기 때문입니다.
이것은 두 번째 "당혹스러운 통계" 블로그 시리즈입니다. 일반적으로 작동 방식은 다음과 같습니다. 먼저, 저는 JMP 커뮤니티 토론 스레드에 통계 관련 질문을 게시합니다. 커뮤니티 사용자는 답변하도록 권장됩니다. 약 1주일 후, 저는 이와 같은 블로그 게시물에서 해당 진술의 문제점에 대한 제 의견을 밝힙니다.
여기 지금까지의 토론 주제와 블로그 게시물 표가 있습니다. 각 토론 게시물에 답글을 달아주신(또는 블로그에 댓글을 달아주신!) 분들께 감사드립니다!
| 토론 주제 |
블로그 게시물 |
토론에 응답한 사람들(또는 블로그에 댓글을 단 사람들) |
| #1: p-값의 오해 |
p-값을 잘못 해석하는 위험 |
@dale_lehman , @P_Bartell , @statman , @ih , @Georg , @brady_brady |
| #2: 통계적 유의성에 대한 지나친 강조 |
이 블로그 게시물 |
@P_Bartell , @statman , Craige_Hales , @ih , @markschwab |
| #3: 측정 보고 |
곧 출시! |
토론 공간에 의견을 게시하세요. 또한, 부끄러울 정도로 으스스한 통계 진술을 자유롭게 기여하세요! |
그럼 제가 올린 두 번째 부끄러운 성명을 살펴보시죠...
Cringeworthy #2에 대한 내 생각
우리의 시나리오에서 수율이 생산 공정에서 떨어진 이유를 파악하기 위한 연구가 수행되었다는 점을 상기해 보세요. 두 공급업체의 하위 어셈블리 간의 차이를 연구하기 위해 t-검정을 수행했습니다. 실제로 t-검정은 매우 낮은 p-값을 보여 두 공급업체의 부품 평균 차이에 대한 높은 신뢰도를 제공했습니다.
팀 매니저는 p-값이 작다는 사실에 덤벼들고 싶어했습니다. 그는 두 모집단 평균이 다른 이유에 대한 연구를 즉시 시작하고 싶어했습니다. (아마도 그는 과거 경험에 따라 이러한 공급업체 간의 차이가 한때 문제를 일으켰다는 사실에 이끌렸을 것입니다.) 하지만 매니저가 언급하지 않은 것은 그 차이가 "실질적으로 중요한지" 여부였습니다.
제 경험에 따르면 사람들은 종종 "통계적 중요성"과 "실질적 중요성"을 혼동합니다.
- 통계적 유의성은 단순히 어느 정도 신뢰 수준에서 두 모집단의 평균에 어느 정도의 차이가 있다는 것을 감지할 수 있다는 수학적 진술입니다. 이것은 좋지만, 그 차이가 우리에게 중요한지 에 대해서는 아무 말도 하지 않습니다.
- 실제적 중요성은 귀하의 판단, 경험 및 지혜 에 기초합니다. 통계적 테스트가 두 처리 간에 0.1 단위의 차이를 감지할 수 있습니다. 0.1의 차이가 귀하의 응용 프로그램에 중요합니까? 그렇지 않은 경우 이 차이의 근원을 발견하는 데 리소스를 할애하는 것이 수확량이 좋지 않을 수 있는 다른 근원을 찾는 데 더 나을 수 있습니다.
아마도 "significance"라는 용어가 영어로 "importance"로 해석될 수 있다는 것은 불행한 일일 것입니다. 저는 significant보다 더 나은 단어를 모릅니다. 하지만 어떤 사람들에게는 오해의 소지가 있을 수 있습니다.
이 이야기의 교훈: 통계적 분석 결과를 해석할 때 통계적 유의성과 실질적 중요성의 차이를 이해해야 합니다!
그럼, Cringeworthy Discussion #3 에 참여해 주세요!
"통계적으로 유의미해요! 우리는 문제에 자원을 투자해야 해요!"
이 진술이 당신을 움츠러들게 합니까? 왜 내가 이것이 움츠러들 만한 진술이라고 생각하는지, 제 두 번째 토론 주제에 대한 이 요약에서 살펴보세요.
Re: Cringeworthy 통계 진술 #2 설명: 통계적 중요성 대 실제적 중요성나는 지금 눈에 띄는 차이와 실질적인 중요성을 사용하고 있습니다. 기분이 좋아졌다. 바라건대, 다른 사람들이 따를 것입니다. 당신 말이 맞아요. 이것은 영어 문제. 중요한 동의어는 중요하고, 결정적이며, 중요하고, 의미 있고, 중요하고, 심각하고, 중요합니다. 따라서 용어의 오용은 의미가 있습니다.
인구의 상당한 비율이 더 적절한 표현, 발화, 용어 또는 단어를 사용하도록 하려면 어떻게 해야 합니까?
저는 말을 잘 못합니다. 나는 숫자를 붙일 것이다. 마지막 문장을 쓰는 데 너무 오래 걸렸습니다. 나는 오른쪽을 선택할 수 없었다 표현, 발화, 용어 또는 단어. 그래서 나는 그것들을 모두 사용했습니다.
다시 한 번 감사드립니다. @제리피쉬 ,
롭
Re: Cringeworthy 통계 진술 #2 설명: 통계적 중요성 대 실제적 중요성ㅋㅋ 감사합니다 @DirtyDataCoLLC !
저도 첨 들어봤어요 @Craige_Hales , 보낸 사람 이 링크 동일한 토론 주제에 대해.여기에서 저자는 SS의 잘못된 의미 때문에 "Statistical Significance" 대신 "Discernible Difference"를 권장합니다.나에게 많은 의미가 있습니다!
Re: Cringeworthy 통계 진술 #2 설명: 통계적 중요성 대 실제적 중요성
나는 통계적으로 중요한 대 실제적인 중요성에 대한 당신의 설명을 즐길 많은 사람들을 알고 있습니다.몇 년 전 FDA는 귀하의 지혜를 공유하지 않았고 BLA의 전체 섹션을 다시 작성해야 했습니다. FDA 의견을 수정하는 데 1년이 걸렸습니다.
하지만 누군가는 우리가 인간 진화의 척도에서 시간을 생각한다면 1년이 사소하다고 주장할 수 있습니다. 그래서 실질적으로 의미가 없었던 것 같아요.
