이것이 왜 믿을 수 없는 통계 진술인가? #1앞으로 몇 주에 걸쳐 몇 가지 토론 스레드를 시작할 예정이며 JMP 사용자를 초대하여 차임벨을 울리도록 하겠습니다.
그들의 생각에.이러한 토론은 "불안한 통계 진술"을 중심으로 진행됩니다.
기여하는 것을 고려해 보세요.며칠 후, 블로그 포스팅으로 생각을 정리하겠습니다 , 그리고 또 다른 혐오스러운 성명을 소개합니다 !
다음은 오만한 진술 #1입니다:
두 모집단의 평균을 비교하기 위해 t-검정을 실행합니다.우리는 결과에 대해 95%의 신뢰를 원합니다.테스트를 실행하면 p-값이 0.63으로 돌아옵니다.우리는 "라는 성명을 발표합니다. p가 0.05보다 작지 않으므로 이들 모집단의 평균에는 차이가 없다고 결론을 내립니다. "
이 진술이 왜 오싹할 만한가요????
품질 및 프로세스 엔지니어링결과 공유 및 전달Re: 이것이 왜 믿을 수 없는 통계 진술입니까? #1나에게 그것은 적절한 수준의 이해를 반영하지 않지만 적어도 "올바른 해석"에 가깝습니다.
몇몇 사람들은 내가 좋아하는 "p-값 방법"과 T-테스트 실행의 "신뢰 구간 방법"에 관해 논의했습니다.나는 이 두 가지 분석 방법을 본질적으로 동일한 것으로 생각하고 싶습니다. 여기서는 두 가지 분석 방법이 실제로 동일하다고 제안하겠습니다(나의 의견에 동의하지 않아도 괜찮습니다). 같은 것을 (수학적으로 표현하는) 다른 방법 .JMP는 대부분의 경우 통계 프레젠테이션을 양방향으로 제공하는 데 매우 능숙하며, 정말 마음에 듭니다! 나에게는 신뢰 구간을 사용한 해석(일반 바닐라 T-검정, 비열등성 검정, 동등성 및 우월성 검정의 맥락에서)이 항상 더 해석하기 쉬웠습니다.
내 친한 친구가 나에게 이에 대해 말해주는 훌륭한 교과서 참고 자료를 주었습니다.
Bluman, 초등통계(7판), 2015
Re: 이것이 왜 믿을 수 없는 통계 진술입니까? #1나는 그 해석을 "나는 표본 평균 차이가 Lower CI보다 작지 않고 Upper CI보다 크지 않다는 것을 95% 확신합니다"라고 부르지 않을 것입니다. 그 자체로는 '잘못'입니다. 사실 나는 이것이 그것을 표현하는 완벽하게 적절한 방법이라고 생각합니다. 그것은 "정확"하고 쉽게 표현되지만 해석은 "흔히 오해된다"고 말하고 싶습니다. @dale_lehman 당신이 지적했듯이.
처럼 @줄리안 에서 말한다 데이터를 이용한 의사결정(STIPS) - 섹션 4.1 추정 {그리고 아래에 "라는 제목의 적절한 모듈 참조를 화면에서 캡처한 성적표에서 이를 얻을 수 있습니다. 데모: 신뢰 수준 및 알파 위험 이해 "}
"샘플 재설정을 클릭하고 샘플 수를 100으로 변경한 다음 추가 샘플 그리기를 클릭합니다. 계속해서 표본을 추출해 보면 표본의 평균이 실제 평균에 가깝다는 것을 알 수 있습니다. 또한 신뢰 구간의 거의 95%에 실제 평균 IQ 값이 포함되어 있고, 신뢰 구간의 약 5%에는 실제 평균이 포함되어 있지 않습니다."
"이것이 우리가 말하는 '신뢰'의 의미입니다. 평균적으로 , 95% 신뢰도 간격, 9 이 간격 방법이 사용되는 시간의 5% 동안 간격은 실제 매개변수 값을 캡처합니다. ."
물론 추론은 모집단을 기준으로 하지만 표본 데이터를 기반으로 한 것입니다. 이것은 일반적으로 추론 통계를 수행할 때 수행하는 작업입니다. 전체 기업은 우리가 가지고 있는 샘플 데이터를 기반으로 인구에 대한 추론을 하는 것입니다. 또 같은 맥락에서 데이터를 활용한 의사결정 모듈 4, 보기 섹션 4.1 통계적 추론 소개 .여기, @mia_stephens 이에 대해 명확하고 정확하며 직접적인 방법으로 말합니다.
Re: 이것이 왜 믿을 수 없는 통계 진술입니까? #1나는 내 예가 실제로 베이지안 대 빈도주의 분석 또는 p 값(적어도 직접적으로)과 관련이 없다고 생각합니다.물론, 이 95% 신뢰 구간에서 실제 값이 좋아하는 것을 95% 확신한다고 말하는 것은 정확합니다. 신뢰도는 특정 신뢰 구간이 아니라 절차에 있습니다.실제 값은 특정 간격에 있거나 그렇지 않습니다.
그러나 내 요점은 95%가 내 특정 구간이 실제 값을 포함하는 "좋은 값"의 95% 중 하나인지 아니면 잘못된 값을 제공하는 5% 중 하나인지에 대해 제가 줄 수 있는 최선의 추정치라는 것입니다. 결론.당신은 잘못된 해석이 불만스러울 수도 있지만 나는 그렇지 않습니다.사실, 나는 대부분의 사람들의 눈에 눈물을 흘리게 만드는 많은 단어이기 때문에 정확한 해석이 다소 소심하다고 생각합니다.그리고 나는 이것이 불확실성을 완전히 무시하고 점 추정치를 실제 값으로 취급하는 훨씬 더 나쁜(그리고 더 비참한) 관행에 기여한다고 생각합니다.
Re: 이것이 왜 믿을 수 없는 통계 진술입니까? #1이전 포스팅에서 언급한 다른 문제들 외에도
1) 평균의 동등성을 테스트할 때 테스트의 측면성이 선험적으로 지정되어야 합니다. 달리 명시하지 않는 한 평균 동등성 테스트는 일반적으로 양측 테스트를 의미하며, 이 경우 5% 제1종 오류 확률인 알파는 널 분포의 위쪽 꼬리와 아래쪽 꼬리 영역의 합입니다. 거의 모든 경우에 이 확률은 균등하게 나누어지므로 p-값을 비교해야 하는 꼬리 영역은 alpha/2, 즉 0.05가 아니라 0.025여야 합니다.
** 편집: JMP는 임계 통계를 사용하여 찾은 꼬리를 두 배로 늘려 이 문제를 해결하지만, 이 작업을 "수동으로" 수행했다면 결국 0.025 미만의 단일 꼬리 영역을 거부하게 될 것입니다.
2) "결과에 대한 95% 신뢰도"는 가설 검정의 주요 아이디어를 오해하기 때문에 매우 비참합니다. 0.05 유의 수준에서 가설 검정을 실행할 때 특정 절차를 사용했을 것이라고 100% 확신할 수 있습니다(작업을 올바르게 수행한 경우). 두 분포의 평균이 장기적으로 실제로 동일한 경우(모든 가정이 유지된다고 가정할 때) 해당 절차에서 샘플링 변동성으로 인해 평균이 다르다는 결론을 내리는 검정 통계량이 생성되는 시간이 5%입니다.
3) 이러한 성격의 가설 검정에는 2가지 가능한 결론만 있습니다. 1) "샘플 데이터는 귀무 가설이 거짓이라는 (강력한) 증거를 제공합니다." 및 2) "샘플 데이터는 귀무 가설이 거짓이라는 강력한 증거를 제공하지 않습니다." 거짓이다". "샘플 데이터를 기반으로 귀무가설이 사실이라고 결론을 내렸습니다."라는 진술이 눈에 띄게 없습니다. 일반적으로 무언가를 증명하고 싶을 때 증명하려는 것을 대립 가설로 구성하고 데이터가 대안을 선호하여 null을 거부할 수 있기를 바랍니다. 연구자가 평균의 동등성을 입증하려는 경우 두 가지 단측 검정이 더 적절할 것입니다.
4) 다른 사람들이 이것을 언급했지만 반복할 필요가 있습니다. 통계적 유의성과 실제적 유의성은 동일할 필요는 없으며 일반적으로 동일하지 않습니다. 실질적인 중요성은 0점은 아니더라도 1점에서부터 논의되고 합의되어야 합니다.
@dale_lehman 라고 언급한다 "올바른 해석의 문제는 우리가 실제로 가지고 있는 샘플에 대해 아무 말도 할 수 없다는 것입니다."나는 동의하지 않겠지만 그가 이 일을 어디로 가고 있는지는 알고 있습니다. 모든 통계 기법에는 대답하기 위해 고안된 특정 질문이 있습니다. 특히 데이터가 기각하지 못한 귀무 가설의 경우, 비통계학자(및 베이지안 통계학자)가 빈도주의 가설 검정에 대해 갖는 주요 문제 중 하나는 p-값이 다음과 같은 질문에 답한다는 것입니다. 부자연스러운 질문, 즉 "귀무가설 하에서 내가 실제로 관찰한 결과만큼 또는 그보다 더 극단적인 결과를 관찰할 확률은 얼마입니까?"입니다. 베이지안은 자신의 방법이 더 자연스러운 질문에 답한다고 말하지만 베이지안 기법에는 고유한 문제가 있습니다. 즉, 만병통치약은 없습니다. 특정 질문에 답하는 데 어떤 기술이 더 적합한지 이해하고 답하려는 질문에 가장 적합한 기술을 선택하는 것을 대체할 수 있는 방법은 없습니다. 특히 의학 연구 분야에서 p-값에 대한 최근의 반발은 마치 포크를 안대로 사용할 때 포크에 대한 반발처럼 느껴졌습니다. p-값은 다른 도구와 마찬가지로 도구입니다. 올바른 일을 위해 올바른 방법으로 사용하면 괜찮을 것입니다... 잘못된 방법으로 사용하면 "당신의 눈이 쏠릴 것입니다!"
Re: 이것이 왜 믿을 수 없는 통계 진술입니까? #1나는 정말로 좋아한다 @게오르그 위 답변에서 님의 마지막 문장입니다. 업계에서 20년 이상 프로세스/제품 상용화 또는 시정 조치 팀에서 일한 통계학자로서 저는 함께 일한 엔지니어, 과학자 및 관리자에게 "통계학자인 저에게 귀하의 운영 방법을 알려주는 날"이라고 자주 말하곤 했습니다. 과정은 파멸로 가는 길이 시작되는 날입니다. 당신은 내가 아는 것보다 당신의 프로세스/제품에 대해 더 많은 것을 잊어버렸습니다."
또는 Walter Shewhart가 다음과 같이 썼습니다(제가 의역함). "통계의 장기적인 기여는 통계적으로 생각하는 엔지니어, 과학자, 생산 인력 및 기타 그룹을 만드는 것만큼 통계학자를 만드는 데 크게 좌우되지 않습니다."
Re: 이것이 왜 믿을 수 없는 통계 진술입니까? #1논의를 좀 더 넓혀보자면, 나에게는 이것이 처음부터 별로 움츠러들게 들리지 않습니다. 제 생각에는 그것은 여전히 유효한 결정일 수 있습니다. 물론 다른 사람들이 이미 지적했듯이 그 결정을 신뢰하기에는 추가 정보가 많이 누락되었을 수 있습니다. 그래서 내 눈에는 그 진술의 맥락과 그것을 쓴 사람에 따라 달라집니다. 그런데 같은 수의 단어로 구성된 올바른 진술은 무엇일까요?
또한 용어가 중요하다는 올바른 표현에 대해 토론하는 것을 좋아하지만, 통계에 대한 깊은 지식이 없는 통계학자와 프로세스 엔지니어 사이에 벽을 쌓는 것을 좋아하지 않습니다. 그러나 후자는 자신의 데이터와 프로세스를 알고 있습니다. 그리고 우리가 상상할 수 있듯이, 숫자로만 이루어진 표 아래에는 훨씬 더 중요한 것들이 많이 있습니다. 이는 데이터 샘플링 환경뿐만 아니라 다음과 같은 결정의 결과일 수도 있습니다. @P_바텔 이미 밝혔습니다. 결정은 여전히 기계가 아닌 사람이 내려야 합니다.
Re: 이것이 왜 믿을 수 없는 통계 진술입니까? #1+ 정상성 확인에 대한 언급 없음
Re: 이것이 왜 믿을 수 없는 통계 진술입니까? #1감사해요 @statman !향후 게시물을 위한 더 좋은 자료입니다.
계속 댓글을 달아주세요!!
Re: 이것이 왜 믿을 수 없는 통계 진술입니까? #1여기요 @P_바텔 !소식을 들어 기쁘다!
답장을 보내 주셔서 감사합니다!!우리는 이러한 아이디어를 나의 (점점 늘어나는) 소름 끼치는 진술 목록에 넣고 향후 게시물에서 언급할 것입니다!
잘 지내라, 친구!
Re: 이것이 왜 믿을 수 없는 통계 진술입니까? #1플레이하겠습니다... 제가 가장 좋아하는 것은 사실 아주 간단합니다... 문맥 없이 어디에나 적용되는 "통계적으로 유의미한" 문구를 사용하는 것입니다. 누군가에게 다음과 같은 문구가 나올 때 어떤 것을 믿을 가능성이 더 높은지 묻는다면 흥미롭습니다. 통계적으로 유의미한 추가되면 그들은 비교에 대해 아무것도 모르고 '예'라고 대답합니다.
Re: 이것이 왜 믿을 수 없는 통계 진술입니까? #1어디서부터 시작해야 하나요? 샘플 크기(아무것도 언급되지 않았습니다. 신호가 노이즈를 초과할 수 있는 기회를 제공하기에는 너무 작을 수 있음)? 선택한 알파 리스크('...결과에 대한 95% 확신...')는 알파 리스크에 대한 의미 없는 진술입니다. 그 진술은 무엇을 의미합니까)? 귀무가설(아무것도 명시되지 않음)이란 무엇입니까? 측정 오류(알려졌거나 가정된)는 무엇입니까? 샘플링 계획은 무엇이었나요(무작위, 편의, 첫 번째/마지막, 계층화 또는 기타 계획)? 통계적 위험뿐만 아니라 표현 위험은 무엇입니까? 그리고 계속해서.
Re: 이것이 왜 믿을 수 없는 통계 진술입니까? #1나는 이러한 오만한 태도의 예에 동의합니다. 증거가 없다는 고전적인 오해는 부재의 증거를 의미하지 않습니다.고전적이지만 덜 간단한 예를 생각해 보십시오. "95% 신뢰 구간의 범위는 x에서 y까지입니다. 즉, 실제 효과가 x와 y 사이에 있다고 95% 확신한다는 의미입니다."나는 "이런 방식으로 구성된 모든 무작위 샘플의 95%가 실제 효과를 포함할 것"이라는 것이 올바른 진술임을 알고 있음에도 불구하고 우연히 말해도 괜찮다고 생각합니다.물론 우리의 표본이 실제 모집단 효과를 포함하지 않는 95% 중 하나인지 아니면 포함하지 않는 5% 중 하나인지 알 수 없으며, 포함되거나 포함되지 않습니다.그러나 우리가 가지고 있는 하나의 샘플을 고려할 때 기술적으로 정확하지 않음에도 불구하고 우리가 말할 수 있는 최선은 첫 번째 인용된 진술이라고 생각합니다.
다른 사람들이 이 예에 대해 어떻게 생각하는지 듣고 싶습니다.통계학자들은 신뢰 구간에 대한 이러한 잘못된 해석이 어떻게 흔한지 지적하기를 좋아하는데, 저는 그것을 완전히 이해할 수 있습니다.그리고 나는 학생들에게 그것을 잘못 해석할 자유를 주었다고 고백합니다(적어도 나는 올바른 해석이 무엇인지 지적하지만).올바른 해석의 문제점은 우리가 실제로 가지고 있는 샘플에 대해 아무 말도 할 수 없게 한다는 것입니다.
