3월 방송을 놓치셨다면 통계적으로 말하기 , 회원가입 없이 시청 가능합니다! 수상 경력에 빛나는 뛰어난 통계학자, 교수, 저자, ASA 펠로우인 Jessica Utts와 Dick De Veaux가 제시한 관점과 사례가 매우 설득력이 있어 그들의 연설을 폭넓게 보아야 한다고 생각합니다.
또한 모든 후속 질문에 답하기 전에 시간이 부족했습니다. 고맙게도 Jessica와 Dick은 철저한 답변을 제공했습니다. 시간을 할애하여 이 중요한 주제에 대해 자세히 알아보는 데 감사드립니다.
질문: 분석을 설정할 때 불필요한 낭비가 발생하는 것은 어떻습니까?우리는 여전히 많은 사람들이 한 번에 한 요소씩 실험을 하고 있는 것을 봅니다. 이는 실제로 낭비적인 시행착오일 뿐입니다. 이것은 통계적 소양을 가르치는 것에 대한 제시카의 요점으로 돌아가나요?
제시카 : 실험이나 분석을 설계하는 방법에 대한 논의는 통계적 이해력에 대한 내 아이디어와 맞지 않다고 생각합니다. 왜냐하면 저는 주로 통계 소비자의 이해력에 관심이 있기 때문입니다. 그러나 그것은 매우 중요한 점으로 이어진다. 한 번에 한 요소씩 실험을 수행하는 문제는 낭비를 넘어서는 것입니다. 문제는 상호 작용이 있지만 고려되지 않은 경우 결과가 매우 오도될 수 있다는 것입니다. 그리고 상호작용은 동일한 실험에서 여러 요인을 연구해야만 측정할 수 있습니다.
예를 들어, 일부 연구에 따르면 운동하기 전에 카페인을 섭취하면 운동 능력에 도움이 됩니다. 그러나 다른 연구에서는 그 반대를 보여줍니다. 제안된 한 가지 설명은 누군가가 유전적으로 카페인 대사가 빠른지 느린지에 달려 있다는 것입니다. 따라서 이러한 종류의 연구가 유전적 차이를 고려하지 않았다면 결과는 상당히 오도될 수 있습니다.
소비자가 말이 되지 않는 것 같은 연구 결과(또는 그럴듯한 결과도!)에 대해 읽을 때 좋은 전략은 어떤 추가 변수가 상호 작용으로 이어질 수 있는지 생각하는 것입니다. 예를 들어, 이 웨비나에서 폐경 후 호르몬 대체 요법을 받는 것이 관상동맥 심장 질환의 위험을 증가시킨다는 것을 보여주는 여성 건강 이니셔티브의 결과에 대해 논의했습니다. 그러나 후속 연구는 그림이 그렇게 간단하지 않다는 것을 보여주었습니다. 에 따르면 미국 산부인과 학회 부인과 진료 위원회 :
“최근 분석에 따르면 HT[호르몬 요법]은 최근 폐경을 경험한 건강한 여성의 CHD[관상 심장 질환] 위험을 증가시키지 않습니다. 폐경기가 시작될 즈음에 ET(에스트로겐 요법) 또는 HT를 사용할 때 심혈관계 이점이 유도될 수 있다는 타이밍 가설을 뒷받침하는 몇 가지 증거가 있습니다.”
다시 말해, 호르몬은 폐경기에 복용하기 시작하는 여성에게 관상동맥 심장병을 일으킬 가능성이 낮을 뿐만 아니라 실제로 심장병을 줄이는 데 도움이 될 수 있습니다! 문제는 원래 연구에서 여성의 평균 연령이 63세였고, 대부분이 폐경이 된 지 몇 년이 지났고 호르몬을 사용한 적이 없다는 것입니다. 의사 친구는 이것이 폐경 후 동맥에 플라크를 형성할 시간이 있었고 몇 년 후 호르몬을 시작했을 때 플라크가 느슨해져서 관상 동맥 심장 질환을 일으켰다는 것을 의미한다고 설명했습니다. 폐경 직후에 호르몬을 복용했다면 플라크가 형성되지 않았고 호르몬이 그들을 심장병으로부터 보호했을 것입니다. 이 예에서 폐경 전환 후 몇 년 동안 호르몬 시작 시점은 중요한 상호 작용 변수였습니다. 소비자가 원래 연구 기사를 참조했다면 연구에 참여한 여성이 실제로 호르몬 요법이 사용되는 방식을 대표하지 않는다는 것을 알아차렸을 것입니다. "실제" 호르몬 요법은 거의 항상 폐경기에 도달하는 즉시 처방됩니다.
실험이나 관찰 연구를 설계하는 경우 콤비네이션 설명 변수가 결과에 영향을 미칠 수 있습니다. 상호 작용이 발생할 가능성이 있는 경우 한 번에 하나씩 요인을 조사하는 것은 낭비일 뿐만 아니라 잠재적으로 오해의 소지가 있습니다.
질문: 실제 중요성은 심리학자들이 "중간 효과"로 정의하는 0.5와 같은 특정 효과 크기 컷오프로 정의되어야 합니까?
제시카 : 아니요! 실제적 중요성은 맥락에서 보아야 합니다. 효과 크기는 특히 결과가 한 연구에서 다른 연구로 복제되는지 여부를 결정하는 데 유용합니다. 이는 p와 달리 - 값, 효과 크기는 표본 크기에 종속되지 않습니다. (그러나 모든 통계적 추정치와 마찬가지로 표본이 클수록 실제 효과 크기에 대한 추정치가 더 정확합니다.) 따라서 특정 결과 변수가 연구 간에 동일한 크기의 효과 크기를 일관되게 나타내면 더 좋습니다. 광범위하게 다양한 규모의 연구가 지속적으로 유사한 p를 찾는 경우보다 복제의 지표 - 가치.
효과 크기에 대해 생각하는 간단한 방법은 표준 편차 수 측면에서 두 그룹의 평균 간의 차이라는 것입니다. 예를 들어, 남성과 여성의 평균 키는 약 5인치 차이가 나고 각 그룹 내 표준 편차는 약 2.5인치입니다. 따라서 5인치의 차이는 5/2.5 = 2의 효과 크기를 가지며, 이는 "그룹 내" 표준 편차 수에 대한 평균 높이의 차이입니다. 효과크기는 0.2 부근이면 소, 0.5 부근이면 중간, 1.0 이상이면 대효과로 분류하였다. 대략적으로 큰 효과 크기는 누구에게나 눈에 띄고 중간 효과는 관찰하는 전문가에게는 눈에 띄며 작은 효과 크기는 중요하더라도 통계를 사용하지 않고는 실제로 관찰할 수 없다고 합니다. 여기의 예를 사용하면 2.5인치 이상의 두 그룹(효과 크기 1)의 평균 키 차이는 모든 관찰자에게 눈에 띌 수 있어야 합니다. 평균 키 차이 1.25인치(효과 크기 0.5)는 누군가는 종종 어떤 목적을 위해 높이를 측정하는데, 통계적 요약 없이는 0.5인치(효과 크기 0.2)의 차이를 감지하기가 매우 어렵습니다.
그러나 실질적인 중요성은 항상 상황에 따라 다릅니다. 예를 들어, 부작용이 없는 특정 약초 보충제를 복용하는 것이 콜레스테롤을 줄이는 데 도움이 될 수 있는지 여부를 결정하기 위한 연구가 수행되었다고 가정합니다. 다양한 출처에 따르면 총 혈장 콜레스테롤에 대한 인구 표준 편차는 약 40mg/dl입니다. 따라서 0.25(표준편차의 1/4)의 비교적 작은 효과 크기도 평균 10mg/dl의 콜레스테롤 감소를 나타내며, 이는 의미 있는 임상적 의미를 가질 수 있습니다. 반면에 콜레스테롤 감소 약물에 심각한 부작용이 있다고 가정해 보겠습니다. 이 경우 약물 복용의 결과로 평균 10mg/dl만 감소하는 것만으로는 부작용 위험을 감수할 가치가 충분하지 않을 것입니다. 그리고 키와 콜레스테롤의 예에서 알 수 있듯이 효과 크기의 수치는 자연적인 그룹 내 변동성에 따라 다릅니다. 모집단의 콜레스테롤 수치의 자연적 변동성이 40mg/dl가 아닌 5mg/dl에 불과한 경우 10mg/dl 감소는 10/5 = 2.0의 효과 크기를 나타내며 "큰" 기준을 충족합니다. 효과."
또 다른 예는 효과가 전혀 존재하는지 여부를 결정할 때입니다. 예를 들어, 초감각 지각이 가능한지 여부를 테스트하기 위한 실험실 연구는 일반적으로 0.15에서 0.2 사이의 작은 효과 크기를 일관되게 발견했습니다. 그러나 이 맥락에서 일관된 0이 아닌 효과 크기는 의미가 있습니다. 왜냐하면 초감각적 지각이 가능하다는 것을 나타내기 때문입니다.
따라서 요약하자면 연구 결과가 실제적인 의의를 보이는지 판단하기 위해서는 맥락적 전문성이 필요하다. 효과 크기를 지침으로 사용할 수 있지만 실제적으로 중요한 것으로 간주되는 것은 항상 통계적 측정 이외의 다른 요인에 따라 달라집니다.
질문: 통계적 유의성과 비교하여 실제적/생물학적 유의성을 어떻게 정의합니까?
형사 : 이것은 훌륭한 질문이며 자주 제기되는 질문입니다. 먼저 일반적인 질문에 답변한 다음 몇 가지 답변을 드리겠습니다. 통계적 "유의성"은 관찰된 데이터가 제안된 모델이 예측하는 것과 "충분히" 멀어지는 상황을 설명하는 좁은 용어입니다. 따라서 동전이 공정하다고 가정하고 100번 던지고 관찰된 앞면 빈도가 0.5에서 충분히 멀리 떨어져 있으면 결과가 통계적으로 유의하다고 말할 것입니다. 이것은 p-값입니다). p-값이 충분히 작을 때 0.5와의 실제 차이가 실질적으로 흥미로울 만큼 충분히 멀리 있는지 여부에 따라 모델(또는 가설)에 반대되는 증거가 있다고 말합니다. 실용적/생물학적 중요성은 다음과 같은 결과를 설명합니다. 의미있는 과학자 또는 다른 조사자에게. 결과는 실질적으로 유의미하지만 통계적으로 유의하지 않거나 (더 나쁘게) 그 반대일 수도 있습니다.
어제 한 학생이 곤충이 식물을 방문하는 방법에 대한 이론을 가지고 저를 찾아왔습니다. 그들은 독립적으로 오는 경향이 있습니까, 아니면 그룹으로 오는가? 우리는 포아송 모델을 사용하여 꽃에 도착하는 0, 1, 2, 3 … 곤충의 발생을 모델링한 다음 카이 제곱 테스트를 사용하여 실제 발생이 포아송에 맞는지 확인했습니다. 기간을 매우 작게 만들고 기간의 수를 크게 함으로써 우리는 푸아송 모델(따라서 독립 도착)을 상당히 쉽게 기각할 수 있었습니다. 그러나 우리는 도착자들이 생물학적 질문에 정말로 대답할 만큼 충분히 멀리 떨어져 있는지에 대한 질문에는 대답하지 않았습니다. 푸아송이 예상한 수치와 얼마나 다른지는 곤충이 짝짓기를 하고 있다는 증거가 될 것입니다. 그것은 통계학자가 대답할 수 있는 질문이 아닙니다.
또 다른 예시 인간이 난수 생성기의 결과에 영향을 미칠 수 있다는(또는 적어도 예측할 수 있음을) 보여주려는 Princeton의 연구실에서 나온 것입니다. 그들은 0과 1 사이의 임의의(균일한) 숫자를 생성한 다음 피험자들에게 0.5보다 작은지 큰지 여부를 묻습니다. 그들은 수만 개의 이러한 관찰을 수집하고 백분율이 통계적으로 유의미하다고 발표했습니다(p-값 < 0.00001).실제 성공률(약 0.5002)은 매우 작은 편차로 기껏해야 10,000개 중 2~3개의 결과에 영향을 미칠 것입니다. 물론 연구소 소장은 이렇게 주장했다. 어느 차이가 아무리 작더라도 흥미로울 것입니다. 실험적 이상이나 임의적 오류의 결과가 아니라 결과가 사실이라고 해도 그 결과가 실질적으로 의미가 있는지는 독자의 판단에 맡기겠다.
약물의 성공률이 플라시보보다 충분히 높아 우연히 발생했을 가능성이 없다면 통계적으로 유의미한 결과라고 할 수 있습니다. 그러나 실제 차이가 예를 들어 위약의 30% 대신 31%의 환자를 치료하는 것이라면 마케팅 부서는 그 차이가 통계적으로 유의하더라도 개선을 광고하는 데 어려움을 겪을 것이라고 생각합니다.
질문: 연구 결과에 관심이 있거나 이해 관계가 있는 사람은 누구나 연구에서 항상 면밀히 조사하거나 확인해야 한다고 생각하십니까?
형사 : 그 어느 때보다 우리가 관심을 갖고 연구하는 거의 모든 주제에 대한 데이터를 쉽게 찾을 수 있습니다. 그러나 물론 모든 데이터가 동일하지는 않습니다. 이중 맹검 위약 대조 임상 시험의 결과는 항상 일화 정보보다 선호됩니다. 데이터의 출처를 식별할 수 없는 경우 두 시나리오를 구별하는 것이 불가능할 수 있습니다. 데이터가 세계 전체에 대해 의미하는 바를 주장하기 전에 어떤 조건에서 누구에 의해 어떤 목적으로 수집되었는지를 포함하여 데이터의 가계도가 필수적입니다.
우리는 당신이 가질 수있는 다른 예를 듣는 데 관심이 있습니다. 데이터 과학의 윤리 , 윤리적 분석을 세심하게 고려한 경우, 윤리가 분명히 결여된 분석, 또는 어떻게 진행하는 것이 가장 좋은 방법이 불분명한 윤리적 딜레마입니다. 이 시대에 매우 적합한 이 주제에 대한 지혜와 전문 지식을 공유한 Jessica와 Dick에게 다시 한 번 감사드립니다.
