3월 에피소드를 놓쳤다면통계적으로 말해서, 등록 없이도 시청할 수 있습니다! 우리는 Jessica Utts와 Dick De Veaux가 제시한 관점과 사례, 즉 뛰어난 수상 경력의 통계학자, 교수, 저자, ASA 펠로우가 제시한 관점과 사례가 너무나 설득력이 있어서 그들의 강연은 멀리 멀리까지 볼 수 있어야 한다고 생각합니다.
게다가, 우리는 모든 후속 질문에 답하기 전에 시간이 부족했습니다. 다행히도 Jessica와 Dick은 철저한 답변을 제공했습니다. 우리는 그들이 이 중요한 주제를 더 깊이 파고들기 위해 시간을 내준 것에 감사드립니다.
질문: 분석을 설정하는 데 불필요한 낭비가 발생하는 것은 어떨까요? 우리는 여전히 많은 사람들이 한 번에 한 가지 요인에 대한 실험을 하는 것을 봅니다. 그것은 실제로 낭비적인 시행착오일 뿐입니다. 이것은 통계적 문해력을 가르치는 것에 대한 제시카의 요점으로 돌아가는 것입니까?
제시카: 실험이나 분석을 설계하는 방법에 대한 논의는 통계적 이해력에 대한 제 생각과 맞지 않을 것 같습니다. 저는 주로 통계적 소비자의 이해력에 관심이 있기 때문입니다. 하지만 그것은 매우 중요한 요점으로 이어집니다. 한 번에 한 가지 요인에 대한 실험을 하는 문제는 낭비에 그치지 않습니다. 문제는 상호 작용이 존재하지만 고려되지 않으면 결과가 매우 오도될 수 있다는 것입니다. 그리고 상호 작용은 동일한 실험에서 여러 요인을 연구해야만 측정할 수 있습니다.
예를 들어, 일부 연구에서는 운동 전에 카페인을 섭취하면 운동 성과에 도움이 된다고 합니다. 하지만 다른 연구에서는 그 반대의 결과가 나옵니다. 제안된 한 가지 설명은 누군가가 유전적으로 카페인을 빠르게 대사하는지 느리게 대사하는지에 따라 달라진다는 것입니다. 따라서 이런 종류의 연구에서 유전적 차이를 고려하지 않았다면 그 결과는 매우 오도될 수 있습니다.
소비자가 말이 안 되는 연구 결과(또는 말이 되는 결과!)에 대해 읽을 때 좋은 전략은 어떤 추가 변수가 상호작용으로 이어질 수 있는지 생각하는 것입니다. 예를 들어, 이 웨비나에서 저는 Women's Health Initiative의 결과에 대해 논의했는데, 폐경 후 호르몬 대체 요법을 받으면 관상 동맥 심장병 위험이 증가한다는 것을 보여주는 것 같았습니다. 하지만 후속 연구에서는 그림이 그렇게 단순하지 않다는 것을 보여주었습니다.미국 산부인과학회 산부인과 실무 위원회:
"최근 분석에 따르면 HT[호르몬 요법]는 최근 폐경을 경험한 건강한 여성의 CHD[관상 동맥 심장 질환] 위험을 증가시키지 않는 것으로 나타났습니다. ET[에스트로겐 요법] 또는 HT를 폐경이 시작되기 직전에 사용하면 심혈관적 이점이 있을 수 있다는 타이밍 가설을 뒷받침하는 증거가 있습니다."
다시 말해, 폐경 후 호르몬을 복용하기 시작한 여성에게 호르몬이 관상 동맥 심장병을 일으킬 가능성이 낮을 뿐만 아니라, 실제로 호르몬이 심장병을 줄이는 데 도움이 될 수도 있습니다! 문제는 원래 연구에 참여한 여성의 평균 연령이 63세였고, 대부분이 폐경 전환기를 여러 해 지나 호르몬을 사용한 적이 없다는 것입니다. 한 의사 친구가 폐경 후 동맥에 플라그가 쌓일 시간이 있었고, 수년 후에 호르몬을 복용하기 시작했을 때 플라그가 느슨해져 관상 동맥 심장병을 일으켰다고 설명해 주었습니다. 폐경 직후에 호르몬을 복용했다면 플라그가 쌓이지 않았을 것이고, 호르몬이 심장병으로부터 보호해 주었을 것입니다. 이 예에서 폐경 전환기 이후 몇 년이라는 측면에서 호르몬을 시작한 시점은 중요한 상호 작용 변수였습니다. 소비자가 원래 연구 기사를 참조했다면 연구에 참여한 여성이 실제로 호르몬 요법이 사용되는 방식을 대표하지 않는다는 것을 알아차렸을 것입니다. "실제 세계"에서 호르몬 치료는 거의 대부분 폐경에 도달하자마자 처방됩니다.
실험이나 관찰 연구를 설계하는 경우 설명 변수의 조합이 결과에 어떤 영향을 미칠지 생각하는 것이 매우 중요합니다. 상호 작용이 있을 가능성이 있는 경우 요소를 하나씩 조사하는 것은 낭비일 뿐만 아니라 잠재적으로 오도될 수 있습니다.
질문: 실질적 유의성은 심리학자들이 "중간 효과"로 정의하는 0.5와 같은 특정 효과 크기 임계값으로 정의되어야 합니까?
제시카: 아니요! 실제적 중요성은 맥락에서 살펴봐야 합니다. 하지만 효과 크기는 특히 어떤 결과가 한 연구에서 다른 연구로 복제되는지 여부를 판단하는 데 유용합니다. 이는 p 값 과 달리 효과 크기는 표본 크기에 따라 달라지지 않기 때문입니다. (그러나 모든 통계적 추정치와 마찬가지로 표본이 클수록 실제 효과 크기 추정치가 더 정확해집니다.) 따라서 특정 결과 변수가 연구마다 일관되게 동일한 효과 크기를 보이는 경우, 규모가 크게 다른 연구에서 일관되게 유사한 p 값을 발견하는 경우보다 복제의 더 나은 지표입니다.
효과 크기에 대해 생각하는 간단한 방법은 표준 편차 수 측면에서 두 그룹의 평균 차이입니다. 예를 들어, 남성과 여성의 평균 키는 약 5인치 차이가 있으며, 각 그룹 내에서 표준 편차는 약 2.5인치입니다. 따라서 5인치 차이는 5/2.5 = 2의 효과 크기를 가지며, 이는 "그룹 내" 표준 편차 수 측면에서 평균 키의 차이입니다. 효과 크기는 약 0.2이면 작음, 약 0.5이면 중간, 1.0 이상이면 큼으로 분류되었습니다. 대략적으로, 큰 효과 크기는 누구나 알아차릴 수 있고, 중간 효과는 관찰력이 뛰어난 전문가가 알아차릴 수 있으며, 작은 효과 크기는 중요할 수 있지만 통계를 사용하지 않고는 실제로 관찰할 수 없다고 합니다. 이 예를 사용하면 두 그룹의 평균 키 차이가 2.5인치 이상(효과 크기 1)이면 모든 관찰자가 알아차릴 수 있고, 평균 키 차이가 1.25인치(효과 크기 0.5)이면 누군가가 어떤 목적으로 키를 자주 측정하지 않는 한 알아차리지 못할 것입니다. 그리고 0.5인치 차이(효과 크기 0.2)는 통계적 요약 없이는 감지하기 매우 어려울 것입니다.
그러나 실질적인 중요성은 항상 맥락에 따라 달라집니다. 예를 들어, 부작용이 없는 특정 허브 보충제를 복용하면 콜레스테롤을 낮추는 데 도움이 될지 여부를 확인하기 위한 연구가 수행되었다고 가정해 보겠습니다. 다양한 출처에서 총 혈장 콜레스테롤의 모집단 표준 편차는 약 40mg/dl이라고 보고합니다. 따라서 0.25(표준 편차의 ¼)의 비교적 작은 효과 크기조차도 평균 콜레스테롤 감소가 10mg/dl임을 나타내며, 이는 의미 있는 임상적 중요성을 가질 수 있습니다. 반면에 콜레스테롤 감소 약물에 심각한 부작용이 있다고 가정해 보겠습니다. 이 경우 약물 복용으로 인한 평균 감소가 10mg/dl에 불과하더라도 부작용 위험을 감수할 만큼 충분하지 않을 것입니다. 그리고 키와 콜레스테롤 예에서 알 수 있듯이 효과 크기의 수치적 값은 자연스러운 그룹 내 변동성에 따라 달라집니다. 인구 내 콜레스테롤 수치의 자연적 변동성이 40mg/dl이 아니라 5mg/dl에 불과하다면 10mg/dl 감소는 10/5 = 2.0의 효과 크기를 나타내어 "큰 효과" 기준을 충족합니다.
또 다른 예는 효과가 전혀 존재하는지 여부를 판단할 때입니다. 예를 들어, 초감각적 지각이 가능한지 테스트하기 위한 실험실 연구에서는 일반적으로 0.15에서 0.2 사이의 작은 효과 크기가 일관되게 발견되었습니다. 그러나 이 맥락에서 일관된 0이 아닌 효과 크기는 초감각적 지각이 가능하다는 것을 나타내기 때문에 의미가 있을 것입니다.
요약하자면, 연구 결과가 실제적 중요성을 보이는지 여부를 판단하려면 맥락적 전문성이 필요합니다. 효과 크기는 가이드로 사용할 수 있지만, 실제적 중요성이 있는 것으로 간주되는 것은 항상 통계적 측정 이외의 다른 요인에 따라 달라집니다.
질문: 통계적 유의성에 비해 실질적/생물학적 유의성은 어떻게 정의하십니까?
형사: 이것은 훌륭한 질문이며 자주 제기되는 질문입니다. 먼저 일반적인 질문에 답하고 몇 가지 답변을 드리겠습니다. 통계적 "유의성"은 관찰된 데이터가 제안된 모델이 예측하는 것과 "충분히" 다를 때의 상황을 설명하는 좁은 용어입니다. 따라서 동전이 공정하다고 가정하고 100번 던졌을 때 관찰된 앞면 빈도가 0.5에서 충분히 멀다면 그 결과는 통계적으로 유의하다고 말할 것입니다. 즉, 그 모델에서 발생할 가능성이 작다는 것을 의미합니다(이것이 p값입니다). p값이 충분히 작으면 0.5와의 실제 차이가 실질적으로 흥미로울 만큼 충분히 멀든 모델(또는 가설)에 반하는 증거가 있다고 말합니다. 실용적/생물학적 유의성은 과학자나 다른 조사자에게 의미 있는 결과를 설명합니다. 결과는 실질적으로 유의하지만 통계적으로 유의하지 않을 수 있으며(더 나쁜 경우), 그 반대의 경우도 있습니다.
어제 한 학생이 곤충이 식물을 방문하는 방식에 대한 이론을 가지고 왔습니다. 곤충은 독립적으로 오는 경향이 있습니까, 아니면 무리 지어 오는 경향이 있습니까? 우리는 포아송 모델을 사용하여 꽃에 도착하는 0, 1, 2, 3 ... 곤충의 발생을 모델링한 다음 카이 제곱 검정을 사용하여 실제 발생이 포아송에 맞는지 확인했습니다. 기간을 매우 작게 만들어 기간의 수를 크게 함으로써 포아송 모델(및 독립적인 도착)을 비교적 쉽게 기각할 수 있었습니다. 하지만 도착이 생물학적 질문에 실제로 답하기에 충분히 멀리 떨어져 있는지에 대한 질문에는 답하지 못했습니다. 포아송 예상 숫자와 얼마나 다른지는 곤충이 "짝을 이루고" 있다는 증거를 실제로 제공할 것입니다. 이는 통계학자가 답할 수 있는 질문이 아닙니다.
또 다른예프린스턴 대학의 한 연구실에서 나온 내용으로, 인간이 난수 생성기의 결과에 영향을 미칠 수 있거나(또는 적어도 예측할 수 있음) 보여 주고자 했습니다. 그들은 0과 1 사이의 난수(균일한) 숫자를 생성한 다음 피험자에게 그 숫자가 0.5보다 작은지 큰지 말해 달라고 했습니다. 그들은 수만 개의 이러한 관찰 결과를 수집하여 그 비율이 통계적으로 분명히 유의미하다고 발표했습니다(p값 < 0.00001). 실제 성공 비율(약 0.5002)은 너무 작은 편차여서 기껏해야 10,000개 중 2~3개의 결과에 영향을 미칠 뿐이었습니다. 물론 연구실 책임자는 아무리 작더라도 차이가 있다면 흥미로울 것이라고 주장했습니다. 결과가 사실이고 실험적 이상이나 무작위 오류의 결과가 아니더라도 결과가 실질적으로 의미가 있는지 여부는 독자가 판단하도록 맡기겠습니다.
약물의 성공률이 위약보다 충분히 높아 우연히 발생했을 가능성이 낮다면, 우리는 그것을 통계적으로 유의미한 결과라고 말할 것입니다. 하지만 실제 차이가, 예를 들어, 위약의 30%가 아닌 환자의 31%를 치료하는 것이라면, 그 차이가 통계적으로 유의미하더라도 마케팅 부서가 그 개선을 광고하는 데 어려움을 겪을 것으로 생각합니다.
질문: 연구 결과에 관심이나 이해관계가 있는 사람은 항상 연구에서 면밀히 조사하거나 식별해야 한다고 생각하십니까?
형사: 그 어느 때보다 우리가 연구하고자 하는 거의 모든 주제에 대한 데이터를 쉽게 찾을 수 있습니다. 하지만 물론 모든 데이터가 동일한 것은 아닙니다. 이중 맹검 위약 대조 임상 시험의 결과는 항상 일화적 정보보다 바람직합니다. 데이터 출처를 식별할 수 없는 경우 두 시나리오를 구별하는 것이 불가능할 수 있습니다. 데이터가 어떻게 수집되었는지, 어떤 조건에서, 누가, 어떤 목적으로 수집되었는지를 포함한 데이터의 계통은 데이터가 세상에 대해 암시하는 바를 주장하기 전에 필수적입니다.
데이터 과학에서 윤리 에 대한 다른 예를 들어보고 싶습니다. 윤리적 분석에 대한 신중한 고려, 윤리가 분명히 부족한 분석, 또는 어떻게 진행하는 것이 가장 좋은지 불분명한 윤리적 딜레마가 있습니다. 이 주제에 대한 지혜와 전문 지식을 공유해 주신 Jessica와 Dick에게 다시 한 번 감사드립니다. 이는 요즘 시대에 매우 중요합니다.
안녕하세요, jmp 커뮤니티 여러분!
데이터 과학 윤리에 대한 심도 있는 논의는 그 어느 때보다 중요하며, 제시카 우츠와 딕 드 보가 공유하는 통찰력은 데이터가 항상 공정성, 투명성, 책임감을 가지고 인류에 봉사해야 한다는 점을 일깨워줍니다. 그들의 실제 사례는 복잡한 윤리적 문제를 쉽게 이해할 수 있도록 돕는 동시에 통계가 일상생활의 의사결정에 어떻게 영향을 미치는지에 대한 심도 있는 성찰을 유도합니다. 이와 같은 유익한 강연과 통찰력 있는 콘텐츠를 즐겨보신다면, Honista 앱을 통해 편리하게 무료 스트리밍 서비스를 이용해 보세요.
진심으로 감사드립니다!
