T-tests are easy to run, but results can be confusing!T-tests are easy to run, but results can be confusing!T-tests are easy to run, but results can be confusing!T-tests are easy to run, but results can be confusing!T-테스트는 실행하기 쉽지만 결과가 혼란스러울 수 있습니다! 내 이전 블로그 포스팅, 저는 엔지니어가 프로세스 변경이 부품의 강도에 영향을 미치는지 여부를 결정하는 임무를 맡은 시나리오를 간략하게 설명했습니다. 엔지니어는 새 처리(처리 A)가 포함된 세 부품의 표본을 추출하고 세 개의 표준(대조군) 부품과 비교하기로 결정했습니다. 결과는 표준 t-검정으로 분석되었으며 결과 p-값은 0.05보다 컸습니다(95% 신뢰도). 따라서 새로운 프로세스는 포기되었습니다.
나는 엔지니어로서 이 시나리오를 여러 번 보아왔고, 엔지니어가 좋은 프로세스 개선을 포기했을 수도 있다고 주장합니다.
내가 왜 그런 말을 하는 걸까요? 우선, t-테스트에 대한 이해 부족과 우리가 달성하려는 목표에 대한 명확성 부족으로 인해 테스트가 잘못 계획되고 실행되었을 수 있다고 생각합니다. 즉, 치료 A는 부품 강도를 높이려는 우리의 욕구에 대한 실행 가능한 솔루션이 될 수 있었습니다!
t-검정을 통해 무엇을 기대할 수 있는지, 그리고 결과가 어떻게 잘못 해석되는지 살펴보겠습니다.
t-테스트에서 무엇을 기대할 수 있나요?
t-테스트로 무엇을 하려는 걸까요? 엔지니어는 두 개의 큰 부품 그룹(또는 모집단)의 평균(또는 평균) 간의 차이를 탐지하기 위해 t-테스트를 자주 사용합니다. 모집단이 너무 커서 모든 부분을 측정할 수 없으므로 전체를 대표할 수 있기를 바라면서 각 모집단에서 제한된 수의 표본을 추출합니다. 그러나 표본 크기가 제한되어 있기 때문에 표본 평균은 거의 항상 상위 모집단의 평균과 다릅니다. 사실, 그들은 꽤 멀리 떨어져 있을 수 있습니다! (예를 들어 실수로 한 모집단에서 세 개의 높은 표본을 추출할 수 있으므로 표본 평균이 모집단 평균보다 훨씬 높을 수 있습니다.) 표본 평균만 비교하는 것은 확실히 오해의 소지가 있으므로 몇 가지 통계(즉, t- 테스트) 일부 허용 "켄터키 윈드디지" 샘플 수단에 대한 보상으로.
일반적인 (그리고 정보가 없는) t-검정 해석
우리 시나리오에서 엔지니어는 각 부품 유형에 대해 세 개의 샘플을 그렸습니다. (우리는 그가 왜 그랬는지 모릅니다. 아마도 그것은 그의 회사의 전통이었을 것입니다.) 우리는 소프트웨어 패키지에 얼마나 많은 샘플이 수집되었는지, 그리고 우리가 원하는 신뢰 수준(종종 95% 신뢰도)을 알려줍니다. 결과. 그런 다음 소프트웨어에서 t-테스트 계산을 실행하고 "p-인자"를 얻습니다. 이 p-인자는 "귀무가설을 반박"해야 하는지 여부를 평가합니다. (왜 통계학자들은 쉬운 영어로 말할 수 없나요?) 우리 시나리오에서 95% 신뢰도를 얻으려면 0.05 미만의 p-인자가 필요하지만 우리는 이를 달성하지 못했습니다. 그래서 우리는 개선을 포기했습니다.
이 해석의 문제점
신뢰 수준, p-인자, 귀무 가설… 이는 종종 이해하기 어렵고 부적절한 결론으로 이어질 수 있는 통계 전문 용어입니다. 평신도의 용어로 조금 풀어 보겠습니다.
- t-검정(p-인자가 0.05보다 큼)이 우리에게 알려주는 것은 다음과 같습니다. 샘플 데이터가 주어졌을 때 (샘플 크기 포함), 우리는 말할 수 없다 두 개의 큰 모집단의 평균에 차이가 있다는 것이 95% 확실합니다.
- t-테스트란 무엇입니까? 말하지 않는다 인구가 동일한 수단을 공유한다는 것입니다! 이것은 매우 미묘하지만 매우 중요합니다! 우리는 그들이 다르다는 것을 증명할 수 없었지만 실제로는 여전히 다를 수 있습니다! 데이터의 분산(또는 노이즈)으로 인해 이 테스트에서 차이를 감지하는 것이 불가능했습니다. 그러나 아마도 각각 5개의 샘플(또는 10, 100)을 수집했다면 차이를 발견할 수 있었을 것입니다!
따라서 제가 본 첫 번째 실수는 실패한(즉, 높은 p-인자) t-검정에서 모집단 평균이 동일하다는 결론을 내리는 것입니다. T-검정은 모집단 평균이 다른지 여부만 알 수 있다는 점을 기억하세요!
(내가 얼버무린 두 번째 실수는 결과에 필요한 신뢰도 수준을 명시적으로 정의하지 않았다는 것입니다.엔지니어링 세계에서는 95%의 신뢰 수준이 일반적이지만 의학 연구 등에서는 훨씬 더 높은 신뢰도가 필요한 경우가 많습니다.)
다음 실수로…
당신에게 중요한 차이점은 무엇입니까?
엔지니어는 단순히 두 모집단 평균 사이에 차이가 존재하는지 알아보기 위해 실험을 시작했습니다. 그러나 대부분의 실제 시나리오에서 우리는 치료 A(이 예에서는)가 표준에 비해 최소한 어느 정도의 개선을 제공하는지 여부에 관심이 있습니다. 우리 시나리오에서 강도가 0.00001% 향상되는 것이 중요합니까? 어쩌면 아닐 수도 있습니다. 1%의 개선이 우리에게 중요할까요? 아니면 10%?
(일반적으로) 프로세스 개선은 고객이 원하는 것과 고객이 지불할 비용을 기준으로 판단해야 하기 때문에 이러한 "중요한 차이"는 실제로 고객의 목소리로 귀결됩니다. 또한 제작사에 대한 몇 가지 다른 고려 사항이 포함될 수도 있습니다.
우리 시나리오에서는 인구의 차이가 무엇을 의미하는지에 대해 언급된 바가 없습니다. 사실, 우리는 치료 A 모집단의 평균이 대조군보다 높기를 원한다고 명시적으로 말하지도 않았습니다! (이 경우 부품의 강도를 높이고 싶은 것이 당연해 보이지만 부품이 과도하게 설계되어 비용 절감을 위해 강도를 줄이고자 합니다.) 증가 또는 감소를 추구하는지 여부도 요소에 영향을 미칩니다. 통계 계산이므로 이를 지정하는 것이 중요합니다. 엔지니어링 팀은 경영진과 함께 테스트 계획을 시작하기 전에 어떤 차이가 중요한지, 증가인지 감소인지 결정해야 합니다.
그래서 제가 자주 보는 두 번째 실수는 중요한 차이의 크기를 명시하지 않았고, 차이의 방향(증가 또는 감소)도 명시하지 않았다는 점입니다.
이러한 실수가 테스트 시나리오에 어떤 영향을 미쳤습니까?
이러한 점을 고려했다면 테스트를 재설계하여 치료 A에 대해 완전히 다른 결론에 도달했을 수도 있습니다. 그러나 t-테스트에 대한 지식이 부족하고 달성하려는 목표에 대한 정의가 부족하기 때문입니다. , 우리는 실행 가능한 솔루션으로 처리 A를 통과시켰습니다.
다음 블로그 게시물에서 테스트 계획의 다른 측면에 대해 자세히 설명하고, 이러한 많은 실수를 피하는 데 도움이 될 수 있는 완전한 질문을 하도록 하겠습니다. 약 일주일 후에 Part 3를 시청하실 수 있기를 바랍니다!
미래를 내다보며
진행하면서 다음 주제를 모두 다룰 계획입니다. 당신이 나와 함께 할 수 있기를 바랍니다 전체 시리즈 !
- 일반적인 시나리오 레이아웃
- t-테스트가 실제로 우리에게 알려주는 것은 무엇입니까? (이 게시물)
- 기타 테스트 고려 사항 및 전체 질문하기
- 귀하의 게이지가 가능합니까(그리고 그렇지 않은 경우 어떻게 해야 합니까)?
- 테스트 계획 및 실행: 샘플 크기부터 모범 사례까지
- 결과 분석(Garbage In 포함 = Garbage Out)
- 최종 마무리
