수백만 건의 실제 데이터를 관찰하고 두 가지 변수에 걸쳐 간단한 조정을 수행 할 때 상당한 테스트를 거치지 않으면 사기의 강력한 증거가됩니다. 매우 높은 데이터 테이블에 대해 신뢰성있게 중요하지 않은 한 종류의 데이터는 시뮬레이션 된 데이터입니다. 우리는 많은 복잡한 방식으로 행동하는 많은 미묘한 힘을 가진 세상에 살고 있습니다. 따라서 상황이 많이 다르지 않더라도 상황은 일반적으로 조금씩 다릅니다.
빅 데이터 시대에 수백만 회의 관찰 결과가 나왔을 때 거의 모든 테스트가 중요한 것으로 기대할 수 있습니다. 그러나 대부분의 경우, 우리는 작은 차이는 신경 쓰지 않습니다. 우리가 알고 싶은 것은 그 차이가 우리가 신경 쓰는 것보다 큰 경우입니다.
업계에서는 일반적으로 사양 변경, LSL (Lower Spec Limit) 및 USL (Upper Spec Limit)이 있습니다. 그 차이가 그 스펙 범위의 일부분, 예를 들어 10 %보다 크다면 우리는 그것을 보살 피는 것을 알고 있습니다. 엔지니어링 데이터에는 일반적으로 사양 제한이있어 변경에 민감한 방법을 알려줍니다.
사양 제한이 없으면 비슷한 것을 사용합니다. 평균 차이가 자연 변동에 비해 작다고 가정하고 프로세스가 1의 성능으로 합리적으로 행동한다면, 우리는 6 * 시그마를 스펙 범위로 사용합니다. 우리는 IQR / (Q (.75) -Q (.25))를 사용하여 시그마를 추정합니다. 여기서 Q는 정상 분위수이고 그 다음에 우리는 그 간격의 약 10 %를 관리합니다.
실용적인 차이점이 있다면, 실제 차이의 절대 값이 실제 차이와 같지 않다는 가설 검정을 쉽게 만들 수 있습니다. 수백만 회의 관측이있을 경우이 테스트는 항상 중요하지 않습니다. 오히려 매우 중요하거나 반대되는 경향이 있습니다.
다음은 테스트 작동 방식에 대한 그림입니다. 실제적인 차이점이 2이고 실제 차이가 4라고 가정합니다. 실용적인 차이점을 제외하고는 표준 오차로 표준화 된 학생 분포를 구성합니다. 그런 다음 실제 차이를 지나서 꼬리 확률을 계산합니다.이 경우에는 약 0.3입니다. 하지만 그것은 한 방향 일뿐입니다. 또한 실제 차이의 음수를보고 동일한 분포의 꼬리에서 확률을 측정해야합니다. 이제 실제 차이 테스트를위한 p 값을 얻었습니다. 이 테스트는 관심있는 변경 사항에 대해 알려주는 테스트입니다.
그러나이 테스트는 당신이 정말로 원하는 테스트의 역일 수 있습니다. 차이가 작다는 확신을 원한다면 그 차이가 크지 않다는 증거의 부족을 사용하는 것은 의미가 없습니다. 당신은 실제로 그 차이가 실용적인 차이보다 작다는 것을 확실하게하기 위해 반대 방향으로 테스트하고 싶습니다.
그 방향으로 테스트가 호출됩니다. 등가 시험 . 그들은 변화가 결과에 영향을 미치지 않는다는 것을 증명하기 위해 규제 의약품 및 의료 기기 산업에서 가장 많이 사용됩니다. 동등성 테스트는 입문 통계 학생에게 가르쳐 져야합니다. 따라서 귀무 가설을 수락해도 null을 증명할 수 없다는 것을 이해할 수 있습니다. 단지 거절 할만한 충분한 증거가 없다는 것을 의미합니다.
등가 시험에 대한 표준 접근법은 TOST (two-one-sided t-test)입니다. 차이가 실제 차이보다 작은 지 테스트하고 차이가 실 제 차이의 음수보다 큰지 테스트합니다. 따라서 차이는 절대 값이 그 차이보다 작은 것으로 증명됩니다.
당신이 신경 쓰는 차이, 실제적인 차이가 4이고, 실제 차이가 2라고 가정하십시오. 차이가 실질적인 차이보다 작은지를 테스트하기 위해 적절한 자유도를 지닌 Student t 분포를 실용적인 차이보다 큰 차이의 표준 오류로 조정합니다. 실제 차이에서 낮은 꼬리 부분의 면적은 약 0.01입니다. 이제 학생의 t 분포를 실 제 차이의 음의 값, -4로 놓습니다. 오른쪽 꼬리 부분을 측정합니다. 여기서는 매우 작습니다. 그런 다음 두 개의 p 값 중 최대 값을 취합니다.이 값은 .01입니다. 따라서 .01 유의 수준에서 실용적인 동등성을 입증했습니다.
이제 우리는 두 가지 도구를 모두 사용할 수 있습니다. 따라서 우리가 의미를 비교할 때 실제적인 차이점과 관련하여 두 가지 p 값과 세 가지 가능한 결론이 있습니다. 두 값이 모두 중요하지 않으면 실질적으로 동등한, 실질적으로 다른 그리고 실질적으로 불확실한 결론입니다.
위의 평균 비교에서 모든 테스트는 평균이 0이라는 테스트에 매우 중요합니다. 이것들은 파란색으로 음영 처리 된 p 값입니다. 그러나 단지 3 가지 반응 만이 실제적으로 다르다. 즉 실용적인 차이보다 현저히 다르다. 이것들은 붉은 색으로 음영 처리 된 p 값입니다. 응답 중 7 개는 실제적으로 동일합니다. 즉, 차이는 절대 값의 실제 차이보다 현저히 적습니다. 이들은 녹색으로 음영 처리됩니다. 두 가지 테스트는 결정적이지 않습니다. 차이는 0과 크게 다르지만 실용적인 차이와 비교해 현저하게 차이가 나지 않으며 실질적인 차이 (동등한 것)보다 현저히 작지도 않습니다.
이제 비교를 거쳐 수백만 회의 관측이 있더라도 여러 응답이 각각 요인을 통해 평균을 어떻게 변경했는지 빠르게 확인할 수 있습니다.
실용적인 차이 테스트는에서 사용할 수 있습니다 JMP 11 Response Screening 플랫폼에서는 Equewence 테스트뿐만 아니라 Oneway 및 새로운 비선형 테스트에서도 사용할 수 있습니다.
노트 : 이것은 큰 통계 John Sall의 블로그 게시물 시리즈. 그의 모든 것을 읽으십시오. 큰 통계 게시물 .
마이크 클레이튼 쓴 :
이러한 아이디어는 고등학교 STEM 수업을위한 웹 세미나 형식으로 정교해야합니다.
이것은 (당신이 한 것처럼) 삽화가되어야하고 많은 교과서에서 잘 설명되어 있지 않은 중요한 개념입니다. 우리가 며칠 흘렀던 것처럼 풍부한 데이터, 언뜻보기에는 오래된 가설 테스트가별로 유용하지 않지만 실용적인 제한과 소설 (나에게) 시각화 및 테이블을 사용하여 큰 데이터의 p- 값을 회수했습니다 (많은 사람들이 여러 가지면에서 p 값을 위험하거나 쓸모없는 것으로 공격하고 있습니다.)
경고 : 나는 통계가 아니다.
