참고 :이 기사는 JMPer Cable, Issue 15, Summer 2004에 처음 나타났습니다.
John Sall, SAS Institute Inc. 총괄 부사장
브래들리 존스, JMP 개발
모든 통계 절차에는 가정이 포함됩니다. 우리는 이러한 가정에 대한 위반을 두려워하도록 가르침을 받았습니다. 예를 들어, 비교를위한 표준 절차, 두 샘플 티- 쌍을 이루는 테스트 티 테스트 및 ANOVA는 모두 잔여 오류가 정상적으로 분배되었다는 가정을 포함합니다. 오류가 정상적으로 분배되고 다른 모든 가정이 유지되면 모든 시험 통계는 배분 된 배분을 가지며 신뢰 구간과 가설 검정을 신뢰할 수 있습니다. 정규 분포에 대해 테스트하고 그래프를 작성하는 배포 플랫폼의 기능과 같이 가정을 검증 할 수있는 풍부한 분석 도구 소스도 있습니다. 잔차가 정상적으로 분포하지 않으면 어떻게 될까요? 개업의가 잔류가 정상인지 얼마만큼 걱정해야합니까? 몇 가지 기사와 책 수가 적기 때문에 정상 가정에 대해 얼마나 걱정해야하는지 자세히 설명합니다.
잔차를 정규 분포 시키면 걱정할 필요가없는 문제입니다. 이유는 다음과 같습니다.
- 큰 샘플에서는 비정상 성을 쉽게 감지 할 수 있지만 중요하지는 않습니다.
- 작은 샘플에서는 비정규가 중요 할 수 있지만이를 감지 할 수는 없습니다.
큰 표본의 경우, 중앙 한계 정리는 데이터가 정상이 아니더라도 표본 크기가 증가함에 따라 평균과 같은 통계가 정규 분포에 접근한다는 것을 의미합니다. 작은 샘플의 경우, 테스트 통계는 반드시 정상적인 것은 아니지만, 충분히 큰 샘플은 없습니다.
JMP의 개발자들은 적절한 플랫폼을위한 편리한 기능으로서 잔여 표준을위한 테스트를 구현하라는 요청을 자주받습니다. 그러나 비정규 성을 발견하고 중요하게 생각할 수있는 표본 크기가있는 경우에만 유용합니다. 시뮬레이션을 사용하여 조사해 보겠습니다.
우리의 시뮬레이션을 위해 두 개의 다른 비정규 오차 분포를 사용하는 두 그룹의 평균을 비교합니다 : 이중 지수 및 교대 오염 표준. 이중 지수는 대칭이지만 leptokurtotic, 즉 훨씬 더 정점이 있고 정상 분포보다 훨씬 무거운 꼬리가있다. 교대로 오염 된 표준 편차는 무작위로 선택된 5 %의 샘플에서 3 표준 편차를 추가하여 오른쪽으로 왜곡 된 정규 분포입니다.
이중 지수는이 JMP 수식으로 시뮬레이션됩니다.
if (randomUniform ()> 0.5,1, -
1) * log (randomUniform ())
교대로 오염 된 배포판은이 JMP 수식을 사용합니다.
10 + 5 * (randomNormal () +
(randomUniform () <0.05) * 3)
이는 실제 데이터에서 볼 수있는 강하지 만 극단적 인 것이 아닌 비정상 성의 특징입니다.
그림 1은 시뮬레이션 된 이중 지수의 10,000 포인트를 나타내고 그림 2는 교대로 오염 된 분포를 보여줍니다. 실선의 빨간 대각선은 데이터가 정규 분포에 맞는 경우 데이터가 어떻게 표시되는지에 대한 참조입니다. 데이터가 작은 quantile의 행 아래에 있고 큰 quantile의 행보다 위에 있음을 유의하십시오. 그는 leptokurtotic 분포의 특징이다. 중간에 확률이 높지만 길지만 인구 밀도가 낮은 꼬리가 있습니다.
교대로 오염 된 분포 (그림 2)에 대한 정상적인 분위수 플롯의 데이터는 큰 분위수에 대해 실선으로 표시된 빨간색 대각선 위로 떨어집니다. 이는 오른쪽 왜곡 된 분포의 특징입니다. 데이터가 정상적으로 분포 되었다면, 히스토그램의 상단은 40을 약간 넘기지 않고 30 주위에서 끝났을 것입니다.
그림 1 : 이중 지수 분포에 대한 분포 결과.
그림 2 : 교대 오염물 분포에 대한 분포 결과.
JSL 스크립트가 실행되어이 두 개의 비정규 분포에 대한 10 회의 관측치를 가진 10,000 개의 몬테카를로 샘플을 생성했습니다. 각 시료는 동일한 크기의 두 그룹으로 나뉘었다. 의도적으로 두 그룹의 평균에는 차이가 없습니다. 우리는 또한 표준 정규 분포에 대한 10,000 개의 샘플을 컨트롤로 생성했습니다. 각 샘플에 대해 우리는 평균과 잔차의 정규성을 테스트하기위한 분포의 차이를 테스트하기 위해 단방향 분석을 실행했습니다. 크기 20, 30, 50, 70 및 100의 샘플에 대해이 전체 절차를 반복했습니다.
인구 평균에 차이가 없을 때 동등한 수단에 대한 테스트
먼저 우리 10,000 명을 살펴 봅시다. 피 비 정규 분포에 대한 값. 우리의 절차는 각 샘플에 대한 평균값에 실제 차이가 없도록 설계된 것임을 기억하십시오. 임의의 변형으로 인해 피 10,000 개의 단방향 분석에 대한 값은 0과 1 사이에 균일하게 분포해야합니다. 균일 분포 함수는 대각선 F (x) = x이다.
그림 3a와 3b의 그래프를 생성하기 위해 먼저 10,000 피 값. 그만큼 와이 축은 10,000의 비율이다. 피 - 주어진 유의 확률보다 작거나 같은 값. 그만큼 엑스 - 축은 유의 확률 ( 피 값). 각 샘플 크기는 다른 색상으로 표시됩니다.
그림 3a : 이중 지수 분포에 대한 p- 값의 확률 도표.
그림 3b : 교대로 오염 된 분포에 대한 p- 값의 확률 도표.
플롯 및 모든 표본 크기의 경우, 피 - 값은 균일 누적 분포 함수의 대각선에 가깝게 보인다. 우리가 바라는 것처럼, 분포를 바꾸거나 표본 크기를 변화시키지 않아도 동일한 수단에 대한 분산 분석 (ANOVA) 테스트의 중요도 확률에 많은 영향을 미칩니다.
우리가 중요성을 판단하고있는 0.05 근처의 저울을 더 자세히 살펴 보겠습니다. 그림 4a와 4b의 그림은 면적을 확대 한 것입니다.
그림 4a : 비표준 이중 지수 분포에 대한 p 값 확률 플롯의 확장 된 스케일보기. 
그림 4b : 비정상적인 교대로 오염 된 분포에 대한 p- 값 확률 도표의 확장 된 스케일보기.
5 개의 관측치를 가진 두 그룹에 대한 평균의 등가성 검정에 해당하는 빨간색 대각선은 y = x보다 약간 아래에 있습니다. 이것은 무엇을 의미 하는가?
유의 확률을 0.05로 선택하면 수단이 진정으로 동등하더라도 우연의 모호함으로 인해 우리의 평균값이 실험의 5 %에서 동일하다는 가설을 거부합니다. 즉, 유형 I 오류를 만드는 시간의 5 %입니다. 가설이 사실 일 때 평균이 동일하다는 가설을 거부합니다.
이 5 % 유형 I 오류율은 내장되어 있으며 유의 확률을 0.05로 선택하면 예상되는 결과입니다. 이 오류가 너무 많으면 더 작은 확률을 선택해야합니다.
빨간색 대각선이 수직 점선 x = 0.05를 교차 할 때, 와이 값은 0.043입니다. 즉, 우리의 평균은 5 %라는 가설을 거부하는 대신, 우리는 단지 4.3 % 만 거부했습니다. 우리는 예상보다 적은 유형 I 오류를 만들기 때문에 보수적 인 결과라고합니다. 놓치게된다면, 보수적으로 그리워하는 것이 낫습니다.
반면에, 0.06의 CumProb 값에서 0.05가 수직선을 통과했다고 가정합니다. 그런 다음 예상 된 5 % 유형 I 오류를 보는 대신 실제 6 % 유형 I 오류가 표시됩니다. 진정한 오류율이 예상보다 크기 때문에 그러한 테스트를 너무 진보적이라고합니다.
라인이 45도 라인에서 벗어난 유일한 경우에, 그것은 보수적 인 측면에 있음을 확신합니다. 교대로 오염 된 사건에는 또한 엔 = 10 사례는 보수적 인 측면으로 옮겨 갔지만 이중 지수 형태는 그렇지 못했다.
그림 5는 몬테카를로 연구에서 자연스런 무작위 변동을 보여주는 순수한 정규 곡선을 사용한 몬테카를로 시뮬레이션을 보여줍니다.
그림 5 : 표준 정규 분포에 대한 p- 값 확률 그래프의 확장 된 스케일보기.
비표준 테스트
다음 질문은 오류가 비정상임을 감지 할 수 있는지 여부입니다. 우리는 이전에 한 편도 분석에서 잔차를 계산하는 것으로 시작합니다. 배포 플랫폼을 사용하여 정규화를 위해 이러한 잔차를 테스트합니다. 따라서 각 분포 및 표본 크기에 대해 10,000 개의 Shapiro-Wilks가 정규성을 테스트합니다. 그림 6의 플롯은 Shapiro-Wilks 테스트에서 유의성 확률의 함수로서 정상 테스트 결과의 누적 백분율을 보여줍니다.
그림 6 : 비 정규 분포에 대한 Shapiro-Wilkes 검정의 파워 그래프.
이 플롯에서 우리에게 뭐라고 말합니까? 첫째, 우리는 double exponential case와 shift normal case 모두에서 잔차의 분포가 정상이 아니라는 것을 알고있다. 우리는 우리의 테스트가 이러한 비정상 성을 얼마나 잘 감지 할 수 있는지 알고 싶습니다. 즉, 우리는 우리의 테스트가 얼마나 강력한지를 알고 싶습니다.
완벽하게 강력한 테스트는 그리스 문자 감마 Γ처럼 보이는 그래프를 가질 것입니다. 대조적으로, 힘이없는 테스트는 대각선처럼 보이는 그래프를가집니다.
기하 급수적으로 분포 된 두 개의 잔차에 대해, 100 개의 관측치 샘플에 대한 그래프가 원하는대로 맨 왼쪽에서 빠르게 상승하는 것을 볼 수 있습니다. 불행히도 Γ에 대한 그래프의 유사성은 샘플 크기가 감소함에 따라 악화됩니다. 표본 크기가 10 일 때 함수는 대각선 (탐지 능력 없음)과 훨씬 비슷하게 보입니다.
교대로 오염 된 정규 분포 잔차의 경우, Shapiro-Wilks 테스트의 탐지 능력은 모든 샘플 크기에서 더 나쁩니다.
잔차가 실제로 정상 일 때, 그림 7에서 플롯 된 것처럼 모든 샘플 크기에 대해 대각선이 보입니다. 이것이 우리가 원하는 것입니다. 우리는 존재하지 않는 비정규 성을 발견하고 싶지 않습니다. 여기서 시험의 "힘"은 유형 I 오류의 확률입니다. 이보다 덜 강력한 테스트는 불가능합니다.
그림 7 : 표준 정규 분포에 대한 Shapiro-Wilkes 검정의 파워 그래프.
이제 피 도 8a 및도 8b에 도시 된 바와 같이, α = 0.05에서의 전력을 조사 할 수있다. 맨 아래 곡선 (샘플 크기 엔 = 10)은 수직 그리드 선 x = 0.05와 0.10의 값을 교차합니다. 즉, Shapiro-Wilks 유의성 확률이 0.05이면 잔차가 비정상이라는 사실을 10 % 확률로 감지 할 수 있습니다. 우리는 Shapiro-Wilks 테스트의 힘이 10 %라고 말합니다. 이것은 인상적이지 않습니다.
그림 8a : 두 배 지수 비 정규 분포에 대한 확장 규모의 전력 그림.
그림 8b : 교대로 오염 된 비 정규 분포에 대한 확장 규모의 전력 플롯.
이것을 말하는 또 다른 방법은 유형 II 오류 확률이 90 %라는 것입니다. 즉, Shapiro-Wilks 테스트 (이 오차 분포와 유의 수준으로)의 90 %가 정상 잔차의 가설을 부정확하게 거부하지 못할 것입니다.
대조적으로, 위의 위쪽 곡선 (표본 크기 엔 = 100)은 수직 그리드 선 x = 0.05와 0.78의 값을 교차합니다. 따라서이 테스트의 성능은 거의 80 %입니다.
파워 커브는 교대로 오염 된 정상 잔류 물에 대해 유사한 모양을 갖지만 결과적인 전력은 훨씬 적습니다. 예를 들어, 상단 곡선 (표본 크기 n = 100)은 약 0.63 (전력은 63 %)에서 0.05 선을 교차합니다.
그래서 관찰의 수가 적 으면 비정상 성을 발견 할 수 없습니다. 많은 수의
시뮬레이션 된 유형 I 오류율이 큰 표본 크기에 대한 예상 비율과 일치하기 때문에 오류가 비정상 인 경우 관측을하지 않아도됩니다.
이 연구는 피팅 플랫폼에서 정규성에 대한 테스트를 구현하지 않는 것을 지원하는 경향이 있습니다. 이 기능을 포함하면 사람들이 볼 수 없거나 중요하지 않은 것에 대해 걱정할 것을 권장합니다.
나머지 분포에 대한 그래픽 및 진단 기능을 넣는 것은 다른 문제입니다. 테스팅 대신, 아웃 라이어와 같은 그래픽이 상 또는 모드의 일부 숨겨진 구조에 대한 단서가 될 수있는 패턴을 찾고 있습니다. 외계인과 패턴은 종종 중요한 발견에 대한 단서가됩니다.
W. Edwards Deming의 계명 중 하나는 "두려움을 벗어나십시오."였지만 통계학 자로서 우리는 대개 고객과 학생에게 비합리적인 두려움을 주입했습니다. 당신이 쉽게 복제 할 수있는이 연구를 통해, 당신은 지금 "렙토크트 삼투 공포증 (leptokurtosiphobia)"과 싸울 정도로 용감한 사람이 되었으면합니다.
걱정거리가 적은 것이 좋지 않습니까?
