이건 정상이 아니죠. 아니면 정상인가요?
매개변수 검정 사용에 대한 최근의 여러 논의에서 데이터가 정규 분포되어 있는지(또는 정규성에 대한 적합성 검정을 통과하는지)에 대한 의문이 제기되었습니다. 각 사례에서 표본 크기는 비교적 낮았고(<30) 결론은 데이터가 정규 분포된 모집단에서 나오지 않았다는 것이었습니다. 다음 단계에는 분석을 지나치게 복잡하게 만드는 복잡한 변환 단계가 포함되었습니다.
저는 기본 모집단이 실제로 정규 분포되어 있을 때 적합성 검정에 실패할 확률은 얼마인지, 또는 1종 오류율은 얼마인지 궁금해지기 시작했습니다. 반면에 모집단이 약간 왜곡되어 있고 정규 분포되지 않았다면 적합성 검정에 얼마나 자주 통과할까요?
우선, 데이터 테이블의 공식으로 일부 난수 함수를 사용하여 정규 분포된 모집단과 감마 분포된 모집단에서 10개 샘플 세트를 생성했습니다. 난수 정규 분포(20,4)와 난수 감마 분포(20). 모집단 통계는 정규 분포가 정규 분포이고 감마 분포는 정규성 검정에 실패했음을 명확히 보여줍니다(그림 1).
그림 1. 정규 또는 감마 분포의 모집단 분포 비교. 표본 크기는 10,000입니다. 표본 크기가 크면 감마 분포 모집단(왼쪽 패널)의 꼬리가 정규 분위수 플롯의 정규 확률 회귀선의 95% 신뢰 구간(빨간색 점선) 밖에 분명히 있습니다.
대규모 데이터 집합(n=100,000)을 10개의 그룹으로 나누고 각 하위 그룹(n=10,000)은 그림 1의 데이터 집합에 사용된 것과 동일한 검정을 사용하여 정규성을 검정했습니다. 작은 확률 값은 데이터가 정규 분포에서 나온다는 귀무 가설을 기각하므로 0.05의 임계값을 사용하여 하위 그룹이 적합도 검정을 통과했는지 여부를 확인했습니다. 표로 정리된 결과는 그림 2에 나와 있습니다. Anderson-Darling과 Shapiro-Wilk 적합도 검정은 모두 샘플 그룹의 비슷한 비율을 표시했습니다. 정규 모집단의 그룹은 약 5%의 시간 동안 실패했고 감마 분포 모집단의 그룹은 약 94%의 시간 동안 통과했습니다(약 6%의 시간 동안 실패).
그림 2. Goodnes of Fit 검정에 실패한 샘플의 비율. 정규 분포에서 나올 확률이 <= 0.05인 샘플 그룹(n=10)은 "1"로 표시되고 통과 그룹은 "0"으로 표시됩니다.
정규 분포의 샘플에 대한 1종 오류율에 약간 놀랐습니다(놀라지 말았어야 할지도 모르겠네요..) 이는 샘플 크기가 약 20회 중 1회 정도로 작을 경우, 기본 정규 분포 모집단의 데이터는 적합도 검정에 실패할 것임을 의미합니다. 약간 비뚤어진 모집단의 샘플은 유사한 감지율을 보였습니다.
분명히 문제는 표본 크기가 작은 것일까요? 다음 단계는 점점 더 큰 표본 크기로 동일한 테스트 그룹을 수행하는 것이었습니다. 확실히 약간 더 큰 표본으로 거짓 양성률이 극적으로 감소할 것입니다. 다음 단계는 30개의 하위 그룹을 테스트하는 것이었는데, 효과가 거의 없었고, 그 다음에는 100, 300, 1000개의 하위 그룹을 테스트했습니다. 이제, 그냥 균등하게 유지하기 위해 하위 그룹의 수에 대해 n=10,000을 원했습니다. 그러나 표가 커지기 시작했고 분석이 느려지기 시작했기 때문에 1000개의 표본 크기로 멈췄습니다. 주로 제가 그렇게 인내심이 없고 추세가 분명해졌기 때문입니다. 제 과학 분야에서는 최소 표본 크기가 3이고, 10은 많았고, 30은 그저 어리석었습니다. 결국 올바른 숫자는 적합도를 실제로 신뢰할 수 있게 평가하기에 훨씬 더 높을 것입니다. 그림 3에는 제가 사용한 표본 크기에 대한 적합도 테스트에 실패한 표본의 비율이 포함되어 있습니다.
그림 3. 비정규 표본 비율. 각 표본 크기에 대한 비정규 표본 비율은 Anderson-Darling 및 Shapiro-Wilk 검정 모두에 대해 표시됩니다. 표본은 정규 분포를 갖는 모집단에서 추출되었습니다.
이 시뮬레이션의 데이터와 분석에서 나는 데이터를 주의 깊게 살펴보지 않고 적합도 검정의 결과를 받아들이는 데 더 조심스러워졌습니다. 적합도 통계를 수용 기준이나 데이터 처리에 대한 SOP에 추가하는 데는 극도로 주저할 것입니다. 통계를 맹목적으로 사용하는 것은 가위로 실행하는 것만큼 안전할까요? 이것은 매개변수 검정의 정규성 가정을 더 잘 평가하는 방법에 대한 질문을 던집니다. 아마도 이는 향후 블로그 게시물에 적합한 주제일 것입니다.
정규성 테스트의 거짓 양성률에 도전하기 위해 제가 사용한 방법을 개선하고 싶거나, 그저 제 결과를 재현하고 싶다면, 제가 데이터를 생성하는 데 사용한 스크립트를 아래에 포함했습니다. 스크립트에는 테이블 크기와 샘플 크기에 대한 값을 변경할 위치에 대한 메모가 있습니다.
Names Default To Here( 1 );
dt = New Table( "Source Data",
Add Rows( 10000 ), //Change row number when using larger sample sizes
New Column( "Normal", Numeric, "Continuous", Format( "Best", 12 ), Formula( Random Normal( 20, 4 ) ) ),
New Column( "Gamma", Numeric, "Continuous", Format( "Best", 12 ), Formula( Random Gamma( 20 ) ) ),
//Change the number of times the group column repeats for larger or smaller sample sizes
New Column( "group", Numeric, "Continuous", Format( "Best", 12 ), Formula( Sequence( 1, N Rows(), 1, 10 ) ) )
);
rpt = New Window( "Distribution",
dt << Distribution(
Continuous Distribution(
Column( :Normal ),
Quantiles( 0 ),
Summary Statistics( 0 ),
Process Capability( 0 ),
Fit Normal( Goodness of Fit( 1 ) )
),
Continuous Distribution(
Column( :Gamma ),
Quantiles( 0 ),
Summary Statistics( 0 ),
Process Capability( 0 ),
Fit Normal( Goodness of Fit( 1 ) )
),
By( :group )
)
);
Wait( 0 );
//Get tables from the report
dt1 = rpt["Distributions", "group=1", "Normal", "Fitted Normal Distribution", "Goodness-of-Fit Test", Table Box( 1 )] << Make Combined Data Table;
dt1 << set name( "AD" );
dt2 = rpt["Distributions", "group=1", "Normal", "Fitted Normal Distribution", "Goodness-of-Fit Test", Table Box( 2 )] << Make Combined Data Table;
dt2 << set name( "SW" );
rpt << Close Window;
//table formatting
dt1 << New Formula Column( Operation( Category( "Row" ), "Row" ), Columns( :Table ) );
dt2 << New Formula Column( Operation( Category( "Row" ), "Row" ), Columns( :Table ) );
dt1:Column 1 << Set Name( "Goodness of Fit Test" );
dt2:Column 1 << Set Name( "Goodness of Fit Test" );
Column( dt1, 7 ) << Set Name( "Fit" );
Column( dt2, 7 ) << Set Name( "Fit" );
Column( dt1, 8 ) << Set Name( "Prob" );
Column( dt2, 8 ) << Set Name( "Prob" );
dt3 = dt1 << Concatenate( dt2, Output Table( "Goodness of Fit Tests" ) );
Close( dt, nosave );Close( dt1, nosave );Close( dt2, nosave );
sfsdff
저는 기본 모집단이 실제로 정규 분포되어 있을 때 적합성 검정에 실패할 확률은 얼마인지, 또는 1종 오류율은 얼마인지 궁금해지기 시작했습니다. 반면에 모집단이 약간 왜곡되어 있고 정규 분포되지 않았다면 적합성 검정에 얼마나 자주 통과할까요?
또 다른 흥미로운 고려 사항(특히 프로세스 능력 분석을 수행하는 경우)은 AICc에 기반한 분포를 비교할 때 정규 분포가 목록의 맨 위에 오지 않을 확률이 얼마인가입니다.
최근, 휴식을 취하기 위해 레트로풍 온라인 게임에 푹 빠져 지냈습니다. 사이트를 둘러보다가 암호화폐의 편리함과 클래식 카지노 분위기가 어우러진 이 플랫폼을 발견했습니다. 슬롯머신부터 잭팟, 라이브 딜러 게임까지 모든 것을 갖추고 있고, 출금 속도도 제가 본 것 중 가장 빠릅니다. 정말, 어떤 베팅은 단 몇 분 만에 현금화됩니다. 직접 경험해 보고 싶으시다면 여기에서 확인해 보세요.
https://zh.slotsup.com/온라인카지노/비트스타즈
