2000보다 큰 샘플에 대한 Shapiro-Wilk 테스트?JMP 도움말 페이지에는 " 정규 분포의 경우 샤피로 - 정규성에 대한 Wilk 검정은 표본 크기가 2000 미만이고 고정 매개변수가 없는 경우에도 보고됩니다. "
때때로 2000개 이상의 샘플을 가지고 있는 고객이 있지만 그의 내부 절차에 따라 Shapiro-Wilk 테스트를 사용하라고 합니다. 여러 온라인 소스에서 이 테스트의 샘플 크기 상한선으로 5000개의 관측치를 언급합니다. 제 고객이 JMP에서 Shaipiro-Wilk 검정의 가용성을 2000개의 관측치로 제한하는 이유를 물었습니다. 계산하는데 시간이 너무 오래걸리나요? 아니면 다른 이유가 있나요?
Re: 2000보다 큰 샘플에 대한 Shapiro-Wilk 테스트?제 기억이 맞다면 시뮬레이션이나 근사치를 통해 p-값을 생성해야 합니다. N=2000까지만 값을 생성했을 수 있습니다.
Re: 2000보다 큰 샘플에 대한 Shapiro-Wilk 테스트?개발자만이 알 수 있습니다.처럼 @DonMcCormack 이 테스트에 대해 p-값이 시뮬레이션되었다고 언급합니다. SAS는 또한 샘플 크기를 <=2000으로 제한합니다. n>2000의 경우 테스트를 사용할 수 없습니다. 자세히 보기 PROC UNIVARIATE: 적합도 테스트(sas.com)
Re: 2000보다 큰 샘플에 대한 Shapiro-Wilk 테스트?다음은 여러 가지 다른 유형의 정규성 테스트를 설명하고 비교하는 좋은 참고 자료입니다( https://www.tandfonline.com/doi/pdf/10.1080/00949655.2010.520163 ).우리는 SW 테스트를 잠시 제거했지만(v14 또는 15.0에서 생각합니다) 2000 미만의 샘플 크기에 대해 v15.1에서 다시 가져왔습니다. 제 질문은 왜 그렇게 큰 샘플 크기로 정규성을 테스트하는 것입니까?샘플 통계의 경우 중심 정리가 작동하고 실제 분포가 중요한 분석(예상 허용 오차 간격, 백분위수, 제어 차트 등)에 사용할 수 있습니다. 그렇다면 경험적 통계는 괜찮을 것입니다.
Re: 2000보다 큰 샘플에 대한 Shapiro-Wilk 테스트?감사합니다 @샘가드너 나는 그에게 이렇게 큰 표본 크기를 사용하면 정규성에서 가장 작은 편차로도 테스트가 중요할 것이라고 언급했습니다. 그는 그것을 깨닫고 동의했고 나는 더 이상 강요하지 않았습니다. 그는 Abbott Laboratories의 통계학자입니다. 제공하신 정보를 사용하여 그에 대한 후속 조치를 취하겠습니다. 감사합니다 @DonMcCormack 그리고 @jiancao 응답을 위해서도.
Re: 2000보다 큰 샘플에 대한 Shapiro-Wilk 테스트?그만큼 위키피디아 기사 이 테스트에서 자세한 내용과 배경을 제공합니다.2000으로 제한되는 이유는 테스트 통계가 표준 정규 분포 순서 통계의 공분산 행렬의 역과 기대값을 기반으로 하는 계수를 사용하기 때문입니다.이것은 계산상 지루하며 이 방법이 처음 제안되었을 때 큰 샘플 크기에 대해 이 작업을 수행하는 것은 불가능했습니다.SW는 원래 최대 50개의 샘플 크기에 대해 제안되었습니다. Royston은 80년대 후반/90년대 초반에 이러한 계수 또는 샘플 크기 n=3에서 n=1999를 계산하는 대략적인 방법을 제시했습니다.SW 테스트를 더 큰 샘플 크기로 확장한 다른 연구를 찾을 수 없었습니다.
Re: 2000보다 큰 샘플에 대한 Shapiro-Wilk 테스트?나는 다른 고객을 위해 이것을 조금 더 파고들고 있으며 내 생각을 통합할 기회를 갖고 싶었고 이것을 커뮤니티에 올려주신 여러분께 감사드립니다. 반복하자면, SAS 문서에 따라 [Shapiro-Wilk] W 테스트 통계에 정규화 변환이 사용되어 테스트의 p-값을 결정합니다(샘플 크기의 경우 n ≥ 4).정규화 변환에 사용되는 상수는 n에 의존하는 시뮬레이션 결과에서 파생됩니다. 그러나 p-값 자체는 검정을 위해 시뮬레이션되지 않습니다.상수는 1,999의 n까지 존재합니다. 따라서 테스트는 n ≥ 2000에 대해 JMP 또는 SAS에서 계산하지 않습니다. 나는 우리가 5000까지 갈 수 있었다고 생각하고 내 추측은 단지 역사적 선례일 뿐이라는 것입니다(출판 참조에서 왔을 수도 있고 아닐 수도 있음).그런데 왜 '대형' 샘플 크기로 제한합니까? (이 방법이 개발된 당시의 계산 제약을 제외하고는 @샘가드너 말하는)
SW의 경우 계산 시간과 관련이 없습니다(AD의 경우는 그렇지만). W가 공분산 계산을 사용하여 계산된다는 사실과 관련이 있다고 생각합니다. @샘가드너 말하는).공분산은 n(또는 dof)이 증가함에 따라 증가하고 테스트 통계의 추정치를 편향시킬 수 있습니다(표준 오차를 부풀림으로써).2000은 임의의 선택일 수 있지만 상한을 설정하는 아이디어는 공분산 인플레이션 위험을 최소화하려는 것이므로 W 테스트 통계(n의 함수임)는 편향되지 않은 추정값(크기 n의 샘플 수천 개 이상)입니다. ).그게 내 생각이야.
이렇게 큰 샘플 크기에서 정규성 테스트를 수행할 때 주의 사항에 동의합니다.물론 응용 프로그램에 따라 다르지만 내 의료 기기 제품 제조에 있습니다. 경험상 이렇게 큰 샘플 크기가 연속 프로세스(예: 단 하나의 가변성 소스가 있는 프로세스)에서 나오는 것을 본 적이 없습니다.
(슬라이드 제공: JMP Education)
일반적으로 "Batch"라는 단어를 Lot로 대체할 수 있습니다(Lot 크기는 일반적으로 수백 개 정도).
Re: 2000보다 큰 샘플에 대한 Shapiro-Wilk 테스트?계산 시간 제약은 SW 계수를 결정하기 위해 시뮬레이션 또는 수치 적분 및 행렬 연산을 실제로 사용하는 데 걸리는 시간에 있습니다.나는 시뮬레이션 접근법을 시도했고 계산 시간 대 n의 플롯이 여기에 표시됩니다.또한 메모리 요구 사항이 증가하고 최소 n^2 차수이므로 이렇게 하는 것이 불가능해집니다.또한 각 샘플 크기 n에 대해 사용할 n개의 계수 목록을 저장해야 하므로 필요한 총 저장 공간은 n*(n+1)/2이며 n^2의 순서이기도 합니다.
하지만 @패트릭 줄리아노 현대 컴퓨팅에서는 이것이 아마도 2000보다 큰 샘플 크기로 확장될 수 있지만 그렇게 극적으로는 아닙니다.
