Phillip Ramsey - JMP 사용자 커뮤니티 @필램지 , 뉴햄프셔 대학교 컨설턴트 겸 교수
이 기사는 원래 JMPer Cable, Issue 28, Summer 2013에 게재되었습니다.
부트스트래핑은 다음에서 제공되는 중요한 기능입니다. JMP 프로 . 대부분의 JMP Pro 통계 보고서 내에서 부트스트랩 분포를 생성할 수 있기 때문에 부트스트래핑 구현이 간단하고 유연합니다. 이 문서는 기본 부트스트래핑에 대한 간략한 자습서를 제공하고 독립 실행형 추론 방법, 교육학 및 기타 통계 방법의 구성 요소로 부트스트래핑을 적용하는 방법을 설명합니다.
부트스트래핑은 외부 구동력이 필요 없이 자체적으로 지속되고 계속되는 프로세스에 대한 일반적인 영어 은유입니다. Bradley Efron(1979)은 자신이 개발한 새로운 리샘플링 기술을 설명하기 위해 은유 부트스트랩을 채택했습니다. 그의 작업은 jackknifing에 대한 초기 작업(Tukey, 1958)에서 동기를 부여 받았습니다.
Bradley Efron(1979)이 개발한 통계적 부트스트래핑은 크기 N의 원래 데이터 세트에서 대체하여 크기 N의 독립적인 임의 샘플을 반복적으로 추출(아마도 수천 번)하는 프로세스입니다. 대체는 원래 데이터 세트의 개별 관찰이 여러 번 선택되거나 하나의 재표본에서 모두 선택되지 않을 수 있음을 의미합니다. 이렇게 하면 각 부트스트랩 샘플이 원래 데이터와 구성원이 다를 가능성이 매우 높습니다.
각 재표본에 대해 관심 있는 표본 통계를 계산하여 이러한 통계에 대한 경험적 분포 함수를 생성합니다. 경험적 분포는 이러한 통계에 대한 표준 오차를 추정하고 통계가 추정하는 이론적 매개변수에 대한 신뢰 구간을 추정하는 데 사용할 수 있습니다. 부트스트랩 신뢰 구간(여러 버전이 있음)은 계산 시 반드시 매개변수 또는 특정 수학 공식을 사용할 필요가 없다는 이점이 있습니다. Hall과 Wilson(1991)은 부트스트래핑이 가설 테스트에 쉽게 적용됨을 보여줍니다.
이론적 모수에 대한 부트스트랩 (1-α)100% 신뢰 구간을 계산하는 가장 간단한 방법은 관심 있는 이론적 모수를 추정하는 해당 표본 통계에 대한 부트스트랩 분포의 적절한 백분위수를 사용하는 것입니다. 예를 들어, 샘플 평균의 부트스트랩 분포의 2.5번째 및 97.5번째 백분위수는 기본 분포의 이론적 평균에 대한 95% 신뢰 구간을 형성하는 데 사용할 수 있습니다.
부트스트랩 연구에서는 경우에 따라 부트스트랩 백분위수 신뢰 구간이 실제 적용 범위 측면에서 상당히 편향될 수 있음을 발견했습니다(Chernick, 2008). 편향 보정 알고리즘은 백분위수 신뢰 구간에 대해 존재합니다. 그러나 현재 JMP Pro에서는 사용할 수 없으며 추가 논의는 이 문서의 범위를 벗어납니다. ( 2018년 12월 업데이트: 편향 보정 알고리즘이 이제 JMP Pro에 포함되었습니다. .)
부트스트랩을 기반으로 한 통계적 추론
다음 예에서는 부트스트래핑에 JMP Pro를 사용하여 대상 모집단의 이론적 매개변수에 대한 백분위수 신뢰 구간을 생성하는 방법을 보여줍니다. 이 예에서는 원래 Cox 및 Snell(1981)에서 가져온 20개의 온도 판독값(Kelvin)을 사용합니다.
샘플 분포의 25번째 백분위수와 75번째 백분위수 간의 차이인 샘플의 사분위수 범위(IQR)에 대한 신뢰 구간을 찾으려고 한다고 가정합니다. IQR에 대한 신뢰 구간의 정확한 계산은 일반적으로 불가능합니다.
JMP의 배포 플랫폼을 사용하여 원본 샘플에 대한 요약 통계표를 생성하는 것부터 시작하십시오. 사분위간 범위는 요약 통계 표에 기본적으로 표시되지 않으므로 그림 1과 같이 빨간색 삼각형 메뉴를 사용하여 요청하십시오. 또한 부트스트랩 프로세스는 참조하는 테이블에 표시되는 모든 통계에서 작동하므로 이 예제에서 관심이 없는 모든 기본 요약 통계를 선택 취소하십시오. 분포 요약 테이블에는 그림 1과 같이 사분위수 범위만 표시됩니다.
Figure 1 Tailor Summary Statistics table to show only Interquartile RangeFigure 1 Tailor Summary Statistics table to show only Interquartile RangeFigure 1 Tailor Summary Statistics table to show only Interquartile RangeFigure 1 Tailor Summary Statistics table to show only Interquartile Range그림 1 사분위수 범위만 표시하는 맞춤형 요약 통계 표
그런 다음 보고서 본문에 커서를 놓고 마우스 오른쪽 버튼을 클릭한 다음 나타나는 메뉴에서 부트스트랩을 선택합니다(그림 2). Bootstrap 대화 상자에서 Fractional Weights 옵션을 선택합니다. 이 옵션은 Rubin(1981)보다 부드러운 부트스트랩 샘플을 제공합니다.
Figure 2 Choose the Bootstrap with sample size 200Figure 2 Choose the Bootstrap with sample size 200Figure 2 Choose the Bootstrap with sample size 200Figure 2 Choose the Bootstrap with sample size 200그림 2 샘플 크기가 200인 부트스트랩 선택
이 예제는 200개의 샘플을 생성합니다. 원하는 수의 샘플을 입력할 수 있지만 각 샘플은 분포 플랫폼을 다시 실행하고 해당 샘플의 사분위수 범위를 계산한다는 점에 유의하십시오. 따라서 선택하는 샘플 수는 보유한 계산 리소스에 따라 다릅니다. 대규모 부트스트랩 요청은 리소스와 시간이 모두 많이 소요될 수 있습니다.
부트스트랩 프로세스가 완료되면 JMP 샘플링 결과가 있는 테이블. 온도 변수에 대한 BootID 및 사분위수 범위라는 열입니다. 행 수는 요청한 샘플 수에 원래 샘플 계산을 위한 1을 더한 것입니다. 이제 분포 플랫폼을 사용하여 부트스트랩된 사분위수 범위에 대한 요약 통계를 확인합니다.
부트스트랩 옵션이 있는 JMP 플랫폼은 그림 3과 같이 BootID 변수를 인식하고 부트스트랩 신뢰 한계 테이블을 표시합니다.
Figure 3 Distribution of bootstrapped Interquartile RangeFigure 3 Distribution of bootstrapped Interquartile RangeFigure 3 Distribution of bootstrapped Interquartile RangeFigure 3 Distribution of bootstrapped Interquartile Range그림 3 부트스트랩된 사분위수 범위의 분포 원래 샘플에서 계산된 사분위수 범위는 28.25입니다(그림 1). 부트스트랩 표본 200에 대해 계산된 사분위수 범위는 25.4이고 표본의 분위수에서 가져온 95% 부트스트랩 신뢰 한계는 원래 추정치를 포함하는 7과 45입니다.
교육의 부트스트랩 부트스트래핑은 샘플 통계가 도입되는 탐색적 데이터 분석(EDA)에서 공식적인 통계적 추론이 처음 도입되는 확인 데이터 분석(CDA)으로 전환하기 위해 통계 교육(Lock, 2012)에 적용되기 시작했습니다.
저자가 학부, 대학원 및 6시그마 통계학 과정을 가르친 경험으로 볼 때 학생들은 표본 분포, 표준 오차 및 신뢰 구간 또는 가설 테스트의 개념을 이해하는 데 어려움을 겪습니다. 즉, 그들은 통계적 사고의 기초와 씨름합니다.
불행하게도, 그러한 계산이 가능할 때 표준 오류 및 매개변수 신뢰 구간의 손 계산조차도 학생들의 개념 이해에 거의 동기를 부여하지 않습니다. 종종 학생들은 산술 계산에서 도출되는 추론에 대한 실제 개념적 이해를 개발하지 않고 산술 계산에 능숙해집니다. 이것은 일반적으로 학생들이 파라메트릭 신뢰 구간(예:)을 올바르게 계산한 다음 해당 구간에 대한 부정확하거나 무의미한 해석을 진술함으로써 나타납니다. 학생들은 통계적으로 사고하는 데 필요한 능력 없이 산술 계산에 능숙해진 것 같습니다.
JMP Pro 10 출시를 시작으로 우리는 학업 및 식스 시그마 통계 과정의 커리큘럼에 부트스트래핑을 도입했습니다. 파라메트릭 샘플링 분포, 표준 오류 및 신뢰 구간에 대한 전통적인 논의로 CDA를 시작하는 대신 먼저 부트스트래핑을 도입하는 것이 이러한 개념에 동기를 부여합니다.
일화적으로, 지금까지의 결과는 샘플링 분포, 신뢰 구간 및 가설 테스트에 대한 더 깊은 개념적 이해를 보여주는 학생들의 관점에서 상당히 고무적이었습니다. 학생들은 적절한 통계적 사고에 더 능숙해 보입니다.
부트스트랩 가설 검정은 JMP Pro에서 직접 사용할 수 없지만 JMP Pro에서 제공하는 부트스트랩 결과에서 보다 일반적인 여러 가설 검정을 쉽게 수행할 수 있습니다. 부트스트랩 가설 테스트에 대한 자세한 내용은 Hall and Wilson(1991)을 참조하십시오.
다른 통계 플랫폼에서 부트스트래핑
통계적 추론을 위한 독립 실행형 방법으로 사용되는 것 외에도 부트스트래핑 방법은 점차 다른 통계 방법에 통합됩니다. 좋은 예는 부트스트래핑 개념을 사용하여 개별 의사 결정 트리의 무작위 앙상블(또는 포리스트)을 성장시키는 파티션 모델링입니다. JMP Pro는 Bootstrapped Forest 옵션이 있는 파티션 플랫폼에서 이 개념을 구현했습니다.
부트스트래핑은 ANOVA, MANOVA, 판별 분석 및 회귀 방법에도 통합되었습니다. 이러한 분석을 위한 많은 JMP Pro 플랫폼에는 부트스트랩을 사용할 수 있습니다. 불행하게도 부트스트랩 가설 테스트는 경우에 따라 각 부트스트랩 샘플에 대해 부트스트랩 표준 오류가 필요합니다. 표준 오류에 대한 정확한 계산이 없습니다. 각 부트스트랩 샘플에 대한 부트스트랩 표준 오차는 이중 부트스트랩을 사용하여 계산됩니다(Chernick, 2008). 이중 부트스트래핑은 현재 JMP Pro에서 지원되지 않습니다.
전반적으로 통계 교육에서 부트스트래핑 및 무작위 테스트의 사용이 증가하고 있으며 학생, 교사 및 트레이너가 사용할 수 있는 기술에 의해서만 제한됩니다. 그 사용은 통계 교육을 위한 GAISE 보고서(ASA, 2012) 권장 사항과도 일치합니다. JMP Pro는 교사가 부트스트래핑을 통계 과정 커리큘럼에 통합할 수 있는 훌륭하고 사용하기 쉬운 플랫폼을 제공합니다.
요약
이 기사에서 우리는 특히 표준 오차와 신뢰 구간을 쉽게 계산할 수 없는 경우 통계적 추론의 한 형태와 통계 교육을 위한 중요한 교육 도구로 부트스트래핑을 사용하는 방법에 대해 논의했습니다. 훨씬 더 강력한 컴퓨터의 출현으로 부트스트래핑 및 관련 방법의 사용이 증가할 것입니다. JMP Pro는 JMP 사용자가 통계 분석 및 통계 교육 커리큘럼에 부트스트래핑을 통합할 수 있도록 간단하고 사용하기 쉬운 부트스트래핑 기능을 제공합니다.
참조
- Chernick, M. (2008). 부트스트랩 방법: 실무자 및 연구원을 위한 안내서, 제2판. Wiley and Sons: 뉴욕, 뉴욕.
- Cox, DR 및 Snell, EJ (1981). 응용 통계: 원칙 및 예. 런던: 채프먼과 홀.
- 에프론, 브래들리(1979). 부트스트랩 방법: Jackknife의 또 다른 모습, The Annals of Statistics, 7, 1-26.
- 미국통계협회(2012). 통계 교육의 평가 및 지도 지침
- 홀, P. 및 윌슨 S. (1991). 부트스트랩 가설 검정을 위한 두 가지 지침. 생체 인식, 47, 757 – 762
- 잠금 등 알. (2012). 데이터의 힘 잠금 해제. Wiley and Sons: 뉴욕, 뉴욕
- DB 루빈 (1981). 베이지안 부트스트랩, The Annals of Statistics, Vol. 9, 1, 130 – 134.
- Tibshirani, et. 알. (2008). 통계 학습의 요소, 2판. 스프링거 Verlag.
- Tukey, JW (1958). 그다지 크지 않은 샘플의 편향 및 신뢰도, The Annals of Mathematical Statistics. Vol. 29, 2, 614쪽.
Philip J. Ramsey 박사는 식스 시그마의 모든 수준과 단계에서 전체 서비스 교육 및 컨설팅을 제공하고 실험 설계 및 예측 분석에 대한 포괄적인 교육을 제공하는 품질 및 통계 컨설팅 회사인 North Haven Group을 소유하고 있습니다. Ramsey는 또한 University of New Hampshire(UNH)의 수학 및 통계학과 교수입니다. 의 공동저자이다. 비주얼 식스 시그마 SAS 프레스에서.
