분포 피팅과 관련하여 분포 와 생명 분포 사이에 이분법이 있다고 느낄 수 있습니다. Life Distribution은 신뢰성 문제에만 적용되고 Distribution은 다른 모든 것에 적용된다고 생각할 수도 있습니다. Life Distribution은 누적 분포 함수 피팅에 중점을 두고 신뢰성과 생존에 맞춰져 있지만, Distribution 에서 사용 가능한 분포가 부족한 상황에서도 사용할 수 있습니다. Life Distribution을 사용하는 상황에 관계없이 여기에 포함된 분포와 적용 방법에 대해 조금 아는 것이 도움이 됩니다.
처음에는 Life Distribution이 선택의 폭이 넓기 때문에 부담스러울 수도 있습니다. 다행스럽게도 사용 가능한 23개 분포(분포 혼합 생성 기능 포함) 중에서 기본 분포는 정규 , 로지스틱 , SEV (최소 극단값), LEV (최대 극단값) 및 GenGamma (일반화 감마)의 5개뿐입니다. 나머지 18개 분포는 이러한 기본 5개 분포에서 파생될 수 있습니다. 첫째, 각 기본 분포에는 로그 보수(각각 Lognormal , Loglogistic , Weibull , Fréchet , LogGenGamma) 가 있습니다. 로그 보수에 맞는 데이터는 데이터 값의 (자연) 로그를 취하여 로그가 아닌 이전 버전으로 변환될 수 있습니다. 둘째, LogGenGamma 를 제외한 모든 로그 분포에는 임계값 경계( TH Lognormal , TH Loglogistic , TH Weibull 및 TH Fréchet ), 0( ZI Lognormal , ZI Loglogistic , ZI Weibull 및 ZI Fréchet )을 설명하는 세 가지 특수 사례가 있습니다. ) 및 (단일) 결함 하위 모집단( DS Lognormal , DS Loglogistic , DS Weibull 및 DS Fréchet ). Fit Mixture 및 Fit Competing Risk Mixture 를 사용하여 GenGamma를 제외하고 기본 5개 및 해당 로그 보완을 사용하여 혼합물을 생성할 수 있습니다 . 마지막으로 단독 홀드아웃인 Exponential은 Weibull 의 특별한 경우입니다. 이번 포스트에서는 기본적인 분포와 그 보완에 대해 이야기하고 특별한 경우와 혼합에 대해서는 나중에 다루겠습니다.
모델의 최소값(SEV)과 최대값(LEV)에 대한 분포를 추구하여 극단값 분포를 도출했습니다. 1954년에 나중에 NIST(국립 표준 기술 연구소)가 되는 국립 표준국은 Emil Gumbel의 일련의 강의, 극값의 통계 이론 및 일부 실제 적용을 바탕으로 역사적으로 중요한 문서를 출판했습니다. 이는 극단가치 이론의 초기 체계화를 제시합니다. 여기서 다운로드할 수 있습니다 . SEV 분포는 Gumbel 분포라고도 합니다.
SEV와 LEV는 모두 매개변수 값에 따라 음수가 될 수 있으므로 엄격한 양수 수량을 모델링하는 데는 바람직하지 않습니다. SEV의 흥미로운 특징은 왼쪽으로 치우쳐 있다는 점입니다. 즉, 대부분의 관측치가 평균보다 높습니다(즉, 중앙값이 평균보다 큽니다). 이는 극단적인 왼쪽 꼬리 관찰을 사용하여 데이터를 모델링하는 데 유용할 수 있습니다.
예시 1 – 연간 최저 기온, 텍사스 주 오스틴.
일일 최고 기온을 포함한 기상 데이터는 국립해양대기청(NOAA) 에서 전 세계 수많은 기상 관측소에 대해 다운로드할 수 있습니다. 다음 데이터 세트는 Global Historical Climatology Network – 일일 데이터 세트에서 가져온 것이며 1893년부터 2022년까지 텍사스주 오스틴에서 관찰된 연간 최저 기온을 포함합니다. 원본 데이터는 두 관측소에서 얻은 것입니다: GHCND:USC00410420(미국 텍사스주 오스틴) , 1893 – 1938) 및 GHCND:USW00013958 (미국 텍사스주 오스틴 캠프 마브리, 1939 – 2022).
히스토그램과 왜도 값은 왼쪽으로 치우쳐진 데이터를 보여줍니다.
Fit All Distributions를 사용하면 SEV가 가장 적합한 것을 보여줍니다.
이러한 분포의 가정은 관측치가 독립적이라는 것입니다. 연간 데이터를 사용하면 인접한 달이 멀리 떨어져 있는 달보다 더 유사할 것으로 예상하므로 월별 극단적인 현상으로 발생하는 계열 상관 관계가 개선됩니다. 이러한 유형의 데이터에는 도시화, 기후 변화 등 관찰의 독립성을 떨어뜨리는 추가 요인도 작용할 수 있습니다.
예시 2 - 가장 빠른 실내 마일 실행 시간의 진행
데이터는 Wikipedia(남자 실내 IAAF 이전 및 남자 실내 IAAF 시대)에서 찾을 수 있습니다. 대형 트랙에서 Glenn Cunningham에 대한 관찰이 제거되었습니다. 시간 열 아래의 데이터만 사용되었습니다. 결과는 LEV가 Lognormal 과 매우 가까운 2위에 가장 가까운 것으로 나타났습니다.
배포 플랫폼을 사용했다면 LEV가 누락되었을 것입니다. AICc , BIC 및 -2*LogLikelihood 값은 두 플랫폼에서 일치하므로 직접 비교가 가능합니다.
예시 3 – 연간 최대 연속 비가 내리지 않는 날, 텍사스 주 오스틴(1927 – 2022)
이 데이터는 NOAA에서도 제공됩니다. 예제 1과 동일한 관측소와 날짜는 1927년에 시작된 데이터와 동일합니다. 이전 예제와 마찬가지로 우리는 Distribution 및 Life Distribution 플랫폼을 모두 고려할 것입니다. 수명 분포는 Fréchet 에 이어 최상의 적합성을 제공하는 로그 일반화 감마 (Log Generalized Gamma)를 보여줍니다. SHASH ( Sinh-ArcSinh )는 Distribution 에서 가장 적합한 배포판입니다. AICc를 기준으로 하면 적합성 측면에서 다른 두 개 에 가깝지만 전체적으로 세 번째로 좋은 것입니다. 일반적인 경험 법칙에 따르면 3~5단위 미만의 간격은 서로 다른 것으로 간주되지 않으므로 이러한 세 가지 분포 중 하나를 고려할 수 있습니다.
위에서 언급한 바와 같이 Fréchet 분포 관측치의 로그는 LEV 분포를 따릅니다. Max(마지막 비 이후 일수) 로그를 취하고 Life Distribution을 사용하여 이를 확인할 수 있습니다.
일반화 감마( GenGamma ) 및 로그 일반화 감마( LogGenGamma )에는 로지스틱과 로그 로지스틱을 제외한 모든 기본 분포와 해당 로그 보수가 포함됩니다. 지수, Weibull, Fréchet 및 로그 정규는 일반화 감마의 특수 사례이며( 감마는 분포 에서 찾을 수 있음) SEV, LEV 및 일반은 로그 일반화 감마의 특수 사례입니다. 두 일반화 분포 모두 포함된 분포보다 하나 더 많은 세 번째 매개변수를 포함합니다. 일반화 감마 및 로그 일반화 감마는 이 매개변수(λ)가 1(SEV/Weibull), 0(정규/로그 정규) 또는 –1(LEV/Fréchet)과 같을 때 특수한 경우로 축소됩니다.
일반화된 분포가 어떤 유연성을 더하는지에 대한 아이디어를 얻으려면 λ만 변할 때의 모양을 보면 됩니다. 일반화된 감마부터 시작하겠습니다. 𝛍 = 1 및 σ = 0.25로 설정하면 다음은 Fréchet, 로그 정규 및 Weibull 분포입니다(각각 λ = –1, 0, 0). 확률 밀도는 왼쪽에 있고 누적 분포는 오른쪽에 있습니다.
피크(모드)는 거의 같은 위치에 있습니다. λ의 절대 크기를 늘리면 분포가 퍼집니다(즉, 정점이 덜해지고 누적 분포가 더 느리게 증가합니다). λ가 더 양수로 변하면 데이터가 오른쪽으로 이동합니다(더 높은 값이 나올 확률이 높아짐). λ를 줄이면 그 반대가 되어 분포 오른쪽에 더 많은 관측치가 집중됩니다.
로그 일반화 감마족의 분포는 비슷한 패턴을 따릅니다. 법선(λ = 0)은 가장 높은 정점입니다(유일한 대칭 멤버임). λ가 0에서 감소함에 따라 분포는 더욱 오른쪽으로 치우쳐집니다(즉, 관측치의 집중도가 왼쪽으로 이동하고 꼬리가 오른쪽으로 이동함). λ가 0에서 증가하면 그 반대가 됩니다.
사례 4 - 1800년 이후 주요 지진 규모의 분포
미국지질조사국(USGS) 에서는 전 세계 지진 데이터를 다운로드할 수 있습니다 . 1803년 이래 전 세계적으로 1,506건의 대규모 지진(규모 7.0 이상)이 발생했습니다. 다음 대규모 지진이 8.0 이상일 확률은 얼마입니까?
생명 분포 에 가장 적합한 것은 로그 일반화 감마 (Log Generalized Gamma) 입니다. 분포 프로파일러를 사용하면 8.0 이상의 지진이 발생할 확률은 0.064332(1 – 0.935668)입니다. Distribution을 사용하여 데이터를 피팅했다면 가장 적합하지 않은 SHASH 가 될 것입니다(AICc: 188.1 vs. 67.8).
그렇다면 왜 특별한 경우에 신경을 쓰나요? 몇 가지 이유. 첫째, 사람들은 Weibull 및 로그 정규 분포와 같은 표준 분포에 더 익숙합니다. 둘째, 람다의 크기가 커질수록 일반화된 분포를 데이터에 맞추는 것이 불안정해질 수 있습니다. 또한 JMP는 λ의 경계를 –12와 12 사이로 제한합니다. 모수 값이 한계에 가까우거나 한계에 있는 경우 신뢰 구간이 지나치게 넓을 수 있습니다.
예시 4 - 캘리포니아에서 다음 대규모 지진 예측
캘리포니아에서 다음번 대규모 지진이 언제 발생할지 예측하는 데 관심이 있다고 가정해 보겠습니다. 1803년 이후 이러한 사건이 18번 발생했으며, 마지막 사건은 2019년 7월 6일에 발생했습니다. 향후 2년 내에 대지진이 발생할 확률은 얼마나 됩니까? 오년?
수명 분포를 사용하는 상위 2개 피팅 분포는 일반화된 감마와 지수입니다. 둘 사이의 차이는 약 3단위(AICc)입니다. 분포를 사용하여 지수를 찾을 수도 있었지만 질문에 대답하는 것이 더 많은 작업이 되었을 것입니다. 일반화된 감마를 사용하면 분포 프로파일러를 사용하여 2년과 5년에 대해 각각 0.195와 0.339의 확률을 얻을 수 있습니다. 불행하게도 이것은 단지 포인트 추정치일 뿐입니다. 대신 상위 95 번째 백분위수 신뢰 구간(CI)을 원하면 약간의 문제가 발생합니다. 두 경우 모두 확률은 1입니다. 넓은 CI는 경계 중 하나(λ = 12)에서 모든 추정치를 갖는 일반화된 감마 분포로 인해 발생하는 것 같습니다. 이 경우 지수 분포를 대신 사용하면 2년 동안 점 추정치는 0.157, 상한 신뢰 구간은 0.24, 5년 동안 점 추정치는 0.337, 상한 신뢰 구간은 0.484를 얻습니다.
이 게시물의 내용을 마무리하기 위해 두 가지 대칭 분포인 정규 분포와 로지스틱 분포, 그리고 로그 보완에 대해 이야기해 보겠습니다. 여러분 대부분은 정규 및 로그 정규에 익숙할 것이며 둘 다 분포 아래에서 사용할 수 있습니다. 나머지 두 가지인 로지스틱과 로그 로지스틱에 초점을 맞춰 보겠습니다. 로지스틱 분포는 정규 분포보다 꼬리에 더 많은 관측값을 집중시킵니다. 이는 정규에 의해 예측되는 것보다 극단적인 관측치가 더 많을 때 도움이 됩니다. 다음은 𝛍 = 0 및 σ = 1인 정규 및 로지스틱을 비교한 것입니다.
사례 5 – 과거 평균 월간 최고 기온과의 월간 편차, 텍사스 주 오스틴
이는 1893년부터 시작된 위와 동일한 데이터 시리즈입니다. 6개월은 해당 달의 일일 관측치의 절반 미만이므로 삭제되었습니다(1894년 3월, 1894년 6월, 1894년 11월, 1900년 9월, 11/ 1922년, 1924년 8월). 분포를 사용하여 데이터를 맞추면 SHASH가 가장 적합하며 상위 4개, 아마도 5개는 상호 교환적으로 사용할 수 있을 만큼 가깝습니다. 정상은 이 그룹에 없습니다.
Normal 2 Mixture가 너무 잘 맞는 것이 처음에는 이상하게 보일 수도 있습니다. 매개변수 추정치를 살펴보면 무슨 일이 일어나고 있는지에 대한 통찰력을 얻을 수 있습니다. 두 분포의 평균은 충분히 가깝고 표준 편차는 꼬리가 더 두꺼운 단봉 분포를 제안할 만큼 충분히 다릅니다. Student's t 의 성능이 이를 뒷받침합니다.
또는 Life Distribution을 사용하면 Logistic이 가장 적합해집니다. 이는 평균과의 편차로 예상할 수 있는 단봉 및 대칭이라는 점에서 매력적입니다. 적합도는 Student's t( 약 1단위 이내) 및 SHASH (약 2단위 이내)보다 약간 열등하지만 둘 중 어느 것보다 더 적은 매개변수가 필요합니다.
지금은 그것으로 충분합니다. 다음 포스트에서는 이러한 배포판의 특수 버전에 대해 이야기하겠습니다.
