실험적인 배포의 특성을 이해하기 위해 놀았고 Win10에서 JMP Pro 15.0의 멋진 워크플로를 사용했습니다(연속 맞춤 --> 모두 맞춤).
JMP는 SHASH 분포를 가장 잘 맞는 것으로 보여주었는데, 여기서 나는 혼합된 노멀이 더 잘 맞는 것을 발견했습니다.
모델링된 배포로 문제를 재구성할 수 있었습니다. 아래 스크립트를 참조하십시오.
아마도 부정적인 AIC가 문제입니까? 매뉴얼(3장 기본 분석, 분포, p91)에서 최상의 분포에 대한 가중 AIC가 1에 가장 가깝다는 것도 발견했습니다. SHASH의 경우이지만 시각적으로나 실제로는 잘못된 것이라고 생각합니다.
문제가 무엇인지 제안하시겠습니까?
Names Default To Here( 1 );
// Compose a distribution with 70 rows random normal, and 30 rows fixed values
Vec = J( 1, 70, Random Normal( 70, 25 ) ) || J( 1, 30, 100 );
// this distribution 70/10 would let JMP take the right guess, but with too small difference in AIC?
// Vec = J( 1, 70, Random Normal( 70, 25 ) ) || J( 1, 10, 100 );
// cut off values larger than 100
Vec[Loc( Vec > 100 )] = 100;
// Put it into table
dty = New Table( "yield_distribution", New Column( "yield", set values( Vec ) ) );
dty << Add Properties to Table(
{New Script(
"Distributions_SHASHvsNormal",
Distribution(
Continuous Distribution( Column( :yield ), CDF Plot( 1 ), Fit Normal 2 Mixture, Fit SHASH ),
SendToReport(
Dispatch( {"yield"}, "Quantiles", OutlineBox, {Close( 1 )} ),
Dispatch( {"yield"}, "Summary Statistics", OutlineBox, {Close( 1 )} ),
Dispatch( {"yield"}, "Fitted Normal 2 Mixture Distribution", OutlineBox, {Close( 1 )} ),
Dispatch(
{"yield", "CDF Plot"},
"Distrib CDF",
FrameBox,
{DispatchSeg(
TopSeg( 2 ),
{Set Script(
Pen Size( 1 );
Pen Color( -2600622 );
Y Function( SHASH Distribution( X, 1.13512094644709, 0.0115544235279409, 100, 9.38305371818249e-80 ), X );
)}
)}
)
)
)
)}
);
dty << run script( "Distributions_SHASHvsNormal" );
확인을 위해 JMP 기술 지원에 연락했습니다. 귀하가 이 문제에 대해 연락하고자 하는 경우 이 질문을 계속 진행할 의향이 있습니다( support@jmp.com ).
당신은 " 100의 값이 더 중요해지는 것 같습니다(아래 그래프에서 보지 못한 영역이 많기 때문에). " 글쎄, 그들은 질량의 30 %입니다!
@Mark_Bailey 답변 감사합니다. 맞습니다. 실제로는 정규 분포가 아니지만 그렇게 멀지도 않은 것 같아요.
저를 위한 동기는 피팅된 분포에서 일부 로컬 최대값을 읽는 것이며 혼합 정규 모델은 그렇게 합니다. 즉, 일부 로컬 최대값은 특정 값에서 더 높은 수율 밀도를 의미하여 해당 수율 문제에 대한 하나의 고립된 원인으로 이어집니다. 수확량 분포가 특정 수준에서 각각 정규 분포를 따르는 여러 독립 원인으로 구성되어 있다고 가정합니다.
CDF를 보면 내가 의미하는 바에 가장 잘 맞는 시각적 인상을 줍니다. 거기에서 혼합 모델이 더 낫다는 것을 알 수 있습니다(주황색 모델은 민트 모델보다 빨간색 곡선에 더 잘 맞습니다).
그리고 SHASH가 있는 JMP 알고리즘은 날카로운 Edge를 최고 100으로 모델링합니다. 나는 그 발견에 놀랐다. 100의 값이 더 중요해지는 것 같습니다(아래 그래프에서 보지 못한 영역이 많기 때문에).
하지만 바로 하려면 실제 분포에서 "100" 값을 제거하고 다시 맞추려고 해야 합니다.
AICc는 하나의 기준입니다. 그건 그렇고, 부정적인 AICc에는 아무런 문제가 없습니다.
SHASH 모델은 일반 혼합 모델보다 분명히 우수합니다. 이 기준을 사용하여 . 그리고 빅. 그리고 음수 로그 가능성. 이는 또한 앙상블 분포 모델에 사용될 수 있는 AICc 가중치의 불일치에 대한 이유이기도 합니다.
일반 혼합 모델을 선택하는 기준은 무엇입니까? 그것은 나에게 그렇게 좋아 보이지 않습니다. 게다가, 나는 그것이 첫 번째 원칙에 대한 열악한 모델이라는 것을 알고 있습니다. 데이터는 70% normal( 75, 25 )과 30% 100의 조합이며 두 개의 정규 분포의 조합이 아닙니다. 이 분포는 제로 팽창 분포와 비슷하지만 다른 극단값에 있습니다. 첫 번째 분포는 100을 초과하고 두 번째 분포는 너비가 0이 아닙니다.
따라서 혼합 모델은 꼬리 추정에 유용하지 않습니다.
반면 SHASH 모델은 100의 한계를 따릅니다. PDF의 플롯이 히스토그램과 일치하지 않는 것으로 보이면 빈 선택이 인상을 결정하지만 어려운 알고리즘이라는 점을 기억하십시오. 빈 수를 수동으로 재정의할 수 있습니다.
SHASH가 두 후보 중 더 나은 선택인 것 같지만 어느 쪽도 이 데이터에 대한 좋은 모델이 아닙니다.
