我尝试了解实验分布的本质,并在 Win10 中使用 JMP Pro 15.0 中的良好工作流程(连续拟合 --> 拟合全部)。
JMP 将 SHASH 分布显示为最佳拟合,我发现混合正态分布更拟合。
我能够使用建模分布重建问题,请参阅下面的脚本。
也许负 AIC 就是问题所在? 在手册(第 3 章基本分析,分布,第 91 页)中,我还发现最佳分布的加权 AIC 最接近 1。 SHASH 就是这种情况,但我认为它在视觉上和实际上都是错误的。
有什么建议吗?问题是什么?
Names Default To Here( 1 );
// Compose a distribution with 70 rows random normal, and 30 rows fixed values
Vec = J( 1, 70, Random Normal( 70, 25 ) ) || J( 1, 30, 100 );
// this distribution 70/10 would let JMP take the right guess, but with too small difference in AIC?
// Vec = J( 1, 70, Random Normal( 70, 25 ) ) || J( 1, 10, 100 );
// cut off values larger than 100
Vec[Loc( Vec > 100 )] = 100;
// Put it into table
dty = New Table( "yield_distribution", New Column( "yield", set values( Vec ) ) );
dty << Add Properties to Table(
{New Script(
"Distributions_SHASHvsNormal",
Distribution(
Continuous Distribution( Column( :yield ), CDF Plot( 1 ), Fit Normal 2 Mixture, Fit SHASH ),
SendToReport(
Dispatch( {"yield"}, "Quantiles", OutlineBox, {Close( 1 )} ),
Dispatch( {"yield"}, "Summary Statistics", OutlineBox, {Close( 1 )} ),
Dispatch( {"yield"}, "Fitted Normal 2 Mixture Distribution", OutlineBox, {Close( 1 )} ),
Dispatch(
{"yield", "CDF Plot"},
"Distrib CDF",
FrameBox,
{DispatchSeg(
TopSeg( 2 ),
{Set Script(
Pen Size( 1 );
Pen Color( -2600622 );
Y Function( SHASH Distribution( X, 1.13512094644709, 0.0115544235279409, 100, 9.38305371818249e-80 ), X );
)}
)}
)
)
)
)}
);
dty << run script( "Distributions_SHASHvsNormal" );
我联系 JMP 技术支持进行确认。 如果您想就此事与他们联系,他们愿意进一步追究这个问题( support@jmp.com )。
你说, ”似乎 100 处的值更重要(因为有很多区域我在下图中没有看到)。 ” 嗯,它们占质量的 30%!
@马克贝利感谢您的回答,您是对的,这并不是真正的正态分布,但我认为也不是那么遥远。
我的动机是从拟合分布中读出一些局部最大值,混合正态模型可以做到这一点。 即,某些局部最大值意味着某个值处的较高产量密度,导致该产量问题的一个孤立原因。 假设收益率分布由一定水平上的多个独立原因组成,每个原因均呈正态分布。
查看 CDF 可以给我最好的视觉印象。 我发现混合模型更好(橙色模型比薄荷色模型更适合红色曲线)。
带有 SHASH 的 JMP 算法以 100 为最佳模型对锐边进行建模。 我对这个发现感到惊讶。 似乎 100 处的值更重要(因为有很多区域我在下图中没有看到)。
但为了将来做到这一点,我可能应该从我的真实分布中删除值“100”并尝试再次进行拟合。

AICc 是一项标准。 顺便说一句,负 AICc 并没有什么问题。
SHASH模型明显优于普通混合模型使用这个标准。 还有BIC。 以及负对数似然。 这也是 AICc 权重差异的原因,该权重可用于集成分布模型。
您选择正态混合模型的标准是什么? 我看起来不太好。 此外,我知道这在第一原理上是一个糟糕的模型。 数据是 70% 正态分布 ( 75, 25 ) 和 30% 100 的组合,而不是两个正态分布的组合。 该分布更像是零膨胀分布,但处于另一个极值。 第一个分布超过 100,第二个分布具有非零宽度。

因此混合模型对于尾部的估计没有用处。
另一方面,SHASH 模型遵循 100 的限制。 如果 PDF 的绘图看起来与直方图不一致,请记住箱的选择决定了我们的印象,但这是一个困难的算法。 您可以手动覆盖垃圾箱的数量。
看起来 SHASH 是这两个候选模型中更好的选择,但对于该数据来说,没有一个模型是一个好的模型。