実験的なディストリビューションの性質を理解するためにいろいろ試し、Win10 で JMP Pro 15.0 の優れたワークフローを使用しました (連続適合 --> すべて適合)。
JMP は、SHASH 分布が最適であることを示しました。
モデル化されたディストリビューションで問題を再構築することができました。以下のスクリプトを参照してください。
おそらく負の AIC が問題なのでしょうか? マニュアル (チャプター 3 基本分析、分布、p91) では、最適な分布の加重 AIC が 1 に最も近いこともわかりました。 SHASHもそうですが、視覚的にも本当に間違っていると思います。
問題は何ですか？
Names Default To Here( 1 );
// Compose a distribution with 70 rows random normal, and 30 rows fixed values
Vec = J( 1, 70, Random Normal( 70, 25 ) ) || J( 1, 30, 100 );
// this distribution 70/10 would let JMP take the right guess, but with too small difference in AIC?
// Vec = J( 1, 70, Random Normal( 70, 25 ) ) || J( 1, 10, 100 );
// cut off values larger than 100
Vec[Loc( Vec > 100 )] = 100;
// Put it into table
dty = New Table( "yield_distribution", New Column( "yield", set values( Vec ) ) );
dty << Add Properties to Table(
{New Script(
"Distributions_SHASHvsNormal",
Distribution(
Continuous Distribution( Column( :yield ), CDF Plot( 1 ), Fit Normal 2 Mixture, Fit SHASH ),
SendToReport(
Dispatch( {"yield"}, "Quantiles", OutlineBox, {Close( 1 )} ),
Dispatch( {"yield"}, "Summary Statistics", OutlineBox, {Close( 1 )} ),
Dispatch( {"yield"}, "Fitted Normal 2 Mixture Distribution", OutlineBox, {Close( 1 )} ),
Dispatch(
{"yield", "CDF Plot"},
"Distrib CDF",
FrameBox,
{DispatchSeg(
TopSeg( 2 ),
{Set Script(
Pen Size( 1 );
Pen Color( -2600622 );
Y Function( SHASH Distribution( X, 1.13512094644709, 0.0115544235279409, 100, 9.38305371818249e-80 ), X );
)}
)}
)
)
)
)}
);
dty << run script( "Distributions_SHASHvsNormal" );
確認のため、JMP テクニカル サポートに連絡しました。 あなたがこの件について彼らに連絡したいのであれば、彼らはこの質問をさらに追求する用意があります ( support@jmp.com ）。
あなたが言った、 " 100 の値がより重要になっているようです (下のグラフには表示されていない領域がたくさんあるため)。 " まあ、それらは質量の30％です！
@マークベイリー答えてくれてありがとう、そうです、それは実際には通常のディストリビューションではありませんが、それほど遠くないと思います。
私にとっての動機は、当てはめられた分布から局所的な最大値を読み取ることであり、混合正規モデルがそれを行います。 すなわち、いくつかの局所的な最大値は、特定の値での収量の密度が高いことを意味し、その収量の問題の 1 つの孤立した原因につながります。 利回り分布が、それぞれが正規分布する特定のレベルでのいくつかの独立した原因で構成されていると仮定します。
CDF を見ると、私が意図したことが最も視覚的に印象的です。 そこでは、混合モデルの方が優れていることがわかります (オレンジ色のモデルは、ミント モデルよりも赤い曲線によりよく適合します)。
また、SHASH を使用した JMP アルゴリズムは、シャープな Edge を 100 best でモデル化します。 その発見には驚きました。 100 の値がより重要になっているようです (下のグラフには表示されていない領域がたくさんあるため)。
しかし、将来的には、実際のディストリビューションから値「100」を削除して、再度適合させる必要があります。
AICc は 1 つの基準です。 ちなみに、AICcがマイナスになっても問題ありません。
SHASH モデルは通常の混合モデルより明らかに優れているこの基準を使用して. そしてビック。 そして負の対数尤度。 これは、アンサンブル分布モデルに使用される可能性のある AICc 重みの不均衡の理由でもあります。
正規混合モデルを選択する基準は何ですか? 私にはそれほど良く見えません。 さらに、それが第一原理の貧弱なモデルであることも知っています。 データは 70% の正規分布 ( 75, 25 ) と 30% の 100 の組み合わせであり、2 つの正規分布の組み合わせではありません。 この分布はゼロ膨張分布に似ていますが、他の極端な値にあります。 最初の分布は 100 を超え、2 番目の分布の幅はゼロではありません。
したがって、混合モデルは裾の推定には役に立ちません。
一方、SHASH モデルは 100 の制限を尊重します。 PDF のプロットがヒストグラムと一致しないように見える場合は、ビンの選択によって印象が決まりますが、これは難しいアルゴリズムであることに注意してください。 ビンの数は手動で上書きできます。
2 つの候補の中では SHASH の方が適しているように見えますが、どちらもこのデータの適切なモデルではない可能性があります。
