Kontinuierliche Verteilungsanpassung wählt nicht die beste Anpassung aus?Ich habe herumgespielt, um die Natur der experimentellen Verteilung zu verstehen, und den netten Workflow in JMP Pro 15.0 unter Win10 dafür verwendet (Continuous Fit -> Fit All).
JMP zeigte die SHASH-Verteilung als beste Anpassung, wobei ich fand, dass gemischt normal besser passte.
Ich konnte das Problem mit einer modellierten Verteilung rekonstruieren, siehe Skript unten.
Vielleicht ist negatives AIC das Problem? Im Handbuch (Kapitel 3 Basisanalyse, Verteilungen, Seite 91) habe ich auch festgestellt, dass der gewichtete AIC für die beste Verteilung am nächsten bei 1 liegt. Es ist der Fall für SHASH, aber es ist visuell und wirklich falsch, denke ich.
Irgendwelche Vorschläge, was das Problem ist?
Names Default To Here( 1 );
// Compose a distribution with 70 rows random normal, and 30 rows fixed values
Vec = J( 1, 70, Random Normal( 70, 25 ) ) || J( 1, 30, 100 );
// this distribution 70/10 would let JMP take the right guess, but with too small difference in AIC?
// Vec = J( 1, 70, Random Normal( 70, 25 ) ) || J( 1, 10, 100 );
// cut off values larger than 100
Vec[Loc( Vec > 100 )] = 100;
// Put it into table
dty = New Table( "yield_distribution", New Column( "yield", set values( Vec ) ) );
dty << Add Properties to Table(
{New Script(
"Distributions_SHASHvsNormal",
Distribution(
Continuous Distribution( Column( :yield ), CDF Plot( 1 ), Fit Normal 2 Mixture, Fit SHASH ),
SendToReport(
Dispatch( {"yield"}, "Quantiles", OutlineBox, {Close( 1 )} ),
Dispatch( {"yield"}, "Summary Statistics", OutlineBox, {Close( 1 )} ),
Dispatch( {"yield"}, "Fitted Normal 2 Mixture Distribution", OutlineBox, {Close( 1 )} ),
Dispatch(
{"yield", "CDF Plot"},
"Distrib CDF",
FrameBox,
{DispatchSeg(
TopSeg( 2 ),
{Set Script(
Pen Size( 1 );
Pen Color( -2600622 );
Y Function( SHASH Distribution( X, 1.13512094644709, 0.0115544235279409, 100, 9.38305371818249e-80 ), X );
)}
)}
)
)
)
)}
);
dty << run script( "Distributions_SHASHvsNormal" );
AnalytikBetreff: Kontinuierliche Verteilungsanpassung wählt nicht die beste Anpassung aus?Ich habe den technischen Support von JMP um Bestätigung gebeten. Sie sind bereit, diese Frage weiter zu verfolgen, wenn Sie sie in dieser Angelegenheit kontaktieren möchten ( support@jmp.com ).
Betreff: Kontinuierliche Verteilungsanpassung wählt nicht die beste Anpassung aus?Du sagtest, " Scheint, dass Werte bei 100 wichtiger werden (weil es viel Bereich gibt, den ich in der Grafik unten nicht gesehen habe). " Nun, sie machen 30% der Masse aus!
Betreff: Kontinuierliche Verteilungsanpassung wählt nicht die beste Anpassung aus?@Mark_Bailey danke für die antwort, du hast recht, es ist nicht wirklich eine normale verteilung, aber auch nicht so weit weg denke ich.
Die Motivation für mich besteht darin, einige lokale Maxima aus der angepassten Verteilung auszulesen, und das gemischte normale Modell tut dies. Das heißt, ein lokales Maximum bedeutet eine höhere Ertragsdichte bei einem bestimmten Wert, was zu einer isolierten Ursache für dieses Ertragsproblem führt. Angenommen, die Ertragsverteilung besteht aus mehreren unabhängigen Ursachen auf einem bestimmten Niveau, die jeweils normalverteilt sind.
Ein Blick auf die CDF gibt den besten visuellen Eindruck für das, was ich meinte. Dort sehe ich, dass gemischtes Modell besser ist (das orangefarbene Modell passt besser zur roten Kurve als das mintfarbene Modell).
Und der JMP-Algorithmus mit SHASH modelliert die scharfe Kante auf 100 am besten. Ich war überrascht von dieser Entdeckung. Scheint, dass Werte bei 100 wichtiger werden (weil es viel Bereich gibt, den ich in der Grafik unten nicht gesehen habe).
Aber um es in Zukunft richtig zu machen, sollte ich wahrscheinlich die Werte "100" aus meiner realen Distribution entfernen und versuchen, das wieder passend zu machen.
Betreff: Kontinuierliche Verteilungsanpassung wählt nicht die beste Anpassung aus?AICc ist ein Kriterium. An einem negativen AICc ist übrigens nichts auszusetzen.
Das SHASH-Modell ist dem normalen Mischungsmodell deutlich überlegen mit diesem Kriterium . Und BIC. Und negative Log-Wahrscheinlichkeit. Dies ist auch der Grund für die Ungleichheit in den AICc-Gewichten, die für ein Ensemble-Verteilungsmodell verwendet werden könnten.
Was ist Ihr Kriterium für die Wahl des normalen Mischungsmodells? Es sieht für mich nicht so gut aus. Außerdem weiß ich, dass es ein schlechtes Modell auf Grundprinzipien ist. Die Daten sind eine Kombination aus 70 % Normalverteilung ( 75, 25 ) und 30 % 100, keine Kombination aus zwei Normalverteilungen. Diese Verteilung ähnelt eher einer Null-aufgeblasenen Verteilung, aber auf dem anderen Extremwert. Die erste Verteilung überschreitet 100 und die zweite Verteilung hat eine Breite ungleich Null.
Das Mischungsmodell wäre also für die Abschätzung in den Schwänzen nicht brauchbar.
Andererseits respektiert das SHASH-Modell die Grenze von 100. Wenn die Darstellung der PDF-Datei nicht mit dem Histogramm übereinstimmt, denken Sie daran, dass die Auswahl der Bins unseren Eindruck bestimmt, aber ein schwieriger Algorithmus ist. Sie können die Anzahl der Bins manuell überschreiben.
Es scheint, dass SHASH die bessere Wahl der beiden Kandidaten ist, aber keiner ist wahrscheinlich ein gutes Modell für diese Daten.
