¿El ajuste continuo de la distribución no logra seleccionar el mejor ajuste?Jugué para comprender la naturaleza de la distribución experimental y usé el buen flujo de trabajo en JMP Pro 15.0 en Win10 para ello (ajuste continuo -> ajuste todo).
JMP mostró la distribución SHASH como la que mejor se ajusta, donde encontré que la mezcla normal se ajustaba mejor.
Pude reconstruir el problema con una distribución modelada, vea el guión a continuación.
¿Quizás el AIC negativo es el problema? En el Manual (capítulo 3 Análisis básico, Distribuciones, p91) también encontré que el AIC ponderado para la mejor distribución está más cerca de 1. Es el caso de SHASH, pero visual y realmente está mal, creo.
¿Alguna sugerencia de cuál es el problema?
Names Default To Here( 1 );
// Compose a distribution with 70 rows random normal, and 30 rows fixed values
Vec = J( 1, 70, Random Normal( 70, 25 ) ) || J( 1, 30, 100 );
// this distribution 70/10 would let JMP take the right guess, but with too small difference in AIC?
// Vec = J( 1, 70, Random Normal( 70, 25 ) ) || J( 1, 10, 100 );
// cut off values larger than 100
Vec[Loc( Vec > 100 )] = 100;
// Put it into table
dty = New Table( "yield_distribution", New Column( "yield", set values( Vec ) ) );
dty << Add Properties to Table(
{New Script(
"Distributions_SHASHvsNormal",
Distribution(
Continuous Distribution( Column( :yield ), CDF Plot( 1 ), Fit Normal 2 Mixture, Fit SHASH ),
SendToReport(
Dispatch( {"yield"}, "Quantiles", OutlineBox, {Close( 1 )} ),
Dispatch( {"yield"}, "Summary Statistics", OutlineBox, {Close( 1 )} ),
Dispatch( {"yield"}, "Fitted Normal 2 Mixture Distribution", OutlineBox, {Close( 1 )} ),
Dispatch(
{"yield", "CDF Plot"},
"Distrib CDF",
FrameBox,
{DispatchSeg(
TopSeg( 2 ),
{Set Script(
Pen Size( 1 );
Pen Color( -2600622 );
Y Function( SHASH Distribution( X, 1.13512094644709, 0.0115544235279409, 100, 9.38305371818249e-80 ), X );
)}
)}
)
)
)
)}
);
dty << run script( "Distributions_SHASHvsNormal" );
AnalíticaRe: ¿El ajuste continuo de la distribución no selecciona el mejor ajuste?Me puse en contacto con el soporte técnico de JMP para confirmarlo. Están dispuestos a continuar con esta pregunta si desea comunicarse con ellos sobre este asunto ( support@jmp.com ).
Re: ¿El ajuste continuo de la distribución no selecciona el mejor ajuste?Usted dijo, " Parece que los valores en 100 tienen más importancia (porque hay mucha área que no vi en el gráfico a continuación). " Bueno, ¡son el 30% de la masa!
Re: ¿El ajuste continuo de la distribución no selecciona el mejor ajuste?@Mark_Bailey gracias por la respuesta, tienes razón, no es realmente una distribución normal, pero creo que tampoco está tan lejos.
La motivación para mí es leer de la distribución ajustada algunos máximos locales, y el modelo normal mixto lo hace. Es decir, un máximo local significa una Densidad de rendimiento más alta en un cierto valor que conduce a una causa aislada para ese Problema de rendimiento. Suponiendo que la Distribución de rendimiento consta de varias causas Independientes en cierto Nivel, cada una normalmente distribuida.
Mirar el CDF da la mejor impresión visual de lo que quise decir. Ahí veo que modelo mixto es mejor (el modelo naranja se ajusta mejor a la curva roja que el menta).
Y el algoritmo JMP con SHASH modela el Sharp Edge al 100 mejor. Me sorprendió ese descubrimiento. Parece que los valores en 100 tienen más importancia (porque hay mucha área que no vi en el gráfico a continuación).
Pero para hacerlo bien en el futuro, probablemente debería eliminar los valores "100" de mi Distribución real e intentar hacer el ajuste nuevamente.
Re: ¿El ajuste continuo de la distribución no selecciona el mejor ajuste?AICc es un criterio. Por cierto, no hay nada malo con un AICc negativo.
El modelo SHASH es claramente superior al modelo de mezcla normal utilizando este criterio . y BIC. Y log-verosimilitud negativa. También es la razón de la disparidad en los pesos de AICc, que podrían usarse para un modelo de distribución de conjunto.
¿Cuál es su criterio para elegir el modelo de mezcla normal? No me parece tan bueno. Además, sé que es un modelo pobre en principio. Los datos son una combinación de 70% normal (75, 25) y 30% 100, no una combinación de dos distribuciones normales. Esta distribución se parece más a una distribución inflada con ceros, pero en el otro valor extremo. La primera distribución excede 100 y la segunda distribución tiene un ancho distinto de cero.
Por lo que el modelo mixto no sería útil para la estimación en las colas.
Por otro lado, el modelo SHASH respeta el límite de 100. Si el gráfico del PDF parece no estar de acuerdo con el histograma, recuerde que la elección de los contenedores determina nuestra impresión, pero es un algoritmo difícil. Puede anular manualmente el número de contenedores.
Parece que SHASH es la mejor opción de los dos candidatos, pero es probable que ninguno sea un buen modelo para estos datos.
