ajustar datos truncados a una distribución continuaSupongamos que tengo una muestra de datos que creo que provienen de una distribución de Cauchy. Supongamos que es simétrico con respecto a 0.
Sin embargo, supongamos que mis observaciones se truncan al rango (0,2). Por lo tanto, solo veo una visión relativamente limitada de los datos. Generé algunas variables aleatorias de Cauchy (0,2) y trunqué la tabla de datos para mostrar solo aquellas entre 0 y 2:
¿Hay alguna manera de ajustar estos datos a Cauchy (0, gamma) para obtener la mejor estimación de gamma? En términos más generales, ¿JMP admite el ajuste de datos truncados?
Modelado estadístico avanzadoRe: ajustar datos truncados a una distribución continuaNo estoy seguro de si te refieres a esto, pero creo que hablas de datos censurados. JMP debe saber cuántos puntos de datos se cortan para poder hacer una mejor estimación. Al agregar la propiedad de columna "Límites de detección", puede indicarle a JMP que estos datos se cortaron:
Cuando luego ajusta su distribución, puede estimar mejor los valores basándose en esta información:
El problema en este momento es que si preseleccionas una distribución, esto no parece funcionar. Debes encajar una nueva distribución dentro de la plataforma.
Re: ajustar datos truncados a una distribución continuaGracias por la respuesta, pero mis datos no están censurados. En su ejemplo, tiene un número conocido de observaciones que son mayores o iguales a algún valor (en su caso, 1900). Esa no es mi situación.
En mi ejemplo, no sé cuántas excedieron 2. Solo tengo observaciones que se encuentran entre 0 y 2, sin saber cuántas observaciones estaban fuera de ese rango (porque mi mecanismo de recopilación de datos no puede capturarlas ni siquiera conocerlas). . Así que no tengo un montón de observaciones censuradas.
Si considera mi mecanismo de generación de datos, esto debería quedar más claro. Supongamos que tengo un artefacto explosivo que envía fragmentos en todas direcciones con uniformidad angular. Los datos de ubicación del impacto se recopilaron de un panel plano en el plano xy, donde x es lateral e y es vertical. No tengo idea de cuántos fragmentos excedieron los límites de mi panel de recopilación de datos. Pero no es descabellado pensar que la distribución de x es de Cauchy. Estoy intentando estimar los parámetros de este Cauchy a partir de mi limitado rango de observaciones. Con esta estimación, pude caracterizar la distribución de fragmentos sobre una superficie mayor.
Re: ajustar datos truncados a una distribución continuaHola @GregChesterton : Puede que esto no sea muy satisfactorio, pero puede que valga la pena explorarlo; suponiendo que la distribución es Cauchy como la describe, conoce la forma funcional de la pdf = f(x| 0, gamma). Entonces, ¿podrías usar la plataforma no lineal para estimar gamma?
Re: ajustar datos truncados a una distribución continuaEn el siguiente intento, esto agrega puntos de datos censurados del 1 al 200 y resume la desviación de la distribución normal al ECDF.
El valor mínimo se mostrará al final con la configuración mínima.
datos simulados: Norma(0,10)
faltante: 163 puntos de datos por encima de 10
estimación del guión:
Media: 0,015
Estándar: 9.166
Desaparecidos: 133
Ahora tienes que adaptarlo a tus necesidades (tu propia distribución).
simplemente ejecute el script de tabla "search n_mising" en el archivo Cut_Normal.jmp o en el propio JSL.
Agregué la simulación original como Cut_Normal_original.jmp.
Esta es la idea detrás de esto:
Primero ajusto una distribución normal con un punto de datos censurado adicional y resumo todas las diferencias con el ECDF:
Luego repito todos los puntos de datos censurados adicionales, ajusto la distribución normal nuevamente hasta llegar al último:
esta es la suma de la diferencia absoluta sobre los puntos adicionales:
El punto más bajo ahora me da la estimación de cuántos puntos faltan:
Esto me da entonces un "mejor" ajuste para la distribución:
Espero que esto ayude.
Re: ajustar datos truncados a una distribución continuaHola @Mauro_Gerber : el método que propones es muy interesante; ¿Puedes dar más detalles al respecto, por favor?
Y cuando ejecuto su script, aparece el siguiente error. Se genera el conjunto de datos para el primer gráfico, pero el segundo conjunto de datos tiene 200 filas y está lleno de valores faltantes.
Re: ajustar datos truncados a una distribución continuaHola @MRB3855
El script dentro de Cut_Normal debería funcionar, pero JMP puede tener algunos problemas con el idioma o los conjuntos de archivos pe.
Trabajo con la versión JMP 18.0.1 en inglés y es posible que tenga otras Preferencias (como si tuviera mis gráficos siempre apilados).
No busqué el cuadro de visualización con un valor fijo ya que el límite de censura está en el título. Tal vez puedas buscar el título cuando sepas cómo JMP lo analizará en el título:
Entonces esos dos números pueden ser diferentes en tu JMP:
Cuando imparto mis cursos internos de estadística, trato de enfatizar la importancia de que la curva de distribución (PDF) se ajuste a los datos, también conocido como. histograma.
Se puede decir lo mismo con el ECDF y la función CDF de la distribución. y cuánto se desvían entre sí.
@GregChesterton tiene solo una parte de la curva, por lo que ajusto un número diferente de valores faltantes y comparo qué tan bien se ajusta la estimación con los datos que hay allí.
este es el mejor ajuste (menor desviación de suma) del conjunto de datos normal:
--> 
En JMP también puede echar un vistazo a PP Plot debajo del ajuste donde se encuentra la comparación directa.
Repito los posibles valores faltantes y escribo la diferencia suma entre el ECDF y el CDF ajustado de la función de probabilidad.
Su "fuerza bruta" y no muy elegante pero da un resultado correcto.
Otra opción posible es crear un optimizador numérico simple con la cola ECDF y la función con la diferencia de suma como objetivo y luego minimizarlo.
Re: ajustar datos truncados a una distribución continuaSi va a utilizar la plataforma no lineal para ajustar los datos utilizando el método de máxima verosimilitud, necesitará las siguientes piezas.
Primero, la función de densidad de su Cauchy(0, gamma) truncado.
Consulte la fórmula PDF en esta página https://en.wikipedia.org/wiki/Truncated_distribution
En su caso, b = 2 y a = 0.
En el numerador, es la función de densidad Cauch(0, gamma), en su caso. Encuéntrelo en el índice de secuencias de comandos JMP:
En el denominador, la función F es la distribución de Cauchy(0, gamma), en su caso. Encuéntralo en el índice:
Ahora necesita reunir la información para crear una columna de fórmula de función de pérdida de probabilidad logarítmica negativa.
La fórmula es algo como la siguiente. (Suponga que su columna de datos se llama "Y".)
Es una función JSL "Parámetro". El primer argumento es una lista de parámetros que debemos ajustar. En este caso, aquí solo hay uno: gamma. Y el valor 1 es un valor inicial. Debe ser lo más cercano posible a la estimación final. Entonces, use su mejor criterio. O puede realizar una prueba y error. No te preocupes si no está cerca inicialmente. La plataforma no lineal le permite probar diferentes valores después del lanzamiento.
El segundo argumento de la llamada a la función "Parámetro" es la función de probabilidad logarítmica negativa. Mírelo y vea cómo proviene de la función de densidad de su Cauchy de truncamiento.
Nombra la nueva columna "pérdida". Y configure el diálogo de inicio no lineal. Haga clic en Aceptar".
Después del inicio, puede hacer clic en "Ir" o cambiar el valor de "gamma" y luego hacer clic en "Ir". Si falla, puede cambiar "gamma" y hacer clic en "Ir" nuevamente.
Aquí están los enlaces a algunos documentos relevantes:
https://www.jmp.com/support/help/en/18.0/index.shtml#page/jmp/create-formulas-in-jmp.shtml#ww96570
https://www.jmp.com/support/help/en/18.0/index.shtml#page/jmp/nonlinear-regression.shtml#
https://www.jmp.com/support/help/en/18.0/index.shtml#page/jmp/create-formula-columns-for-multiple-columns.shtml
https://www.jmp.com/support/help/en/18.0/index.shtml#page/jmp/create-a-formula-column.shtml
