¿Cómo pueden normalizarse los datos categorizados según el ingreso?Hola
Tengo datos categorizados por ingresos que necesito normalizar para usarlos como una variable continua. Los datos provienen de una encuesta sobre la disposición a pagar, en la que los encuestados seleccionaron una de cada once categorías de ingresos. Para cada categoría tengo una serie de observaciones.
Como primer paso, tomé el punto medio de cada categoría para usarlo como la variable continua. La literatura sugiere que el ingreso sigue una distribución normal logarítmica. Tomé el ln del punto medio y lo probé. Sin embargo, la prueba de Shapiro-Wilk indica que los datos no se distribuyen normalmente.
¿Hay alguna forma de normalizar estos datos?
Además, la literatura (Hsiao, C., 1983. ANÁLISIS DE REGRESIÓN CON UNA VARIABLE EXPLICATIVA CATEGORIZADA, en: Amemiya, T., Goodman, LA (Eds.), Estudios en Econometría, Series de Tiempo y Estadísticas Multivariadas. Prensa Académica, pp. 93-129. - Hsiao, C., Montaña, D., 1985. Estimación de la elasticidad de los ingresos a corto plazo de la demanda de electricidad mediante el uso de datos categorizados transversales. Journal of the American Statistical Association 80, 259-265) sugiere un método de dos etapas (variable pseudo-instrumental y método de media condicional) pero no he podido implementar esto en JMP.
¿Sería posible usar los límites superior e inferior de cada categoría más el número de observaciones en cada categoría para obtener datos normalizados?
Mi objetivo es tener dos estimaciones. Uno es el punto medio simple de cada categoría y otro son las estimaciones normalizadas. Me gustaría comparar las estimaciones normalizadas con las del punto medio para evaluar las diferencias entre estos dos métodos.
Apreciaría una explicación interactiva ya que soy nuevo en JMP.
¡Muchas gracias!
Re: ¿Cómo pueden normalizarse los datos categorizados según el ingreso?También puede ajustar modelos con predictores utilizando la plataforma de regresión generalizada en JMP Pro con respuestas censuradas.
Re: ¿Cómo pueden normalizarse los datos categorizados según el ingreso?Todos los datos reales fallan esas pruebas con un tamaño de muestra suficientemente grande. Creo que el viejo adagio de George Box acerca de que todos los modelos están equivocados, pero que algunos son útiles se aplica también a los modelos de distribución. Una mejor pregunta que hacer sobre el ajuste de la distribución es si es un modelo lo suficientemente bueno para obtener una respuesta razonable a su pregunta.
Lo que tienes es intervalo de datos censurados. Puede adaptar una distribución, o incluso modelos, a este tipo de datos utilizando las plataformas de Confiabilidad y Supervivencia en JMP. Por ejemplo, puede usar Life Distribution para ajustar varias distribuciones a sus datos censurados por intervalo y determinar cuál es la mejor opción.
Aquí generé 300 datos lognormales (2, 0.5) y agrupé los resultados con un ancho de bin de 3. Lo siguiente son los conteos en cada bin.
Encajé esto en Life Distribution con Low y High como mis columnas de respuesta y Count como la columna Frequency.
Los datos tienen un ajuste lognormal muy bueno (como se esperaba) con los parámetros estimados 1.975 y 0.43.
También probé gamma generalizada, Weibull y ajustes normales. Obtengo una tabla de comparación que muestra que lognormal es el mejor ajuste según AICc y BIC.
A partir de aquí, puede ser bastante elegante determinar el valor que se asignará a cada recuento dentro de un contenedor. Por ejemplo, podría calcular un valor esperado para los datos dentro de cada bandeja utilizando su ajuste de distribución y asignar ese valor a cada uno de sus conteos para sus datos "normalizados". Una forma fácil de hacerlo sería simular una muestra realmente grande de su distribución ajustada y tomar la media de los datos dentro de cada bin.
Los puntos medios casi asumen una distribución uniforme dentro de cada contenedor, lo que no sería totalmente realista. Sin embargo, supongo que los valores esperados dentro de un contenedor con la distribución ajustada no serán dramáticamente diferentes de los puntos medios (aunque no estoy seguro de qué hacer con respecto al último bin abierto). Me interesaría saber cómo resultan los resultados.
Re: ¿Cómo pueden normalizarse los datos categorizados según el ingreso?Hola dale_lehman
Muchas gracias por tu respuesta. su enfoque se aparta de los puntos simulados y luego establece los contenedores. Lamentablemente, no tengo esa información. Las respuestas de los encuestados indicaron una categoría de ingresos, pero no dieron un número como sus ingresos. además, los rangos de ingresos se seleccionaron en función de los mínimos de salario con un intervalo abierto al final. en este punto, estoy considerando usar los valores estandarizados (función JMP) del punto medio, Ln y Log10, incluso si las pruebas de normalidad fallan.
Re: ¿Cómo pueden normalizarse los datos categorizados según el ingreso?Por lo que he leído, lo lognormal puede no ser el mejor para modelar la distribución del ingreso (parece que se prefiere una distribución gamma, entre otras). Además, creo que encontré un programa R específicamente para ajustar distribuciones lognormales a datos agrupados, pero no escribí dónde estaba. Pero hice un poco de simulación sobre tu pregunta y encontré algunas sorpresas.
En el archivo de ejemplo, simulé 10,000 puntos de una distribución lognormal. Luego los agrupé utilizando la utilidad de agrupación (que se encuentra en Utilidades de columna). El script adjunto muestra la tabulación de los medios para cada bin. Hice eso en una tabla de datos (una opción en la flecha roja de la tabla). En esa tabla de datos, calculé el punto medio de cada bandeja y calculé el "error", es decir, la diferencia entre la media de los rangos superior e inferior de la bandeja y la media real de los datos en cada bandeja. Esperaba encontrar un patrón regular en el que los medios de cada bandeja estuvieran por debajo del promedio de los puntos finales de los contenedores. Pero yo no. No parece haber ningún patrón en absoluto. Si hiciera esto correctamente, parecería que usar los puntos medios de los contenedores no produce un sesgo sistemático de los datos lognormales originales.
Si alguien encuentra un error con mi enfoque, ¡hágamelo saber! Mi intuición sugiere que si los contenedores son infinitamente estrechos, entonces los puntos medios y los medios deberían ser los mismos. En el otro extremo, si hay un bin, entonces la media de los valores lognormales debe ser menor que el punto medio de ese bin. Si esta lógica es correcta, entonces mi ejemplo muestra lo que sucede con los contenedores que son relativamente estrechos en comparación con el rango general de los datos. El sesgo sistemático debe ser evidente cuando los contenedores se vuelven suficientemente amplios.
