Recientemente, un usuario de JMP me llamó con la siguiente pregunta: “Cuando trato de ajustar un modelo de regresión logística nominal, recibo un mensaje de alerta de JMP que me dice que una 'Respuesta debe tener al menos dos niveles'. Y la plataforma no se ejecutará. Sin embargo, cuando selecciono un modelo con un subconjunto de mis variables predictoras, el modelo se ejecuta. ¿Que esta pasando? ¿Está todo perdido?
¿Está todo perdido? Talvez no.
Figure 1. A JMP Alert message.Figure 1. A JMP Alert message.Figure 1. A JMP Alert message.Figure 1. A JMP Alert message.Figura 1. Un mensaje de alerta JMP.
El motivo del mensaje de alerta JMP anterior es que faltan demasiados datos en el conjunto de datos. La característica operativa predeterminada de JMP es excluir filas del análisis que contienen datos faltantes. La plataforma no funcionará si la magnitud de la falta es lo suficientemente grave. A veces, incluso los datos que faltan tienen información que podemos usar para resolver problemas prácticos. ¿Cómo podemos explorar esta posibilidad si JMP, por defecto, excluye filas de datos con datos faltantes? La respuesta: Utilice las capacidades de modelado informativo, imputación y detección de datos faltantes de JMP.
Las mejores prácticas de modelado estadístico sugieren que deberíamos dedicar algo de tiempo y energía a evaluar la calidad de un conjunto de datos con miras a problemas como valores atípicos, valores sin sentido, valores perdidos y cualquier otra característica que haga que el análisis sea problemático. Este artículo proporciona un ejemplo de cómo se pueden usar las capacidades de JMP en torno a la "falta" de datos para tomar decisiones acertadas y tomar las medidas adecuadas.
Cada problema de modelado debe comenzar con un problema comercial que valga la pena resolver. Trabajaré a través de un problema hipotético pero ilustrativo. El comité organizador de un torneo de pesca deportiva quiere comprender los factores clave de la satisfacción de los participantes con respecto al torneo para tratar de impulsar la participación repetida. Solicitan información, datos y comentarios de los participantes del año pasado sobre la probabilidad de que participen en el mismo torneo el próximo año. El comité recopila información de los participantes a través de una encuesta. Sin embargo, una característica de las personas que van a pescar es... bueno... es posible que no siempre sean los más veraces o comunicativos. ¿Cuántas personas regalarían sus lugares de pesca favoritos y más productivos para aterrizar el BIG ONE, a un completo extraño? ¿O el tipo de cebo que usaron?
El comité pregunta a los participantes si es probable que regresen el próximo año, la edad del participante y el tipo de cebo (artificial o vivo). La edad y el tipo de cebo son las variables predictoras utilizadas en el modelado. El conjunto completo de datos se muestra a continuación:
Figure 2: The Original DataFigure 2: The Original DataFigure 2: The Original DataFigure 2: The Original DataFigura 2: Los datos originales
Tenga en cuenta que faltan varios valores tanto en la edad del participante como en el tipo de cebo. columnas Debido a que JMP excluye las filas que contienen datos faltantes, si intentamos modelar los datos 'tal como están', terminamos con el mensaje de alerta de JMP que se muestra en la figura 1. De hecho, solo hay dos filas sin valores faltantes (resaltados en la figura 2). ¡Con razón JMP nos está alertando!
¿Cómo debemos proceder? ¿Buscar a los encuestados y preguntar 'otra vez'? ¿Fabricar datos? ¿Abandonar?
Bueno, retrocedamos un minuto. Con una inspección visual rápida de la tabla de datos que se muestra en la figura 2, es fácil localizar los datos que faltan. ¿Qué pasaría si tuviéramos un conjunto de datos mucho más grande? ¿Millones de filas? ¿Cientos de columnas? La inspección visual de 'falta' es una solución insostenible. Las plataformas Missing Data Pattern y Explore Missing Values de JMP vienen al rescate. Cuando encontramos filas de valores faltantes... ¿qué hacemos con el hecho de que faltan? Desde aquí, la función Explorar valores perdidos e Información faltante en JMP viene en nuestra ayuda.
Usemos la plataforma Missing Data Pattern para encontrar valores faltantes. La plataforma produce la tabla de patrón de datos faltantes que se muestra en la figura 3 (abajo a la derecha). La columna Patrones es la clave. Los valores distintos de cero indican un patrón de ausencia en la tabla de datos original. En la entrada de la fila de la columna Patrones, cada dígito del patrón es un indicador binario de una columna en la tabla de datos original. Un patrón de todos ceros (primera fila) indica que no faltan valores. La entrada de la columna Recuento indica que hay 2 filas sin valores faltantes. La segunda fila indica un patrón de ausencia donde las filas tienen valores que faltan exclusivamente en el tipo de cebo. columna. La tercera fila, valores faltantes en la columna Edad del participante. Usando la función de enlace dinámico de la firma JMP, al seleccionar las filas 2 y 3 en la tabla de datos Patrón de datos faltantes, se seleccionarán las filas correspondientes en los datos originales.
Figure 3. Missing Data Pattern Data Table and Original DataFigure 3. Missing Data Pattern Data Table and Original DataFigure 3. Missing Data Pattern Data Table and Original DataFigure 3. Missing Data Pattern Data Table and Original DataFigura 3. Tabla de datos de patrones de datos faltantes y datos originales
Ahora que hemos encontrado los valores que faltan, ¿cómo podemos responder a la pregunta fundamental... qué factores influyen en la probabilidad de que el participante regrese? A partir de aquí, pasemos al uso de la plataforma Explore Missing Values de JMP para imputar valores para la columna Edad del participante. ¿No es esto fabricar datos? ¿No es esto deshonesto? Bueno... no exactamente... especialmente si revelamos que estamos creando valores sustitutos con el fin de no tener que tirar al bebé con el agua del baño desde una perspectiva de modelado. Resulta que... con un poco de magia de modelado... si elegimos sabiamente nuestros valores sustitutos, las estimaciones de parámetros para los efectos seguirán siendo significativas. Dentro de la plataforma Explore Missing Values hay dos algoritmos de imputación. Para este ejemplo, he elegido la opción de imputación normal multivariante que se muestra en la figura 4 a continuación. Tenga en cuenta que los valores sustitutos iguales a la media de Edad del participante ahora se han llenado en las filas con valores faltantes en la tabla de datos original.
Figure 4. Multivariate Normal ImputationFigure 4. Multivariate Normal ImputationFigure 4. Multivariate Normal ImputationFigure 4. Multivariate Normal ImputationFigura 4. Imputación normal multivariante
Ahora, ¿cómo tratamos los valores que faltan en el tipo de cebo? columna. Una forma de manejar los valores faltantes para una variable de predictor categórico es invocar la capacidad Faltante informativo de JMP. El principio básico subyacente de usar un constructo faltante informativo es que estamos dispuestos a suponer que hay algún tema, similitud o variable oculta que está detrás del hecho de que falta el valor. ¿Como quizás la reticencia de un concursante de un torneo a revelar el tipo de cebo que utilizó por alguna razón no revelada?
Desde la ventana de especificación Ajustar modelo, invocamos Falta informativa seleccionando Falta informativa en el menú desplegable del triángulo rojo de Especificación de modelo que se muestra en la figura 5 a continuación.
Figure 5. Model Specification and Informative MissingFigure 5. Model Specification and Informative MissingFigure 5. Model Specification and Informative MissingFigure 5. Model Specification and Informative Missing Figura 5. Especificación del modelo e información faltante
Al seleccionar Información faltante, JMP asignará un nuevo nivel para el tipo de cebo. predictor categórico de 'Falta' y continúe con el proceso de ajuste del modelo usando todos los valores en todas las columnas de variables predictoras. La Figura 6 a continuación muestra la parte Resumen de efectos del informe del modelo de regresión logística nominal. Tenga en cuenta que el tipo de cebo? de hecho parece influir en la respuesta.
Figure 6. Effect Summary TableFigure 6. Effect Summary TableFigure 6. Effect Summary TableFigure 6. Effect Summary Table Figura 6. Tabla de resumen de efectos
Un examen más detallado del JMP Prediction Profiler, como se muestra en la Figura 7, indica que el nivel de valor faltante de Bait Type? realmente está impulsando la respuesta ¡Sí!
Figure 7. Prediction ProfilerFigure 7. Prediction ProfilerFigure 7. Prediction ProfilerFigure 7. Prediction ProfilerFigura 7. Perfilador de predicción
Ahora es donde entra en juego la experiencia en el dominio. Seguro que es lógico que un concursante de un torneo que experimente MUCHO éxito en la captura de peces sin duda se incline a NO revelar el tipo de cebo que utilizó. ¿Secretos comerciales? Pero seguramente estarían inclinados a regresar a un torneo en el que tuvieron éxito.
Después del análisis, una inmersión más profunda en los registros del torneo reveló datos adicionales que ciertamente coinciden con la noción de participantes reservados. El gráfico de regresión logística Fit Y by X que aparece a continuación en la figura 8. de la probabilidad de volver el próximo año? es una función del peso total de los peces capturados... y los participantes que los capturaron seguro que no nos cuentan mucho sobre sus secretos. 
Figure 8. Logistic Regression PlotFigure 8. Logistic Regression PlotFigure 8. Logistic Regression PlotFigure 8. Logistic Regression PlotFigura 8. Gráfica de regresión logística
Así que la próxima vez que tenga valores faltantes en un conjunto de datos, recuerde que al usar JMP quizás pueda aprender algo sobre el sistema ¡INCLUSO cuando faltan datos! De hecho, no todo está perdido.
