por John Sall, cofundador y vicepresidente ejecutivo de SAS
¿Qué pasaría si te dijera que al agregar una característica muy simple, podrías ajustar muchos modelos con mayor precisión que antes? Al mismo tiempo, podría mostrarles que sus respuestas anteriores fueron muy sesgadas, pero las nuevas fueron mucho menos parciales. Además, en lugar de ajustar simplemente los datos que no faltan, puede utilizar todos los datos, haciendo predicciones incluso cuando faltan los regresores.
Esta gran oportunidad llega cuando la falta de datos es predictiva. Considere la tabla de datos de muestra JMP Equity.jmp, que contiene datos predeterminados de la hipoteca de la vivienda. La respuesta es si el cliente dejó de pagar el préstamo. Uno de los regresores es DEBTINC , que es el ratio de deuda a ingreso. DEBTINC Falta gran parte de los datos. ¿Los valores faltantes son predictivos de si el cliente incumplió con el préstamo?
Si adapto el modelo habitual con todas las 12 de las otras variables como regresores, el RSquare es .23, pero esto es solo en 3,364 de las 5,960 filas. No puedo predecir la respuesta cuando falta alguno de los regresores.
Supongamos que encajo el modelo usando la falta de DEBTINC como una variable indicadora. El RSquare en este modelo de un solo regresor es mejor (.25), y uso todas las 5,960 filas para predecir sin importar si faltan los datos. Por lo tanto, la ausencia de datos puede ser predictiva, informativa e incluso superar a los regresores regulares.
La nueva idea es crear no solo las variables del indicador de valor faltante, sino también hacer que los regresores originales sean útiles sin descartar las filas de datos faltantes.
En JMP Pro 11, la ventana de inicio de Fit Model incluye un nuevo elemento de menú de triángulo rojo llamado "Falta informativa". Aunque la función solo está en JMP Pro, puede, con un poco de esfuerzo, lograr el mismo objetivo al agregar columnas de fórmulas a los datos tabla, como se describe en este artículo.
Una forma tradicional de hacerlo es con la imputación. Usted estima los valores faltantes. Un método estándar de imputación es predecir los valores para una variable faltante utilizando todas las demás variables del modelo que no faltan. Cuando faltan valores en los datos, la plataforma multivariable admite la imputación con la opción "Imputar datos faltantes". Y hay otros enfoques de imputación.
La codificación informativa de regresión faltante es mucho más simple que la imputación y también más poderosa. Por cada variable continua en su modelo que tenga valores faltantes, puede sustituir dos variables. La primera variable sustituye un valor medio por los datos faltantes en la columna. La otra variable es un indicador de valor faltante: 1 si falta la columna original, 0 en caso contrario.
Por ejemplo, en Equity.jmp, creo dos nuevas variables con fórmulas para el regresor continuo llamado DEBTINC . Aquí está el script para crear dos nuevas variables con fórmulas:
Nueva Columna ( "DEBTINC o significa si falta" , Numérico, Continuo,
Fórmula( Si ( Está perdido (: DEBTINC), 33.78 , : DEBTINC))
);
Nueva Columna ( "Falta la deuda" , Numérico, Continuo,
Fórmula( Si ( Está perdido (: DEBTINC), 1, 0))
);
" 33.78 "En la fórmula es el medio de DEBTINC , aunque puede ser cualquier valor que te guste.
Ahora en lugar de usar DEBTINC En el modelo, usas las dos nuevas variables de fórmula. DEBTINC o significa si falta y Falta la deuda . El predictor adicional, la variable indicadora, puede ser fuertemente predictivo de la respuesta. En este ejemplo, el hecho de dejar el campo perdido es una pista importante sobre el riesgo de un préstamo para el solicitante.
Con estos dos nuevos predictores, tiene dos variables que nunca faltan, por lo que se pueden utilizar en todos los datos. La variable indicadora de valor faltante puede ser importante en el ajuste, lo que le brinda la oportunidad de mejorar el ajuste.
¿Qué pasa con el otro nuevo regresor, DEBTINC o significa si falta ? Parece ser una forma primitiva de imputar. DEBTINC utilizando sólo la media. Reemplazar los valores perdidos con la media no afecta la estimación de esa variable. Más bien, el parámetro para el indicador de valor faltante estima la diferencia entre la predicción y el valor medio de ese regresor.
Podrías sustituir cero en lugar de la media por faltar. DEBTINC . El parámetro entonces estimaría la diferencia entre la predicción y tener un cero para esa covariable. El valor del complemento que falta solo afecta a la interpretación de la estimación del parámetro del indicador.
Esta técnica no es la imputación. No sustituye ningún valor predicho por los valores faltantes. En su lugar, construye un sistema de codificación para recuperar información cuando faltan los regresores. Además, usas valores perdidos para su valor predictivo. Se supone que tener un valor faltante no es un evento aleatorio, pero es por alguna causa que podría tener un valor predictivo. Es por eso que llamamos a esta técnica de codificación "Informativa faltante" la codificación de regresión.
La Tabla 1 muestra las diferencias dramáticas entre el uso de la imputación y la falta informativa para los datos de Equity.jmp.
Tabla 1. Comparando la imputación con la falta informativa
Método | Número de observaciones utilizadas | R Plaza |
Viejo modelo completo con exclusión de fila faltante | 3,364 | 23.2% |
| Falta un modelo de una variable con DEBTINC | 5,960 | 25.6% |
| Nuevo modelo completo con falta informativa. | 5,960 | 45.6% |
La Figura 1 muestra que las variables del indicador de valor faltante son muy significativas, con Falta la deuda Ser más significativo que cualquier otro regresor en el modelo.
[Falta imagen]
Figura 1. Parámetros estimados ordenados por significación
Como se muestra aquí, puede crear columnas de fórmulas (o transformaciones) para retroceder con. Con JMP Pro 11, solo tiene que seleccionar la opción del menú del triángulo rojo "Falta información" en Fit Model. Otra opción es descargar el complemento "Informativo de codificación faltante" del Intercambio de archivos JMP .
La falta puede ser tu amigo si lo tratas como algo valioso.
