A veces el vacío es significativo. Si un solicitante de préstamo deja vacíos sus campos de deuda y salario, ¿no cree que el vacío es significativo? Si un solicitante de empleo deja este campo de trabajo anterior vacío, ¿no cree que el vacío es significativo? Si un candidato político llena un formulario que tiene un campo vacío para el último delito mayor condenado, ese vacío es, con suerte, informativamente positivo. Los valores faltantes también son valores: son más difíciles de acomodar en nuestros métodos estadísticos. No puedes hacer aritmética sobre ellos para encontrar medios. Pero todavía puedes usarlos de manera práctica.
Algunos conjuntos de datos están llenos de valores perdidos. Los métodos estándar tienen que descartar una observación completa si falta alguna de las X. Si modela con muchas variables y falta una u otra, puede terminar sin datos para estimar. Además, incluso si terminas con suficientes datos, esa parte de los datos puede ser una muestra sesgada de los datos siempre que el mecanismo para hacer que los valores faltantes esté relacionado con la respuesta. Los resultados son sesgados.
Un enfoque para solucionar el problema es imputación - estima los valores faltantes, o en algunos casos proporciona una distribución de los valores faltantes, produciendo una distribución de respuestas. La imputación es un área rica de estadísticas con una gran literatura. Algunos tipos de imputación son fáciles, como estimar los valores faltantes al predecirlos a partir de todas las variables X que no faltan. Otros tipos son difíciles e implican entrar en el mecanismo de por qué faltan los valores.
Pero supongamos que solo somos mineros de datos: solo queremos algo simple para lanzar en grandes modelos predictivos para recuperar todas las observaciones que de otro modo tendríamos que tirar.
Además, suponga que los valores perdidos son informativos. Cuando está estudiando los datos para predecir si un préstamo es malo y el solicitante del préstamo deja de lado sus ingresos o sus deudas actuales, probablemente sea mejor que asumamos que el solicitante está siendo evasivo aquí por una razón. El hecho de dejar el campo perdido es una buena pista sobre el riesgo de un préstamo para el solicitante.
En lugar de intentar predecir el campo que falta, codificaremos para ello. Si el campo es categórico, solo tratamos la falta como otra categoría. Si el campo es continuo, tenemos que hacer algo más. Para esa variable, hacemos dos columnas en la matriz de diseño para cada regresor continuo X:
X Continuo = si (IsMissing (x), x, xbar)Falta X = IsMissing (x)
La primera columna es solo X excepto cuando falta X, en cuyo caso sustituimos la media de esa X. La segunda columna es el indicador de falta.
Cada una de estas columnas de diseño tiene un parámetro estimado para ello. La primera columna será la estimación de todas las X no faltantes. El segundo será cuánto va a cambiar la Y predicha si falta X, donde el cambio se mide a partir de lo que un promedio de X predeciría para Y.
Esta codificación de valor faltante ha estado en uso como un método práctico durante mucho tiempo. En JMP , se introdujo con la nueva plataforma Neural en JMP 10. Ahora con JMP 11 , lo estamos introduciendo para la mayoría de las otras plataformas Fit Model.
En el pasado, admitimos que la minería de datos se adapta principalmente a las plataformas Neural y Partición, en las que faltaba un manejo de valor. Las plataformas de modelado regulares sufrieron cuando faltaban muchos valores en los datos. Ahora tenemos una opción "Falta informativa" que especifica el uso del sistema de codificación de valores faltantes cada vez que una covariable continua tiene valores faltantes y también utiliza un nivel de valor faltante para faltantes categóricos.
El directorio de muestra tiene un conjunto de datos llamado Equity que es un ejemplo de modelado predictivo estándar con muchos valores faltantes. Por ejemplo, la columna DEBTINC tiene el 22% de sus valores faltantes.
Sin falta informativa, el ajuste logístico utiliza solo 3,364 de las 5,960 observaciones. Sin embargo, con falta informativa, todos los datos están en forma. Sin información faltante, Rsquare era .23, pero con información faltante, Rsquare es .45. Estamos ajustando muchas más observaciones, y también estamos ajustando mucho mejor.
Observe en los informes que muchos de los regresores continuos tienen dos parámetros: por ejemplo, MORTDUE o Mean si falta, y falta MORTDUE. Si la estimación del parámetro en el término "Falta" del indicador no es significativa, entonces el uso de la imputación por la media hubiera funcionado. Pero si el valor es significativo, entonces los valores faltantes están diciendo algo diferente en comparación con el valor medio.
Podría hacer esta técnica antes con mucho esfuerzo haciendo que las columnas de fórmulas regresen con. Con JMP 11, solo tiene que hacer clic en un elemento del menú llamado "Falta informativa".
Ahora las plataformas Fit Model están listas para unirse a las plataformas predictivas tradicionales para hacer modelos predictivos. Por cierto, Informative Missing se encuentra en la plataforma Fit Model en JMP 11 Para las personalidades más adecuadas.
Nota: Esto es parte de un Grandes estadisticas Serie de publicaciones del blog de John Sall. Leer todo su Grandes publicaciones de estadísticas .
Querido Martin,
Volví a revisar el archivo Bands Data.jmp y uso las fórmulas de dos columnas para convertir las variables contiunous faltantes en la media de los datos registrados en la columna, y agregué la columna Indicador de 0/1 para especificar Faltan datos / No faltan faltas en el informe. corrió las regresiones con las 2 nuevas columnas y se comparó con la regresión de los datos originales con valores faltantes.
Todavía es una forma larga de hacerlo en comparación con JMP Pro, pero al menos funciona para mí.
Atentamente,
David
Hola David,
El archivo de muestra que mencionó no se ha adjuntado. Sin embargo, la fórmula debería funcionar y ahora necesita agregar dos nuevas columnas a su regresión en lugar de la original. Si la falta resulta ser informativa, la columna del indicador debe resultar significativa. En la opción faltante informativa en las nuevas versiones de JMP, la salida se generará de manera que la variable significativa se mostrará como "Col 1 o mean si falta" o falta Col 1 ", como se puede ver en la captura de pantalla de John o en la final informe.
Espero que ayude,
Martín
Hola martin,
En JMP7 creo la X continua con valores de media (x) de columna usando ColMean (x) en:
IfMissing (x) => ColMean (x);
=> x
Y X falta = IsMissing (x)
¿Laborioso, pero funciona para revelar el efecto de los valores de datos faltantes en las bandas? (Y)
David
Hola David,
Como describió John en la parte central, puede crear nuevas columnas de fórmula para cada una de las variables que faltan. Solo tiene que agregar para una variable continua dos nuevas columnas de fórmula (haga clic con el botón derecho en su nueva columna y seleccione la fórmula):
X Continuo = si (IsMissing (x), xbar, x)
y segunda columna solo el indicador:
Falta X = IsMissing (x)
Tenga en cuenta que creo que la fórmula del blog de John es un error, ya que tiene x como consecuencia de la falta y, por lo demás, xbar. Creo que esto debería cambiarse como en la fórmula que tengo arriba, ya que desea agregar la media de la columna en caso de que falte una variable. Por cierto puede cambiar el medio de la columna por cualquier fórmula de imputación que considere apropiada, ya que no siempre es el medio que otorga la mejor imputación (pero este es un tema independiente por sí mismo).
Ahora tiene dos columnas y puede agregar estas dos en lugar de la columna original desordenada a su regresión como factores.
Como esto puede suponer un gran esfuerzo en caso de que tenga muchos predictores a partir de JMP 11, se incluyó esta opción.
¿Hay alguna razón específica por la que no pueda actualizar su licencia a una versión más nueva de JMP (JMP actual 13.1)? Se ha agregado mucho más, lo que ayuda a modelar los datos desordenados que puede querer echar un vistazo.
Saludos,
Martín
Muy útil.
Quiero entender cómo funciona Informative Missing Works, pero estoy limitado por tener JMP7 / 8 como mi software con licencia.
Estoy tratando de ejecutar el modelo de partición Robert Anderson de Bands_Data.jmp utilizando solo JMP7 para replicar el enfoque.
Esto hubiera sido muy útil al tratar con Regresión de datos de seguros y Variables de fabricación con muchos valores de datos faltantes que dificultan la regresión por pasos.
David Ashling
0783 400 6111
