Datos nominales faltantesHola. Estoy haciendo un proyecto de clase en el que necesito predecir el precio en función de una serie de variables predictivas para un conjunto de datos de vivienda. He limpiado todas mis filas numéricas, eliminándome de los valores atípicos, ahora mi pregunta involucra dos columnas: opciones_de_estacionamiento y opciones_de_lavandería. Dentro de estas dos columnas faltan alrededor de 218.000 valores para las filas. Mi pregunta es qué hacer con los datos nominales que faltan. Es una buena parte del conjunto de datos (de 384.000) y no quiero deshacerme de estas filas por completo. Sé que a veces los datos se dejan en blanco a propósito pero no creo que sea mi caso. Hay algunas casas grandes que tienen valores nulos en lavandería_opciones y estacionamiento_opciones, por lo que no creo que deba asumir que estos valores nulos significan que no hay estacionamiento ni lavandería.
Exploración y visualización de datosventanasRe: Faltan datos nominalesCreo que tienes dos opciones básicas. La primera es adoptar/invocar la capacidad de "falta de información" en JMP. Aquí hay un enlace a la explicación de la capacidad en la documentación de JMP: Falta informativo en JMP . Pero esto significa que usted piensa o al menos está dispuesto a asumir que hay alguna "información" en el hecho de que faltan las observaciones. Digamos que las personas no están dispuestas a dar una respuesta a algo por motivos de privacidad o por algún otro motivo que es común entre las observaciones que faltan. Básicamente, JMP trata la "falta" como un nivel adicional para la variable predictiva nominal. La segunda opción es simplemente tomar la decisión e ir solo con las observaciones que tienen todos los valores de las variables predictoras. Todavía tienes alrededor de 166.000 observaciones con las que trabajar. Por último, probaría ambas vías y compararía las conclusiones prácticas a las que llega cada una. Si hay pocas conclusiones prácticas de que sea diferente, entonces la "desaparición" no afectó las decisiones finales.
Re: Faltan datos nominalesCuando usas faltante informativo , ¿eso significa que todas las filas con desaparecido los datos pertenecen al mismo "grupo" - desde el punto de vista de información : ¿que siempre es la misma "razón" por la que falta la información?
es decir, NO:
- falta porque la mitad de ellos no tienen lavandería ni estacionamiento y no quieren decirlo y la mitad son ultra ricos, tienen 5 estacionamientos y 3 lavanderías y no quieren decirlo.
Re: Faltan datos nominalesUn poco. Incluso en su segundo escenario, hay un hilo conductor: la falta de voluntad para responder por cualquier motivo. Es por eso que usar información faltante es una especie de acto de fe. Y por eso sugerí ajustar el modelo con y sin faltantes informativos para ver si las conclusiones prácticas son diferentes entre cada análisis.
Re: Faltan datos nominalesComo alguien que enseña estas cosas, tengo un par de comentarios, además de los buenos consejos de P_Bartell.Deberías probar con y sin información faltante.En la misma línea, debes investigar gráficamente cómo se comparan las casas con esos datos faltantes con las casas con datos completos con respecto a la variable dependiente que estás tratando de predecir (¿presumiblemente un precio?).En otras palabras, si los precios de las casas a las que les faltan opciones de lavandería se comportan de manera similar a las casas con esas opciones (comportarse significa la relación con cosas como los metros cuadrados), entonces quizás esas opciones no sean tan importantes y puedas "morder la bala" como dice P_Bartell. lo pone.Sin embargo, morder la bala puede significar ignorar esa variable en lugar de ignorar las observaciones con datos faltantes.Es posible que las opciones de lavandería no sean tan importantes, y la razón por la que falta esta variable puede ser aleatoria (esto es lo que investigará "falta informativa", pero lo complementaría con una investigación gráfica adicional.
La otra cosa que noté es tu comentario que "eliminó los valores atípicos".Me doy cuenta de que algunas personas enseñan a otras personas a hacer eso y algunos textos incluso instruyen a las personas a hacerlo.Yo no.Creo que es un mal hábito deshacerse de los datos.A menos que los valores atípicos parezcan ser errores, son parte de sus datos y no creo que deba deshacerse de ellos sin mayor justificación.Es mucho mejor utilizar una medida invariante con respecto a los valores atípicos (por ejemplo, la mediana en lugar de la media, que se puede investigar mediante una regresión por cuantiles) que eliminar los valores atípicos.
Re: Faltan datos nominalesHistóricamente, todos los grandes descubrimientos comenzaron con valores atípicos. Los resultados no fueron los esperados. Tirarlos significa que no podrás descubrir nada nuevo. El modelo podría explicar estos resultados atípicos.
Re: Faltan datos nominalesExcelentes puntos agregados por @dale_lehman sobre valores atípicos.
Y para añadir al comentario de @Mark_Bailey , en presencia de valores atípicos, puede elegir modelos que se vean menos afectados por los valores atípicos, como métodos basados en árboles (árbol impulsado, árbol de decisión, bosque aleatorio,...) o agregar regularización a su modelo lineal (regresión LASSO, por ejemplo).
También puedes jugar con diferentes parámetros o soluciones alternativas, como pesar para reducir la influencia de los valores atípicos en tu modelo.
