239317_es-ES

liliconcom

Características de preprocesamiento

Hola,

 

Me gustaría comenzar a preprocesar mis funciones en una base de datos antes de comenzar el análisis. Estoy buscando ayuda sobre los pasos a seguir.

¿Qué viene primero después de la limpieza de datos? ¿Eliminación de valores atípicos, escalado (normailzation de datos) o falta de imputación de datos?

 

¿Qué orden sugerirías?

 

Saludos

 

Lu

Re: Características de preprocesamiento

Voy a intentarlo, aunque creo que probablemente necesites ser más específico para obtener mejores consejos.  No estoy seguro de cómo distingue los datos de "limpieza" del "preprocesamiento", pero desaconsejaría el paso que enumera.  Nunca recomiendo eliminar los valores atípicos, al menos hasta un análisis bastante profundo cuando comprenda por qué los valores atípicos son, de hecho, valores atípicos. Tampoco recomendaría la normalización o la reescalada de datos como práctica general (aunque puede ser útil para contextos particulares); muchas plataformas de análisis JMP normalizan automáticamente los datos cuando son útiles.  Del mismo modo, la inducción de datos faltantes es innecesaria en la mayoría de las plataformas JMP, ya que se realiza automáticamente (generalmente marcando una casilla para incluir los que faltan).  Hay veces que querrá imputar valores perdidos con más cuidado, tal vez utilizando su propia metodología (por ejemplo, construyendo un modelo de regresión para imputar datos faltantes), pero esto dependerá nuevamente del contexto.  Por lo tanto, no recomiendo hacer ninguna de las cosas que enumera como algo automático.  En cambio, comenzaría por examinar gráficamente sus datos para asegurarme de que comprende lo que se está midiendo, qué tipos de relaciones parecen existir y son potencialmente importantes, y determinar si algún "preprocesamiento" es una buena idea. 

Re: Características de preprocesamiento

Gracias Dale por la respuesta.

 

De hecho, es importante examinar sus datos gráficamente primero antes de preprocesarlos.

Quiero comparar el rendimiento predictivo de varios modelos de aprendizaje automático (modelos lineales como KNN y modelos no lineales como Random Forest, etc.) en mis datos. Los modelos lineales tratan las características como si estuvieran en la misma escala. Pero las variables fisiológicas tienen valores en escalas muy diferentes, como el pH y la frecuencia cardíaca. Por lo tanto, quiero escalarlos mediante la normalización Z. Además, el algoritmo de agrupación (agrupación K-mean) no atribuye automáticamente los valores faltantes en JMPpro. Es por eso que primero quería preprocesar mis datos 

Re: Características de preprocesamiento

Creo que la estandarización se realiza para la agrupación.  La documentación de JMP dice que para KNN, cada variable se escala por su desviación estándar, precisamente para evitar el tipo de problema al que se refiere.  Por lo tanto, sigo pensando que no se requiere un preprocesamiento adicional para que pueda hacer lo que desea: comparar varios modelos predictivos diferentes.