Imputación de datos automatizada: una herramienta versátil en JMP® Pro 14 para manejar valores perdidos (US 2018 130)Nivel: Intermedio
Milo Page, desarrollador estadístico de investigación de JMP, SAS
JMP Pro 14 incluye una nueva utilidad de imputación automática de datos (ADI), un método de imputación de datos perdidos, versátil, ajustado empíricamente y en streaming. Lo recomendamos para manejar datos faltantes como un paso de preprocesamiento para el ajuste predictivo del modelo. Se ajusta empíricamente a su conjunto de datos para extraer la estructura subyacente, incluso en presencia de datos faltantes. También respeta las particiones de entrenamiento y validación e interactúa a la perfección con modelos predictivos. Se desarrolla usando poderosos métodos de terminación de matrices con algunas extensiones añadidas para robustez y flexibilidad. Esta charla se centrará en cuándo ADI es apropiado y cómo usarlo en JMP Pro 14. También describiré un flujo de trabajo recomendado para procesar datos con valores faltantes y demostraré el desempeño de ADI en algunos ejemplos.
Modelado PredictivoFugarseRe: Imputación de datos automatizada: una herramienta versátil en JMP® Pro 14 para manejar valores faltantes (US 2018 130)Hola Felice,
Puedo ayudar con sus preguntas, yo era el doctorado de Milo. asesor de la investigación que llevó a la creación de ADI en JMP Pro.
Si entendí bien, está diciendo que divida los datos en el conjunto de entrenamiento y prueba antes de imputar los valores faltantes. Una vez que dividió los datos, ¿aplica el método ADI solo a los datos de entrenamiento?
El flujo de trabajo es ir a la plataforma Crear columna de validación para configurar la columna de la tabla de datos que divide las filas en conjuntos de entrenamiento/validación. Cuando inicie Explore Missing Values, configure esa columna en el rol de validación. El algoritmo ADI ajusta los modelos de tipo PCA al conjunto de entrenamiento y usa el conjunto de validación para ajustar el modelo para cosas como identificar el mejor rango de la reducción de la dimensión.
Entonces, ¿qué haces en la validación y el conjunto de pruebas?
Recomiendo usar la misma partición de entrenamiento/validación o entrenamiento/validación/prueba de los datos cuando paso a ajustar algoritmos de aprendizaje supervisado como redes neuronales o modelos Bootstrap Forest en el siguiente paso del proceso de modelado. La imputación es una parte del proceso de modelado, al igual que el componente de modelado predictivo. Usar la misma partición de las filas en conjuntos de Entrenamiento/Validación/Prueba para el paso de aprendizaje supervisado es una forma de garantizar que tengamos el mismo grado de evaluación independiente de bondad de ajuste para todo el ejercicio de modelado.
¿Qué quiere decir con el conjunto de prueba/validación imputada de Streaming?
Tal vez nuestro idioma no es claro aquí. Lo que sucede es que ADI guardará una columna de fórmula que crea versiones imputadas de las columnas existentes. Esto significa que puede usar Tables<
Este proceso ocurre inmediatamente en las partes de entrenamiento/validación/prueba de la ADI de datos. Por lo tanto, puede pasar directamente al modelado utilizando las versiones imputadas de las columnas sin preocuparse demasiado por las celdas que faltan. ADI es bastante inteligente. Utiliza las filas de validación para determinar el rango de la reducción de dimensión utilizada. Si las columnas son independientes, o demasiado desordenadas para una reducción de rango lineal, lo calcula y simplemente imputa la media de entrenamiento de las columnas.
Re: Imputación de datos automatizada: una herramienta versátil en JMP® Pro 14 para manejar valores faltantes (US 2018 130)@Milo ha dejado SAS. Tal vez @chris_gotwalt1 puede responder aquí.
Re: Imputación de datos automatizada: una herramienta versátil en JMP® Pro 14 para manejar valores faltantes (US 2018 130)hola milo
Encontré su archivo pdf muy interesante.
¿Podría darme más detalles sobre el proceso informado en esta diapositiva a continuación?
Si entendí bien, está diciendo que divida los datos en el conjunto de entrenamiento y prueba antes de imputar los valores faltantes. Una vez que dividió los datos, ¿aplica el método ADI solo a los datos de entrenamiento? ¿Correcto?
Entonces, ¿qué haces en la validación y el conjunto de pruebas?
¿Qué quiere decir con el conjunto de prueba/validación imputada de Streaming?
Gracias por tu ayuda.feliz
