Descubra cómo utilizar técnicas estadísticas sencillas para identificar variables e interacciones importantes en sus datos, como paso previo a la creación de modelos de predicción de alto rendimiento y al descubrimiento de información adicional.
Vea cómo:
- Comprenda los requisitos previos que debe considerar antes de comenzar a identificar variables importantes.
- Limpia y prepara los datos usando el Visor de columnas.
- Identifique y decida cómo manejar los valores atípicos y los datos faltantes utilizando Explorar valores faltantes, Explorar valores atípicos y Explorar patrones.
- Asegúrese de que el conjunto de datos sea la mejor representación del sistema que planea estudiar.
- Utilice las distribuciones en los encabezados de columna y el Generador de gráficos para explorar los datos y visualizar las tendencias.
- Realizar un análisis multivariado para identificar variables correlacionadas .
- Utilice el análisis de respuestas para identificar las variables más importantes que afectan la respuesta.
- Utilice el cribado predictivo (métodos de árbol de decisión) para probar muchos factores en la predicción de una respuesta.
- Utilice el análisis multivariado para identificar variables con alta correlación.
- Agrupar variables para agrupar variables correlacionadas e identificar la variable individual que sea más representativa.
- Utilice Ajustar modelo > Detección de respuesta y Regresión por pasos para encontrar interacciones y términos de orden superior basados en sus variables importantes y únicas.
Preguntas respondidas por Scott (@scott_allen) y @Byron_JMP durante el seminario web en directo de junio de 2023.
P: ¿Cómo se "desmarcó" una opción en el creador de gráficos?
A: Haz clic en el espacio en blanco del gráfico, no en un marcador.
P: ¿Podría explicar con más detalle el valor p y su clasificación? ¿Qué significa que sea alto o bajo? ¿Qué podemos esperar al observar ciertos valores o tendencias?
A: Para el valor p y la mayoría de las estadísticas, considere . Además, cuando esté en JMP y necesite ayuda con una estadística (o cualquier otra cosa que se muestre), seleccione Herramientas > ? y haga clic en el área (en este caso, el encabezado de la columna del valor p) con la que necesita ayuda. Consulte también esta explicación.
P: ¿En qué se diferencia la plataforma de selección predictiva del modelo de bosque aleatorio?
A: En JMP, llamamos a Random Forest Bosque Bootstrap (porque Random Forest es una marca registrada). Es lo mismo. Predictor Screening no incluye un modelo, solo la clasificación.
P: Dado que la pantalla de predicción no indica el porcentaje de variación atribuible a cada predictor individual, ¿existe alguna otra plataforma que haga precisamente eso?
A: El informe de selección de predictores muestra la lista de predictores con sus respectivas contribuciones y clasificación. Los predictores con las mayores contribuciones probablemente sean importantes para predecir Y. La columna Contribución muestra la contribución de cada predictor al modelo Bootstrap Forest. La columna Porcentaje del informe muestra la contribución porcentual de cada variable.
P: ¿Puede el análisis multivariante tener valores de correlación absolutos en lugar de valores entre -1 y 1?
R: Sí y no. La tabla es una matriz de coeficientes de correlación que resume la fuerza de las relaciones lineales entre cada par de variables de respuesta (Y). Véase métodos multivariados .
P: ¿Cómo seleccionarías las variables más importantes si tuvieras variables independientes continuas, binomiales (sí/no) y ordinales (baja, media, alta)?
R: Sí, puede utilizar todos estos métodos: Detección de predictores y Detección de respuestas.
P: ¿Utiliza usted alguna vez la regresión por pasos? ¿JMP ofrece regresión con todos los subconjuntos posibles?
A: Consulte los detalles sobre la regresión por pasos .
P: Muchos de mis datos contienen múltiples respuestas, lo que limita algunas de las funciones de JMP. ¿Realizan algún tipo de limpieza especial para datos con múltiples respuestas o los manejan tal cual? Me refiero a la propiedad de columna "Respuesta Múltiple" (una lista de varios puntos de datos). Supongo que es más sencillo separarlos en dos columnas distintas, pero quería saber si existe una mejor manera.
R: Sí, le permitimos almacenar varias respuestas en una sola celda, pero para analizarlas, lo correcto es dividirlas en diferentes columnas.
P: ¿Cómo se comparan los métodos basados en árboles con PLS o PCA?
A: Con PCA o PLS, intentamos representar todos los datos con un número menor de variables latentes. Buscamos un número reducido de dimensiones que puedan representar todos los datos. Esto difiere de los métodos basados en árboles, que ayudan a determinar qué explica realmente algo. Los métodos basados en árboles están reemplazando a PCA y PLS para construir mejores modelos. Si bien son fantásticos para modelar datos, son muy sensibles a los cambios y pueden sobreajustarse con frecuencia. Con los métodos basados en árboles, al tomar una muestra aleatoria de las filas y de las columnas cada vez que se crea un nuevo árbol, se logra una gran robustez frente a los valores atípicos y la capacidad de modelar interacciones, funciones cuadráticas o cúbicas, si existen en los datos. Por lo tanto, no es necesario hacer muchas suposiciones.
P: ¿Puedo usar Predictor Screening y Response Screening para variables dependientes numéricas y mis variables independientes continuas, binomiales y ordinales?
A: Sí.
Vea cómo:
- Utilice JMP Partition para identificar factores significativos.
- De forma precisa y automática, cualquier efecto de interacción del modelo.
Modeling Workflow with Factor SelectionModelado del flujo de trabajo con selección de factoresModelado del flujo de trabajo con selección de factores
EXTRA: ¡Scott Allen (@scott_allen) y Byron Wingerd (@Byron_JMP) también respondieron preguntas después de la demostración de 2022!
P: ¿Existe algún vídeo tutorial sobre las herramientas para detectar valores atípicos?
A: Este es un buen ejemplo que cubre la herramienta Explorar valores atípicos en JMP. También puedes consultar la documentación y los ejemplos .
P: ¿Por qué no eliminar primero las variables correlacionadas?
A: La presencia de variables correlacionadas suele influir en el método de modelado. Por ejemplo, PLS es más robusto ante variables X correlacionadas. Además, el orden puede ser una cuestión de preferencia. Se puede realizar de ambas maneras: primero la selección de predictores y luego la agrupación, o viceversa. Tenga en cuenta que la agrupación puede ser algo imprecisa cuando hay muchos valores faltantes o columnas que no cambian (como la configuración de un instrumento). A veces, es necesario realizar una limpieza y preparación adicional de los datos si se desea comenzar con la agrupación.
P: ¿Cómo elegirías el algoritmo de predicción?
R: Es una pregunta compleja y la respuesta depende de la situación. En la mayoría de los casos, un modelo lineal será el más sencillo y el más informativo. Otros métodos abordan problemas específicos con los datos o los objetivos del análisis.
P: ¿Por qué se recomiendan tanto los términos lineales? Si mi correlación es Y=X^2, ¿por qué JMP sigue intentando añadir el término X?
A: Esto se relaciona con la herencia de efectos. A veces, los términos de orden superior son significativos, pero no el efecto principal. Por lo tanto, conviene mantener el efecto principal. Por ejemplo, si se elimina el efecto principal, en el filtro de predicción no se observará el cambio de pendiente, sino solo la curvatura, y la predicción será menos precisa.
P: Para la selección de predictores, ¿deben recopilarse los datos de los factores y las respuestas en el mismo orden (emparejados) o se pueden utilizar datos recopilados aleatoriamente (no pareados)?
A: El orden no importa realmente, pero para el análisis multivariado, solemos agrupar las variables Y. El orden en que se añaden a Y determina el orden en que aparecerán en la matriz.
P: ¿El análisis de regresión multilineal de los factores x (600 columnas) ayudaría a encontrar qué columnas x contribuyen en mayor medida al rendimiento?
A: Si solo realizas una regresión lineal en 600 columnas, realmente estás diluyendo lo que explica tu Y. Los métodos de árbol como Partition funcionan muy bien para tratar de determinar cuáles de esas 600 columnas te llevan a ese resultado. Cuando Scott mostró Predictor Screening, tomó una muestra aleatoria de las filas y columnas y construyó un árbol, lo hizo 100 veces y promedió entre esos cien árboles para darte el resultado. Con Partition, puedes forzar que sucedan cosas, puedes forzar que se tomen decisiones en diferentes lugares o seguir algo mientras se divide. Luego podrías ver el Informe de Importancia de la Varianza, o
el historial de división y los cambios en el coeficiente de determinación (R²). Este ejemplo es demasiado extenso para hacerlo, pero le dará una idea de cómo usar la partición.
P: Si las 600 regresiones lineales separadas diluyen el poder explicativo de su modelo, ¿es por eso que Response Screening emplea la corrección FDR (tasa de falsos descubrimientos) en esas estadísticas de resumen (que Scott mostró y acortó en orden ascendente anteriormente) para intentar compensar esto?
A: Por pura casualidad vas a encontrar cosas realmente buenas, quieres intentar filtrarlas. No queremos encontrar cosas por casualidad, solo, así que FDR ayuda a corregir eso. Hago hincapié en AYUDA, porque ningún modelo es perfecto. Del mismo modo, todos los modelos basados en árboles, en situaciones donde tienes linealidad múltiple, funcionan mejor cuando primero intentas separar la varianza y encontrar las variables que son realmente las más importantes en lugar de meterlo todo en el modelo. A veces puedes construir modelos de conjunto usando JMP Pro .
P: ¿Existen otros métodos para hacer esto con JMP Pro?
A; Sí, incluso usando el complemento XGBoost . Ver más abajo.
