Vea cómo usar técnicas estadísticas simples para ayudar a identificar variables e interacciones importantes en sus datos como precursor para crear modelos de predicción de alto rendimiento y descubrir información adicional.
Vea cómo:
- Comprender los requisitos previos a tener en cuenta antes de comenzar a identificar variables importantes
- Limpiar y preparar datos usando Column Viewer
- Identifique y decida cómo manejar los valores atípicos y los datos faltantes utilizando Explorar valores perdidos, Explorar valores atípicos y Explorar patrones
- Asegúrese de que el conjunto de datos sea la mejor representación del sistema que planea estudiar<
- Use Distribuciones en encabezados de columna y Graph Builder para explorar los datos y visualizar tendencias
- Realizar análisis multivariante para ID variables correlacionadas
- Use la evaluación de respuesta para identificar las variables más importantes que afectan la respuesta
- Use Predictor Screening (métodos de árboles de decisión) para probar muchos factores en la predicción de una respuesta
- Use el análisis multivariado para identificar variables con alta correlación
- Agrupar variables para agrupar variables correlacionadas e identificar la variable única que es más representativa
- Use Ajustar modelo> Cribado de respuestas y Regresión escalonada para encontrar interacciones y términos de orden superior en función de sus variables importantes y únicas.
Preguntas respondidas por Scott @scott_allen y @Byron_JMP durante el seminario web en vivo de junio de 2023.
P: ¿Cómo "deseleccionó" mientras estaba en el generador de gráficos?
R: Haga clic en el espacio en blanco del gráfico, no en un marcador.
P: ¿Podría dar más detalles sobre su explicación sobre el valor P y su rango? ¿Qué significa su máximo frente a su mínimo, qué esperar cuando vemos ciertos valores o tendencias, etc.
R: Para el valor p y la mayoría de las estadísticas, considere .Además, cuando esté en JMP y desee ayuda sobre una estadística (o cualquier otra cosa que se muestre).Seleccione Herramientas > ? y haga clic en el área (en este caso, el encabezado de la columna de valor p) con la que desea ayuda.Ver también este explicación.
P: ¿En qué se diferencia la plataforma de detección de predictores del modelo de bosque aleatorio?
R: En JMP llamamos Random Forest Bosque de arranque (porque Random Forest es una marca registrada). Es lo mismo. Predictor Screening no incluye un modelo, solo la clasificación.
P: Dado que la pantalla del predictor no le indica el porcentaje de variación que se atribuye a cada predictor individual, ¿hay alguna otra plataforma que haga precisamente eso?
R: El informe de selección de predictores muestra la lista de predictores con sus respectivas contribuciones y clasificación. Es probable que los predictores con las contribuciones más altas sean importantes para predecir Y. La columna Contribución muestra la contribución de cada predictor al modelo Bootstrap Forest. La columna Porción del informe muestra la contribución porcentual de cada variable.
P: ¿Puede el análisis multivariante tener números de correlación absolutos en lugar de -1 a 1?
R: Sí y no. La tabla es una matriz de coeficientes de correlación que resume la fuerza de las relaciones lineales entre cada par de variables de respuesta (Y). Ver métodos multivariados .
P: ¿Cómo seleccionaría las variables más importantes si tuviera variables independientes continuas, binomiales (sí/no) y ordenadas (baja, media, alta)?
R: Sí, puede usar todos estos métodos: Predictor Screening y Response Screening.
P: ¿Utiliza alguna vez la regresión por pasos? ¿JMP ofrece regresión de todos los subconjuntos posibles?
R: Ver detalles sobre la regresión paso a paso .
P: Muchos de mis datos contienen varias respuestas y considero que limitan algunas de las cosas que puedo hacer en JMP. ¿Realiza alguna limpieza especial de los datos de respuesta múltiple o trabaja con ellos tal como están? Me refiero a una propiedad de columna "Respuesta múltiple" (una lista de múltiples puntos de datos). Supongo que es más fácil dividirlos en dos columnas diferentes, pero quería ver si hay una mejor manera.
R: Sí, te permitimos almacenar múltiples respuestas en una celda como un, pero para analizarlos, es correcto dividirlos en diferentes columnas.
P: ¿Cómo se comparan los métodos basados en árboles con PLS o PCA?
R: Con PCA o PLS, estamos tratando de representar todos los datos con este número menor de variables latentes.Está tratando de encontrar un número reducido de dimensiones que puedan representar todos los datos. Eso es diferente a los métodos basados en árboles, que te ayudan a precisar lo que realmente explica algo. Los métodos de árbol están reemplazando a PCA y PLS para construir mejor. Los métodos basados en árboles son fantásticos para modelar datos, pero son realmente sensibles a los cambios y pueden ajustarse demasiado. Con los métodos basados en árboles en los que toma una muestra aleatoria de las filas y una muestra aleatoria de las columnas cada vez que crea un nuevo árbol, lo hace realmente sólido para los valores atípicos y es capaz de modelar interacciones similares y cuadráticas similares. o cúbicos, si existen en los datos. Por lo tanto, no tienes que hacer un montón de suposiciones.
P: ¿Puedo usar Predictor Screening y Response Screening para variables dependientes que son numéricas y mis variables independientes son continuas, binomiales y ordenadas?
R: Sí.
Vea cómo:
- Use la partición JMP para identificar factores significativos
- Precisa y automáticamente cualquier efecto de interacción del modelo.
Modeling Workflow with Factor SelectionFlujo de trabajo de modelado con selección de factores
scott allen @scott_allen y Byron Wingerd @Byron_JMP respondió preguntas después de la demostración.
P: ¿Hay un video tutorial para las herramientas de valores atípicos?
R: Este es uno bueno que cubre el Explorar valores atípicos herramienta en JMP.También puede trabajar a través de la documentacion y ejemplos .
P: ¿Por qué no eliminaría primero las variables correlacionadas?
R: La presencia de variables correlacionadas a menudo informa el método de modelado. PLS, por ejemplo, es más robusto para las X correlacionadas. Además, el orden puede ser una preferencia. Puede hacerlo en ambos sentidos: detección de predictores y luego agrupación o viceversa.Tenga en cuenta que la agrupación en clústeres puede ser un poco imprecisa cuando faltan muchos valores o columnas que no cambian (como la configuración de un instrumento).A veces, se necesita limpieza y preparación de datos adicionales si desea comenzar con la agrupación en clústeres.
P: ¿Cómo decidiría el algoritmo de predicción?
R: Esa es una pregunta complicada y la respuesta depende de su situación. La mayoría de las veces, un modelo lineal será el más simple e informativo. Otros métodos solucionan problemas específicos con los datos o los objetivos del análisis.
P: ¿Por qué se recomiendan tanto los términos lineales?Si mi correlación es Y=X^2, ¿por qué JMP sigue intentando agregar el término X?
R: Esto se relaciona con la herencia del efecto. Algunas veces, los términos de orden superior son significativos pero no el efecto principal. Por lo tanto, desea mantener el efecto principal.Por ejemplo, si eliminó el efecto principal, en el Archivador de predicciones no vería cambiar la pendiente, solo vería la curvatura y no obtendría una predicción tan buena.
P: Para Predictor Screening, si los datos de los factores y las respuestas se recopilan en el mismo orden (emparejados) o se pueden utilizar datos recopilados al azar (no emparejados).
R: El orden en realidad no importa, pero para el análisis multivariante, a menudo nos gusta incluir Y en un grupo.El orden en que los agrega a Y es el orden en que se mostrará en la matriz.
P: ¿Ayudaría el análisis de regresión multilineal de los factores x (600 columnas) a encontrar qué columnas x contribuyen más al rendimiento?
R: Si solo hace una regresión lineal en 600 columnas, realmente está diluyendo lo que explica su Y. Los métodos de árbol como Partition funcionan muy bien para tratar de determinar cuál de esas 600 columnas lo llevan allí. Cuando Scott mostró Predictor Screening, tomó una muestra aleatoria de las filas y columnas y construyó un árbol, lo hizo 100 veces y promedió a través de esos cien árboles para darte el resultado.Con Partition, puede forzar que las cosas sucedan, puede forzar que las decisiones sucedan en diferentes lugares o seguir algo a medida que se divide. A continuación, puede consultar el Informe de importancia de la variación, o
la historia dividida y los cambios de R-Square.Este ejemplo es demasiado grande para hacer eso, pero le dará una idea de cómo usar la partición.
P: Si las 600 regresiones lineales separadas diluyen el poder explicativo de su modelo, ¿es por eso que Response Screening emplea la corrección FDR (False Discovery Rate) en esas estadísticas de resumen (que Scott mostró y acortó ascendentemente antes) para tratar de compensar esto?
R: Solo por casualidad vas a encontrar cosas que son realmente buenas, quieres probar y filtrarlas. No queremos encontrar cosas por casualidad, solos, por lo que FDR ayuda a corregir eso.Hago hincapié en AYUDA, porque ningún modelo es perfecto. Del mismo modo, todos los modelos basados en árboles, en situaciones en las que tiene linealidad múltiple, son mejores cuando primero intenta separar la varianza y encontrar aquellas variables que son realmente las más importantes en lugar de tirar todo en el modelo.A veces puedes crear modelos de conjuntos con JMP Pro .
P: ¿Existen otros métodos para hacer esto con JMP Pro?
A; Sí, incluido el uso de la Complemento XGBoost .Vea abajo.
Hola @HelenaG
Gracias por las preguntas. Creo que Predictor Screening es una gran herramienta y me alegra que le resulte útil. En lugar de responder a su pregunta individual, permítame explicar con un poco más de detalle lo que sucede en este análisis.
El análisis Predictor Screening ejecuta un modelo de partición Bootstrap Forest (con 100 árboles de decisión predeterminados) y luego clasifica los predictores en función de su contribución al modelo. En resumen, el análisis Bootstrap Forest está promediando muchos árboles de decisión. Para crear un árbol, se necesita un oreja muestra de observaciones y ajusta recursivamente un modelo haciendo divisiones con un conjunto aleatorio de predictores. Esto continúa hasta que se cumple una regla de parada. Luego, se crea otro árbol con un nuevo conjunto de observaciones de arranque y divisiones aleatorias de predictores. Una vez que se han creado todos los árboles, se promedian en un "bosque" de árboles (de ahí el nombre).
Volviendo a la salida de Predictor Screening, la columna de contribución proporciona la suma de cuadrados para una respuesta numérica continua y G^2 para una respuesta categórica. La columna de porción es la contribución del predictor individual dividida por la suma de todas las contribuciones. Esto no es lo mismo que la varianza explicada por cada predictor individual.
Para conocer más sobre estas plataformas, recomiendo leer el Modelo de partición y Bosque de refuerzo resúmenes en la documentación.
-Scott
Hola @nick_shelton,
Debido a esta presentación suya, he estado usando Predictor screening y estoy muy satisfecho con los resultados. Con respecto a esta plataforma, ahora le pido su profunda experiencia en lo siguiente:
1. ¿Cómo se calcula la porción que se presenta en los resultados de JMP para la detección de predictores? Quiero decir, en términos de Bootstrap Forest (BF), ¿qué significa esta porción y cómo se logra el valor específico? (Estoy escribiendo un artículo científico usando esto y necesitaría este detalle).
2. En términos de interpretación entendí que la porción explica el porcentaje de variabilidad de una respuesta (rendimiento) explicada por un predictor. ¿Es esto correcto?
3. Todavía en la plataforma de detección de predictores, ¿qué significa "columna de contribución"?¿Cómo se calcula en términos del algoritmo BF?
¡Gracias de antemano, Nico!
nick shelton @nick_shelton , gerente de JMP SE, presentó este tema en el pasado y retiré los videos más antiguos.Tomé prestado un comentario que le hizo al espectador. @HelenaG porque puede ser relevante para cualquier persona que vea este video y las preguntas y respuestas de Scot Allen de JMP SE @scott_allen y Byron Wingerd @Byron_JMP :
Elena preguntó:
Me gustaría comprender mejor lo siguiente: todos los pasos relacionados con la identificación y evaluación de interacciones (con herramientas de selección de respuestas y regresión por pasos) se basan en una suposición lineal, ¿es correcto? En caso afirmativo, ¿hay alguna sugerencia para verificar las interacciones no lineales?
Nick escribió:
T La identificación de las interacciones se realiza mejor a través de la experiencia en el dominio y una comprensión científica/física conocida de las variables bajo análisis.
Cuando las interacciones entre las variables no se entienden bien, la personalidad del modelo "Response Screening" en Fit Model funciona bien para cuantificar la fuerza entre los términos de interacción individuales y la variable de respuesta.
La personalidad del modelo "Regresión por pasos" en Fit Model funciona bien para identificar la mejor combinación de términos (Ej.: Efectos principales, interacciones...) para usar en un modelo potencial.
El término modelo "lineal" se refiere a cómo está estructurada la fórmula del modelo, pero las personalidades del modelo "Evaluación de respuesta" y "Regresión escalonada" en Modelo de ajuste también se pueden usar para explorar relaciones no lineales.
Podemos incluir efectos e interacciones no lineales en un análisis agregando términos polinómicos.
En Ajustar modelo, puede explorar cualquier relación polinomial (no lineal) agregando el término correspondiente en el cuadro de efectos del modelo (Ej: Relación cuadrática (x1*x1), Relación cúbica (x1*x1*x1), Interacción cuadrática (x1* x1*x2)...)
Para obtener más información sobre polinomios y cómo pueden ayudar a comprender las relaciones entre variables, mire el video rápido a continuación:
https://community.jmp.com/t5/Short-Videos/Fitting-Polynomial-Models/ta-p/271953
