Hola @HelenaG
Gracias por las preguntas. Creo que Predictor Screening es una gran herramienta y me alegra que le resulte útil. En lugar de responder a su pregunta individual, permítame explicar con un poco más de detalle lo que sucede en este análisis.
El análisis Predictor Screening ejecuta un modelo de partición Bootstrap Forest (con 100 árboles de decisión predeterminados) y luego clasifica los predictores en función de su contribución al modelo. En resumen, el análisis Bootstrap Forest está promediando muchos árboles de decisión. Para crear un árbol, se necesita un oreja muestra de observaciones y ajusta recursivamente un modelo haciendo divisiones con un conjunto aleatorio de predictores. Esto continúa hasta que se cumple una regla de parada. Luego, se crea otro árbol con un nuevo conjunto de observaciones de arranque y divisiones aleatorias de predictores. Una vez que se han creado todos los árboles, se promedian en un "bosque" de árboles (de ahí el nombre).
Volviendo a la salida de Predictor Screening, la columna de contribución proporciona la suma de cuadrados para una respuesta numérica continua y G^2 para una respuesta categórica. La columna de porción es la contribución del predictor individual dividida por la suma de todas las contribuciones. Esto no es lo mismo que la varianza explicada por cada predictor individual.
Para conocer más sobre estas plataformas, recomiendo leer el Modelo de partición y Bosque de refuerzo resúmenes en la documentación.
-Scott
Hola @nick_shelton,
Debido a esta presentación suya, he estado usando Predictor screening y estoy muy satisfecho con los resultados. Con respecto a esta plataforma, ahora le pido su profunda experiencia en lo siguiente:
1. ¿Cómo se calcula la porción que se presenta en los resultados de JMP para la detección de predictores? Quiero decir, en términos de Bootstrap Forest (BF), ¿qué significa esta porción y cómo se logra el valor específico? (Estoy escribiendo un artículo científico usando esto y necesitaría este detalle).
2. En términos de interpretación entendí que la porción explica el porcentaje de variabilidad de una respuesta (rendimiento) explicada por un predictor. ¿Es esto correcto?
3. Todavía en la plataforma de detección de predictores, ¿qué significa "columna de contribución"?¿Cómo se calcula en términos del algoritmo BF?
¡Gracias de antemano, Nico!
nick shelton @nick_shelton , gerente de JMP SE, presentó este tema en el pasado y retiré los videos más antiguos.Tomé prestado un comentario que le hizo al espectador. @HelenaG porque puede ser relevante para cualquier persona que vea este video y las preguntas y respuestas de Scot Allen de JMP SE @scott_allen y Byron Wingerd @Byron_JMP :
Elena preguntó:
Me gustaría comprender mejor lo siguiente: todos los pasos relacionados con la identificación y evaluación de interacciones (con herramientas de selección de respuestas y regresión por pasos) se basan en una suposición lineal, ¿es correcto? En caso afirmativo, ¿hay alguna sugerencia para verificar las interacciones no lineales?
Nick escribió:
T La identificación de las interacciones se realiza mejor a través de la experiencia en el dominio y una comprensión científica/física conocida de las variables bajo análisis.
Cuando las interacciones entre las variables no se entienden bien, la personalidad del modelo "Response Screening" en Fit Model funciona bien para cuantificar la fuerza entre los términos de interacción individuales y la variable de respuesta.
La personalidad del modelo "Regresión por pasos" en Fit Model funciona bien para identificar la mejor combinación de términos (Ej.: Efectos principales, interacciones...) para usar en un modelo potencial.
El término modelo "lineal" se refiere a cómo está estructurada la fórmula del modelo, pero las personalidades del modelo "Evaluación de respuesta" y "Regresión escalonada" en Modelo de ajuste también se pueden usar para explorar relaciones no lineales.
Podemos incluir efectos e interacciones no lineales en un análisis agregando términos polinómicos.
En Ajustar modelo, puede explorar cualquier relación polinomial (no lineal) agregando el término correspondiente en el cuadro de efectos del modelo (Ej: Relación cuadrática (x1*x1), Relación cúbica (x1*x1*x1), Interacción cuadrática (x1* x1*x2)...)
Para obtener más información sobre polinomios y cómo pueden ayudar a comprender las relaciones entre variables, mire el video rápido a continuación:
https://community.jmp.com/t5/Short-Videos/Fitting-Polynomial-Models/ta-p/271953
Vea cómo utilizar técnicas estadísticas simples para ayudar a identificar variables e interacciones importantes en sus datos como precursor para crear modelos de predicción de alto rendimiento y descubrir información adicional.
https://www.youtube.com/watch?v=8ENEPPHMphI
Vea cómo:
- Comprender los requisitos previos a considerar antes de comenzar a identificar variables importantes
- Limpiar y preparar datos usando el Visor de columnas
- Identifique y decida cómo manejar valores atípicos y datos faltantes usando Explorar valores perdidos, Explorar valores atípicos y Explorar patrones
- Asegúrese de que el conjunto de datos sea la mejor representación del sistema que planea estudiar<
- Utilice Distribuciones en encabezados de columnas y Graph Builder para explorar los datos y visualizar tendencias
- Realizar análisis multivariado para identificar variables correlacionadas
- Utilice la evaluación de respuestas para identificar las variables más importantes que afectan la respuesta
- Utilice la detección de predictores (métodos de árbol de decisión) para probar muchos factores al predecir una respuesta.
- Utilice el análisis multivariado para identificar variables con alta correlación
- Agrupar variables para agrupar variables correlacionadas e identificar la variable única que es más representativa
- Utilice Ajustar modelo>Detección de respuestas y Regresión por pasos para encontrar interacciones y términos de orden superior basados en sus variables importantes y únicas.
Preguntas respondidas por Scott @scott_allen y @Byron_JMP durante el seminario web en vivo de junio de 2023.
P: ¿Cómo "deseleccionaste" mientras estabas en el generador de gráficos?
R: Haga clic en el espacio en blanco del gráfico, no en un marcador.
P: ¿Podría ampliar su explicación sobre el valor P y su rango? ¿Qué significa que sea alto o bajo, qué esperar cuando veamos ciertos valores o tendencias, etc.?
R: Para el valor p y la mayoría de las estadísticas, considere .Además, cuando esté en JMP y desee ayuda sobre una estadística (o cualquier otra cosa que se muestre).Seleccione Herramientas > ? y haga clic en el área (en este caso, el encabezado de la columna de valor p) con la que desea ayuda.Ver también este explicación.
P: ¿En qué se diferencia la plataforma de detección de predictores del modelo de bosque aleatorio?
R: En JMP llamamos Bosque Aleatorio Bosque de arranque (porque Random Forest es una marca registrada). Es lo mismo. Predictor Screening no incluye un modelo, solo la clasificación.
P: Dado que la pantalla del predictor no le indica el porcentaje de variación que se atribuye a cada predictor individual, ¿existe alguna otra plataforma que haga precisamente eso?
R: El Informe de selección de predictores muestra la lista de predictores con sus respectivas contribuciones y clasificación. Es probable que los predictores con las contribuciones más altas sean importantes para predecir Y. La columna Contribución muestra la contribución de cada predictor al modelo Bootstrap Forest. La columna Porción del informe muestra la contribución porcentual de cada variable.
P: ¿Puede el análisis multivariado tener números de correlación absoluta en lugar de -1 a 1?
R: Sí y no. La tabla es una matriz de coeficientes de correlación que resume la fuerza de las relaciones lineales entre cada par de variables de respuesta (Y). Ver métodos multivariados .
P: ¿Cómo seleccionaría las variables más importantes si tuviera variables independientes continuas, binomiales (sí/no) y ordenadas (baja, media, alta)?
R: Sí, puede utilizar todos estos métodos: Evaluación de predictores y Evaluación de respuestas.
P: ¿Alguna vez ha utilizado la regresión por pasos? ¿JMP ofrece regresión de todos los subconjuntos posibles?
R: Ver detalles sobre la regresión por pasos .
P: Muchos de mis datos contienen múltiples respuestas y encuentro que esto limita algunas de las cosas que puedo hacer en JMP. ¿Realiza alguna limpieza especial de los datos de respuestas múltiples o trabaja con ellos tal cual? Me refiero a una propiedad de columna "Respuesta múltiple" (una lista de múltiples puntos de datos). Supongo que es más fácil dividirlos en dos columnas diferentes, pero quería ver si hay una manera mejor.
R: Sí, te permitimos almacenar múltiples respuestas en una celda como, pero para analizarlos, dividirlos en diferentes columnas es correcto.
P: ¿Cómo se comparan los métodos basados en árboles con PLS o PCA?
R: Con PCA o PLS, intentamos representar todos los datos con este número menor de variables latentes.Está intentando encontrar un número reducido de dimensiones que puedan representar todos los datos. Esto es diferente a los métodos basados en árboles, que le ayudan a precisar lo que realmente explica algo. Los métodos de árbol están reemplazando a PCA y PLS para construir mejor. Los métodos basados en árboles son fantásticos para modelar datos, pero son muy sensibles a los cambios y pueden ajustarse mucho. Con los métodos basados en árboles en los que se toma una muestra aleatoria de las filas y una muestra aleatoria de las columnas cada vez que se crea un nuevo árbol, lo hace realmente resistente a los valores atípicos y es capaz de modelar interacciones similares y cuadráticas similares. o cúbicos, si existen en los datos. Por lo tanto, no es necesario hacer muchas suposiciones.
P: ¿Puedo utilizar la detección de predictores y la detección de respuestas para variables dependientes que son numéricas y mis variables independientes son continuas, binomiales y ordenadas?
R: Sí.
Vea cómo:
- Utilice la partición JMP para identificar factores importantes
- De forma precisa y automática cualquier efecto de interacción del modelo.
Modeling Workflow with Factor SelectionModeling Workflow with Factor SelectionFlujo de trabajo de modelado con selección de factores
PRIMA: Scott Allen @scott_allen y Byron Wingerd @Byron_JMP ¡También respondí preguntas después de la demostración de 2022!
P: ¿Existe un vídeo tutorial para las herramientas atípicas?
R: Este es bueno y cubre el Explorar valores atípicos herramienta en JMP.También puedes trabajar a través del documentación y ejemplos .
P: ¿Por qué no deshacerse primero de las variables correlacionadas?
R: La presencia de variables correlacionadas a menudo informa el método de modelado. PLS, por ejemplo, es más robusto para las X correlacionadas. Además, el orden puede ser una preferencia. Podría hacerlo de ambas maneras: detección de predictores y luego agrupación o viceversa.Tenga en cuenta que la agrupación puede ser un poco imprecisa cuando faltan muchos valores o columnas que no cambian (como la configuración de un instrumento).A veces es necesaria una limpieza y preparación de datos adicionales si desea comenzar con la agrupación en clústeres.
P: ¿Cómo decidirías el algoritmo de predicción?
R: Esa es una pregunta complicada y la respuesta depende de tu situación. La mayoría de las veces, un modelo lineal será el más simple e informativo. Otros métodos solucionan problemas específicos con los datos u objetivos de análisis.
P: ¿Por qué se recomiendan tanto los términos lineales?Si mi correlación es Y=X^2, ¿por qué JMP sigue intentando agregar el término X?
R: Esto se relaciona con la herencia del efecto. Algunas veces los términos de orden superior son significativos pero no son el efecto principal. Por lo tanto, desea mantener el efecto principal.Por ejemplo, si elimina el efecto principal, en el archivador de predicciones no verá cambiar la pendiente, solo verá la curvatura y obtendrá una predicción no tan buena.
P: Para la evaluación de predictores, los datos de los factores y las respuestas deben recopilarse en el mismo orden (emparejados) o se pueden utilizar datos recopilados aleatoriamente (no emparejados).
R: El orden realmente no importa, pero para el análisis multivariado, a menudo nos gusta incluir Y en un grupo.El orden en que los agrega a Y es el orden en que se mostrarán en la matriz.
P: ¿El análisis de regresión multilineal de los factores x (600 columnas) ayudaría a encontrar qué columnas x contribuyen más al rendimiento?
R: Si simplemente haces una regresión lineal en 600 columnas, en realidad estás diluyendo lo que explica tu Y. Los métodos de árbol como Partición funcionan muy bien para intentar determinar cuál de esas 600 columnas te lleva allí. Cuando Scott mostró Predictor Screening, tomó una muestra aleatoria de las filas y columnas y construye un árbol, lo hace 100 veces y promedia esos cien árboles para dar el resultado.Con Partition, puedes forzar que sucedan cosas, puedes forzar que se tomen decisiones en diferentes lugares o seguir algo a medida que se divide. Luego podría consultar el Informe de importancia de la variación, o
la historia dividida y los cambios de R-Square.Este ejemplo es demasiado grande para hacer eso, pero le dará una idea de cómo usar la partición.
P: Si las 600 regresiones lineales separadas diluyen el poder explicativo de su modelo, ¿es por eso que Response Screening emplea la corrección FDR (tasa de descubrimiento falso) en esas estadísticas resumidas (que Scott mostró y acortó ascendentemente antes) para tratar de compensar esto?
R: Sólo por casualidad encontrarás cosas que son realmente buenas, debes intentar filtrarlas. No queremos encontrar cosas solo por casualidad, por lo que FDR ayuda a corregir eso.Hago hincapié en AYUDAS, porque ningún modelo es perfecto. Del mismo modo, todos los modelos basados en árboles, en situaciones en las que hay linealidad múltiple, son mejores cuando primero se intenta separar la varianza y encontrar las variables que son realmente las más importantes en lugar de incluir todo en el modelo.A veces puedes construir modelos de conjunto usando JMP Pro .
P: ¿Existen otros métodos para hacer esto con JMP Pro?
A; Sí, incluido el uso de Complemento XGBoost .Vea abajo.
