Implementación de métodos de regresión por pasos en JMP y JMP ProVea cómo utilizar JMP y JMP Pro para identificar predictores importantes adecuados para el modelado predictivo, reducir la varianza causada por la estimación de términos innecesarios y crear modelos predictivos. Vea estudios de casos que muestran cómo utilizar la regresión por pasos de JMP para encontrar variables importantes y efectos del modelo activo y cómo se compara ese enfoque con las técnicas de regresión generalizada de JMP Pro que incorporan automáticamente la selección de variables.
Vea cómo:
- Comprender los fundamentos del método de regresión por pasos
- Elija opciones de regresión paso a paso para automatizar la selección de factores
- Analizar > Ajustar modelo > Personalidad: paso a paso
- Establecer reglas/criterios de parada
- Establecer dirección hacia adelante, hacia atrás o mixta
- La selección directa selecciona la variable con el valor p más bajo, la agrega al modelo y luego vuelve a calcular los valores p y detiene los criterios hasta que se cumplan los criterios de detención.
- La eliminación hacia atrás selecciona la variable con el valor p más alto, la elimina del modelo y luego vuelve a calcular los valores p y los criterios de parada hasta que se cumplan los criterios de parada.
- Alternativas mixtas entre selección hacia adelante y eliminación hacia atrás, utilizando el valor p como criterio de parada
- Ejecute el modelo
- Utilice opciones paso a paso adicionales
- Regla de detención alternativa: validación de KFold R2
- Construye y compara todos los modelos posibles.
- Utilice el promedio del modelo basado en el peso AICc en cada modelo
- Implemente métodos paso a paso en JMP Pro Generalized Regression para implementar fácilmente selección de variables, validación, regresión penalizada para ayudar con factores correlacionados, visualización interactiva de modelos, comparación de modelos, relanzamiento de modelos fácilmente con términos de orden superior.
- Comprender las ventajas y limitaciones de los enfoques de regresión gradual y generalizada.
JMP Stepwise Regression FlowJMP Stepwise Regression FlowJMP Stepwise Regression FlowJMP Stepwise Regression FlowFlujo de regresión gradual de JMP
Preguntas respondidas por Scott Allen @scott_allen y Byron Wingerd @Byron_JMP en el seminario web en vivo:
P: ¿Existe una pauta sobre cuándo se prefiere AICc a BIC?
R: BIC le ofrece el mejor modelo con la menor cantidad de términos; AICc te ofrece el modelo que explica la mayor variación y es penalizado por el número de términos. La c minúscula en AICc significa corregido y significa corregido para conjuntos de datos pequeños. La AIC intenta seleccionar el modelo que describe más adecuadamente una realidad desconocida y de altas dimensiones. Esto significa que la realidad nunca está en el conjunto de modelos candidatos que se están considerando. Por el contrario, BIC intenta encontrar el modelo VERDADERO entre el conjunto de candidatos.
La respuesta corta es: simplemente los ejecuto a ambos y los comparo o incluso podrías tomar los 2 y luego promediarlos juntos. Tienes las herramientas aquí en la plataforma Stepwise para realizarlas y luego compararlas y comparar automáticamente los resultados en un gráfico. En algunos casos. Depende de su objetivo, si está de acuerdo con tener más términos o si realmente está buscando reducirlos al conjunto mínimo. En el ejemplo con 500 puntos de datos, probablemente se prefiera BIC.
P: ¿Cómo comprobamos el exceso de ajuste?
R: Si solo ajustamos modelos lineales en JMP, incluso usando Stepwise, será un poco más complicado identificar problemas de sobreajuste. En JMP Pro, podemos configurar subconjuntos de prueba, entrenamiento y validación (o si lo prefiere, al menos prueba y entrenamiento) y comparar los R-cuadrados. Entonces, si ve que el conjunto de entrenamiento tiene un R cuadrado realmente excelente y su validación tiene un R cuadrado realmente terrible, significa que ajusta bien los datos y no será muy predictivo de observaciones futuras.
P: En el modelo, un total de 568 filas también tienen filas de validación. ¿Estamos usando todos los del modelo o los mantenemos?
R: Se están presentando para su validación y evaluándolos por separado como subconjunto de validación.
P: En el antiguo SAS Enterprise Miner, el nodo "Ensemble" solía funcionar mejor. ¿Qué opinas acerca de ejecutar un montón de modelos, guardar las predicciones y luego simplemente promediar todos esos valores predichos?
R: En JMP, utilizamos la plataforma de red neuronal para configurar un modelo de conjunto. Generalmente tienden a superar a los modelos individuales.
P: ¿Cómo obtuviste el mapa de colores para las correlaciones?
R: Debajo del triángulo rojo, busque las opciones del mapa de colores.
P: ¿Cómo se detecta y maneja la multicolinealidad?
R: El método paso a paso por sí solo en JMP no manejará la multicolinealidad, por lo que tendría que extraerlos con anticipación y/o encontrar una variable representativa mediante agrupación. Si está en JMP Pro Generalized Regression, los métodos de regresión penalizados también le ayudarán a solucionarlo, por lo que, si realmente le preocupa, la regresión generalizada es definitivamente el camino a seguir. Podrías construir ese modelo de mínimos cuadrados, ejecutarlo y observar las estimaciones de tus parámetros. Los valores altos de VIF pueden indicar multicolinealidad. Vea el vídeo a continuación.
Modelado estadístico avanzadoRe: Implementación de métodos de regresión por pasos en JMP y JMP ProHola @SeanL
En la Imagen 3, los intervalos de confianza que parecen "pajaritas" en su Perfilador son un buen indicador de que tiene algunas variables altamente correlacionadas. Dado que la regresión por pasos verifica el efecto de cada variable en el modelo de forma independiente, no siempre detectará variables correlacionadas.
Para verificar esto, puede verificar los VIF haciendo clic derecho en la tabla en la tabla Estimaciones de parámetros y agregando la columna VIF. Cualquier valor de VIF >10 indica que es probable que la colinealidad sea un problema. El Portal de conocimientos estadísticos tiene una buena descripción aquí .
Parece que esto se resuelve en la Imagen 4 cuando eliminas una de las variables manualmente.
Puede ejecutar un análisis multivariado en todas sus variables para verificar la correlación y luego elegir la variable más representativa para su modelado. También puede ver el seminario web Mastering JMP sobre creación de modelos predictivos para datos correlacionados y de alta dimensión .
Re: Implementación de métodos de regresión por pasos en JMP y JMP Pro¡Gracias por el seminario web! Y este agradecimiento se extiende también a Scott Allen.
Fue un gran aprendizaje y estaba ansioso por aplicar el nuevo aprendizaje de inmediato a mis datos.
Cuando apliqué el método de regresión de carpetas K recién aprendido, obtuve resultados mixtos.
- Análisis de regresión original realizado por Stepwise antes de esta sesión de seminario web: con una configuración predeterminada en Regla, Dirección y otros, lo ejecuté para un modelo que se enumera primero a continuación (Imagen 1). Reduje aún más el modelo eliminando términos de valor p >0,05 y más simplificaciones (términos de reducción dentro de valores razonables de adj-R2). Estaba feliz con esos resultados.
- Análisis posterior realizado por el mismo Stepwise después de este seminario web: al cambiar la regla a 'Max K-fold RSquare', repetí el análisis para obtener el análisis preliminar (Imagen 2). Aunque los resultados preliminares muestran valores de Max R con 13 términos como los mejores. No quiero tantos términos en mi modelo y estaba bien con el nivel de valor R con 5 ~ 6 términos tanto para Training como para K-Fold. Entonces, elegí los resultados de 6 términos como se ve y ejecuté el modelo.
Como puede ver, su modelo incluye un término de PValue >0.05 en la Imagen 3. Además, en su perfil, el nivel de confianza/varianza es muy amplio para la mayoría de los términos. Así que eliminé el término AR para tener valores R similares y un modelo similar a mi modelo original, excepto que 'RV' del modelo original fue reemplazado por el término 'Vol' en el nuevo modelo. Estos 2 términos de RV & Vol podrían contener información similar pero no exactamente igual. No sé por qué K-fold gobierna como uno sobre el otro término.
De todos modos, estoy contento con los resultados, ya que se obtuvieron de una forma similar de modelado, lo que confirma que mi modelo original no era tan malo (sin un proceso de capacitación y validación por separado). Así es como entendí el método K-fold que divide el conjunto de datos en 2 grupos de subconjunto para usar un grupo para entrenamiento y el otro para validación ¿Estoy en lo cierto?)
Aquí está mi segunda pregunta si lo anterior se cuenta como la primera pregunta:
Aunque el método K-Fold resultó ligeramente mejor al obtener un R2 de 0,947, sigo prefiriendo los resultados originales, R2 de 0,942. Esto se debe a que su modelo conlleva menos incertidumbres en el perfilador de modelado para los términos de Rad & RV en comparación con los nuevos resultados de K-Fold. El método K-Fold se puede utilizar simplemente para este tipo de validación de modelo o más si el enfoque original no fue lo suficientemente bueno.
Para este ejemplo específico, no fue una decisión difícil ya que los valores de R2 no eran muy diferentes.
Pero, si los valores de R2 son bajos en 0,1 (con 2 o 3 términos menos) en el modelo original, pero tiene mucha menos variación en el perfilador de predicción (como el modelo original versus el modelo en la Imagen 3), ¿qué modelo sería mejor?
Actualmente estoy usando JMP 17.
Imagen 1: Análisis original
Imagen 2: Regresión preliminar según la regla K-fold
Imagen 3: Modelo de K-Fold
Imagen 4: Resultados finales mediante el método K-Fold
Re: Implementación de métodos de regresión por pasos en JMP y JMP ProCon respecto a los modelos de conjunto, @scott_allen escribió: Hay otras formas de crear modelos de conjunto en Standard JMP y JMP Pro. Simplemente puede promediar los modelos juntos en Standard JMP manualmente (sumarlos y dividirlos por el número de modelos). En JMP Pro puedes ensamblar diferentes modelos usando la plataforma Comparar modelos. Consulte también la presentación del modelo de conjunto 2021 de @Peter_Hersh .
