Re: Fit Definitive Screening vs. Stepwise (min. AICC) para la selección del modeloHola @QW ,
El "Diseño de detección definitiva de ajuste" es un análisis diseñado para DSD, ya que enfatiza y respalda los principios del DOE de jerarquía de efectos, herencia de efectos y escasez de efectos: Principios y pautas para el diseño experimental (jmp.com)
- En una primera ronda, la plataforma Fit DSD intenta encontrar los efectos principales significativos y crea un modelo basado en los efectos principales identificados.
- En la segunda ronda, los residuos del primer modelo se analizan para encontrar y detectar términos de segundo orden (dependientes de los efectos principales identificados anteriormente, siguiendo el principio de herencia del efecto) como términos de interacción o términos de poder.
De forma predeterminada, la plataforma utiliza el principio de "herencia fuerte" (ejemplo: la interacción A*B solo puede analizarse e identificarse en la segunda ronda si los efectos principales A Y B se identifican y son significativos en la primera ronda), pero puede tener más " flexibilidad" en el modelado desmarcando "Los términos cuadráticos obedecen a una fuerte herencia" y "Las interacciones obedecen a una fuerte herencia". Eso permitirá una herencia débil, lo que significa que la interacción A*B puede analizarse en la segunda ronda si el efecto principal A O el efecto principal B se identifican y son significativos en la primera ronda, por ejemplo. En su caso, la herencia débil proporciona el mismo modelo. Más información aquí: Selección efectiva de modelos para DSD (jmp.com)
Tenga en cuenta también que los DSD, incluso si son poderosos e interesantes para detectar efectos de segundo orden, todavía son diseños de detección, por lo que no podrá detectar y estimar todos los efectos posibles, y el poder relacionado con términos cuadráticos o términos de interacción es bastante bajo en comparación con los efectos principales, por ejemplo, por lo que parece "normal" tener más dificultades para detectar efectos cuadráticos:
Si cree que todavía puede haber términos ocultos que no se detectaron entre los efectos de segundo orden, le recomiendo que aumente su diseño con más ejecuciones (con la plataforma "Augment Design"), para tener más confianza en su modelo (y posiblemente detectar nuevos efectos cuadráticos y/o efectos de interacción).
El enfoque de selección "paso a paso" es diferente, más orientado como un análisis "agnóstico del modelo", donde la selección de los términos no sigue necesariamente algunos de los principios del DoE (incluso si puede "bloquear" algunos términos como efectos principales para respetar efecto herencia/jerarquía), sino que se centra en optimizar un criterio (AICc, BIC, ...). Esto puede resultar en modelos más complejos, ya que es posible que no estén presentes las "salvaguardas" de otras plataformas como "Fit DSD". Si realmente quiere traspasar los límites y explorar otros diseños con la plataforma Stepwise, también puede hacer clic en el triángulo rojo y probar "Todos los modelos posibles". Puede especificar la cantidad de términos en el modelo y JMP probará todas las combinaciones posibles de términos para proporcionar todos los modelos posibles con la cantidad de términos especificada. Puede brindarle algo de "inspiración" en el modelado, pero los resultados deben tomarse con precaución, ya que algunos términos pueden ingresarse en el modelo sin ningún significado estadístico (por lo que es posible que sea necesario un poco de ajuste después):
Con el primer modelo (algunos términos se agregan por defecto pero sus valores de p están por encima del umbral de 0,05):
Siempre es interesante probar y comparar diferentes opciones de modelado, y más aún cuando la experiencia en el dominio puede guiarlo en el proceso. Puede ayudarlo a tener ideas sobre términos importantes y puede ayudarlo a definir cómo aumentar su DoE con nuevas ejecuciones, según un modelo supuesto.
No creo que haya una respuesta correcta o incorrecta aquí, la clave es realmente comparar y evaluar diferentes modelos para obtener una buena comprensión del caso. Algunos métodos son más conservadores que otros, pero la combinación de diferentes modelos con experiencia en el dominio puede ayudarlo a tener una visión más amplia de lo que más importa. Y a partir de ahí, planifica tus próximos experimentos para refinar tu modelo y prepara algunos puntos de validación para poder evaluar tu modelo.
Espero que esta respuesta (larga) te ayude,
PD: también puede comparar otros modelos realizados con diferentes plataformas, como la regresión generalizada con diferentes métodos de estimación (mejor subconjunto, podado/2 etapas/selección directa, ...).
Re: Fit Definitive Screening vs. Stepwise (min. AICC) para la selección del modeloEstos enfoques y otros son la base para herramientas que lo ayudan pero no dictan una forma o respuesta. El enfoque Fit Definitive Screening no logró encontrar un modelo adecuado en su caso. JMP proporciona una gran cantidad de herramientas basadas en innumerables enfoques para que no tenga que limitar su búsqueda para seleccionar el mejor modelo a un solo enfoque.
JMP tiene todas estas herramientas porque ningún enfoque ha demostrado ser superior en todos los casos.
Además, al analizar sus datos con diferentes enfoques, puede aumentar su confianza cuando estén de acuerdo. Cuando no están de acuerdo, puede investigar el motivo del desacuerdo y comprender por qué el modelo seleccionado es el mejor.
Sobre todo, debe validar su modelo. Úselo para predecir la respuesta en configuraciones no incluidas en el experimento original. Debe considerar configuraciones que predicen el resultado deseado y configuraciones que predicen un resultado no deseado. Su modelo debe predecir todas las respuestas con precisión dentro del espacio del experimento.
Ajustar cribado definitivo frente a paso a paso (AICC mín.) para la selección de modelosEstoy tratando de ajustar un modelo a un DSD de 17 ejecuciones con 4 factores. Estoy evaluando dos métodos para hacerlo: la plataforma 'Fit Definitive Screening' recomendada por la documentación de JMP, así como el antiguo método de selección hacia adelante con AICC mínimo como criterio.
Según el conocimiento del dominio, hubiera esperado un efecto cuadrático para el factor B que parece una meseta, con el nivel bajo significativamente peor que los niveles medio/alto, que deberían ser relativamente similares. Cuando observo los resultados del algoritmo 'Fit DSD', la gráfica residual de efectos principales para el factor B se ve así. Sin embargo, el algoritmo DSD de ajuste no genera ningún efecto cuadrático. He intentado alterar la proporción de la Etapa 2 de 1 a 0,1 y no encontré ninguna diferencia.
Cuando tomo el mismo conjunto de datos y uso la selección directa del modelo con AICC mínimo, obtengo el siguiente modelo, que incluye B^2 como término.
Finalmente, cuando ejecuto los modelos hechos por Fit DSD vs. paso a paso, encuentro que el valor p general y el R^2 ajustado del modelo derivado paso a paso indican un ajuste superior (p = 0.0144 y r^2 = 0.438 para ajuste DSD, p = 0,0030 y r^2 = 0,615 para paso a paso)
Repetí esto para algunos otros parámetros de salida y descubrí que, en general, el ajuste DSD es mucho más conservador que la selección paso a paso con respecto a los términos de segundo orden. ¿Es esto cierto? Si es así, ¿sigue siendo recomendable usar el modelo de DSD de ajuste, aunque resulte en un ajuste de modelo más pobre?
Adjunto datos anonimizados.
Gracias.
Fusión y limpieza de datosDiseño de experimentos
