Importancia de los factores en el diseño de cribado definitivoQuerida comunidad JMP,
He realizado un Diseño de Detección Definitivo de 37 ejecuciones para 15 factores para encontrar los dominantes. Establecí el valor p en 0,05 y en la documentación dice que un factor se mostrará como "activo" si el valor p es inferior al umbral definido (es decir, 0,05). Sin embargo, en algunos casos, cuando me ajusto al diseño de cribado definitivo, hay factores con un valor de p superior a 0,05 que aparecen como "activos o significativos". A continuación adjunto un ejemplo de lo que quiero decir. ¿Alguien puede ayudarme a resolver esta ambigüedad?
Diseño de experimentosventanasRe: Importancia de los factores en el diseño de cribado definitivoHola @Ahmedhadi ,
¡Bienvenidos a la Comunidad!
Es difícil ayudarte sin mirar tu diseño y sin saber cómo lo diseñas.
Sin embargo, creo que puedes encontrar respuestas en esta sección de Ayuda sobre el análisis de DSD: Detalles estadísticos de la plataforma de detección Fit Definitive (jmp.com)
También te puede interesar la publicación original del método Fit DSD: Bradley Jones & Christopher J. Nachtsheim (2016): Selección eficaz de modelos basada en el diseño para diseños de cribado definitivos , Tecnometría, DOI: 10.1080/00401706.2016.1234979
Como puede ver en la captura de pantalla, el análisis de DSD se realiza en 2 pasos para tener en cuenta la estructura específica de DSD:
- La primera etapa implica la identificación de los efectos principales con los valores de las respuestas.
- La segunda etapa implica interacciones de 2 factores y la identificación de efectos cuadráticos (basada en el principio de herencia de efectos) con las respuestas residuales del modelo de la primera etapa.
A partir de la poca cantidad de información proporcionada, si sus 37 ejecuciones DSD implican 15 factores continuos, es posible que tenga 4 ejecuciones adicionales en su diseño, por lo que en su etapa 1, la variación del supuesto modelo (con todos los efectos principales) se estima frente al error. variación de las 4 carreras adicionales. Esto permite identificar efectos activos por debajo de un cierto umbral de valor p (definido por usted o por el número de grados de libertad que tiene). Como la variabilidad de los efectos principales inactivos se agrupa en la varianza del error, los valores p pueden ser susceptibles de cambiar en el proceso y terminar estando por encima del umbral especificado, incluso si se seleccionaron originalmente.
Algo similar puede suceder en la etapa 2, donde se prueba un subconjunto de efectos de segundo orden para ver si hay una mejora del modelo RMSE al agregar estos efectos (incluso si no todos son estadísticamente significativos).
Dos cosas a considerar con precaución:
- Principio de significancia estadística: el umbral del valor p de 0,05 no es un valor de corte, ya que también puede ser interesante considerar en el modelo los efectos justo por encima de este valor (debido a la experiencia en el dominio o al uso de otro método de modelado no basado en p). -valores). Además, la significación estadística no proporciona ninguna información sobre la importancia/tamaño del efecto.
- Un modelo es solo una representación de la realidad experimental que grabaste. Si prueba diferentes técnicas de modelado, utilizando la plataforma de regresión generalizada con diferentes métodos de estimación (selección directa en dos etapas, selección podada hacia adelante,...) y un criterio de validación diferente (como los criterios de información AICc y BIC), puede terminar con diferentes modelos. Siempre es interesante comparar varios enfoques para ver en qué se parecen o diferir los diferentes modelos, y utilizar la experiencia en el campo para proceder con el más razonable.
Espero que esta respuesta te ayude,
Re: Importancia de los factores en el diseño de cribado definitivoEstimado Victor,
Muchas gracias por su respuesta detallada y útil y perdón por no proporcionar toda la información.
Por supuesto, tengo 15 factores "continuos" y he incluido 4 ejecuciones adicionales como se recomienda. Por ahora, sólo me interesa determinar los factores dominantes que influyen significativamente en la respuesta. Por lo tanto, consideraré significativos todos los "factores activos" enumerados por el software en la Etapa 1.
Con respecto a comparar diferentes modelos, me resultó complicado hacerlo para algunos modelos ya que no existe un valor de R cuadrado para evaluar/comparar los modelos. ¿Existe una forma sistemática de hacerlo?
Re: Importancia de los factores en el diseño de cribado definitivoHola @Ahmedhadi ,
Si desea comparar y seleccionar los modelos más "sensibles", recomendaría compararlos con otra métrica distinta de R² (o R² ajustado), ya que R² solo toma en consideración la proporción de varianza explicada por el modelo pero no su complejidad, por lo que Si agrega más y más términos, puede terminar con un R² más alto, pero tendrá un modelo más complejo que puede contener algo de ruido.
Un criterio de información, como AICc o BIC, y/o Máxima Verosimilitud si necesita una distribución de respuesta diferente a la normal, puede ser más efectivo para comparar y seleccionar modelos, ya que equilibran la precisión del modelo con su complejidad (número de términos incluidos en el modelo).
No es necesario probar todas las combinaciones posibles de términos para comparar y seleccionar los modelos, ya que la Regresión Generalizada (JMP Pro) con los diferentes métodos de estimación y criterios de validación es un proceso semiautomático (cada método se detendrá al llegar al "mejor modelo). Más información aquí: Modelos de regresión generalizados (jmp.com)
También puedes buscar en la plataforma Stepwise (en la plataforma Fit Model, cambiando la personalidad a Stepwise), donde puedes filtrar "automáticamente" los términos posibles en tu modelo y seleccionar el más informativo gracias a una regla/criterio de parada (basado en sobre BIC, AICc, umbral de valor p, etc. Recomiendo utilizar criterios de información como AICc o BIC). Lo bueno es que puedes seguir los diferentes pasos involucrados durante la creación de los diferentes modelos y cómo cada paso tuvo un impacto en la calidad del modelo (en términos de R² y AICc/BIC):
Funciona bastante bien, pero después de todo es posible que necesite algunos ajustes del modelo, ya que puede ser un enfoque codicioso (introducirá todos los términos que puedan proporcionar un impacto positivo para el modelo).
Más información aquí: Modelos de regresión escalonada (jmp.com)
También hay una opción para probar " Todos los modelos posibles ", pero dada la gran cantidad de factores que tiene (y una cantidad aún mayor de términos posibles cuando se tienen en cuenta los términos de segundo orden), no lo recomendaría ya que será demasiado largo y demasiado costoso desde el punto de vista computacional.
Espero que esta respuesta te ayude,
Re: Importancia de los factores en el diseño de cribado definitivoOtro punto a considerar es que el software o algoritmo no pretende encontrar el mejor modelo. Ayudan a eliminar muchos modelos malos de una mayor selección. Diferentes métodos para seleccionar un modelo pueden producir diferentes soluciones. La información proporcionada con una solución debería ayudarle a realizar mejoras. Elegir qué términos incluir depende de usted, no del software.
Puede probar con otro método de selección para ver si la solución se adapta mejor a sus necesidades. JMP proporciona muchos de estos métodos.
