Plataforma de evaluación definitiva de FitTras ejecutar un DSD y hacer clic en el botón "Fit Definite Screening", el programa muestra lo siguiente:
- Etapa 1 - Estimaciones del efecto principal
- Etapa 2 - Estimaciones del efecto del orden par y
- Estimaciones de parámetros del modelo combinado
- Junto con un analizador de predicción.
Si en el menú de la Etapa 1 aparecen varios efectos principales como significativos, según indica Prob>|t| por debajo de 0,01, pero en el menú de Estimaciones de parámetros del modelo combinado, Prob>|t| para esos mismos efectos es de 0,20 o superior, ¿cómo debo interpretarlo? ¿Significa que es necesario reducir el modelo?
En la documentación de JMP, se indica que el Prediction Profiler es para el modelo combinado. ¿Se refiere al modelo combinado que aparece en la tabla Fit Definitive Screening, o a la versión reducida de ese modelo combinado?
También me pregunto: ¿siempre tenemos que seleccionar "Ejecutar modelo" y reducirlo manualmente después de cada análisis?
Diseño de experimentosRe: Confusión sobre la plataforma de evaluación Fit DefinitiveHola @MJZ82 ,
Se observa un aumento en los valores p finales de los efectos principales porque se calculan con un número diferente de grados de libertad que en la primera etapa. En la primera etapa, solo se estudian los efectos principales, por lo que el número de grados de libertad en el diseño es mayor; de ahí el uso de un umbral de 0,05 para detectar los efectos principales.
En la segunda etapa, ya se han utilizado algunos grados de libertad para incluir los efectos principales en el modelo, por lo que los efectos de orden superior se incluyen con un valor p umbral más alto (a menudo 0,2) porque quedan menos grados de libertad para probarlos de la misma manera que los efectos principales en la etapa 1. Puede leer más sobre la metodología aquí: Detalles estadísticos de la plataforma de cribado definitivo Fit
En el panel del modelo combinado final, los valores p se calculan como si los términos de este modelo se hubieran introducido simultáneamente en un modelo simple de mínimos cuadrados; por lo tanto, los valores p son diferentes (y más altos) que los calculados previamente en cada una de las dos etapas. El perfilador que se muestra al final corresponde al modelo combinado final.
No reduciría aún más el modelo basándome en los valores p del panel de estimaciones de parámetros del modelo combinado, ya que la metodología utilizada para Fit Definitive Screening se basa en un enfoque secuencial: primero se identifican los efectos principales que influyen en la respuesta, luego se identifican los efectos activos de segundo orden basándose en los residuos del modelo de efectos principales ajustado previamente. Los valores p calculados con una inclusión simultánea de los términos (como en el panel de estimaciones de parámetros del modelo combinado) no reflejan lo que se ha hecho para identificar e introducir los términos del modelo, por lo que no son fiables, pueden estar sesgados y la decisión de eliminar algunos términos no debe basarse únicamente en esta información. También es importante respetar la herencia de los efectos al ajustar modelos de DoE, por lo que no se debe eliminar un efecto principal de una interacción significativa o un efecto cuadrático del mismo factor que esté en el modelo.
Aún puedes probar diferentes modelos utilizando las distintas plataformas de modelado disponibles: la plataforma de selección definitiva Fit, la plataforma de selección de dos niveles Fit , los modelos de mínimos cuadrados estándar , los modelos de regresión generalizada , etc., y comparar los términos comunes identificados por esos métodos con los que difieren. El tema del modelado es mucho más amplio (y a veces complicado) que basarse "solo" en los valores p. Dependiendo de tus objetivos, puedes tener diferentes caminos para la evaluación y selección de modelos:
- Modelo explicativo En un modo explicativo, te centras más en los términos que influyen en la(s) respuesta(s), por lo que podrías evaluar la necesidad de incluir los diferentes términos en función de su significación estadística (con la ayuda de valores p y un umbral predefinido como 0,05) y su relevancia práctica (tamaño de las estimaciones, selección basada en la experiencia en el dominio). El R², el R² ajustado (y la diferencia entre ambos, que debe minimizarse) podrían ser buenas métricas para comprender cuánta variación explican los términos identificados y seleccionar el/los modelo(s) pertinente(s) para explicar el sistema en estudio.
- Modelo predictivo En el modo predictivo, te centras en los términos que ayudan a minimizar los errores de predicción, por lo que puedes evaluar la necesidad de incluir los diferentes términos en función de cómo mejoran el rendimiento predictivo, mediante visualizaciones de gráficos de valores reales frente a valores predictivos y el tamaño de los errores (gráfico de residuos). El RMSE puede ser una buena métrica para evaluar qué modelo(s) tienen el mejor rendimiento predictivo (el objetivo es minimizar el RMSE).
También podría interesarle una combinación de las dos partes, por lo que se podrían utilizar diferentes métricas para ayudarle a evaluar y seleccionar modelos, como criterios de información (AICc, BIC) que ayudan a encontrar un equilibrio entre el rendimiento predictivo del modelo y su complejidad. Para evaluar y seleccionar un modelo basándose en estos criterios, cuanto menor sea el valor, mejor.
Espero que esta respuesta te ayude.
Re: Confusión sobre la plataforma de evaluación Fit DefinitiveGracias por la respuesta detallada.
¿Qué ocurre si solo hay un término en mis "Estimaciones de parámetros del modelo combinado" que resulta ser significativo de entre los 9 términos enumerados en ese modelo (sin incluir la intersección)?
En mi sección "Estimaciones de efectos principales - Etapa 1" se indican 3 efectos principales de un total de 5 como significativos. Luego, en "Estimaciones de parámetros del modelo combinado" se muestran esos mismos 3 efectos principales + 3 términos de interacción + 3 términos de segundo orden. De esos 9 términos combinados, solo 1 de los términos de segundo orden es significativo, y muchos de los demás términos tienen valores p de 0,20 o superiores.
¿Normalmente no se recomienda intentar reducir aún más la salida del modelo obtenida tras ejecutar la plataforma "Fit Definitive Screening", incluso si tengo 8 de mis 9 términos en el modelo "Combined" que no tienen valores p significativos?
Re: Confusión sobre la plataforma de evaluación Fit DefinitiveComo ya mencioné, el cálculo de los valores p en el modelo combinado es diferente (pruebas simultáneas) a la metodología utilizada en Fit Definitive Screening, que se basa en pruebas secuenciales y jerárquicas de efectos. Este Fit Definitive Screening puede ser más sensible que el método clásico de prueba y construcción de modelos, por lo que podría resultar en términos no estadísticamente significativos en este panel final del modelo combinado, incluso si las etapas 1 o 2 los detectaron.
Eso no significa que estos términos no sean importantes en la práctica, o que no sean útiles para el modelo.
Al evaluar varios modelos, es importante verificar los supuestos de regresión (mediante el análisis de residuos), así como diferentes métricas (para comparar los modelos con diferentes evaluaciones) y la experiencia en el dominio para guiar el proceso de modelado.
