Aumento de problemas del modelo DoEQuerida comunidad JMP,
Actualmente estamos configurando modelos DoE basados en dos bloques experimentales.
El primer bloque fue un diseño DoE personalizado con 22 ejecuciones que contienen efectos principales y efectos cuadráticos de 7 factores. El segundo bloque fue un diseño aumentado que contenía efectos principales, efectos cuadráticos y todas las posibles interacciones de dos factores con 16 ejecuciones (para un total de 38 ejecuciones separadas en 2 bloques).
En el segundo bloque, para dos de los factores los niveles de los factores fueron más amplios que en el primer bloque.
Además, 7 interacciones de dos factores que se calificaron como menos probables de ocurrir se establecieron en "si es posible" en el diálogo del modelo. Todos los demás factores se mantuvieron en "necesarios".
Por lo general, configuramos los modelos con Fit Model Platform considerando solo los efectos del modelo provenientes del diseño haciendo clic en "ejecutar" (personalidad: mínimos cuadrados estándar, énfasis: detección de efectos) y luego eliminando manualmente los efectos del modelo no significativos del modelos.
Nos encontramos con la siguiente situación: en algunos casos recibimos un mensaje de error que dice "Al modelo le falta un efecto".
La evaluación gradual (personalidad: gradual) a través de la dirección hacia adelante con AICc o BIC produce modelos con efectos significativos.
Nuestras preguntas para usted serían
- ¿De qué forma se considera la calificación “si es posible” para los modelos escalonados? Si vemos un efecto significativo que anteriormente se calificó como "si es posible", eso significa que el poder del diseño fue lo suficientemente bueno como para dilucidarlo. Pero si no vemos un efecto “si es posible”, ¿de dónde sabemos que fue considerado?
- ¿Cuál es la razón por la que la forma manual informa problemas mientras que la forma gradual funciona?
- El criterio BIC está produciendo modelos mucho más grandes que el criterio AICc, ¿cuál sería la razón para confiar en los modelos AICc mucho más pequeños?
Muchas gracias de antemano a todos, un saludo,
C. y A.
Modelado estadístico avanzadoAnálisis y modelado de datos básicosRe: Aumento de problemas del modelo DoEUna rápida aclaración, el error es resultado de no seguir el principio de jerarquía (no de herencia).
Re: Aumento de problemas del modelo DoELamentablemente, no entiendo su situación específica, pero su enfoque me confunde.El bloqueo es una técnica utilizada para manejar el RUIDO asociado con el espacio de diseño.El ruido son los factores que no estás dispuesto a gestionar o controlar en el proceso.En lugar de mantener el ruido constante e impactar negativamente en el espacio de inferencia, el ruido se confunde con el bloque.Esto aumenta el espacio de inferencia sin afectar negativamente a la precisión del diseño.Puede ejecutar bloques completos (RCBD), que son réplicas completas del diseño, o bloques incompletos (BIB), que fraccionan el bloque.
Por supuesto, existen múltiples métodos para diseñar y analizar experimentos.Ningún enfoque es mejor en todas las situaciones.Hay una serie de factores que afectan la selección del diseño (por ejemplo, estrategia de ruido, restricciones, número de factores, resolución deseada (tanto lineal como no lineal), efectos deseados a estimar, restricciones a la aleatorización, etc.) y estos deben ser considerado antes de seleccionar un diseño.Al seleccionar un diseño, se debe considerar qué efectos se pueden estimar, cuáles se confundirán y cuáles se restringirán.Este es el conocimiento potencial que se puede adquirir.Este conocimiento debe equilibrarse con los recursos necesarios.
Mi preferencia es analizar experimentos con un enfoque de construcción de modelos sustractivos.Es decir, empezar con un modelo saturado y eliminar los términos insignificantes.Esto se debe a que tengo un modelo en mente cuando se diseña el experimento.Cuando uso datos históricos/de observación, comienzo con un enfoque aditivo (por ejemplo, paso a paso) mientras busco pistas para desarrollar hipótesis que en última instancia serán probadas en un experimento.
Por último, comience siempre con una evaluación práctica de los datos.¿Las variables de respuesta cambiaron lo suficiente (significancia práctica) en el estudio como para justificar una mayor investigación?A continuación, análisis gráfico (múltiples gráficos de los datos buscando patrones en la variable de respuesta y patrones coincidentes en las x).Por último, aquí se utilizan análisis cuantitativos y una serie de estadísticas, como sugiere Víctor.
Re: Aumento de problemas del modelo DoEHola @statman ,
Gracias por la aclaración y corrección.
En cuanto al bloqueo, como @me encanta-jmp mencionó que aumentó el diseño, creo que eso significa que ha aumentado el diseño con la opción "Agrupar nuevas ejecuciones en un bloque separado", agregando así un factor de bloqueo al diseño con un bloque para el diseño original y un bloque para las ejecuciones aumentadas. Esta puede ser una práctica buena y "segura", especialmente cuando los conjuntos de experimentos están separados en el tiempo, con posibles errores de calibración y/o cambios/desviaciones en los sistemas de medición.
Totalmente de acuerdo con usted sobre la mentalidad de modelado entre los datos del DoE (y un modelo a priori) y los datos de observación (y un enfoque de minería de datos/independiente del modelo).
Re: Aumento de problemas del modelo DoEHola @me encanta-jmp ,
¡Bienvenidos a la Comunidad!
El mensaje de error que ha visto puede aparecer cuando se infringe el principio de herencia, por ejemplo al introducir un efecto cuadrático o interacciones de 2 factores pero sin introducir los efectos principales relacionados. DoE se basa en tres principios: escasez de efectos, herencia de efectos y jerarquía de efectos, más información y detalles en esta respuesta: Principios del DoE - Comunidad JMP
Por lo general, asegurarse de que todos los efectos principales estén presentes debería ayudar a evitar este mensaje.
Para estar seguro de que este mensaje está vinculado a este problema, sería mejor tener más contexto, ¿quizás una tabla de datos que reproduzca este problema (con datos anónimos)?
La configuración "si es posible" se utiliza para la creación de diseños y puede afectar el análisis. Básicamente le dice a JMP (y al algoritmo de intercambio de coordenadas detrás) una prioridad/clasificación sobre los términos que desea investigar, la precisión relativa en las estimaciones que tiene que calcular y cómo puede asignar recursos (puntos de diseño) para maximizar el aprendizaje. usted desea (con el efecto necesario y, si es posible, efectos).
A veces se pueden asignar puntos para estimar estos efectos, a veces no es posible, debido a restricciones en el espacio experimental y/o presupuesto experimental (número de ejecuciones) solicitado por el usuario. Los términos de efecto "Si es posible" no aumentan la cantidad de ejecuciones requeridas, por lo que terminará de forma predeterminada con la misma cantidad de ejecuciones que si no hubiera ingresado estos efectos en el panel Modelo.Eso significa que en el análisis, es posible que pueda o no estimar estos efectos dependiendo de la asignación de puntos y alias en el diseño, sin importar su método de análisis.
Más detalles técnicos aquí: Diseños con efectos si es posible (jmp.com)
El modelado paso a paso no asume por defecto la herencia de efectos y la jerarquía de efectos, es un método "agnóstico" que intenta encontrar el mejor modelo en función de un criterio (AICc, BIC, valores p, ...). Por lo tanto, puede terminar con modelos diferentes a los del enfoque de mínimos cuadrados estándar (que respeta todos los principios del DoE). Claramente, intentaría respetar estos principios en un conjunto de datos creado por el Departamento de Energía y no eliminar un efecto principal (incluso si no es estadísticamente significativo) si todavía están presentes efectos de orden superior que contengan este factor.
Por lo tanto, Stepwise funciona, incluso si se rompe el efecto de herencia o el principio de jerarquía, ya que simplemente evalúa muchos modelos posibles y utiliza los términos que mejor mejoran el modelo.
Como se trata de un conjunto de datos con una estructura y generación de datos específicas, no recomendaría utilizar métodos de modelado "agnóstico" o minería de datos como Stepwise, excepto si desea comparar su modelado anterior con nuevos conocimientos de otros enfoques.
Es una situación extraña, ya que generalmente BIC penalizaría a los modelos con más términos que AICc debido a las diferencias en su cálculo: https://www.jmp.com/support/help/en/17.1/index.shtml#page/jmp/likelihood-aicc-and-bic.shtml
Sin embargo, no es raro, ya que pude reproducir su situación muy fácilmente:
Al final, es "sólo" un criterio de información que te guía en el modelado, lo interesante es comparar en qué términos coinciden y en qué términos difieren, evaluar los diferentes modelos posibles con otras métricas (significancia estadística del modelo, R² y R² ajustado, RMSE del modelo...) dependiendo de su objetivo, y tome su decisión basándose en toda esta información Y en su experiencia en el campo.
Espero que esta respuesta te ayude,
Re: Aumento de problemas del modelo DoEEsta respuesta no es un argumento sino simplemente una aclaración. Varias personas utilizan los términos "jerarquía" y "herencia" indistintamente. Así es como JMP utiliza estos términos:
• Jerarquía de efectos: los efectos de primer orden representan la mayor variación y los efectos de segundo orden.
dar cuenta de una menor variación.
• Herencia de los efectos: los términos de orden superior suelen implicar factores con efectos principales significativos.
Re: Aumento de problemas del modelo DoEGracias @Mark_Bailey !
Tenía las mismas definiciones en mente y en la respuesta que mencioné en mi primera respuesta.
Por eso pensé que el mensaje de error era una consecuencia directa de que el principio de herencia se rompió (porque afecta la estructura del modelo antes del análisis, lo cual no está de acuerdo con el proceso de generación de datos/estructura de diseño) y no es una consecuencia de que el principio de jerarquía estaba roto (ya que afecta más el análisis y la repartición de variaciones una vez que se lanza el modelo).
¿Puedes confirmar y/o explicar?
Re: Aumento de problemas del modelo DoEEl error se debe a violar el principio de jerarquía.El error ocurre cuando hay términos de orden superior especificados en el análisis, pero faltan los términos de orden inferior.No se puede obtener un error de herencia.La herencia se utiliza para ayudar a comprender términos confusos de orden superior.Por ejemplo, digamos que hemos ejecutado un factorial fraccional Res IV y durante el análisis encontramos efectos significativos.Los efectos son una función de términos con alias (por ejemplo, un efecto principal tiene un alias con una interacción de tercer orden, las interacciones de 2 factores tienen un alias con otras interacciones de 2 factores).
X4= X1*X2*X3 (generador de diseño); Yo=X1*X2*X3*X4
X1*X2=X3*X4
Podemos utilizar el principio de jerarquía como justificación para concluir que el efecto principal es probablemente el efecto influyente frente a un efecto de tercer orden.La jerarquía no ayuda a ayudar con el efecto que contiene múltiples efectos de segundo orden (son la misma jerarquía).Para ayudar a comprender cuál de las interacciones de los dos factores es más probable que contribuya al efecto significativo (recuerde que tienen alias, por lo que no hay matemáticas que ayuden), podemos aplicar el principio de herencia.Observamos si alguno de los efectos principales es significativo y, de ser así, tenemos evidencia de que la interacción de dos factores que incluye el efecto principal significativo es el probable contribuyente. Ejemplo:
X1 es significativo (X1=X2*X3*X4)
X1*X2 es significativo (X1*X2=X3*X4). Sospechamos que es X1*X2 ya que X1 también está activo.
Re: Aumento de problemas del modelo DoEEstimados Victor_G, statman y Mark_bailey:
En primer lugar, muchas gracias por los consejos, explicaciones y discusiones que brindaste sobre nuestras preguntas. ¡Realmente apreciamos su aporte!
Perdón por la respuesta tardía a todos ustedes. En cuanto al factor de bloqueo, Victor_G lo explicó muy bien. El factor se introdujo para tener en cuenta la variación que podría (o es probable que se introduzca) por la separación de los bloques en el tiempo (y hay otros factores, muy probablemente significativos, que se suman al bloqueo además del tiempo).
Con respecto al mensaje de error durante la generación del modelo: considerando sus explicaciones sobre la herencia y la jerarquía, creemos que entendió el punto aquí y pudimos evitar el mensaje de error.
Para brindarle más contexto sobre el DoE y los experimentos subyacentes realizados, aquí está el diseño de Augment
Tenga en cuenta que para las interacciones de dos factores que contienen el factor "a", la estimabilidad en el modelo se estableció en "si es posible", ya que se consideró que estas interacciones no eran significativas según la experiencia en la materia.
Lo que vemos ahora en la plataforma Fit Model con el enfoque estándar de mínimos cuadrados es algo como esto (amarillo = efectos principales, efectos cuadráticos, interacciones de dos factores clasificadas como necesarias; azul = interacciones de dos factores clasificadas como si fueran posibles).
Por lo general, seguiríamos adelante y eliminaríamos los términos de abajo hacia arriba hasta que solo queden términos significativos en el modelo. El problema ahora es que, en primer lugar, sólo se producen valores P muy grandes (aparte del bloque) y, en segundo lugar, los efectos principales son los factores que se encuentran en la parte inferior. Por lo tanto, no podemos seguir el procedimiento estándar de “eliminar términos de abajo hacia arriba”. Los efectos ocultos debajo del cuadrado azul son las interacciones "si es posible".
Lo que pasa si eliminamos por ejemplo una de las interacciones “si es posible” visualmente no es nada. Pero cuando hemos eliminado 3 de ellos (no importa cuáles), de repente el modelo se ve así. De aquí en adelante básicamente podríamos continuar con el método de eliminación “de abajo hacia arriba”.
La pregunta ahora sería cómo proceder en la generación del modelo. No podemos simplemente eliminar tres de las interacciones "si es posible", ya que podrían ser términos significativos, lo que se ilustra aquí cuando algunos de ellos (cuadrados azules) permanecen en el modelo con valores P significativos.
En este punto estamos bastante confundidos, tal vez pueda darnos algún consejo sobre por qué sucede esto y cómo podemos resolver este problema.
Muchas gracias por tomarse el tiempo nuevamente, saludos cordiales,
C y A
Re: Aumento de problemas del modelo DoEHola @me encanta-jmp ,
No respondo directamente a sus preguntas, pero puede intentar configurar el factor de bloqueo como "Aleatorio", ya que está más interesado en el cambio de variabilidad debido al bloqueo (tiempo y otros factores no controlados) que en una respuesta de cambio medio debido al bloqueo (que no podrás reproducirte).
Al crear su modelo, haga clic en "Bloquear" y en el triángulo rojo de Atributos para especificar este término como un efecto aleatorio:
Esto creará un modelo Mixto con Bloqueo como efecto Aleatorio, y su importancia se evaluará en función del cambio en la variabilidad de la respuesta, no en la media de la respuesta. Esto también debería ayudar a que otros factores se "expresen", ya que no se compararán directamente con el factor de bloqueo.
Responderé más tarde sobre otras preguntas (si aún es necesario),
