¿Qué sucede cuando un solo factor supera con creces a los demás en un DoE?Hola chicos,
Creé un DoE que tenía un objetivo principal (estabilidad) y un objetivo secundario (productividad). Anteriormente había caracterizado la productividad con un DoE inicial. Se desarrolló un gran modelo a partir de esos datos. En este nuevo DoE, agregué un factor adicional que no se había considerado anteriormente. SABÍA que este factor tendría un gran impacto en la productividad, ya que es un contribuyente principal obvio, pero no estaba del todo seguro de su impacto en la estabilidad.
El modelo de estabilidad dio buenos resultados. El modelo de productividad fue desastroso. El R^2 ajustado era casi inexistente al final de la reducción del modelo, y el término restante era el nuevo factor que agregué. (No se detectaron valores atípicos mediante residuos estudentizados externos).
Entonces, mi pregunta es: ¿la pobre capacidad de modelado se explica por el hecho de que el factor principal tuvo MUCHO más impacto en comparación con los otros factores y que los otros efectos fueron esencialmente indetectables?
Diseño de experimentosRe: ¿Qué sucede cuando un solo factor supera ampliamente a los demás en un DoE?Hola @MetaLizard62080 ,
Es muy complejo intentar ayudarte sin más contexto y precisión sobre la importancia de este factor (tamaño del efecto práctico, significancia estadística, ¿ambos?), el diseño que has creado y la forma en que has analizado y refinado tu modelo.
Es posible que ya tenga algunas ideas si puede comparar lo que ha cambiado entre el DoE inicial exitoso para la productividad y este: ¿factores? ¿niveles? ¿diseño? ¿Elección del modelo? ¿Objetivos? ¿Métricas del modelo para ajuste/refinamiento? ...
Sin embargo, he aquí algunas reflexiones, preguntas y posibles explicaciones, además de la que usted propone:
- Definición de diseño :
- Dependiendo de las diferencias en el rango de los factores y de la influencia del factor específico en la respuesta, es posible que hayas amplificado la importancia o el tamaño del efecto de este factor en comparación con los demás. Puedes intentar aumentar tu diseño y reducir el rango de este factor (y/o expandir los rangos de otros factores), para reducir la variabilidad de la respuesta con respecto a este factor (y/o aumentar la variabilidad de la respuesta con respecto a otros factores).
- Dependiendo de su objetivo (selección de factores, exploración espacial experimental, predicción, etc.), puede elegir un diseño diferente, con un tamaño de muestra diferente, ejecuciones repetidas, etc. ¿El tamaño de la muestra es lo suficientemente alto para la diferencia que desea detectar en otros factores? ¿El diseño elegido es apropiado para su objetivo?
- Manejo del ruido: ¿Sus experimentos son “ruidosos”? Si es así, ¿utilizó estrategias para identificar y manejar el ruido proveniente de diferentes fuentes: repetibilidad, reproducibilidad, factores de ruido, influencia externa, etc.?
- ¿Este nuevo DoE se creó "desde cero" o utilizó Augmentation para beneficiarse de la información de los datos históricos?
- Construcción de modelos, refinamiento y selección:
- Menciona que después de la reducción, el R² ajustado fue muy bajo. ¿Cuál es su objetivo en relación con la creación y selección de su modelo? ¿Qué métricas utiliza y están relacionadas con sus objetivos? ¿Cuáles fueron los resultados de las métricas de su modelo completo antes de la reducción? ¿Sobre qué información/base/métrica redujo su modelo?
Dependiendo de su objetivo (explicabilidad vs. predictibilidad o ambos) y sus métricas de interés relacionadas (R²/R² ajustado para explicabilidad, RMSE para predictibilidad y criterios de información para ambos, por ejemplo), puede terminar con diferentes modelos. Puede intentar construir varios modelos, en particular para no depender solo de la significación estadística y los valores p (puede leer la discusión sobre este tema Significación estadística ). También puede identificar y evaluar si el tamaño del efecto/significación práctica de los factores/términos en el modelo son importantes, según su experiencia en el dominio.
- Tenga en cuenta que la significancia y el tamaño del efecto de los factores dependen de qué factores entran en el modelo. Por lo tanto, según cómo "reduzca" su modelo y qué términos elimine, cambiará por completo los valores p y la estimación del tamaño del efecto. Puede leer más aquí Los factores significativos dejan de ser significativos después de eliminar los no significativos
- Los modelos que provienen de DoE también se basan en los principios de escasez de efectos, herencia de efectos y jerarquía de efectos . Puedes intentar verificar o evaluar si el modelo que estás construyendo respeta estos principios. Consulta ¿Es posible tener un factor que no sea significativo en un modelo de superficie de respuesta pero que el término cuadrático para el mismo factor sí lo sea?
- ¿Comprobó los residuos? ¿Existen patrones que puedan indicar una violación de los supuestos de regresión ( Supuestos del modelo de regresión | Introducción a la estadística | JMP )? ¿Tiene una prueba de falta de ajuste disponible? ¿La respuesta está vinculada a la predictibilidad que cubre órdenes de magnitud grandes y muy diferentes? Según sus respuestas a estas preguntas, puede haber algo que comprobar y corregir para la construcción del modelo, a fin de asegurarse de que se cumplan los supuestos del modelo de regresión (o si puede necesitar un modelo de regresión diferente con términos agregados o eliminados, una transformación de la respuesta, un modelo de regresión generalizado, etc.). Consulte Problema con el ajuste de RSM para un factor
- ¿Son los resultados relevantes para los expertos del dominio y están alineados con resultados anteriores?
Al final, su modelo está impulsado por el diseño que ha elegido, por lo que es difícil ayudarlo con respecto al modelo sin comprender cómo y por qué ha elegido y creado el diseño para su tema.
Cualquier conjunto de datos de juguetes que muestre a qué te enfrentas puede ser útil para un seguimiento más preciso.
Espero que este primer inicio de discusión pueda ayudarte.
Re: ¿Qué sucede cuando un solo factor supera ampliamente a los demás en un DoE?Como señala Víctor, simplemente no hay suficiente contexto para responder a tu pregunta de manera apropiada. Aquí están mis pensamientos/preguntas. ¿Replicaste tu primer experimento? ¿Qué estaba haciendo el factor que agregaste durante el primer experimento? (por ejemplo, ¿se mantuvo constante o varió aleatoriamente?) ¿Cómo mediste la estabilidad? ¿Se estudió el sistema de medición? La estabilidad suele ser una de las características a las que renuncias cuando realizas un experimento porque estás truncando la serie temporal y la estabilidad requiere una serie temporal.
En retrospectiva, esta es la razón por la que se comienza con un espacio de inferencia más amplio (por ejemplo, se incluyen más factores de diseño y ruido en el estudio). Los resultados de su primer experimento fueron condicionales. Si el espacio de inferencia, los factores de diseño o el ruido que variaron durante el experimento cambian, también pueden cambiar los resultados.
Tus pensamientos no son necesariamente erróneos. Es posible que un efecto significativo "abrume" el análisis y dificulte descubrir otros efectos significativos en el estudio. Intentamos superar esto marcando TODOS los factores en negrita. Si el nivel de un factor está mucho más marcado que el de otros, puede parecer que ese factor es, de hecho, mucho más significativo que otros factores.
