Confirmación del modelo de diseño de pantalla definitivo (DSD)Hola a todos,
Diseñé un DSD con la siguiente información:
- Diseño: 7 factores continuos y 1 categórico, 22 corridos
- Evaluación del diseño sobre potencia y correlación: muy buena.
- Ajustar modelo mediante Fit Definitive Screening: excelente
- RMSE = 0,2803, RSq =0,997, ValorP<0,001)
- Falta de ajuste: no (Ración F 191, Prob > F = 0,0561)
- Los residuales residuales y estudentizados son todos buenos.
- Estructura del modelo:
- Contiene 5 factores principales, 4 cuadráticos y 1 de interacción.
- Confirmación del modelo: pruebe algunas carreras (puntos) hasta alcanzar la conveniencia máxima
- algunos están muy de acuerdo con la predicción
- algunos muestran grandes diferencias
Debido a la limitación de recursos, podemos ejecutar de 5 a 10 ejecuciones de confirmación.
Por favor avise:
- ¿Las posibles causas de la diferencia dicen que no está en forma o está en exceso?
- Método o procedimiento para mejorar/optimizar el modelo.
Gracias.
Diseño de experimentosRe: Confirmación del modelo de diseño de pantalla definitiva (DSD)Hola @P_Bartell ,
Tus comentarios son bastante esclarecedores. Realmente aprecio que hayas señalado eso Los DSD son, ante todo, diseños de cribado. Sí, ese era el objetivo principal antes de que la gente quisiera sacarle más provecho.
Acoplamiento con @Mark_Bailey Punto sobre la determinación del software de simulación, voy a preguntar sobre la necesidad de un modelo predictivo preciso mientras ahora sabemos la dirección de DSD y podemos obtener una respuesta exacta del software de simulación.
Gracias por tan agradable escrito. Disfruta tus vacaciones.
Re: Confirmación del modelo de diseño de pantalla definitiva (DSD)Está bien... no puedo resistirme. He estado sentado al margen en este hilo... pero ahora no puedo evitarlo.@ZenCar Su pregunta en su última publicación está en el corazón de esta narrativa. Los DSD son, ante todo, diseños de cribado. DOE con fines predictivos es algo completamente diferente. Una de las cosas que más me molestan de los practicantes del DOE es que comienzan con un problema práctico que es fundamentalmente un objetivo de optimización para un conjunto de respuestas... y luego, de alguna manera, olvidan el método probado y verdadero de experimentación secuencial a través del razonamiento inductivo. George Box y otros han discutido esto durante años. Es la forma de proceder. Ese es el meollo de la diferencia entre todos los diseños de detección y otros diseños más expertos en la predicción.
También a @statman Los puntos anteriores sobre el 'ruido'. El ruido en el funcionamiento futuro de un sistema se presenta en todo tipo de formas, formas y tamaños. Muchos no se pueden integrar en experimentos diseñados. Por ejemplo, cuando trabajé en la industria, a menudo los sistemas de producción se apagaban para mantenimiento importante y mejoras de capital. La regla general era 'Nunca querrás ser el primero en la máquina de recubrimiento después de un cierre de capital. Es posible que la magia de la física y la química que pensabas que entendías ahora no se aplique en función de los cambios en el proceso que se han producido. ¿Cómo va a construir una importante actualización de sistemas de capital en un DOE antes de que ocurra la actualización? No es práctico y no se puede hacer.
Entonces, si el poder predictivo de los modelos basados en DOE se desmorona en el futuro... ¿por qué alguien se sorprende? Simplemente significa que se necesita más trabajo para comprender completamente el proceso.
Despotricar sobre. Gracias por leer hasta aquí si es así.
Re: Confirmación del modelo de diseño de pantalla definitiva (DSD)Marca,
Hay muchos factores que pueden afectar la respuesta que queremos controlar. Queremos identificar cuáles son los principales contribuyentes. A través de la experiencia en ingeniería, pudimos reducirlo a ocho factores. El propósito del DOE es reducirlo aún más y obtener instrucciones prácticas sobre cómo mejorar la respuesta. Para este propósito, creo que DSD hace un excelente trabajo.
He probado dos cosas:
1) Dentro de la plataforma DSD, eliminé algunos términos no tan significativos y recorté el modelo de 5 ME, 4 cuadráticas y 1 interacción a 4 ME, 1 cuadrática y 1 interacción. Pude obtener resultados de confirmación más deseables.
2) Simplemente agrego 4 de las 5 ejecuciones de confirmación a la tabla DSD original y uso JMP Analyze: Fit Model: Standard Least Square a la misma configuración que 1) (4 ME, 1 cuadrática y 1 interacción). También pude obtener resultados de confirmación más deseables con los datos de ejecución de confirmación restantes.
Pregunta: ¿Puedo decir que la detección de factores efectivos y la generación de un modelo predictivo son dos cosas, es decir, la última puede deberse a otras razones, como no tener suficientes datos (ejecuciones) para ajustar el modelo, sin embargo, los resultados de la detección aún son sólidos y aplicables? ?
Su punto sobre el diseño que llena el espacio es muy interesante. Lo investigaré y regresaré en unos días.
¡Gracias y Felices Fiestas!
Re: Confirmación del modelo de diseño de pantalla definitiva (DSD)Hola Statman,
Aceptar. Solía ser fanático de Taguchi y envidiaba a los amigos que interactuaban directamente con él. El método tiene una profunda contribución para mejorar la calidad de muchas industrias.
Gracias por su ayuda. Por favor, siéntase libre de continuar ingresando.
Re: Confirmación del modelo de diseño de pantalla definitiva (DSD)Por cierto, no estoy condenando las ideas del Dr. Taguchi. Tuve el privilegio de enseñar con él en Tokio hace muchos años. Sus pensamientos sobre la aplicación de métodos estadísticos me parecieron muy interesantes, particularmente sus ideas sobre la creación de variables de respuesta apropiadas. un muy ingeniería ¡acercarse!
Como ya he comentado, todavía no estoy seguro de entender tu situación. Sé que tener un RSquare del 99% significa prácticamente nada más que el modelo que usó explica ~99% de la variación EN EL CONJUNTO DE DATOS EN LA MANO. Tiene poco que ver con si su modelo será útil para la predicción.
Re: Confirmación del modelo de diseño de pantalla definitiva (DSD)Hola Statman,
Para cada ejecución, necesitamos construir manualmente un modelo CAD, lo que lleva tiempo antes de ejecutar la simulación, que también lleva tiempo. Al principio, se necesitarían demasiados recursos si se ejecutara un FF DOE. La primera ejecución de DSD ayudó a reducirlo a 8 términos (5 ME, 4 cuadráticas y 1 interacción). Tal vez pueda recortarlo aún más para ejecutar un FF en 4 ME.
Mi comprensión del ruido era del Método Taguchi. Me quedo con el tuyo a partir de ahora.
Dedicamos tiempo al principio a identificar las posibles variables significativas para decidir los niveles de los factores.
El DSD fue diseñado para tener una buena evaluación de potencia y alias. Luego estudiamos los resultados del DOE y determinamos que identificó los significados de los efectos correctos.
Como mencioné, ejecuté Model directamente después de Fit Definitive Screening y obtuve un modelo "excelente". El R cuadrado = 99%. Pero las carreras de confirmación no fueron muy buenas.
Empecé a recortar los términos (digamos usando 4 ME y términos cuadráticos e interacciones de 1 ME). El resultado ha mejorado mucho. Esto me parece que el modelo estaba sobreajustado. Estudiaré las direcciones que me indicaste para mejorar. Si no es eficiente, puedo buscar un FF con 4 ME (¿3 niveles ^ 4 = 81 carreras?).
Muchas gracias por tus aportes.
Re: Confirmación del modelo de diseño de pantalla definitiva (DSD)Entiendo que su sistema es una simulación por computadora. Está diseñando un experimento informático, presumiblemente para adaptarse a un sustituto. Su simulación no incluye ningún elemento estocástico, por lo que los mismos valores de entrada conducen a las mismas salidas. No está filtrando entradas, para lo cual está destinado el DSD. Conoce las entradas porque puede examinar la simulación. Supongo que la simulación no es práctica (p. ej., el cálculo tarda demasiado en obtener gráficos fluidos), por lo que desea utilizar un buen sustituto.
El DSD y varias otras plataformas de diseño están destinados a experimentos físicos en los que la respuesta incluye componentes estocásticos. Deberías haber probado los diseños que llenan el espacio. Están destinados a ser utilizados con experimentos informáticos. Además, admiten el ajuste del modelo de proceso gaussiano, que suele ser un sustituto mucho mejor que el modelo de regresión lineal.
Así que creo que el sesgo en el modelo de regresión lineal (es decir, la falta de confirmación) se debe a una respuesta no lineal que no se puede modelar bien con una función polinomial.
Si combina los resultados DSD originales con los nuevos resultados de confirmación y vuelve a ajustar el modelo, ¿mejoran el ajuste y la respuesta prevista?
Re: Confirmación del modelo de diseño de pantalla definitiva (DSD)Estoy feliz de ayudar si puedo, pero no respondió a mi primera pregunta. Si está ejecutando simulaciones, ¿por qué fraccionar? ¿A menos que el tiempo de cálculo sea demasiado largo? El experimento se ejecutó con el software de simulación, ¿las corridas de confirmación también se ejecutaron con el software de simulación?
No estoy seguro de qué tiene que ver el Método Taguchi con esta discusión. Ciertamente no fue el primero en identificar la importancia del ruido en situaciones experimentales (ver Fisher). Si está apuntando a la matriz interna y externa, este método se discutió por primera vez en la década de 1950 con Cox y matrices de productos cruzados. No entiendo lo que quieres decir con "no tenemos que preocuparnos por el ruido". ¿Se han estudiado todas las variables que podrían variar?
Existen muchos métodos/enfoques para el ajuste de modelos. Existe el enfoque aditivo que es lo que hace paso a paso y existe el enfoque sustractivo que comienza saturado y elimina términos. Diferentes enfoques para diferentes situaciones. Hay una serie de estadísticas que pueden brindar ayuda, pero ninguna estadística le brinda una respuesta definitiva. Mi primer consejo es usar la ingeniería y la ciencia para determinar si los factores y los niveles sugeridos por el modelo tienen sentido, las estadísticas útiles incluyen: RMSE, RSquare-RSquare Delta ajustado (algunos usan RSquares pronosticados), coeficientes, valores p, residuos (muchos parcelas), VIF's, etc.
Re: Confirmación del modelo de diseño de pantalla definitiva (DSD)Hola Statman,
Gracias por su paciencia.
Estoy familiarizado con el concepto de ruido. Empecé usando el Método Taguchi durante muchos años. Entonces, en mi caso, no tenemos que preocuparnos por los ruidos.
En resumen, el DOE se basó en los resultados de ejecutar el software de simulación, todo se ve bien excepto que el modelo funciona mal con algunos datos de confirmación.
Para descubrir qué puede causar las confirmaciones no tan buenas, hay algunas cosas que intento ahora:
1) En lugar de usar el modelo generado por Run Model inmediatamente después de Fit Definitive Screening, usé Stepwise Regression para seleccionar términos usando los criterios AICc y BIC. Luego ajusto los términos seleccionados con mínimos cuadrados estándar. Obtuve alguna mejora.
2. También puedo ajustar los términos seleccionados anteriormente con ejecuciones de adición suponiendo que el modelo no se ajuste. Pregunta: ¿Cómo se decide si un modelo está ajustado o ajustado? ¿Cuál es la solución si está sobreajustado?
3. ¿Debería incluso probar el ajuste de regresión no lineal?
Gracias.
Re: Confirmación del modelo de diseño de pantalla definitiva (DSD)No estoy seguro de poder ayudarte. ¿Está diciendo que los resultados de ejecutar los experimentos en el software de simulación no son repetibles en el software de simulación? O ¿Está diciendo que los resultados del experimento en el software de simulación no se repiten en la "vida real"?
Creo que puede haber confusiones sobre qué es el ruido. Tiene varios nombres diferentes: molestia, fondo, et. Alabama. Los ejemplos incluyen: condiciones ambientales ambientales, desgaste o degradación de materiales y equipos, técnica del operador, en algunos casos error de medición, variación de materiales de lote a lote, etc. Estas variables normalmente no se manipulan en un experimento y se mantienen constantes ( mala idea) o variar durante la ejecución del experimento. Estos deben ser representativos de las "condiciones" futuras para que sus resultados experimentales sean aplicables en el futuro (o para que su modelo prediga las variables de respuesta en el futuro).
Si está utilizando un software de simulación, el algoritmo ya está incluido en el software. ¿No lo sabes? No tengo idea de cómo su software de simulación "simula" el ruido.
Re: Confirmación del modelo de diseño de pantalla definitiva (DSD)Hola Statman,
El DOE se basó en los resultados del software de simulación. Encontramos que un nivel de factor (-1,0,+1) capturó el rango completo de la variable de representación, pero físicamente (0, 0.5, 1) o (-1, -0.5, 0) debería ser el rango efectivo para el objetivo. respuesta.Entonces podemos ver este factor como un factor de ruido y usar el mismo nivel de factor en la ejecución de confirmación.
Basado en la información adicional anterior, ¿algún consejo, por favor?
Gracias.
Re: Confirmación del modelo de diseño de pantalla definitiva (DSD)Será muy difícil para nosotros ayudar. Tenga en cuenta que las estadísticas que informa no tienen nada que ver con si el modelo funciona en el futuro. La extrapolación es de ingeniería o científica y depende en gran medida de cuán representativo fue su experimento de las condiciones futuras. El diseño de cribado definitivo es una estrategia para manejar los factores de diseño, no el ruido (factores que no está dispuesto a controlar o gestionar). No dices nada sobre cómo manejaste el ruido. Si los factores de ruido se mantienen constantes, entonces su espacio de inferencia es demasiado pequeño y es probable que su modelo solo se aplique a los datos disponibles. Para la experimentación futura, mi consejo es que dedique tanto tiempo a considerar lo que hará con los factores que no están incluidos en la estructura de diseño (ruido) como los que sí lo están.
