¿Por qué la validación no está incluida en el DOE?Hola a todos, estoy aprendiendo el curso en línea ahora. En la parte de modelado predictivo, la validación se utiliza para evaluar el rendimiento del modelo en datos nuevos y evitar elegir el modelo de sobreajuste.
La validación requiere datos adicionales. Sin embargo, en la parte DOE, estos datos adicionales no están incluidos. Todos los datos recopilados se utilizan para entrenar el modelo. Incluso los puntos centrales se utilizan para evaluar efectos cuadráticos en el modelo.
Tome la superficie de respuesta DOE como ejemplo. El objetivo de este DOE es encontrar el punto óptimo, que normalmente son "datos nuevos" (en comparación con los puntos del DOE). ¿Por qué en este caso no se incluye un conjunto de validación? ¿No es importante?
AnalíticaGAMARe: ¿Por qué la validación no está incluida en el DOE?Bien puesto Byron. Olvidé diferenciar la Validación como lo hiciste tan bien.
Re: ¿Por qué la validación no está incluida en el DOE?Tal vez sea importante verificar lo que todos quieren decir con "validar".
En general, al modelar datos ad-hoc, validar el modelo usando un conjunto de datos reservados es una muy buena idea. Las estadísticas de ajuste de los datos reservados se utilizan para evaluar la calidad del modelo a partir de los datos de entrenamiento. Al modelar datos ad-hoc, intentamos generar estimaciones sobre la población subyacente, trabajar con conjuntos de datos pequeños socava la capacidad de entrenar y evaluar el modelo. Maximizar el número de observaciones sobre el sistema que estamos modelando es importante para obtener mejores estimaciones.
Los datos para un DOE se planifican y recopilan con mucho cuidado antes del análisis. Este diseño admite la inclusión o el uso de términos del modelo que se especifican a priori en contraste con el modelado de datos casuales en los que es posible que no sepamos qué términos se pueden incluir en el modelo hasta que se evalúen.
En el caso de un DOE, ninguno de los datos se reserva para la validación del modelo porque todos los datos son necesarios para estimar los coeficientes del modelo por diseño. Un objetivo clave del DOE es generar la menor cantidad de datos necesarios para modelar fenómenos físicos. El término "validación" en el caso de un DOE implica que se completarán ejecuciones adicionales después de que se complete el experimento. Las ejecuciones de "validación" se compararán con los valores pronosticados para evaluar la calidad de las predicciones del modelo DOE. A menudo, la cantidad de ejecuciones de validación es pequeña, tal vez solo 1-3. Estas ejecuciones brindan evidencia para respaldar los cambios en un sistema físico que luego generará muchas ejecuciones/observaciones con la misma configuración de entrada. El modelo se utilizará para ajustar el sistema/proceso físico en el futuro.
DOE World utiliza métodos similares a Modeling World, pero el enfoque es muy diferente.
Re: ¿Por qué la validación no está incluida en el DOE?De acuerdo con los comentarios de Mark y Pete... los resultados del experimento y el modelo creado como resultado del análisis (cualesquiera que sean las estadísticas o los juicios prácticos que use para hacer esto) son una función del espacio de inferencia del experimento. Si el experimento no representa las condiciones futuras, entonces el modelo, aunque sea "estadísticamente significativo" en el análisis, no producirá resultados repetibles útiles.
“Desafortunadamente, los experimentos futuros (ensayos futuros, la producción de mañana) se verán afectados por condiciones ambientales (temperatura, materiales, personas) diferentes a las que afectan este experimento… Es solo por el conocimiento del tema, posiblemente ayudado por más experimentos (cursivas añadidas) para cubrir una gama más amplia de condiciones, para que uno pueda decidir, con el riesgo de equivocarse, si las condiciones ambientales del futuro serán lo suficientemente parecidas a las de hoy para permitir el uso de los resultados disponibles”.
doctor deming
Re: ¿Por qué la validación no está incluida en el DOE?Para agregar un poco a @Mark_Bailey El consejo de con el que estoy de acuerdo... filosóficamente, el DOE como método de resolución de problemas tiene como principio fundamental la eficiencia de la recopilación de conocimientos. Uno de mis instructores del DOE de la década de 1980 definió la 'eficiencia en el DOE' como el deseo de obtener la información requerida con el menor gasto de recursos. Hoy en día podemos decir, con tácticas DOE óptimas impulsadas por modelos, el modelo es nuestra 'información requerida'. Como tal, los métodos DOE óptimos brindan esa eficiencia, lo que hace que cada combinación de tratamiento sea necesaria. No se requieren carreras adicionales.
Pero como sugiere Mark, y todos los practicantes sólidos del DOE suelen seguir, una vez que tenemos el modelo, realizamos ejecuciones adicionales para verificar que el modelo sea realmente útil para el problema práctico en cuestión. Por lo tanto, el proceso del DOE incluye la validación (algunos lo llaman confirmación o verificación) como un paso obligatorio... simplemente ocurre en un momento diferente, luego de la experimentación inicial.
Re: ¿Por qué la validación no está incluida en el DOE?Validar el modelo es un paso importante. Use el modelo seleccionado para encontrar niveles de factor de interés (p. ej., se predice que darán una respuesta deseada y una respuesta indeseable), luego configure algunas ejecuciones (5-6) y compare la respuesta promedio de las nuevas ejecuciones con la predicha. respuesta media. Recomiendo usar una prueba de equivalencia, no una de diferencia.
Estos datos, validados por sí solos, pueden combinarse con el experimento original, si desea mejorar las estimaciones de los términos del modelo.
