717933_es-ES

liliconcom

ayuda con la comparación de modelos: DOE vs ANN impulsado

¡Buenos días chicos!

 

1) Tengo un DOE y algunos modelos de redes neuronales potenciados que me gustaría comparar con sus respectivos Rsquared (el más grande), RASE (el más pequeño) y AAE (el más pequeño) para seleccionar los modelos mejor optimizados de mis experimentos.

 

Vi que en la herramienta "Comparación de modelos", a través de las fórmulas predictivas guardadas en la hoja de cálculo del experimento, puedo hacer la selección según los criterios anteriores al modelo, como se muestra en la imagen adjunta. Pero me gustaría incluir mi DOE con su Rsquared, RASE y AAE en esta tabla generada. ¿Alguien tendría algún consejo sobre cómo hacerlo?

 

 

 

2) Otra pregunta: en el lanzamiento del modelo, ¿el campo "número de recorridos" serían los números de época? ¿Cómo funciona el aumento de este campo? ¿Alguien tiene alguna sugerencia para probar valores?

 

 

*** agregar

 

Olvide preguntar:

3) Solo tengo 27 experimentos (triplicados de 8 experimentos + 3 puntos centrales resultantes de un DOE factorial completo), y no puedo realizar más por falta de material. Terminé eligiendo probar los modelos ANN con boosting porque creía que crearía un modelo con mayor capacidad predictiva mediante la combinación de varios modelos pequeños. ¿Sería esta la mejor opción? ¿Alguien recomendaría otra construcción de ANN para este escenario? ¿Alguna idea para optimizar redes, aumentar Rsquared y disminuir RASE y AAE? Realmente estoy empezando con ANN, cualquier aporte sería muy relevante!

 

* A continuación se muestra el archivo JMP adjunto.

 

 

 

Diseño de experimentosModelado predictivo y aprendizaje automáticoventanasRe: ayuda con la comparación de modelos: DOE vs ANN impulsado

Hola @ivanpicchi ,

 

Estoy confundido y es posible que no responda directamente a sus preguntas, ya que no estoy seguro de cuál es su objetivo en este plan: ¿H/W y FN MED son las dos respuestas?

Además, ¿cuál es su objetivo?

• ¿Explicar su sistema en función de sus factores?
• ¿Detección de factores importantes?
• ¿Crear un modelo predictivo?

¿Cuál es su conocimiento sobre el sistema? y muchas otras preguntas... Aquí hay algunas primeras ideas, pero hay mucho más que discutir (aunque escribir esto en un foro puede llevar demasiado tiempo).

 

Usar Neural Network para un DoE basado en modelos me parece completamente incorrecto, ya que solo tienes 3 niveles para cada uno de tus factores y usas un modelo altamente flexible que puede aproximarse a cualquier función compleja... Parece como usar una bazuca para matar una mosca: enfoque demasiado complejo e inadecuado. Entonces uno o varios NN son completamente prematuros en esta etapa. Hay otros algoritmos (más simples) que puedes probar: árbol de decisión/bosques aleatorios, máquinas de vectores de soporte,...

 

Además, la columna de validación no está configurada correctamente para Machine Learning, ya que los experimentos (a través de réplicas) pueden estar tanto en conjuntos de entrenamiento como de validación y/o de prueba. Esto da como resultado un sobreajuste de los modelos y un exceso de confianza en los resultados de la predicción. Para la validación del modelo predictivo en un conjunto de datos de tamaño pequeño, debe mantener el mismo tratamiento en el mismo conjunto para evitar la fuga de datos y el sobreajuste en su modelo. Podría ser interesante considerar un enfoque de validación cruzada, como K-folds y Leave-One-Out (con la misma precaución con el uso de réplicas).

 

De todos modos, un consejo general es visualizar sus datos antes de modelar y utilizar el principio de la navaja de Occam al modelar: comience su modelado con un modelo simple y luego itere y agregue complejidad (¡si es necesario!). Compare su nuevo modelo con el anterior y evalúe cuánta mejora obtuvo (y cuánto ha aumentado la complejidad). Recomendaría comenzar de manera simple, usar primero modelos de regresión y evaluar adecuadamente los pros y los contras de sus modelos.

 

No sé qué tipo de modelo de regresión y los términos que incluyó, pero la respuesta H/W se puede modelar bastante bien a través del modelo Fit Least Squares (consulte el guión "Fit Group"). Para la respuesta FN, parece que hay mucho ruido en las mediciones, por lo que tal vez sea necesario trabajar más en los rangos, el protocolo experimental, los factores (controlar factores molestos y/o usar bloqueo,...), el dispositivo de medición y tal vez se pueda considerar el modelo a priori para mejorar los resultados.
Ajustar un modelo complicado a esta respuesta no ayudará: no hay grandes diferencias entre los resultados de su mejor NN (R² = 0,772 - RASE = 0,174 (con sobreajuste...)) y un modelo de regresión simple (R² = 0,758 - R² ajustado = 0,715 - RMSE = 0,586).

 

 

Tenga también en cuenta que el enfoque de modelado, las métricas y el diseño utilizados deben definirse en consecuencia. Por ejemplo , en un objetivo predictivo centrado en el interior del espacio experimental, un diseño de relleno de espacio es adecuado para utilizar algoritmos de aprendizaje automático, con posibles métricas como RMSE/RASE/MSE centrándose en la precisión de las predicciones.

 

Espero que estos primeros puntos de discusión te ayuden.

Re: ayuda con la comparación de modelos: DOE vs ANN impulsado

Hola @ivanpicchi ,

Nuevamente, la complejidad del modelo que pueda ajustar estará vinculada a la cantidad de niveles, la calidad y la representatividad de sus puntos de datos. Con solo 3 niveles para sus factores mínimo, mediano y máximo, los métodos de regresión tradicionales solo podrán ajustarse a un modelo cuadrático (con términos de interacción y términos cuadráticos). Si espera una superficie de respuesta más compleja, le recomendaría aumentar su diseño con puntos de diseño que llenen el espacio en el interior de su espacio experimental.

Algunas respuestas a tus preguntas:

• En la plataforma Neural, puedes seleccionar como métodos de validación "K-folds". Si especifica K = número de filas, utilizará el método de validación Leave-One-Out. Tenga cuidado de no tener réplicas en su tabla de datos, ya que podría inducir a error en los resultados (ya que un tratamiento utilizado en la validación también podría estar presente en el entrenamiento si se replica).
  
  

  Más información sobre métodos de validación en la plataforma Neural: Métodos de validación para Neural
  Puede encontrar una explicación para el número de recorridos (una de sus preguntas iniciales) aquí: Opciones de adaptación neuronal
  Y puedo recomendar el uso de este complemento para ayudarlo a ajustar su red neuronal: https://community.jmp.com/t5/Discovery-Summit-Americas-2023/JMP-Pro-Neural-Network-Tuning-Add -En-2023-US-30MP-1408/ta-p/651647
  
  De manera más general, el aprendizaje automático es una mentalidad diferente en comparación con el modelado estadístico "tradicional". El aprendizaje automático hace hincapié en la precisión predictiva, con la elección y optimización del mejor modelo de interpolación con muy pocos supuestos, mientras que el modelado estadístico hace hincapié en la comprensión del proceso de generación de datos, lo que requiere la elección de un modelo apropiado y la verificación de los supuestos, y puede requerir el uso de réplicas para distinguir qué es variación de la respuesta debido a factores de qué es variación aleatoria o ruido.
  
  

• Con respecto a la respuesta FN: la repetición consiste en realizar múltiples mediciones de respuesta en la misma serie experimental (la misma muestra sin ningún reinicio entre mediciones), mientras que la replicación consiste en realizar múltiples series experimentales aleatorias e independientes (múltiples muestras con reinicio entre cada serie) para cada tratamiento. combinación. Las repeticiones sólo reducen la variación del sistema de medición (al usar el promedio de las mediciones repetidas), mientras que las replicaciones reducen la variación experimental total (proceso + mediciones) para proporcionar una estimación del error puro y reducir el error de predicción (con métodos más precisos). estimaciones de parámetros). Si todavía tiene algo de ruido en su respuesta promedio, eso probablemente podría indicar que la mayor parte del ruido/molestia proviene del proceso, no solo de la medición. Tal vez se podrían tener en cuenta algunos factores molestos mediante el bloqueo, o se podrían mejorar algunas partes del protocolo experimental. ¿Hay varios operadores realizando las mediciones?
  
  
• Por alguna razón el enlace no me funciona. No sé la conclusión de este artículo, pero al observar los resultados, puedo ver claramente que no hay una gran diferencia entre el modelo de regresión y la red neuronal utilizada en términos de precisión predictiva al trazar los residuos:
  
  Puedes ver los resultados con la tabla de datos adjunta, así como el modelado realizado (regresión + red neuronal).
  Usando la plataforma Neural Network, puedo encontrar un modelo que es bastante interesante para fines predictivos (ocultar y excluir las 2 ejecuciones replicadas antes de iniciarlo y usar la respuesta Y media por patrón), pero que no tiene en cuenta la repetibilidad/reproducibilidad, por lo que puede que este no sea un modelo robusto para usar. Nuevamente, dependiendo de su objetivo, puede perder algo en precisión predictiva: con las redes neuronales, pierde interpretabilidad (como cada factor se combina y se utiliza en funciones de activación de la NN, no se puede evaluar la influencia individual relativa y la importancia de cada uno). factor) a favor de la precisión predictiva.

Si está interesado en combinar modelos, creo que promediar o ensamblar diferentes tipos de modelos puede ser más interesante que combinar el mismo tipo de modelos, ya que pueden sufrir los mismos problemas y suposiciones "teóricas" (rendimiento de generalización, robustez, desempeño predictivo). , sobreajuste, ...). Combinar diferentes tipos de modelos puede ayudar a promediar los errores y compensar los inconvenientes de ciertos modelos con las ventajas de otros, y ayudar a homogeneizar la ubicación óptima encontrada (que puede ser bastante diferente entre regresión y redes neuronales).

Espero que esta respuesta más completa te ayude

Re: ayuda con la comparación de modelos: DOE vs ANN impulsado

¡Gracias por una respuesta tan detallada!

El experimento se llevó a cabo por DOE para predecir, dentro del espacio experimental definido, paredes WAAM mediante el robot GMAW con 10 soldaduras superpuestas, donde cada experimento corresponde a una pared ejecutada.

Necesito predecir las siguientes dos respuestas: 1) H/W (relación alto/ancho) y FN (contenido de ferrita en los depósitos, obtenido por un promedio de 10 puntos medidos con un ferritoscopio en la pared). Con el DOE factorial realizado, los estudiantes pudieron proponer una impresión optimizada maximizando el ratio H/W y con un objetivo para el contenido FN. Estamos iniciando este viaje DOE y ANN con el objetivo de la parametrización de la soldadura.

Sin embargo, el modelo no es tan satisfactorio para predecir algunos experimentos de soldadura fuera de las ejecuciones del DOE, y algunas de las mediciones realizadas quedan fuera del IC del 95 % predicho por el modelo. Por ello se intenta maximizar la capacidad predictiva con los experimentos que ya se han realizado. Necesito predecir las respuestas DENTRO del espacio muestral, porque debajo no es soldable y arriba daño componentes de la máquina.

Al leer algunos libros y artículos, consideré aplicar K-fold a ANN debido a la poca cantidad de datos que usted indicó en su respuesta, pero ¿dónde lo selecciono en JMP pro? Gracias por su consejo sobre poner los tripletes en el mismo conjunto de datos de validación, ni siquiera se me pasó por la cabeza que esto influiría en el sobreajuste de ANN.

Sí, apliqué el modelo Fit Least Squares a mi regresión. ¿El nivel de ruido en el FN podría deberse a que es un promedio de puntos? Si es así, ¿algún consejo con lo anterior?

Nuevamente, ¡gracias por la excelente respuesta y las preguntas!

Re: ayuda con la comparación de modelos: DOE vs ANN impulsado

Por ejemplo: Me gustaría realizar un análisis similar a estas imágenes extraídas del artículo "Un estudio comparativo utilizando metodología de superficie de respuesta y red neuronal artificial hacia la producción optimizada de melanina por Aureobasidium pullulans AKW" ( https://doi.org/ 10.1038/s41598-023-40549 -z).

Re: ayuda con la comparación de modelos: DOE vs ANN impulsado

Sería cauteloso con los resultados, ya que no sabemos (al menos yo no) cómo se realizó la partición para la validación de la red neuronal.

• ¿Tomaron en consideración que las 3 últimas líneas son réplicas, por lo que para Neural Network sería más "justo" usar un promedio de la respuesta para este tratamiento, en lugar de dividir los 3 resultados diferentes en conjuntos posiblemente diferentes?
• Además, faltan explicaciones sobre la parte de modelado de la regresión, por lo que no sé cuáles son los términos que se mantienen en el modelado y sobre qué base se han eliminado posiblemente del modelo: ¿se hace en un proceso de "aprendizaje automático"? "/forma predictiva, probando diferentes modelos de regresión y manteniendo el que tiene mejores resultados de validación? ¿O en base a significación estadística, criterio de información, probabilidad...?

Sin embargo, incluso si falta información sobre cómo se realizó el modelado (quizás presente en el artículo, pero no se puede acceder a través del enlace proporcionado), es interesante ver el equilibrio entre sesgo y varianza en acción al comparar los resultados. desde el óptimo con validación experimental:

El modelo de regresión puede tener un sesgo mayor (mayor diferencia media entre el óptimo real y el previsto) que la red neuronal, pero puede tener una varianza menor (ya que el óptimo encontrado con el modelo de regresión tiene menor incertidumbre (SD?) que el encontrado con Neural Network), por lo que puede resultar una opción más sólida.