convergencia de redes neuronalesTengo datos sin procesar con tres variables independientes: temperatura, estrés y deformación por fluencia y una variable dependiente: velocidad de fluencia (ver gráfico a continuación). Un colega está haciendo algunos FEM donde necesita poder obtener los valores entre los puntos en la trama, por lo que utilicé la plataforma neuronal en JMP para obtenerlos.
Esto funcionó muy bien, obtuve muy buen acuerdo entre las predicciones del modelo neural y los datos. Probé varios modelos con diferentes números de nodos en la capa oculta. (No tengo JMP PRO, así que solo puedo usar 1 capa).
Para decidir qué modelo (por ejemplo, número de nodos N) usar, entonces genero un gráfico de R2 y RMSE en función del número de nodos en el modelo. Esperaba que para el conjunto de entrenamiento la curva R2 aumentaría y la curva RMSE caería monótonamente (con algo de ruido aleatorio). Para el conjunto de validación, esperaba que el R2 aumentara y que la curva RSME bajara hasta un cierto valor de N, en cuyo punto las tendencias para la curva de validación se revertirían. Este sería el punto en el que el modelo comenzaría a ajustar demasiado los datos de entrenamiento y, por lo tanto, el rendimiento de los datos de validación disminuiría.
Lo que obtuve fue esto:
Inicialmente, las tendencias son más o menos como esperaba, pero tengo algunas preguntas:
1) En un modelo con ca. 10 nodos o más, el RMSE para el conjunto de entrenamiento es sistémicamente más bajo que para el conjunto de validación. ¿Es eso ya una señal de sobreajuste?
2) Cuando se usa más de ca. 43 nodos (para el RMSE) o ca. 63 nodos (para el R2) el rendimiento del modelo cae para la validación y el conjunto de entrenamiento. ¿Porqué es eso? Mi única idea es que esto podría ser un problema de la cantidad de puntos en los conjuntos de datos que no son suficientes para entrenar el modelo neural correctamente. El conjunto total de datos consta de 1600 puntos, de los cuales utilicé 2/3 para el entrenamiento y 1/3 para el conjunto de validación.
AnalíticaRe: convergencia de redes neuronales¿Creó y usó una columna de datos de validación o usó la función de retención dentro de la plataforma?
Además, su respuesta abarca más de un par de órdenes de magnitud. ¿Intentó transformar la respuesta, por ejemplo, con log (base 10)?
Re: convergencia de redes neuronalesDicha red neuronal solo producirá un sobreajuste.
El uso de la red neuronal convolucional de aprendizaje profundo es una buena dirección.Re: convergencia de redes neuronales @markbailey @Dan_Obermiller @ lwx228
Gracias por sus respuestas, reaccionaré en una sola publicación.
- De hecho, usé log10 (tasa de deformación) para el modelado. Entonces, lo que se muestra son R2 y RSME de log10 (tasa de deformación). Lo siento, debería haber mencionado eso.
- Uso la funcionalidad de retención para determinar el conjunto de validación. Sin embargo, lo usé con la semilla 0 y la semilla 123. Creo que si solo se proporciona una semilla, se usa para ambos, la determinación de los parámetros iniciales para el ajuste y la selección del conjunto de validación. (Indicando la semilla 0 es lo mismo que no proporcionar una semilla). El resultado no es fundamentalmente diferente. (Parece que hay más dispersión para un menor número de nodos con semilla 0, pero la tendencia general se ve más o menos igual).
@Dan_Obermiller : Usted menciona que a menudo se observan tendencias como mejorar, empeorar y mejorar nuevamente el rendimiento de las redes neuronales. ¿Tendrías alguna referencia para esto?
@ lwx228 : Dices que "una red así solo producirá un sobreajuste". Eso es lo que esperaba ver. Pero esperaba que en los casos de sobreajuste, el RMSE para el conjunto de validación aumentaría mientras que el RMSE para el conjunto de entrenamiento disminuiría. Ese no parece ser el caso. (Para SEED = 123, el conjunto de validación tiene un R2 más bajo y un RMSE más bajo. para gran cantidad de nodos. No entiendo eso ...)
Agrego los archivos con los datos sin procesar y el script.
Re: convergencia de redes neuronalesLa única referencia que analiza el número de unidades ocultas es Principe, JC, NR Euliano y WC Lefebvre. 2000. Sistemas neuronales y adaptativos . Nueva York: Wiley.
Mi afirmación proviene de años de experiencia de muchos expertos de SAS en redes neuronales. En uno de nuestros cursos de SAS sobre aspectos esenciales de la red neuronal, tenemos esta diapositiva y notas:
Re: convergencia de redes neuronalesMark ha hecho muy buenas preguntas. Definitivamente deberías estar usando un conjunto de validación fijo para estos resultados.
Tenga en cuenta que agregar más nodos a una red neuronal puede o no mejorar la capacidad predictiva. Hay muchos ejemplos en los que el rendimiento mejora, empeora y luego mejora nuevamente. Además, cuando agrega más capas, puede alcanzar un punto de saturación de nodos, lo que significa que agregar más capas no mejorará el rendimiento.
Re: convergencia de redes neuronalesOtro punto Edité mi publicación original porque confundí el número de capas ocultas con el número de nodos ocultos. Mi publicación original ahora se lee correctamente, pero como no está utilizando varias capas, puede ignorar el concepto de saturación de nodos.
Re: convergencia de redes neuronalesGracias. Lo comprobaré
