¿Cuántos puntos de datos para un modelo de orden reducido?Una vez más me encuentro en la situación en la que creo que sé lo que quiero hacer, pero no sé cómo formular la pregunta correctamente...¿Quizás alguien tendría la amabilidad de ayudar a un ingeniero con dificultades?
Estoy intentando construir un modelo de orden reducido. Tengo un modelo mecanicista complejo y quiero desarrollar una correlación simple para describir el rendimiento de mi sistema en un espacio operativo limitado.Utilicé JMP para diseñar un experimento de "Relleno de espacio" y escribí un script para ejecutar mi modelo mecanicista para llenar la tabla de resultados.Puedo importar los resultados a JMP y he logrado crear correlaciones que satisfacen mis necesidades con la plataforma "Fit Model".
Sin embargo, el modelo mecanicista es relativamente lento, por lo que estoy motivado para tratar de calcular cuántas ejecuciones mecanicistas puedo realizar y aun así generar un buen ajuste general.Parece que debería poder usar mi conjunto de datos existente para comenzar a responder eso: puedo enmascarar manualmente los datos, ajustarlos a un subconjunto y luego desafiar ese ajuste con el conjunto de datos más grande, comparando el r2 con los datos invisibles. Por ejemplo.Hacerlo manualmente está bien, pero lleva mucho tiempo (o tal vez simplemente soy un vago). ¿Hay algún widget mágico que me falta?
Supongo que podría usar la plataforma "Neural" y aumentar la "Porción de retención" hasta que el r2 del conjunto de validación comience a subir.Preferiría seguir con un modelo "lineal" (aunque con términos cuadráticos y cruzados), pero supongo que eso estimaría el límite.También parece que solo puedo elegir Holdback una vez, por lo que tengo que reiniciar la plataforma para jugar ese juego.
¡Gracias de antemano!
Charles
Acceso a los datosCombinación y limpieza de datosDiseño de experimentosModelado predictivo y aprendizaje automáticoCompartir y comunicar resultadosRe: ¿Cuántos puntos de datos hay para un modelo de orden reducido?Gracias de nuevo Dan.Entiendo y estoy de acuerdo con tu respuesta.
El modelo subyacente (mecanicista) es bastante no lineal, por lo que mi problema es que no estoy seguro de antemano si un modelo cuadrático será lo suficientemente bueno (o cuál de los ~10 parámetros de entrada podría mostrar no linealidad).Me gusta la aNN; de hecho, es probable que detecte cualquier no linealidad, pero no me gusta que tenga tantos parámetros, como usted dice.
No me di cuenta de que la parte de retención de aNN se usaba directamente para ajustar los parámetros; pensé que "sólo" se usaba para elegir cuándo detenerse.Ciertamente, si aumento esa fracción de retención lo suficiente, la calidad del modelo se reduce (tanto ajustada como de validación).De hecho, logré escribir un lindo script que ejecuta el modelo aNN varias veces dentro de un bucle con fracciones de retención crecientes y luego captura el r2 para los conjuntos de ajuste y validación, para poder tener una idea de dónde comienza a deteriorarse la calidad del modelo. ..
De todos modos, muchas gracias por su ayuda. Ahora sé más sobre la plataforma DoE y me siento más capacitado para abordar este tipo de problemas en el futuro.Si sé que es probable que la salida del modelo sea relativamente fluida, probablemente usaré un diseño más estructurado como el que usted recomienda y probaré los bordes/puntos centrales.Si tengo menos confianza, usaré un diseño que llene el espacio: usaré más puntos de datos para lograr un ajuste, pero con suerte entenderé mejor la no linealidad del sistema (si está ahí).
Mis mejores deseos
Charles
Re: ¿Cuántos puntos de datos hay para un modelo de orden reducido?La diferencia entre el experimento diseñado y la red neuronal está relacionada con el modelo que se ajusta.
Los modelos de redes neuronales pueden capturar un comportamiento MUY no lineal. Para hacer eso necesitas muchos más datos. Pero el modelo resultante es mucho más complejo y "movible" que el modelo cuadrático. Normalmente hay MUCHOS parámetros en un modelo de red neuronal. Además, las redes neuronales requieren un conjunto de datos reservados (como usted sabe), lo que significa que no todos los datos se utilizan para ajustar el modelo. Eso también significa que necesita un conjunto de datos más grande, ya que solo se utiliza un porcentaje de los datos para construir el modelo. Tenga en cuenta que los conjuntos de reserva se utilizan para determinar cuándo detener la estimación de parámetros de la red neuronal, por lo que reservar porcentajes más grandes de los datos no es lo mismo que usar menos datos. El conjunto de resistencia todavía se utiliza, aunque en menor medida que los datos de entrenamiento.
Entonces, cuál es el mejor enfoque dependerá de qué tan no lineal se espera que sea este modelo mecanicista. Para usted será una compensación costo/beneficio o riesgo/recompensa.
Si realmente cree que el modelo cuadrático hace un trabajo adecuado al estimar la relación, opte por el enfoque de diseño experimental y menos datos.
Si espera que la red neuronal haga un mejor trabajo al capturar la relación, opte por la red neuronal, pero a costa de que se necesiten más datos.
Re: ¿Cuántos puntos de datos hay para un modelo de orden reducido?Gracias Dan. Resolví esto y la respuesta fue 21 casos (en lugar de los ~ 2200 que realmente ejecuté). Todos mis valores de "potencia" en el análisis de potencia resultaron ser 1, por lo que creo que esto implica que el modelo debería ser bueno.
Dicho esto, comencé a utilizar la plataforma Neural para adaptar partes de los 2200 casos originales. Configuré un script que ejecutó el ajuste 4 veces y comparé r2 y q2 a medida que aumentaba la fracción de retención. Ambos fueron buenos (> 0,995 para al menos 3 de 4 de los modelos) cuando mi fracción de retención era <0,925. Cuando retuve 0,95 de las variables (es decir, utilicé 0,05*2200 = 110 condiciones utilizadas para el ajuste), entonces el r2 fue <0,985 para 3 de 4 ajustes y el q2 fue <0,97 para 3 de 4.
No estoy seguro de por qué necesito más casos cuando uso la plataforma Neural. Supongo que el "diseño personalizado" utiliza un patrón -1 / +1 en el que mi diseño de relleno de espacio original se distribuyó por todo el espacio y, por lo tanto, ¿quizás sea menos revelador?
Gracias
CharlesRe: ¿Cuántos puntos de datos hay para un modelo de orden reducido?Así tendrás un modelo cuadrático con el que te sentirás cómodo. Ahora quieres determinar cuántas carreras habrías REALMENTE necesitado para obtener un ajuste similar, ¿verdad? ¿Está más interesado en el valor predicho del modelo lineal o en estimar los parámetros de ese modelo lineal? Asumiré que estás interesado en la predicción.
Entonces tal vez este enfoque funcione. Elija DOE > Diseño personalizado. Ingrese sus factores. Especifique el modelo RSM (efectos principales, todas las interacciones bidireccionales y todos los términos al cuadrado; creo que eso es lo que dijo que tiene). Mire la cantidad de ejecuciones predeterminadas. Haga clic en Crear diseño.
JMP creará un diseño I-óptimo (mejor para la predicción) con esa cantidad de ejecuciones.
Abra la parte de Análisis de energía de la salida. Complete el RMSE anticipado (este sería el RMSE del modelo que ya ha ajustado). Ingrese los coeficientes anticipados del modelo lineal que ya tiene. Haga clic en Aplicar cambios a los coeficientes anticipados. Los números de potencia resultantes son la probabilidad de que este diseño detecte ese efecto. Le gustaría que estos números fueran altos. Qué tan alto dependerá de ti. Si no son lo suficientemente altos, regrese y aumente el número de ejecuciones en el diseño.
También le invito a que consulte la Fracción del espacio de diseño y el Perfil de variación de predicción. Estos gráficos le mostrarán la "precisión" de predicción del modelo con ese número de ejecuciones. Busque una variación de predicción baja que sea bastante plana en todo el espacio de diseño.
¡Espero que esto ayude!
