338434_es-ES

liliconcom

Predicción del modelo

Hola

Estoy trabajando en una base de datos con unos 3000 registros y unos 100 predictores. La respuesta es un parámetro eléctrico con una buena distribución gaussiana. La base de datos es una serie temporal multivariable porque tanto la respuesta como los predictores dependen del tiempo. Los predictores se recopilan a lo largo de la línea de producción en un paso de proceso particular, mientras que el parámetro eléctrico se mide unas 2 semanas después. La idea aquí es predecir la medición eléctrica utilizando los datos de la máquina en línea (predictores).

Como primer modelo utilicé un bosque aleatorio. El R2 y el error fueron realmente buenos tanto para los grupos de entrenamiento como para los de prueba. De todos modos, cuando intenté implementar el modelo en producción con datos nunca vistos antes, el rendimiento del modelo fue muy malo. Pude explicar este comportamiento con la debilidad del bosque aleatorio para extrapolar. Luego, excluyendo el árbol del modelo basado en la única opción que quedó fue el ajuste polinomial y la red neuronal. El primero no fue aceptable en términos de R2 y error, mientras que la NN con 2 capas y 3 funciones de activación pudo devolver un buen R2 y error tanto en los datos de entrenamiento como de prueba. Luego, una vez que construí el modelo, lo implementé en producción con datos nunca vistos (asterisco en el generador de gráficos). Aunque la predicción de tendencia es correcta, los valores individuales no lo son. En particular, la NN con datos nunca vistos muestra una variabilidad muy alta. Entonces, al final de esta historia, no tengo ningún otro modelo en JMP para probar. Al menos esto es lo que creo. ¿Alguien puede darme algún truco o sugerencia para resolver este problema?

En la presentación ppt adjunta se muestran todas las gráficas.

Gracias Felice

Exploración y visualización de datosRe: predicción del modelo

Gracias a todas las personas que respondieron a mi publicación. Todas las observaciones correctas. Traté de hacer un experimento simple para comprender mejor el problema.

En el ppt adjunto mis conclusiones y resultados.Cualquier comentario y sugerencia es bienvenido.

 

feliz

Re: predicción del modelo

Como usted dice, no asigna aleatoriamente observaciones al entrenamiento, la validación y la prueba. No vi a nadie decir que se hizo una asignación aleatoria, pero si lo fue, eso no se debe hacer. Usted hace la asignación de acuerdo con el tiempo. El conjunto de entrenamiento es el más antiguo, la validación es el siguiente conjunto y la prueba es el último grupo. De esta manera proporciona una buena indicación de la capacidad de previsión.

 

Los conjuntos de entrenamiento, validación y prueba deben ser representativos del proceso estable. Si ajusta bien el entrenamiento y la validación, pero no la prueba, eso naturalmente lleva a uno a creer que sucedió algo que alteró el conjunto de prueba. Cualquier cosa que haya ocurrido/cambiado debería ser otro predictor en el modelo.

Re: predicción del modelo

Me remito a los otros comentarios aquí, ya que esas personas saben más que yo sobre esas cosas.Pero hay un problema que no han mencionado y que pensé en plantear.Dado que se trata de datos de series de tiempo multivariados, ¿qué sentido tiene utilizar conjuntos de datos de validación y prueba aleatorios?¿No ignora esto la estructura temporal de los datos?Por supuesto, puede usar redes neuronales, bosques aleatorios, etc., pero no esperaría que el rendimiento fuera muy bueno con datos nuevos, ya que esos modelos han ignorado la estructura temporal de los datos.Para los datos de series de tiempo, creo que los datos de prueba deben ser un rango contiguo de observaciones, para que la estructura de tiempo pueda modelarse y probarse.Entonces, ¿es apropiado usar estos métodos, con validación aleatoria y conjuntos de datos de prueba, en datos de series de tiempo como los que usted tiene?

Re: predicción del modelo

coincido con todo @Dan_Obermiller y @statman recomendar o indicar.

 

Otro pensamiento para usted... dado que parece estar trabajando con datos y procesos de producción históricos fortuitos, ¿tiene la capacidad de ejecutar experimentos diseñados? La razón por la que voy por este camino es que si sus modelos basados en información histórica no son particularmente extensibles a observaciones futuras, entonces muy posiblemente puede haber otras variables causales importantes que ingresan al sistema que los datos históricos no están considerando desde un punto de modelado de efectos. de vista... pero es posible que pueda incluir algunos de estos en una investigación centrada en el DOE.

 

Usted está buscando algunas agujas en un pajar y no conozco un método más eficiente para encontrarlas que DOE. Por ejemplo, tal vez haya una variación de la materia prima en la producción que no tenga en cuenta con los datos históricos del proceso, pero en una investigación tipo DOE tiene varias opciones para manejar este tipo de cosas, como el bloqueo. O si como @statman sugiere que si hay escasez de efectos, ¿quizás podría funcionar un diseño de cribado definitivo?

 

La idea aquí es aprovechar su trabajo de modelado anterior y lo que ha aprendido, con su conocimiento del proceso, y usar el poder de DOE para ayudarlo a encontrar ese 'modelo útil'.

 

Durante mis días en la industria, un ingeniero sabio con el que trabajé tenía un dicho: "Hasta que no podamos activar y desactivar un modo de falla a voluntad, no entenderemos el proceso". El DOE fue el método más eficiente que nos permitió "...comprender el proceso".

Re: predicción del modelo

Algunos puntos más a considerar: hay múltiples opciones a considerar en los modelos que ha probado que pueden mejorar el ajuste. Para el bosque aleatorio: ¿cuántos árboles usaste? ¿Intentaste más? ¿Qué tamaño tenía cada árbol? ¿Trataste de hacerlos más grandes? ¿Qué te hace pensar que la red neuronal con 3 nodos fue suficiente? ¿Intentaste varios viajes? ¿Intentaste usar una red neuronal potenciada? Si es así, ¿intentó cambiar la tasa de aprendizaje? Si está viendo una gran diferencia entre la validación y el rendimiento del conjunto de prueba, ¿cambió algo que haría que el conjunto de prueba fuera tan diferente? También puede cuestionar cómo divide sus datos entre entrenamiento, validación y prueba.

 

Pero si se siente cómodo con las creaciones de conjuntos de entrenamiento, validación y prueba y cree que todos son representativos, existen opciones y formas de mejorar los modelos. Dados suficientes nodos e iteraciones de búsqueda, una red neuronal puede proporcionar un ajuste perfecto porque es un aproximador universal. Pero eso no es deseable ya que solo se ajustará a esos datos, no a datos futuros (ver @statman comentarios de). Así que recuerda que esperar una predicción "perfecta" no es realista. Ambos @P_Bartell y @statman señalar cosas a tener en cuenta. Realmente no debe esperar hacerlo mejor que el error de su sistema de medición. Eso le permite establecer un objetivo realista para su error de predicción.

Re: predicción del modelo

Desafortunadamente, desarrollar buenos modelos en términos de predicción no es un ejercicio trivial. R^2 es una estadística enumerativa. Se aplica solo a los datos disponibles. El RMSE del modelo es una estadística enumerativa y se aplica solo al conjunto de datos en cuestión. La extrapolación del modelo no es un problema enumerativo (ver Deming: Problemas enumerativos frente a analíticos), sino un ejercicio de adquisición de datos que representan condiciones futuras. Aparentemente, los conjuntos de datos que está utilizando para modelar los datos existentes no representan las condiciones futuras. Ningún método estadístico puede ayudarte aquí. Puede haber problemas con su sistema de medición como @P_Bartell sugiere o muchas otras razones por las que su conjunto de datos no representa condiciones futuras. ¿Es estable el proceso (según Shewhart)? Tal vez debería hacer un muestreo dirigido para comprender el proceso antes de intentar modelarlo. Dudo que las 100 variables predictoras tengan la misma influencia en las variables de respuesta pertinentes (ver principio de escasez de efectos).

Re: predicción del modelo

Aquí hay un par de pensamientos para ti:

 

1. ¿Qué sabe acerca de la variación de su sistema de medición? Si está cerca de 'nada'... Me desviaría de su estudio de modelado causal/predictivo para incluir un estudio de variabilidad del sistema de medición. El retraso de dos semanas entre la recopilación de datos de producción y la medición de la respuesta exige un sistema de medición muy variable o a la deriva desde el entrenamiento/validación hasta la extrapolación a predicciones y resultados futuros.

 

2. ¿Tiene JMP Pro? La exploración y el análisis de datos funcionales de series de tiempo es una de las capacidades distintivas de JMP Pro y su estudio está hecho a medida para la Exploración de datos funcionales. Para obtener más detalles, sugiero ver este seminario web a pedido: Explorador de datos funcionales