338434_es-ES

liliconcom

Predicción del modelo

Hola

Estoy trabajando en una base de datos con unos 3000 registros y unos 100 predictores. La respuesta es un parámetro eléctrico con una buena distribución gaussiana. La base de datos es una serie de tiempo multivariante porque tanto la respuesta como los predictores dependen del tiempo. Los predictores se recopilan a lo largo de la línea de producción en un paso particular del proceso, mientras que el parámetro eléctrico se mide aproximadamente 2 semanas después. La idea aquí es predecir la medición eléctrica utilizando la máquina en datos de línea (predictores).

Como primer modelo utilicé un bosque aleatorio. El R2 y el error fueron realmente buenos para los grupos de entrenamiento y prueba. De todos modos, cuando intenté implementar el modelo en producción en datos nunca antes vistos, el rendimiento del modelo fue muy malo. Pude explicar este comportamiento con la debilidad del bosque aleatorio para extrapolar. Luego, excluyendo el modelo basado en el árbol, la única opción sigue siendo el ajuste polinómico y la red neuronal. El primero no fue aceptable en términos de R2 y error, mientras que el NN con 2 capas y 3 funciones de activación pudo devolver un buen R2 y error en los datos de entrenamiento y prueba. Luego, una vez que construí el modelo, lo implementé en producción con datos nunca vistos (asterisco en el generador de gráficos). Aunque la predicción de la tendencia es correcta, los valores individuales no lo son. En particular, el NN sobre datos nunca vistos muestra una variabilidad muy alta. Entonces, al final de esta historia, no tengo ningún otro modelo en JMP para probar. Al menos eso es lo que pienso. ¿Alguien puede darme algún truco o sugerencia para resolver este problema?

En el ppt adjunto todas las parcelas.  

 

Gracias felice

AnalíticaTabla de datosRe: predicción del modelo

Aquí hay un par de pensamientos para ti:

 

1. ¿Qué sabe sobre la variación de su sistema de medición? Si está cerca de 'nada' ... Desviaría su estudio de modelado causal / predictivo para incluir un estudio de variabilidad del sistema de medición. El lapso de dos semanas entre la recopilación de datos de producción y la medición de la respuesta exige un sistema de medición variable o a la deriva desde el entrenamiento / validación hasta la extrapolación a predicciones y resultados futuros.

 

2. ¿Tiene JMP Pro? La exploración y el análisis de datos funcionales de series de tiempo es una de las capacidades de firma en JMP Pro y su estudio está hecho a medida para la Exploración de datos funcionales. Para obtener más detalles, sugiero ver este seminario web a pedido: Explorador funcional de datos

Re: predicción del modelo

Desafortunadamente, desarrollar buenos modelos en términos de predicción no es un ejercicio trivial. R ^ 2 es una estadística enumerativa. Se aplica solo a los datos disponibles. El RMSE del modelo es una estadística enumerativa y se aplica solo al conjunto de datos disponible. La extrapolación del modelo no es un problema enumerativo (Ver Deming: Problemas enumerativos vs. Analíticos), sino un ejercicio para adquirir datos que representan condiciones futuras. Aparentemente, los conjuntos de datos que está utilizando para modelar los datos existentes no representan las condiciones futuras. Ningún método estadístico puede ayudarlo aquí. Puede haber problemas con su sistema de medición @P_Bartell sugiere o muchas otras razones por las que su conjunto de datos no representa condiciones futuras. ¿Es el proceso estable (según Shewhart)? Quizás debería realizar un muestreo dirigido para comprender el proceso antes de intentar modelarlo. Dudo que las 100 variables predictoras tengan la misma influencia en las variables de respuesta pertinentes (ver principio de escasez de efectos).

Re: predicción del modelo

Algunos puntos más a considerar: hay múltiples opciones a considerar en los modelos que ha probado que pueden mejorar el ajuste. Para el bosque aleatorio: ¿cuántos árboles usaste? ¿Intentaste más? ¿Qué tan grande era cada árbol? ¿Intentaste hacerlos más grandes? ¿Qué te hace pensar que la red neuronal con 3 nodos fue suficiente? ¿Probaste varios viajes? ¿Intentaste usar una red neuronal potenciada? Si es así, ¿intentó cambiar la tasa de aprendizaje? Si observa una gran diferencia entre la validación y el rendimiento del conjunto de prueba, ¿cambió algo que haría que el conjunto de prueba fuera tan diferente? También puede cuestionar cómo divide sus datos entre entrenamiento, validación y prueba.

 

Pero si se siente cómodo con la formación, la validación y las creaciones del conjunto de pruebas y cree que todas son representativas, existen opciones y formas de mejorar los modelos. Dados suficientes nodos e iteraciones de búsqueda, una red neuronal puede proporcionar un ajuste perfecto porque es un aproximador universal. Pero eso no es deseable, ya que solo se ajustará a esos datos, no a datos futuros (ver @statman comentarios). Así que recuerde que esperar una predicción "perfecta" no es realista. Ambos @P_Bartell y @statman señale cosas a considerar. Realmente no debería esperar hacerlo mejor que el error de su sistema de medición. Eso le permite establecer un objetivo realista para su error de predicción.

Re: predicción del modelo

Estoy de acuerdo con todo @Dan_Obermiller y @statman recomendar o indicar.

 

Otro pensamiento para usted ... dado que parece estar trabajando con datos y procesos de producción históricos fortuitos, ¿tiene la capacidad de ejecutar experimentos diseñados? La razón por la que voy por este camino es que si sus modelos basados en información histórica no son particularmente extensibles a observaciones futuras, entonces es muy posible que haya otras variables causales importantes que ingresen al sistema que los datos históricos no están considerando desde un punto de modelado de efectos. de vista ... pero es posible que pueda incluir algunos de estos en una investigación centrada en el DOE.

 

Estás buscando algunas agujas en un pajar y no conozco ningún método más eficaz para encontrarlas que el DOE. Por ejemplo, tal vez exista una variación de materia prima en la producción que no está contabilizando con los datos históricos del proceso, pero en una investigación del tipo DOE tiene varias opciones para manejar este tipo de cosas como el bloqueo. O si como @statman sugiere que si hay escasez de efectos, ¿tal vez un diseño de detección definitivo podría funcionar?

 

La idea aquí es aprovechar su trabajo de modelado anterior y lo que ha aprendido, con su conocimiento del proceso, y usar el poder del DOE para ayudarlo a encontrar ese 'modelo útil'.

 

Durante mis días en la industria, un ingeniero inteligente con el que trabajé tenía un dicho: "Hasta que podamos encender y apagar un modo de falla a voluntad, no entendemos el proceso". El DOE fue el método más eficiente que nos permitió "... comprender el proceso".

Re: predicción del modelo

Dejo los otros comentarios aquí, ya que esas personas saben más que yo sobre esas cosas.Pero hay una cuestión que no han mencionado y que pensé que plantearía.Dado que se trata de datos de series de tiempo multivariantes, ¿qué sentido tiene utilizar conjuntos de datos de prueba y validación aleatoria?¿No ignora esto la estructura de tiempo en los datos?Por supuesto, puede usar redes neuronales, bosques aleatorios, etc., pero no esperaría que el rendimiento sea muy bueno en datos nuevos, ya que esos modelos han ignorado la estructura de tiempo en los datos.Para los datos de series de tiempo, creo que los datos de prueba deberían ser un rango contiguo de observaciones, por lo que la estructura de tiempo se puede modelar y probar.Entonces, ¿es apropiado usar estos métodos, con validación aleatoria y conjuntos de datos de prueba, en datos de series de tiempo como el que tiene?