Re: RMSE incorrecto para datos de validaciónHola @AAYH ,
¡Bienvenido a la Comunidad!
Parece que estás experimentando un sobreajuste en tus datos de entrenamiento. Es un poco difícil ayudarlo sin ningún dato de ejemplo (por ejemplo, datos anónimos) para investigar en detalle los pasos que ha realizado y el tipo de datos que tiene. Sin embargo, aquí hay algunas preguntas para comenzar:
- ¿Ha verificado las correlaciones entre sus entradas (menú Analizar -> Métodos multivariados -> Multivariados) o
- ¿Ha verificado la multicolinealidad entre sus factores de proceso (en la plataforma "Fit Model", panel " Estimaciones de parámetros (jmp.com) ", haga clic con el botón derecho en los parámetros de las columnas y haga clic en Columnas -> VIF para verificar sus valores) ?
Esta podría ser una dirección para investigar, ya que las correlaciones o la multicolinealidad pueden "dañar" gravemente el rendimiento de los modelos lineales si no se toman precauciones.
Si tiene correlación o multicolinealidad entre sus factores, puede ser más seguro:
- Elija un modelo capaz de manejar la multicolinealidad (Mínimos cuadrados parciales, Bootstrap Forest, por ejemplo), o
- Preprocesar sus entradas con un PCA y usar los componentes principales en su modelo lineal, o
- Utilice métodos penalizados (JMP Pro, Regresión generalizada) como LASSO, Ridge o Elastic Net para crear modelos de regresión lineal más sólidos.
Háganos saber lo que trae esta primera investigación, y si con suerte puede proporcionar algunos datos de ejemplo, sería más fácil para otros miembros participar en esta discusión.
Re: RMSE incorrecto para datos de validaciónHola Victor, gracias por tu respuesta y creo que tienes razón. Lo investigaré lo antes posible.
Re: RMSE incorrecto para datos de validaciónHola Staman.
Gracias por tomarse el tiempo para responder a mi pregunta y gracias por su aporte válido. Lo investigaré lo antes posible.
Re: RMSE incorrecto para datos de validaciónHola de nuevo.
Realicé un Diseño de Proyección definitivo donde bloqueé por días diferentes. Ahora, sé que podría cometer un error al no tener en cuenta las variables no controladas desde el principio.
Tengo 3 variables (UB1-3) que cambié durante dos ciclos de producción diferentes (Bloque 1 y Bloque 2). Var no controlado. 1 y 2 están medidos pero no puedo cambiarlos. Mi variable Calidad se mide al final del proceso. La variable no controlada 2 depende en gran medida del día/bloque y afectará a la variable no controlada. 1 así como UB1 a UB3.
Solo tengo curiosidad por saber si puedo usar los datos que tengo ahora o si necesito hacer otro experimento. Muchas gracias por tu tiempo.
Re: RMSE incorrecto para datos de validaciónHola @AAYH ,
Primero, ¿este DSD está relacionado con el problema del cambio de RMSE con datos de validación o es diferente y no está particularmente relacionado? Solo trato de ver si este es el conjunto de datos de ejemplo para ilustrar su problema, o algo adicional a su problema. ¿Cuál es su objetivo con este DoE? Falta un valor en su tabla de datos para la segunda variable no controlada.
Si entiendo bien, ha agregado un factor de bloqueo (¿en la creación de DSD lo ha creado como un factor categórico?)
Como ya lo ha visto, tiene fuertes correlaciones entre sus dos variables incontrolables, y entre Block y las variables no controladas 1/2, lo que puede afectar en gran medida el rendimiento predictivo de su modelo en datos nuevos (script "1. Multivariado" en la tabla de datos adjunta).
Agregué algunas propiedades de columna en su factor aleatorio de bloque y variables incontrolables (para que puedan usarse correctamente en las plataformas JMP), y luego realicé dos modelos:
- Uno con personalidad de modelo Mixto, especificando "Bloquear" como efecto aleatorio (script "2.a. Ajuste mixto"),
- Uno con la personalidad de Mínimos cuadrados estándar con "Bloquear" como efecto aleatorio (script "2.b. Ajustar modelo (con bloque aleatorio)").
No es sorprendente que los dos modelos proporcionen resultados similares y, como esperaba, las variables incontrolables 1 y 2 parecen tener un efecto importante en la calidad de la respuesta. El factor de bloques aleatorios no parece ser significativo.
Los modelos en sí son bastante correctos (dependiendo de la precisión del modelo que esperes), con R² alto (0,87) y RMSE bastante bajo (alrededor de 0,5). Sin embargo, como ya se vio en la plataforma Multivariante (correlaciones), algunos de sus factores son linealmente dependientes entre sí, lo que crea un VIF alto (alrededor de 20 para las dos variables no controladas) y puede resultar en un aumento de la varianza en las predicciones:
Una opción para reducir esta colinealidad podría ser crear componentes principales a partir de estas 2 variables (script "3.a. PCA de variables no controladas 1 y 2"), y realice el mismo tipo de modelo que antes (pero reemplazando las variables no controladas 1 y 2 por sus 2 componentes principales, script "3.b. Ajuste el modelo con PC"):
Esto no cambiará el rendimiento del modelo en términos de R² y RMSE, pero la disminución de los VIF ayuda a reducir la varianza en las estimaciones de parámetros (para parámetros involucrados en esta situación de colinealidad).
Con respecto a tu pregunta inicial, si puede usar los datos que tiene ahora, todo depende de su objetivo (explicación y/o predicción), y cómo evalúa la "utilidad" de sus datos (¿precisión de predicción?).
De esta primera tabla de datos, ya hay algunas cosas importantes a notar, pero sin más información, es difícil interpretar o concluir sobre el uso de los datos (representatividad de los rangos de las variables no controladas 1 y 2, o corrección necesaria para el valor faltante Por ejemplo...). Pero es un primer paso interesante en el que podría aumentar su diseño, para tener mejor en cuenta sus 2 variables no controladas y controlarlas al ser factores en su experimentación.
Tenga en cuenta que lo que he hecho puede no ser el mejor enfoque según sus objetivos y necesidades, y que también podrían estar disponibles otras opciones para las mismas tareas.
Re: RMSE incorrecto para datos de validaciónEn primer lugar, no estoy seguro de entender el problema. ¿Puedes publicar tu tabla de datos? Lo que me confunde es el conflicto aparente según cómo esté evaluando los datos "nuevos". ¿Podrías describir cómo hiciste esto? ¿Cuál es el delta de la predicción y real? (residuales) ¿Ha analizado los residuos?
Además de los excelentes pensamientos de Víctor sobre la multicolinealidad, estos son los míos:
1. ¿Cuál es la fuente de los datos que usó para ejecutar el modelo de ajuste? ¿Son estos datos de producción? ¿Es de un experimento?
2. ¿Qué tan representativos son sus datos de las condiciones futuras?
3. Como sugiere Víctor, hay una serie de preguntas sobre los datos. No existe una estadística que proporcione toda la información sobre nuestro modelo. R-sq por sí mismo tiene muy poca utilidad (siempre aumentará a medida que aumente los DF en su modelo). Quiere comparar R-sq con R-sq ajustado. Esto proporcionará información sobre el ajuste excesivo del modelo.
RMSE incorrecto para datos de validaciónHola
Usando "Fit Model" he creado un modelo para identificar el contenido de humedad en un producto usando diferentes parámetros de proceso. El modelo está bien (Rsq=0.97) y tiene un RMSE bastante bajo. Todas las variables utilizadas tienen Logworth superior al límite.El problema surge cuando quiero tomar nuevos datos para la validación. Aquí la predicción es muy mala. Los datos que quiero validar no son muy diferentes de los datos utilizados en el conjunto de prueba. Cuando incluyo los datos de validación como datos de prueba, encajan muy bien en el modelo, el error de predicción de humedad es similar a los datos "originales".
Tengo un modelo que consta de efectos principales e interacciones. ¿Que estoy haciendo mal?
Exploración y visualización de datos
