928667_es-ES

liliconcom

Cómo elegir parámetros de independencia para optimizar el modelo de regresión

Hola, equipo,

Al ejecutar el modelo de ajuste, descubrí que seleccionar diferentes parámetros genera resultados diferentes. Tras obtener el modelo, intento analizar los puntos de datos con un residuo estudentizado alto y validar su validez. Necesito repetir la tarea de seleccionar parámetros varias veces para obtener el modelo adecuado. Veamos un ejemplo a continuación.

Modelo 1:

Modelo 2:

Como puede ver, el Modelo 2 tiene muchos puntos de datos con un residuo estudentizado alto en comparación con el Modelo 1. Al validar estos puntos de datos con un residuo estudentizado alto, se clasificaron como malos. Parece que el Modelo 2 es más robusto.

Mi pregunta es: aunque dos modelos tienen puntuaciones RSquare altas, ¿por qué el Modelo 2 pudo descartar más datos incorrectos? Podría deberse a los parámetros que seleccioné para crear el modelo.
Preguntas:
-Si clasifico los puntos de datos como buenos/malos en una nueva columna del conjunto de datos, ¿hay algún método en JMP que pueda sugerir qué parámetros debo elegir para que el modelo sea más sólido para descartar los puntos de datos malos?

-Si no clasifico los puntos de datos, ¿hay algún método en JMP que pueda sugerir qué parámetros debo elegir para que el modelo sea más sólido para descartar puntos de datos incorrectos?

Ojalá pueda obtener consejos de la comunidad.

Aprecia

Modelado estadístico avanzadoAnálisis y modelado de datos básicosModelado predictivo y aprendizaje automáticoRe: Cómo elegir parámetros de independencia para optimizar el modelo de regresión

Mi consejo es que proporciones más información. Ciertamente, tu segundo modelo parece ajustarse mejor a los datos que el primero, pero no creo que sea suficiente para decidir qué modelo (si alguno) usar. Dices que elegiste diferentes parámetros, pero creo que quieres decir que elegiste diferentes variables como factores en tu modelo. Decidir qué variables usar es una pregunta complicada, que solo se responde en parte por qué tan bien el modelo se ajusta a los datos. Parece que ambos modelos son modelos lineales, por lo que hay una variedad de modelos no lineales que podrías querer probar, especialmente si te preocupan los valores atípicos. Con respecto a esos residuos grandes, tengo dos ideas. Primero, con tantos datos, dudo que los residuos grandes influyan mucho en el modelo. Segundo, deberías explicar por qué te preocupan los residuos grandes (y una opción para probar sería una transformación logarítmica).

En general, necesitaría saber mucho más sobre su variable de respuesta, el tipo de datos que tiene y los propósitos de su análisis. El "modelo de mejor ajuste" es solo una parte del análisis. Y la mayoría de las medidas de "mejor ajuste" consideran promedios en lugar de tipos específicos de observaciones; su preocupación por los residuos grandes parece sugerir que algunos puntos son más importantes que otros. Si ese es el caso, entonces un modelo de regresión lineal podría no ser el modelo más adecuado (esos residuos grandes no importan mucho; por ejemplo, una regresión cuantílica podría ser más apropiada si le preocupa la precisión de su modelo en regiones específicas de observaciones en lugar de en el promedio).

Re: Cómo elegir parámetros de independencia para optimizar el modelo de regresión

"¿Cuáles son los propósitos de su análisis?"
Normalmente, la receta utiliza cinco factores (temperatura, fuerza, altura, grosor y tiempo) para generar el producto (peso). Supongo que, si cuento con un conjunto de datos históricos suficientes de factores (temperatura, fuerza, altura, grosor y tiempo) y la variable dependiente (peso) considerada como producto, puedo crear el modelo y obtener la fórmula del modelo, como y = b o + b 1 x 1 + b 2 x 2 +... Luego, aplico esta fórmula en mi sistema de procesamiento en línea para comparar el peso real y el peso previsto del modelo. No estoy seguro de si estoy en lo cierto, pero asumí que cuanto mayor sea el residuo, mayor será la probabilidad de que uno o dos factores sean anormales, lo que causa un residuo alto. Por eso, me gustaría usar un modelo de regresión para este propósito.
Volviendo a mi ejemplo anterior, como tengo un conjunto de datos históricos y sabía con certeza qué resultado era incorrecto, ejecuté el modelo para ver si el modelo de regresión podía descartar productos defectuosos. Con los dos modelos anteriores, el modelo 2 era el que buscaba, ya que señalaba puntos de datos con un residuo alto. Sin embargo, para obtener este modelo 2, dediqué mucho tiempo a realizar diferentes pruebas hasta obtener el modelo adecuado.

Re: Cómo elegir parámetros de independencia para optimizar el modelo de regresión

Desarrollar modelos basados ​​en datos históricos es desafiante y peligroso. Sugiero usar los datos históricos para desarrollar hipótesis que puedan explorarse mediante diseño experimental. Los datos históricos carecen de contexto. Por ejemplo, ¿conoce los errores de medición asociados con el valor de cada x e y? ¿Sabe qué otros factores se comportaron durante la recopilación de datos? ¿Existen problemas de distorsión de los datos? ¿Qué hay de los posibles efectos rezagados de los factores? ¿Qué hay de la variación en las materias primas? Si bien su razonamiento es correcto, es peligroso. Si obtiene un valor residual elevado, esto indica un problema en el modelo, no datos "malos", como sugiere. Si busca herramientas para evaluar la consistencia de la ponderación a lo largo del tiempo, el muestreo es una herramienta más eficaz.

Si bien no hay una única forma correcta, al construir modelos a partir de datos históricos, suelo sugerir un enfoque aditivo. Además, esto no se puede hacer sin SME. Comienza con el primer orden y añade orden según corresponda. Hay varias estadísticas que pueden ayudar (p. ej., R-sq Adj, R-sq Adj-R-sq, RMSE, valores p, residuos, AIC, BIC, etc.). Los residuos son lo real-predicho (del modelo). Se utilizan para proporcionar información sobre supuestos básicos (NID(0, varianza constante). Son útiles para identificar valores atípicos, donde el modelo no predice bien puntos de datos específicos. También pueden evaluar problemas con el supuesto de errores aleatorios con una media de 0, lo que nuevamente sugiere problemas con el modelo. A menudo pueden detectar deficiencias del modelo, donde quizás debería introducirse un término no lineal.