Evaluar el rendimiento del ajuste lineal frente al ajuste logarítmicoHola a todos,
Me preguntaba si tendrían alguna sugerencia para evaluar el rendimiento de un modelo lineal y un modelo logarítmico (es decir, solo la respuesta transformada logarítmicamente). Estoy intentando evaluar qué modelo es mejor en términos de predictibilidad y precisión.
Mi primera suposición fue comparar los valores de R cuadrado y los valores de RMSE, sin embargo, parece que dos modelos tienen unidades diferentes y, por lo tanto, no se pueden comparar directamente.
Un cordial saludo, Janneman
Modelado estadístico avanzadoAnálisis y modelado de datos básicosModelado predictivo y aprendizaje automáticoAnálisis de confiabilidadRe: Evaluar el rendimiento del ajuste lineal vs. ajuste logarítmicoHola @Janneman ,
Es posible que haya una gran lista de preguntas que responder para comprender mejor cuál es el propósito de su modelo y su aplicabilidad/cobertura/generalización:
- ¿Cuál es el objetivo detrás del modelado: explicativo, predictivo, ambos…?
- ¿Cómo se recopilaron los datos? ¿Hay algún diseño involucrado en la recopilación de datos?
- Más preguntas para ayudar a pensar en el "rendimiento" esperado del modelo: mejor modelo
Además de las métricas de evaluación que se pueden usar para comparar el rendimiento explicativo del modelo (R²/R² ajustado, sin unidades ), el rendimiento predictivo (RMSE, MAE, etc.), la significancia estadística (valor p del modelo, valores p de términos individuales, etc.) y la complejidad/ajuste del modelo (mediante AICc, BIC, etc.), creo que sería importante evaluar y depurar primero el modelo mediante la visualización y el análisis de residuos. Consulte Reducción de modelos para obtener más ideas sobre la comparación y selección de modelos.
Transformar una respuesta significa que transformará tanto la respuesta promedio como la respuesta de varianza. Luego, puede ver si los residuos del modelo de respuesta transformado respetan mejor los supuestos del modelo de regresión que el modelo de respuesta original. Si la situación no parece mejorar, tal vez podría usar el modelo de regresión generalizada, ya que manejan la respuesta promedio y la respuesta de varianza de forma independiente: este tipo de modelo usa una función de enlace para transformar la media en una función lineal de las variables predictoras y una función de varianza para permitir la heterogeneidad de la varianza en el análisis, en lugar de intentar transformar todo (por ejemplo, mediante la transformación logarítmica). Al transformar la respuesta completamente (a través de la transformación logarítmica o la transformación Y de Box-Cox ) o usar un modelo de regresión generalizada, debería tener un modelo igual o más simple que su modelo original (menos términos en el modelo, por lo que AICc/BIC más bajo).
No transformaría las respuestas a menos que tenga una fuerte indicación de que puede ser necesario (simplificación del modelo con respuesta transformada y mejores patrones residuales al transformar la respuesta).
Consulte: Diferencia entre "mínimos cuadrados" y "método lineal generalizado" en el modelo de ajuste para obtener más información sobre las diferencias entre estos dos tipos de modelos.
Una vez realizada esta evaluación estadística y si ambos modelos pueden conservarse, se pueden utilizar métricas predictivas normalizadas y/o sin unidades para comparar los modelos y evitar cualquier comparación sesgada debido a la transformación.
Espero que esta respuesta te ayude.
Re: Evaluar el rendimiento del ajuste lineal vs. ajuste logarítmicoHola @Victor_G ,
En primer lugar, gracias por tu elaborada respuesta.
El objetivo del modelo es ser tanto predictivo como explicativo. Los datos se recopilaron mediante un CCD multifactorial.
La distribución de la respuesta no indica claramente si los datos tienen una distribución normal o log-normal. Por lo tanto, utilizo ambas (una lineal y otra con transformación logarítmica) para evaluar cuál es más predictiva y explicativa.
Ajusto el modelo utilizando el proceso paso a paso donde los factores con p < 0,05 se seleccionan en un proceso iterativo.
¿Crees que esta evaluación estadística es suficiente para mantener ambos modelos? Además, los valores de R-cuadrado y R-cuadrado ajustado para los modelos lineal y log-lineal son muy similares; sin embargo, existe una gran influencia en el RMSE. Por eso busqué una manera de comparar ambos modelos de forma justa y elegí el mejor modelo.
¿Qué otras métricas predictivas normalizadas o sin unidades podría usar para comparar los modelos y evitar comparaciones sesgadas debido a la transformación? Ya mencionaste R²/R²adj.
Re: Evaluar el rendimiento del ajuste lineal vs. ajuste logarítmicoMe sumo a todo lo que dijo @Victor_G en su publicación. Lo único que añadiría es la comparación de los RMSE. El RMSE del modelo con transformación logarítmica obviamente no está en la misma escala que el RMSE del modelo sin transformar.
Podrías hacer lo siguiente para corregir esto:
- Obtenga predicciones en escala logarítmica para cada observación.
- Transforme esas predicciones exponiéndolas.
- Nota: Es importante considerar la retransformación difusa (Duan) (Wikipedia tiene una buena entrada al respecto). Esto básicamente multiplica las predicciones retrotransformadas por una constante difusa para corregir la transformación que se está realizando (consulte la desigualdad de Jensen); de lo contrario, se obtendrán predicciones sesgadas.
- Utilice esas predicciones retrotransformadas y los valores observados no transformados para calcular los residuos.
- Por último, calcule el RMSE utilizando esos residuos.
Luego puede comparar este RMSE con el RMSE de su modelo lineal regular.
Re: Evaluar el rendimiento del ajuste lineal vs. ajuste logarítmicoEn primer lugar, solo se esperaría que la respuesta se distribuyera normalmente, como lo supone el modelo de regresión bajo la hipótesis nula. Cualquier efecto de los predictores produciría una distribución no normal de la respuesta. La respuesta condicional de los residuos es una mejor manera de evaluar esta suposición.
En segundo lugar, también se podría pensar en los dos modelos como un interés en el efecto sobre la respuesta y el otro como un interés en un efecto sobre el orden de magnitud de la respuesta.
Re: Evaluar el rendimiento del ajuste lineal vs. ajuste logarítmicoEn primer lugar, la distribución normal es una suposición para los residuos, no para los datos en sí, como explicó @Mark_Bailey . La idea es que no queden patrones en los datos después del modelado; solo errores aleatorios distribuidos normalmente, y el modelo de regresión captura todos los patrones.
En segundo lugar, un método de selección por pasos podría no ser adecuado (en particular, con un umbral de valor p) para datos experimentales diseñados, ya que se han recopilado datos con un modelo asumido (modelo de superficie de respuesta vinculado al diseño compuesto central). Dependiendo de la plataforma utilizada y las reglas aplicadas, se podría crear un modelo que no aplique la herencia de efectos , por lo que se podría obtener un modelo aparentemente satisfactorio con altos rendimientos, pero que no generalice bien estos rendimientos (no es robusto). Aplicar la herencia en las reglas o usar un enfoque podado (en el modelo GenReg) podría ser mejor (o simplemente comenzar con el modelo asumido completo). Otras desventajas de la regresión por pasos:
- El valor R² del modelo está sesgado hacia arriba
- Las estadísticas de prueba F y chi-cuadrado utilizadas para determinar la significancia de los efectos no tienen las distribuciones anunciadas
- Los intervalos de confianza de los coeficientes del modelo son demasiado pequeños (errores estándar reducidos) y los coeficientes del modelo están sobreestimados
- Los valores p para los coeficientes del modelo ya ni siquiera tienen sentido, porque se basan en comparaciones múltiples implícitas.
- La colinealidad en los predictores del modelo influirá considerablemente en las variables seleccionadas, lo que hace que la selección sea arbitraria. Además, ni siquiera abordamos adecuadamente la colinealidad.
Ver Los algoritmos de selección por pasos casi siempre arruinan las estimaciones estadísticas
Si su objetivo se centra principalmente en el rendimiento predictivo, sus métricas de evaluación deben elegirse para priorizar y asegurar este objetivo. Usar AICc o BIC como regla de detención en la selección gradual podría ser más relevante para la construcción de modelos, ya que la significancia estadística podría no ser una prioridad (incluso si los términos importantes o de alto efecto tienen valores p bajos (significativos)). Para la comparación y selección, puede calcular el MAPE (error porcentual absoluto medio) a partir de los residuos de sus modelos siguiendo esta ecuación o el RMSPE (error porcentual cuadrático medio) con esta ecuación .
Hay otras métricas disponibles, pero estas versiones de "porcentaje" deberían ayudarle a comparar los dos modelos en la misma escala de porcentaje.
Espero que esta respuesta complementaria te ayude.
