899258_fr-FR

liliconcom

Évaluer les performances de l'ajustement linéaire par rapport à l'ajustement logarithmique

Salut tout le monde,

Je me demandais si vous aviez des suggestions pour évaluer les performances d'un modèle linéaire et d'un modèle logarithmique (c'est-à-dire uniquement la réponse transformée logarithmiquement). J'essaie d'évaluer quel modèle est le plus performant en termes de prévisibilité et de précision.

Ma première hypothèse était de comparer les valeurs R-carré et les valeurs RMSE, mais il semble que les deux modèles ont des unités différentes et ne peuvent donc pas être directement comparés.

Cordialement, Janneman

Modélisation statistique avancéeAnalyse et modélisation des données de baseModélisation prédictive et apprentissage automatiqueAnalyse de fiabilitéObjet : Évaluer les performances de l'ajustement linéaire par rapport à l'ajustement logarithmique

Salut @Janneman ,

Il peut y avoir une longue liste de questions auxquelles répondre pour mieux comprendre quel est le but de votre modèle et son applicabilité/couverture/généralisation :

• Quel est votre objectif derrière la modélisation : explicatif, prédictif, les deux... ?
• Comment les données ont-elles été collectées ? La collecte de données a-t-elle été planifiée ?
• Plus de questions pour aider à réfléchir à la « performance » attendue du modèle : meilleur modèle

Outre les mesures d'évaluation permettant de comparer les performances explicatives du modèle (R² / R² ajusté, sans unité ), les performances prédictives (RMSE, MAE, etc.), la significativité statistique (valeur de p du modèle, valeurs de p des termes individuels, etc.), la complexité/l'ajustement du modèle (via AICc, BIC, etc.), je pense qu'il est important d'évaluer et de déboguer d'abord le modèle par visualisation et analyse des résidus. Consultez la section «  Réduction de modèle » pour plus d'informations sur la comparaison et la sélection de modèles.

Transformer une réponse consiste à transformer à la fois la réponse moyenne et la réponse de variance. Vous pouvez alors vérifier si les résidus du modèle de réponse transformé respectent mieux les hypothèses du modèle de régression que le modèle de réponse original. Si la situation ne semble pas s'améliorer, vous pouvez utiliser un modèle de régression généralisée, car il traite la réponse moyenne et la réponse de variance indépendamment : ce type de modèle utilise une fonction de lien pour transformer la moyenne en une fonction linéaire des variables prédictives et une fonction de variance pour tenir compte de l'hétérogénéité de la variance dans l'analyse, plutôt que de tenter de tout transformer (par exemple, par transformation logarithmique). En transformant complètement la réponse (par transformation logarithmique ou transformation Y de Box-Cox ) ou en utilisant un modèle de régression généralisée, vous devriez obtenir un modèle aussi simple, voire plus simple, que votre modèle original (moins de termes dans le modèle, donc un AICc/BIC plus faible).
Je ne transformerais pas les réponses à moins d'avoir une forte indication que cela pourrait être nécessaire (simplification du modèle avec réponse transformée et meilleurs modèles résiduels en transformant la réponse).

Voir : Différence entre « méthode des moindres carrés » et « méthode linéaire généralisée » dans le modèle d'ajustement pour plus d'informations sur les différences entre ces deux types de modèles.

Une fois cette évaluation statistique effectuée et si les deux modèles peuvent être conservés, vous pourrez alors utiliser des métriques prédictives normalisées et/ou sans unité pour comparer les modèles et éviter toute comparaison biaisée due à la transformation.

J'espère que cette réponse vous aidera,

Objet : Évaluer les performances de l'ajustement linéaire par rapport à l'ajustement logarithmique

Salut @Victor_G ,

Tout d’abord, merci pour votre réponse détaillée.

L'objectif du modèle est d'être à la fois prédictif et explicatif. Les données ont été collectées par une analyse CCD multifactorielle.

La distribution des réponses ne permet pas d'établir clairement si les données sont distribuées normalement ou log-normalement. J'utilise donc les deux (l'une linéaire, l'autre log-transformée) pour déterminer laquelle est la plus prédictive et explicative.

J'ai ajusté le modèle en utilisant le processus par étapes où les facteurs avec p < 0,05 sont sélectionnés dans un processus itératif.

Pensez-vous que cette évaluation statistique soit suffisante pour conserver les deux modèles ? De plus, les valeurs du R² et du R² ajusté des modèles linéaire et log-linéaire sont très similaires, mais leur influence sur le RMSE est considérable. C'est pourquoi je cherche un moyen de comparer les deux modèles de manière équitable et j'ai choisi le meilleur modèle.

Quelles autres mesures prédictives normalisées et/ou sans unité pourrais-je utiliser pour comparer les modèles et éviter toute comparaison biaisée due à la transformation ? Vous avez déjà mentionné R2/R2adj.

Objet : Évaluer les performances de l'ajustement linéaire par rapport à l'ajustement logarithmique

Je rejoins tout ce que @Victor_G a dit dans son message. La seule chose que j'ajouterais concerne la comparaison des RMSE. La RMSE du modèle log-transformé n'est évidemment pas à la même échelle que la RMSE du modèle non transformé.

Vous pouvez procéder comme suit pour corriger cela :

1. Obtenez des prédictions à l'échelle logarithmique pour chaque observation.
2. Transformez ces prédictions en les exponentiellement.
   1. Il est important d'examiner la retransformation par étalement (Duan) (Wikipédia propose une entrée intéressante à ce sujet). Cela consiste à multiplier les prédictions rétrotransformées par une constante d'étalement pour corriger la transformation effectuée (consultez l'inégalité de Jensen) ; sinon, les prédictions seront biaisées.
3. Utilisez ces prédictions rétrotransformées et les valeurs observées non transformées pour calculer les résidus.
4. Enfin, calculez le RMSE en utilisant ces résidus.

Vous pouvez ensuite comparer ce RMSE au RMSE de votre modèle linéaire habituel.

Objet : Évaluer les performances de l'ajustement linéaire par rapport à l'ajustement logarithmique

Premièrement, on s'attendrait à ce que la réponse soit distribuée normalement, comme le suppose le modèle de régression sous l'hypothèse nulle. Tout effet des prédicteurs produirait une distribution non normale de la réponse. La réponse conditionnelle des résidus est une meilleure façon d'évaluer cette hypothèse.

Deuxièmement, vous pourriez également considérer les deux modèles comme un intérêt pour l’effet sur la réponse et l’autre comme un intérêt pour un effet sur l’ordre de grandeur de la réponse.

Objet : Évaluer les performances de l'ajustement linéaire par rapport à l'ajustement logarithmique

Premièrement, la distribution normale est une hypothèse pour les résidus, et non pour les données elles-mêmes, comme l'explique @Mark_Bailey . L'idée est qu'il ne subsiste aucune tendance dans les données après la modélisation ; il existe simplement des erreurs aléatoires distribuées normalement, toutes les tendances étant capturées par votre modèle de régression.

Deuxièmement, une méthode de sélection pas à pas pourrait ne pas être adéquate (notamment avec un seuil de p) pour les données expérimentales planifiées, car vous avez collecté des données avec un modèle hypothétique (modèle de surface de réponse lié à un modèle composite central). Selon la plateforme utilisée et les règles appliquées, vous pourriez créer un modèle n'appliquant pas l'hérédité des effets . Vous pourriez alors obtenir un modèle apparemment satisfaisant et performant, mais peu généralisable (non robuste). Il pourrait être préférable d'appliquer l'hérédité dans les règles ou d'utiliser une approche élaguée (dans le modèle GenReg) (ou simplement de commencer avec le modèle hypothétique complet). Autres pièges de la régression pas à pas :

1. La valeur R² du modèle est biaisée vers le haut
2. Les statistiques des tests F et du chi carré utilisées pour déterminer la signification des effets n'ont pas les distributions annoncées
3. Les intervalles de confiance des coefficients du modèle sont trop petits (erreurs types réduites) et les coefficients du modèle sont surestimés
4. Les valeurs p pour les coefficients du modèle n'ont même plus de sens, car elles sont basées sur des comparaisons multiples implicites.
5. La colinéarité des prédicteurs du modèle influence fortement les variables sélectionnées, ce qui rend la sélection arbitraire. De plus, nous ne traitons même pas correctement la colinéarité.
   Voir les algorithmes de sélection par étapes ruinent presque toujours les estimations statistiques

Si votre objectif porte principalement sur la performance prédictive, vos indicateurs d'évaluation doivent être choisis de manière à prioriser et à renforcer cet objectif. L'utilisation de l'AICc ou du BIC comme règle d'arrêt dans la sélection par étapes peut s'avérer plus pertinente pour la construction du modèle, car la significativité statistique n'est pas toujours une priorité (même si les termes importants/à effet élevé ont des valeurs de p faibles (significatives)). À des fins de comparaison et de sélection, vous pouvez calculer l'erreur absolue moyenne (MAPE) à partir des résidus de vos modèles selon cette équation , ou l'erreur quadratique moyenne (RMSPE) avec cette équation .

D'autres mesures sont disponibles, mais ces versions « pourcentage » devraient vous aider à comparer les deux modèles sur la même échelle de pourcentage.

J'espère que cette réponse complémentaire vous aidera,