Quelle est une bonne valeur de r² dans un plan d'expériences de mélange ?Venant d'un domaine où je n'ai été en contact qu'avec des courbes d'étalonnage, où seul un coefficient de détermination de 0,999 est considéré comme satisfaisant, je me demande quel coefficient de détermination (R²) serait considéré comme bon dans la modélisation par plans d'expériences de mélanges. Existe-t-il d'autres valeurs importantes à vérifier pour évaluer la qualité d'un modèle ?
Conception des expériencesRe : Quel est un bon r² dans un plan d’expériences de mélange ?À mon avis, les plans d'expériences de mélange sont avant tout des plans d'optimisation. Autrement dit, vous avez déjà effectué un criblage, obtenu un modèle du premier ordre plus satisfaisant et compris le bruit et les considérations multivariées. Vous êtes maintenant à l'étape de la sélection du point optimal à tester. Cela se fait principalement à l'aide de graphiques de surface de réponse (réponse du mélange). Les statistiques classiques de modélisation peuvent s'avérer complexes. Une multicolinéarité importante peut exister, ce qui est tout à fait acceptable, mais rend les statistiques et les coefficients traditionnels difficiles à interpréter.
Dans cette optique, Cornell semble suggérer un R² ajusté minimal de 0,85 (le R² seul est rarement utile), mais si ce n'est pas ce qu'il veut dire, cela signifie simplement qu'une modification du modèle peut être utile.
Voir Piepel, Gregory, Cornell, John (1994) « Approches expérimentales de mélange : exemples, discussion et recommandations », Journal of Quality Technology, vol. 26, n° 3, juillet
Les trois étapes fondamentales des plans de mélange selon Snee (basées sur la méthodologie de surface de réponse de Box et Wilson) :
1. Les données sont générées à l'aide d'un plan expérimental.
2. Un modèle (généralement polynomial) est ajusté aux données.
3. Les contours de la surface de réponse sont examinés afin de déterminer les régions où les meilleures valeurs de réponses peuvent être obtenues.
Voir Snee, Ronald (1971) « Conception et analyse des expériences de mélange », Journal of Quality Technology, vol. 3, n° 4, octobre
Re : Quel est un bon r² dans un plan d’expériences de mélange ?Mon modèle est un modèle de mélange quadratique avec un R² de 0,92 et un R² ajusté de 0,90. Je me demandais à quel moment je peux affirmer avec certitude que mon modèle est suffisamment bon, si cela dépend du R² ou plutôt de la précision de mes prédictions. Le test d'un point extérieur au modèle a montré un écart par rapport à la valeur prédite, ce qui est normal, mais il m'est difficile de déterminer s'il s'agit d'une simple variance expérimentale ou d'un problème lié au modèle. Le manque d'ajustement est de 0,9.
Re : Quel est un bon r² dans un plan d’expériences de mélange ?Il n'existe pas d'évaluation statistique absolue permettant de déterminer si « mon modèle est suffisamment bon ». La notion de « suffisamment bon » n'est pas définie de manière opérationnelle. Les meilleurs modèles sont ceux qui sont pertinents d'un point de vue thématique et utiles d'un point de vue opérationnel.
Re : Quel est un bon r² dans un plan d’expériences de mélange ?Ça a l'air bien, mais il doit bien y avoir un seuil à partir duquel on se dit : « Ce modèle n'est clairement pas adapté. » Personnellement, en tant qu'utilisateur, je suis satisfait du modèle que j'utilise et de son utilité, conscient de ses limites. Mais comme je suis novice dans ce domaine, je ne me sens pas en mesure de juger de la qualité de l'exécution d'un plan d'expériences ou d'un modèle.Re : Quel est un bon r² dans un plan d’expériences de mélange ?De nombreux indices pourraient vous amener à conclure que le modèle n'est pas adéquat. Mais encore une fois, vous ne définissez pas ce qu'est un bon modèle ? Pourquoi pensez-vous qu'une personne possédant d'excellentes connaissances en statistiques, mais aucune connaissance du domaine, serait mieux placée pour juger de l'adéquation du modèle ? Vous souhaitez que votre modèle prédise les réponses de telle sorte que les erreurs soient distribuées aléatoirement autour de 0. Le modèle doit être cohérent face à l'évolution des conditions.
« Un bon modèle est une approximation, de préférence facile à utiliser, qui capture les caractéristiques essentielles du phénomène étudié et produit des procédures robustes face aux écarts probables par rapport aux hypothèses. »
Boîte GEP
Re : Quel est un bon r² dans un plan d’expériences de mélange ?Je suis entièrement d'accord avec ce qu'a dit @statman jusqu'à présent. J'ajouterais simplement que j'espère que vous ne vous basez pas uniquement sur le R² pour évaluer la « qualité » (qui n'existe pas en soi) du modèle. Si vous vous focalisez uniquement sur le R², vous tombez dans le piège de la mononumérose. Posez-vous plutôt cette question : « Le modèle répond-il adéquatement aux buts et objectifs de l'expérience en question ? » Franchement, si vous répondez « oui » à cette question, la valeur du R² m'importe peu. Quand je travaillais dans l'industrie, on était payés pour résoudre des problèmes… pas pour obtenir des statistiques « parfaites » (et voilà, j'y reviens !) comme le R², la p-valeur, le rapport F, l'erreur quadratique moyenne, le test t, et toutes les autres statistiques imaginables.
Re : Quel est un bon r² dans un plan d’expériences de mélange ?Merci à vous deux pour vos explications claires. Si je me suis surtout intéressé au R² jusqu'à présent, c'est parce que mon professeur, lui aussi novice en matière de plans d'expériences, a procédé ainsi, probablement parce que c'est la seule valeur qu'il ait vue auparavant (dans d'autres contextes, où elle est importante). Étant moi-même novice en la matière et l'utilisant principalement pour faire progresser ma recherche, je n'ai pas réussi à le convaincre qu'un modèle fonctionnel (même imparfait) est largement suffisant. La prochaine fois, je privilégierai les avantages et les résultats concrets plutôt que les valeurs statistiques. Merci pour vos contributions !
