DOE : Modèle significatif avec un important manque d'ajustement<meta http-equiv="Content-Type" content="text/html; charset=UTF-8" />Salut à tous les JMPeurs,
Je suis confronté à un problème avec un DOE et j'aimerais avoir votre avis à ce sujet.
J'essaie de modéliser deux réponses Y1,Y2 en fonction de 2 facteurs X1,X2, leur interaction de premier ordre et leurs effets quadratiques.
Pour ce faire, j'ai les données d'un plan factoriel complet 2 ^ 3 plus deux expériences répétées (non centrées) d'un ensemble de données précédent.
Je n'ai aucun problème avec Y1 mais en ce qui concerne Y2, il semble que ni les facteurs X1*X2 ni X2*X2 ne soient significatifs.
Lorsque je relance le script sans ces 2 facteurs j'obtiens ceci :
Mon modèle est significatif (p-value <0,0001), a un R² élevé (0,96) mais a aussi un important manque d'ajustement (valeur p 0,024) !
Que dois-je faire ? Je ne peux pas répéter les expériences et transformer la réponse peut être délicate ici.
Dois-je jeter mon modèle à la poubelle ?
Merci pour l'aide.
Re : DOE : modèle important avec un manque d'ajustement importantQuentin,
Vous pouvez conserver X2 en raison de l'effet d'hérédité avec les termes d'interaction.Autrement dit, vous avez des interactions avec X2 qui sont significatives, vous pouvez donc conserver cet effet principal (X2) dans votre modèle.Avec JMP 12. vous pouvez utiliser la fonctionnalité Résumé des effets dans le modèle d'ajustement pour supprimer des termes et supprimer uniquement le X2 pour voir comment il modifie votre modèle, mais dans votre cas, je vous recommande de le conserver dans le modèle.
Facture
Re : DOE : modèle important avec un manque d'ajustement importantUn grand merci à Bill et Peter pour ces conseils.
Retirer les 2 échantillons et les utiliser pour la validation fonctionne bien et les résultats prédits sont très proches des résultats réels.
Cependant, il y a un petit changement dans le modèle pour Y1. Auparavant, tous les effets linéaires, quadratiques et d'interaction de X1 et X2 étaient significatifs pour Y1 (p-value<0,05).
Cependant, maintenant que j'ai retiré les 2 échantillons supplémentaires, le facteur X2 a un effet non significatif sur Y1 (p-value = 0,0852) alors que tous les autres facteurs sont significatifs comme avant.
Ma question est la suivante : je ne peux pas supprimer X2 sans supprimer ses effets quadratiques et d'interaction avec X1, qui sont tous deux significatifs, puis-je conserver X2 dans mon modèle en indiquant qu'il est significatif au niveau de confiance de 0,1 ?
Je crois que l'approche suggérée par Bill est meilleure que celle que j'utilise mais avant de l'utiliser, je veux juste m'assurer que maintenant le modèle pour Y1 est également valide.
Merci pour vos réponses.
Re : DOE : modèle important avec un manque d'ajustement importantQuentin : Bill Worley offre d'excellents conseils que, très franchement, je suis gêné de ne pas avoir suggérés également. J'étais tout simplement trop concentré sur votre inquiétude concernant la valeur ap associée au test LOF pour ne serait-ce que prendre en compte les problèmes soulevés par Bill. Trop souvent, je pense que certaines personnes essaient de distiller la décision « accepter et utiliser le modèle » en une seule et unique statistique de diagnostic de modèle. J'appelle ce comportement être victime de la « mononumérose ».
Passons à votre dernière question dans le post : "Alors, pensez-vous qu'avec toutes ces observations prises en compte, je pourrais raisonnablement accepter ce modèle et essayer de le valider avec des exécutions supplémentaires ?"
Il serait très présomptueux de ma part de vous faire une recommandation dans un sens ou dans l'autre concernant '... accepter ce modèle...'. De loin j'hésite à connaître peu votre problème, le déroulement de l'expérience, la connaissance du procédé, etc. pour commencer à vous donner autre chose qu'un avis très peu éclairé. Je vais donc refuser.
C'est ce que j'offrirai; Au cours de mon mandat de statisticien industriel pendant des décennies, je ne peux pas vous dire combien de fois on m'a posé cette même question. Ma réponse était toujours quelque chose comme ça : « OK Quentin, plutôt que de te donner mon avis, voici ce que je te propose de faire. Faites une pause et réfléchissez à la décision vers laquelle les données, l'expérience et votre analyse vous mènent. Pensez aux conséquences de cette décision d'un point de vue pratique. Surtout si le résultat est moins que souhaitable. Que pensez-vous de cette décision ? Pas d'un point de vue statistique mais d'un point de vue pratique. Maintenant, au creux de votre estomac, que pensez-vous de cette décision ? Si vous sentez des papillons... alors arrêtez-vous, faites une pause et revenez en arrière pour plus d'informations/données/analyses/expérimentations/conjectures... quoi que ce soit... mais retardez la décision."
Il y a longtemps, j'ai lu une citation de Moen, Nolan et Provost qui disait quelque chose comme ceci : "En dernière analyse, ce n'est pas une question d'inférence statistique mais une question de degré de croyance." Ou comme le disait le Dr Deming, "Les personnages les plus importants sont inconnus et inconnaissables." P - valeurs que nous connaissons... mais les "chiffres" les plus importants sont inconnaissables.
Re : DOE : modèle important avec un manque d'ajustement importantQuentin,
Je vais empiler sur la réponse de Peter.
Vous déclarez que vous avez extrait deux échantillons d'un ensemble de données précédent et que vous les avez ajoutés à vos résultats DOE.Il est très probable que vous biaisiez le résultat de votre DOE/modèle en utilisant ces échantillons "extérieurs" pour construire votre modèle.
Juste une suggestion, sortez ces deux échantillons et réajustez vos modèles.Utilisez ensuite ces échantillons comme données de test en les ajoutant à votre table de données et voyez d'où sortent les prédictions.Assurez-vous d'abord d'enregistrer votre formule de prédiction dans le tableau de données, puis d'ajouter les "nouvelles" données en bas.Comparez les données réelles avec les valeurs prédites.Vous pouvez également le faire avec votre profileur de prédiction en modifiant les paramètres d'entrée et en voyant quelle est la valeur prédite sur la gauche.
En ce qui concerne votre graphique des résidus, il semble que le point en haut à droite soit une valeur aberrante potentielle, ce qui biaisera également vos résultats.Réajustez le modèle sans ce point, puis vérifiez les paramètres de votre modèle d'ajustement.
J'espère que cela t'aides,
Facture
Re : DOE : modèle important avec un manque d'ajustement importantMerci Pierre.
J'ai déjà regardé les résidus (voir graphique ci-dessous). Il n'y a pas de modèle latent observable dans le tracé des résidus, mais il y a une dispersion aléatoire des résidus. La réponse Y2 varie entre 0 et 100 (c'est un rendement), donc je considère que l'amplitude (<5%) des résidus est acceptable. Cependant, je peux dire que le résidu correspondant à la valeur Y2 plus élevée est "relativement" plus élevé (~4) que les autres suggérant un degré de confiance plus faible pour la prédiction des valeurs élevées de Y2. Cela était également visible lors du tracé de Y2 observé par rapport à Y2 prédit avec des intervalles de confiance.
Pensez-vous qu'avec toutes ces observations prises en compte, je pourrais raisonnablement accepter ce modèle et essayer de le valider avec des exécutions supplémentaires ?
Merci encore pour votre aide!
Re : DOE : modèle important avec un manque d'ajustement importantQuentin : Vous demandez : « Dois-je jeter mon modèle à la poubelle ? Seulement si le modèle n'est, pour paraphraser George Box, « pas utile ». LOF n'en est qu'un, et je mets l'accent sur un seul test utilisé pour évaluer l'utilité du modèle. Avez-vous jeté un œil à vos parcelles résiduelles ? Sont-ils problématiques d'un point de vue prévisionnel ? Qu'en est-il de l'ampleur de la taille des résidus dans l'espace expérimental ? Je ne m'accroche pas trop à LOF surtout si j'ai épuisé les moyens de modifier le modèle en ajoutant des termes. Ce que je ferais, c'est jeter un coup d'œil aux prédictions par rapport aux résidus... et évaluer ce que j'appelle "l'ampleur du manque" ou la valeur résiduelle. La taille ou la direction du résiduel est-elle problématique d'un point de vue pratique ? Sinon... pourquoi s'inquiéter du LOF ?
Enfin, je vous encourage à effectuer des essais supplémentaires à des fins de vérification du modèle. Cette étape doit être effectuée indépendamment des résultats LOF de toute façon pour vérifier l'utilité du modèle... si ces vérifications s'avèrent correctes d'un point de vue pratique... encore une fois, qui se soucie de LOF ?
Bonne chance.
