Pourquoi ma valeur p de manque d'ajustement est-elle très faible ?Bonjour à la communauté JMP. Je viens de terminer mes expériences selon un plan d'expériences RSM. J'ai entré les données dans le logiciel et exécuté le modèle (en tenant compte des interactions et du RS). J'ai exclu les facteurs et interactions non pertinents d'après le tableau de synthèse des effets. Cependant, la p-valeur du test d'adéquation reste très faible (voir la capture d'écran ci-dessous). Je crains que le modèle ne soit surajusté car, même si c'est le cas, ma valeur de RS² est élevée (0,97-0,98). Je sais par ailleurs que cet indicateur n'est pas forcément fiable, étant donné la présence d'interactions non linéaires entre mes facteurs.
J'ai également essayé la modélisation par étapes, mais la valeur p d'adéquation n'a pas été améliorée. Pourriez-vous m'indiquer la marche à suivre ou comment trouver le modèle qui correspond à mes données ? Je suis bloqué et je n'arrive pas à trouver les conditions optimales. Merci.
Analyse et modélisation de données de baseModélisation prédictive et apprentissage automatiqueRe: Pourquoi ma valeur p de manque d'ajustement est-elle très faible ?Salut @Chemist9 ,
Bienvenue dans la communauté !
Le test d'adéquation est utile pour évaluer si votre modèle correspond bien aux données.
Il est très difficile de vous aider avec une simple capture d'écran de ce rapport de modèle. Pourriez-vous partager davantage de captures d'écran des différentes parties du rapport (graphique des valeurs réelles et prédites, résidus, etc.) ou, mieux encore, l'ensemble de données anonymisées ? Une valeur p statistiquement significative pour ce test indique que l'erreur du modèle est largement supérieure à l'erreur pure et que votre modèle est probablement inadéquat.
Cette situation peut se produire dans votre exemple pour plusieurs raisons :
- Si votre modèle est « trop simple » pour les résultats/données que vous avez recueillis, par exemple s'il manque des termes pour modéliser la courbure de vos données (termes du second ordre, interactions, effets quadratiques ou effets d'ordre supérieur), sur quelles informations vous êtes-vous basé pour supprimer certains termes du modèle (uniquement les valeurs p) ? Quels sont le comportement et les performances du modèle complet utilisé ? Puisque vous avez utilisé un modèle RSM, dont l'objectif est l'optimisation et la prédiction, je vous recommande d'utiliser plusieurs métriques pour l'affiner, telles que l'erreur quadratique moyenne (RMSE) du modèle (précision du modèle) et un critère d'information (AICc/BIC) afin d'évaluer et d'équilibrer la complexité et la précision de votre modèle.
- Si vos points de réplication présentent une variance extrêmement faible par rapport au modèle, vos expériences de réplication sont-elles indépendantes des autres expériences ? Comment avez-vous mené ces expériences ? S'agit-il de « véritables » réplications : avez-vous créé ET mesuré ces expériences indépendamment (et non pas simplement mesuré une deuxième ou une troisième fois la même expérience) ?
Je vous recommande également de vérifier la pertinence de votre modèle de régression par une analyse des résidus , afin de vous assurer que les hypothèses de régression sont respectées et de déceler d'éventuels schémas dans les résidus pouvant indiquer une inadéquation du modèle. Si un schéma est visible, cela pourrait confirmer soit l'absence de certains termes dans le modèle, soit la nécessité d'une transformation pour un ajustement correct à vos données.
J'espère que cette réponse vous aidera.
Re: Pourquoi ma valeur p de manque d'ajustement est-elle très faible ?Merci pour votre réponse utile, @Victor_G !
Pour vous donner un aperçu de ce que j'ai déjà exploré jusqu'à présent :
- J'ai exécuté le modèle en incluant toutes les interactions à deux facteurs et les termes quadratiques possibles. J'ai ensuite exclu certains termes en fonction de leur valeur p indiquée dans le tableau récapitulatif des effets. J'ai supprimé les termes dont la valeur p était supérieure à 0,05 (à l'exception de la température, car elle présente d'autres interactions importantes avec d'autres facteurs).
- Pour le modèle où j'ai supprimé les interactions « non significatives », j'ai obtenu une RMSE normalisée de 5,66 %, ce qui me semble acceptable pour les procédés métallurgiques que j'étudie actuellement. N'hésitez pas à me faire part de vos critères d'évaluation d'une RMSE acceptable ou non.
- Je n'ai pas encore exploré le critère d'information (AICc/BIC) que vous avez mentionné. Est-il possible de l'obtenir à partir d'une modélisation utilisant le modèle de personnalité Stepwise ?
- Oui, mes réplicats ont été réalisés et mesurés indépendamment. Est-il possible que le modèle soit déjà trop sensible aux variations en raison de la faible variance ?
Pour alimenter davantage cette discussion, voici les intrigues pertinentes que vous avez mentionnées :
- Comparaison entre les données réelles et les données prédites : personnellement, je ne vois pas de tendance (S, etc.), mais il semble que la plupart des points soient concentrés dans la région supérieure droite.
- Résidus par rapport aux valeurs prédites : je ne suis pas sûr qu’il y ait une tendance sur le graphique, mais je ne pense pas que la distribution soit aléatoire.
- Résidus studentisés : D’après ma compréhension actuelle, puisque tous les points se situent à l’intérieur des limites vertes et rouges, il n’y a pas de valeurs aberrantes dans mes données que je dois supprimer.
Mon problème maintenant, c'est que je ne sais pas quoi faire à partir de là, car mes connaissances sur ces outils sont très limitées.
En tant que nouveau membre de la communauté et utilisateur de JMP, votre réponse m'a été très utile. J'ai hâte de poursuivre notre discussion. Merci !
Re: Pourquoi ma valeur p de manque d'ajustement est-elle très faible ?D'accord, c'est utile.
En observant le graphique des valeurs réelles par rapport aux valeurs prédites, il semble que certaines valeurs basses soient surestimées et certaines valeurs élevées sous-estimées. Je m'interroge également sur certaines « lignes de points » présentes dans ces graphiques : s'agit-il de répliques ou de points différents où un terme est manquant dans le modèle pour les différencier ?
Le critère d'information est une mesure supplémentaire disponible dans le rapport Fit Least Squares, dans le panneau Résumé de l'ajustement .
Oui, dans les cas où la variance des points répliqués est très faible, vous pouvez obtenir un test d'adéquation statistiquement significatif avec un modèle approprié (d'où ma question sur les « vraies » réplications, afin de vous assurer que vous les avez correctement effectuées et de ne pas sous-estimer la variation expérimentale naturelle). Vous pouvez également obtenir plus facilement un test d'adéquation statistiquement significatif avec un grand nombre de points centraux : https://statease.com/blog/importance-center-points-central-composite-designs/#:~:text=The%206%20center%20point%20design,making%20the%20test%20almost%20meaningless .
Veuillez consulter le panneau de transformation de Box-Cox accessible dans les options de profilage factoriel afin de vérifier si une légère transformation est nécessaire pour un meilleur ajustement à vos données. Les réponses en pourcentage nécessitent généralement une transformation LogitPct ou LogisticPct pour garantir que les valeurs prédites restent comprises entre 0 et 100. Ces transformations devraient contribuer à réduire les effets de S dans les graphiques des résidus et des valeurs réelles par rapport aux valeurs prédites.
J'espère que ce suivi vous sera utile.
Re: Pourquoi ma valeur p de manque d'ajustement est-elle très faible ?Salut @Victor_G !
J'ai essayé de suivre vos recommandations et je pense que le modèle s'est amélioré. Cependant, je ne suis toujours pas certain qu'il soit le mieux adapté à mes données.
Ces « lignes de points » auxquelles vous faites référence sont des répliques exactes.
J'ai effectué les tests LogitPct et LogisticPct, et il semble que LogitPct soit plus adapté à mes données. J'ai obtenu un profil de prédiction plus réaliste et une valeur d'AICc plus faible qu'avec LogisticPct. Cette approche a également limité la réponse Y maximale à 100 %, un problème que je rencontrais auparavant. Cependant, ma p-valeur de manque d'ajustement reste très faible, malgré l'amélioration de l'erreur quadratique moyenne (RMSE). Est-il possible que cette faible p-valeur soit due à mes points centraux ? Mes expériences sont conçues selon un plan composite centré (RSM).
J'envisage également d'appliquer un modèle d'ordre supérieur. JMP peut-il suggérer les interactions d'ordre supérieur possibles ? Ou faut-il les définir manuellement dans la fenêtre « Modèle d'ajustement » ?
Merci beaucoup pour vos précieux conseils !
Re: Pourquoi ma valeur p de manque d'ajustement est-elle très faible ?Salut @Chemist9 ,
Ok, le modèle a effectivement l'air bien mieux sur les captures d'écran que vous avez envoyées.
Combien de points centraux comporte votre modèle de surface de réponse (RSM) ? D'après le lien StatEase que j'ai fourni précédemment , on constate qu'un nombre courant de points centraux se situe entre 3 et 5. Si votre modèle en comporte davantage, il est possible que la sensibilité du test d'adéquation soit fortement accrue et que la faible valeur p obtenue soit un faux positif. Vous pouvez essayer de masquer et d'exclure certains points centraux pour vérifier si le diagnostic du test reste inchangé.
Vous pouvez également essayer d'ajouter manuellement d'autres termes à votre modèle dans la fenêtre « Ajuster le modèle ». Quel type de plan d'expérience composite centré (RSM) avez-vous choisi ? Un plan centré sur les faces ? Si tel est le cas, cela signifie que vous avez trois niveaux différents par facteur, limitant ainsi l'ordre de votre modèle à 2. Vous pouvez néanmoins tenter d'ajouter des termes cubiques partiels au modèle, qui représentent les interactions entre les effets principaux et les effets quadratiques. Ces termes sont généralement rares, mais si l'un d'eux est actif, il pourrait améliorer significativement votre modèle.
Enfin, réfléchissez à la manière dont vous validez votre modèle :
- Quel est l'objectif de ce modèle ? Optimisation, prédiction, acquisition de connaissances, etc. ? Quels sont vos critères de réussite ?
- Le comportement du modèle correspond-il à vos connaissances du domaine et à vos attentes ?
- La précision des prédictions est-elle acceptable en pratique ?
- Envisagez-vous de valider votre modèle sur l'ensemble de l'espace expérimental (en réalisant de nouvelles expériences dans des zones non encore explorées de cet espace) ? Ou vous intéressez-vous uniquement à l'optimum trouvé par le modèle ?
Ces questions, non exhaustives, peuvent vous aider à déterminer à quel moment cesser d'améliorer votre modèle et commencer à l'utiliser.
J'espère que cette réponse vous aidera.
Re: Pourquoi ma valeur p de manque d'ajustement est-elle très faible ?Je partage l'avis de Victor : votre modèle quadratique n'explique peut-être pas toute la variation de la réponse. Il est probablement plus complexe, et il serait intéressant d'examiner l'effet des termes d'ordre supérieur. Je suppose que votre RSM a été générée à l'aide d'un CCD ? L'ajout d'un modèle du troisième ordre à votre plan d'expériences pourrait être intéressant pour évaluer son impact sur la p-valeur du test d'adéquation.
Re: Pourquoi ma valeur p de manque d'ajustement est-elle très faible ?Bonjour @Chemist9 : Les « lignes de points » sont-elles imbriquées dans un élément non inclus dans le modèle ? Autrement dit, chaque « ligne de points » provient-elle d’une « expérience » ou d’un autre facteur de blocage ou unité expérimentale ?
