Confusion autour de la plateforme de dépistage définitif FitAprès avoir exécuté un DSD et cliqué sur le bouton « Fit Definite Screening », le programme affiche le résultat suivant :
- Étape 1 - Estimations des effets principaux
- Étape 2 - Estimations des effets d'ordre pair et
- Estimations combinées des paramètres du modèle
- Ainsi qu'un outil de profilage prédictif.
Si plusieurs effets principaux sont considérés comme significatifs dans le menu « Étape 1 » (Prob>|t| < 0,01), mais que leur Prob>|t| est supérieur ou égal à 0,20 dans le menu « Estimations des paramètres du modèle combiné », comment interpréter ce résultat ? Faut-il réduire le modèle ?
Dans la documentation JMP, il est indiqué que le Prediction Profiler concerne le modèle combiné ; s’agit-il du modèle combiné listé dans le tableau Fit Definitive Screening, ou de la forme réduite de ce modèle combiné ?
Je me demande aussi : devons-nous toujours sélectionner « Exécuter le modèle » et le réduire manuellement après chaque analyse ?
Conception des expériencesRe: Confusion autour de la plateforme de dépistage définitif FitSalut @MJZ82 ,
L'augmentation des valeurs p finales des effets principaux s'explique par le fait qu'elles sont calculées avec un nombre de degrés de liberté différent de celui de la première étape. Lors de la première étape, seuls les effets principaux sont étudiés ; le nombre de degrés de liberté du plan d'expérience est donc plus élevé, d'où l'utilisation d'un seuil de 0,05 pour détecter les effets principaux.
Dans la deuxième étape, vous avez déjà utilisé certains degrés de liberté pour inclure les effets principaux dans le modèle. Par conséquent, les effets d'ordre supérieur sont inclus avec un seuil de signification plus élevé (souvent 0,2), car il reste moins de degrés de liberté pour les tester de la même manière que les effets principaux à la première étape. Pour en savoir plus sur la méthodologie, consultez la page : Détails statistiques de la plateforme de criblage définitive Fit.
Dans le panneau final du modèle combiné, les valeurs p sont calculées comme si les termes de ce modèle avaient été introduits simultanément dans un modèle de moindres carrés simples, d'où des valeurs p différentes (et plus élevées) que celles calculées précédemment lors de chacune des deux étapes. Le profil affiché à la fin correspond au modèle combiné final.
Je ne recommanderais pas de réduire davantage le modèle en me basant sur les valeurs p issues du tableau d'estimations des paramètres du modèle combiné, car la méthodologie utilisée pour le criblage définitif de l'ajustement repose sur une approche séquentielle : identifier d'abord l'influence des effets principaux sur la réponse, puis identifier les effets du second ordre actifs à partir des résidus du modèle des effets principaux précédemment ajusté. Les valeurs p calculées avec une inclusion simultanée des termes (comme dans le tableau d'estimations des paramètres du modèle combiné) ne reflètent pas la démarche d'identification et d'intégration des termes du modèle ; elles ne sont donc pas fiables, peuvent être biaisées et la décision de supprimer certains termes ne devrait pas reposer uniquement sur cette information. Il est également important de respecter l'hérédité des effets lors de l'ajustement de modèles à partir de plans d'expériences ; par conséquent, ne supprimez pas un effet principal d'une interaction significative ou un effet quadratique du même facteur si celui-ci est présent dans le modèle.
Vous pouvez toujours tester différents modèles à l'aide des diverses plateformes de modélisation disponibles : Fit Definitive Screening Platform, Fit Two Level Screening Platform , les modèles des moindres carrés standard , les modèles de régression généralisée , etc., et comparer les points communs identifiés par ces méthodes et les différences observées. Le sujet de la modélisation est bien plus vaste (et parfois complexe) que de se fier « uniquement » aux valeurs p. Selon vos objectifs, différentes approches d'évaluation et de sélection des modèles peuvent s'avérer nécessaires.
- Modèle explicatif En mode explicatif, l'accent est mis sur les termes ayant une influence sur la ou les réponses. Il convient alors d'évaluer la nécessité d'inclure ces différents termes en fonction de leur signification statistique (à l'aide des valeurs p et d'un seuil prédéfini, par exemple 0,05) et de leur pertinence pratique (taille des estimations, sélection basée sur l'expertise du domaine). Le R², le R² ajusté (et la différence entre les deux, qu'il faut minimiser) constituent de bons indicateurs pour comprendre la part de variation expliquée par les termes identifiés et sélectionner le ou les modèles pertinents pour expliquer le système étudié.
- Modèle prédictif En mode prédictif, l'accent est mis sur les termes qui contribuent à minimiser les erreurs de prédiction. Il est donc possible d'évaluer la nécessité d'inclure différents termes en fonction de leur impact sur les performances prédictives, grâce à la visualisation des valeurs réelles par rapport aux valeurs prédites et à l'analyse de l'ampleur des erreurs (graphique des résidus). L'erreur quadratique moyenne (RMSE) peut constituer une bonne métrique pour déterminer le ou les modèles présentant les meilleures performances prédictives (l'objectif étant de minimiser la RMSE).
Vous pourriez également être intéressé par une combinaison des deux parties, afin d'utiliser différentes métriques pour évaluer et sélectionner les modèles, comme critères d'information Les critères AICc et BIC permettent de trouver un compromis entre les performances prédictives du modèle et sa complexité. Pour évaluer et sélectionner un modèle selon ces critères, plus leur valeur est basse, mieux c'est.
J'espère que cette réponse vous aidera.
Re: Confusion autour de la plateforme de dépistage définitif FitMerci pour votre réponse détaillée.
Que se passe-t-il si, parmi les 9 termes listés dans mon modèle « Estimations des paramètres du modèle combiné » (sans compter l'ordonnée à l'origine), seul 1 terme s'avère significatif ?
Mes estimations des effets principaux (étape 1) indiquent que 3 effets principaux sur 5 sont significatifs. Mes estimations des paramètres du modèle combiné incluent ces mêmes 3 effets principaux, 3 termes d'interaction et 3 termes du second ordre. Parmi ces 9 termes combinés, seul 1 des termes du second ordre est significatif, tandis que plusieurs autres présentent des valeurs p supérieures ou égales à 0,20.
Est-il généralement déconseillé de tenter de réduire davantage les résultats du modèle après l'exécution de la plateforme « Fit Definitive Screening », même si 8 de mes 9 termes dans le modèle « Combined » n'ont pas de valeurs p significatives ?
Re: Confusion autour de la plateforme de dépistage définitif FitComme je l'ai indiqué, le calcul des valeurs p dans le modèle combiné diffère (tests simultanés) de la méthodologie utilisée dans le criblage définitif, qui repose sur des tests séquentiels et hiérarchiques des effets. Ce criblage définitif peut être plus sensible que la méthode classique de test et de modélisation ; il est donc possible que certains termes ne soient pas statistiquement significatifs dans le modèle combiné final, même s'ils ont été détectés lors des étapes 1 et 2.
Cela ne signifie pas que ces termes n'ont pas d'importance pratique, ni qu'ils ne sont pas utiles pour le modèle.
Lors de l'évaluation de plusieurs modèles, il est important de vérifier les hypothèses de régression (par l'analyse des résidus), ainsi que différentes métriques (pour comparer les modèles avec différentes évaluations) et l'expertise du domaine pour guider le processus de modélisation.
