Importance des facteurs dans la conception du dépistage définitifChère communauté JMP,
J'ai réalisé une conception de sélection définitive en 37 étapes pour 15 facteurs afin de trouver les facteurs dominants. J'ai défini la valeur p sur 0,05 et dans la documentation, il est indiqué qu'un facteur sera affiché comme "actif" si la valeur p est inférieure au seuil défini (c'est-à-dire 0,05). Cependant, dans certains cas, lorsque je m'adapte au plan de dépistage définitif, certains facteurs avec une valeur p supérieure à 0,05 apparaissent comme « actifs ou significatifs ». Ci-dessous, j'ai joint un exemple de ce que je veux dire. Quelqu'un peut-il m'aider à résoudre cette ambiguïté ?
Conception d'expériencesles fenêtresObjet : Importance des facteurs dans la conception de la sélection définitiveSalut @Ahmedhadi ,
Bienvenue dans la Communauté !
Il est difficile de vous aider sans regarder votre design et sans savoir comment vous le concevez.
Néanmoins, je pense que vous trouverez peut-être des réponses dans cette section d'aide sur l'analyse des DSD : Détails statistiques pour la plateforme de dépistage Fit Definitive (jmp.com)
Vous pourriez également être intéressé par la publication originale de la méthode Fit DSD : Bradley Jones & Christopher J. Nachtsheim (2016) : Sélection efficace de modèles basés sur la conception pour les conceptions de criblage définitives , Technométrie, DOI : 10.1080/00401706.2016.1234979
Comme vous pouvez le voir sur la capture d'écran, l'analyse des DSD se fait en 2 étapes pour prendre en compte la structure spécifique des DSD :
- La première étape implique l'identification des effets principaux avec les valeurs des réponses
- La deuxième étape implique des interactions à 2 facteurs et l'identification des effets quadratiques (basés sur le principe de l'hérédité des effets) avec les réponses résiduelles du modèle de la première étape.
À partir de la faible quantité d'informations fournies, si vos 37 exécutions DSD impliquent 15 facteurs continus, vous pouvez avoir 4 exécutions supplémentaires dans votre conception, donc dans votre étape 1, la variance par rapport au modèle supposé (avec tous les effets principaux) est estimée par rapport à l'erreur. écart par rapport aux 4 courses supplémentaires. Cela permet d'identifier les effets actifs en dessous d'un certain seuil de valeur p (défini par vous ou par le nombre de degrés de liberté dont vous disposez). Étant donné que la variabilité des effets principaux inactifs est ensuite regroupée dans la variance d'erreur, les valeurs p peuvent être susceptibles de changer au cours du processus et finir par être supérieures au seuil que vous avez spécifié, même si elles ont été initialement sélectionnées.
Quelque chose de similaire peut se produire à l'étape 2, où un sous-ensemble d'effets de 2e ordre est testé pour voir s'il y a une amélioration du RMSE du modèle lors de l'ajout de ces effets (même s'ils ne sont pas tous statistiquement significatifs).
Deux choses à considérer avec prudence :
- Principe de signification statistique : Le seuil de valeur p de 0,05 n'est pas une valeur seuil, car des effets juste au-dessus de cette valeur peuvent également être intéressants à prendre en compte dans le modèle (en raison de l'expertise du domaine ou de l'utilisation d'une autre méthode de modélisation non basée sur p -valeurs). De plus, la signification statistique ne vous donne aucune information sur l'importance/la taille de l'effet.
- Un modèle n'est qu'une représentation de la réalité expérimentale que vous avez enregistrée. Si vous essayez différentes techniques de modélisation, en utilisant la plateforme de régression généralisée avec différentes méthodes d'estimation (sélection directe en deux étapes, sélection prospective élaguée, ...) et un critère de validation différent (comme les critères d'information AICc et BIC), vous risquez de vous retrouver avec des résultats différents. des modèles. Il est toujours intéressant de comparer plusieurs approches pour voir en quoi les différents modèles peuvent être similaires ou différents, et d'utiliser l'expertise du domaine pour choisir le(s) plus raisonnable(s).
J'espère que cette réponse vous aidera,
Objet : Importance des facteurs dans la conception de la sélection définitiveCher Victor,
Merci beaucoup pour votre réponse détaillée et utile et désolé de ne pas avoir fourni toutes les informations.
Bien sûr, j'ai 15 facteurs « continus » et j'ai inclus 4 exécutions supplémentaires comme recommandé. Pour l’instant, je m’intéresse uniquement à déterminer les facteurs dominants qui influencent de manière significative la réponse. Par conséquent, je considérerai tous les « facteurs actifs » répertoriés par le logiciel à l’étape 1 comme significatifs.
Concernant la comparaison de différents modèles, j'ai trouvé difficile de le faire pour certains modèles car il n'y a pas de valeur R au carré pour évaluer/comparer les modèles. Existe-t-il une manière systématique de procéder?
Objet : Importance des facteurs dans la conception de la sélection définitiveSalut @Ahmedhadi ,
Si vous souhaitez comparer et sélectionner les modèles les plus « sensés », je vous recommande de les comparer avec une autre métrique que R² (ou R² ajusté), puisque R² ne prend en considération que la proportion de variance expliquée par le modèle mais pas sa complexité, donc si vous ajoutez de plus en plus de termes, vous risquez de vous retrouver avec un R² plus élevé, mais vous aurez un modèle plus complexe qui pourra contenir du bruit.
Un critère d'information, comme AICc ou BIC, et/ou le maximum de vraisemblance si vous avez besoin d'une distribution de réponses différente de la distribution normale, peut être plus efficace pour comparer et sélectionner des modèles, car ils équilibrent la précision du modèle avec sa complexité (nombre de termes inclus dans le modèle).
Vous n'avez pas nécessairement besoin d'essayer toutes les combinaisons possibles de termes pour comparer et sélectionner les modèles, car la régression généralisée (JMP Pro) avec les différentes méthodes d'estimation et critères de validation est un processus semi-automatisé (chaque méthode s'arrête lorsqu'elle atteint le "meilleur" modèle). Plus d'infos ici : Modèles de régression généralisée (jmp.com)
Vous pouvez également consulter la plateforme Stepwise (dans la plateforme Fit Model, en changeant la personnalité en Stepwise), où vous pouvez filtrer "automatiquement" les termes possibles dans votre modèle et sélectionner le plus informatif grâce à une règle/critère d'arrêt (basé sur sur BIC, AICc, seuil de p-value, etc... Je recommande d'utiliser des critères d'information comme AICc ou BIC). L'avantage est que vous pouvez suivre les différentes étapes impliquées lors de la création des différents modèles, et comment chaque étape a eu un impact sur la qualité du modèle (en termes de R² et d'AICc / BIC) :
Cela fonctionne plutôt bien, mais vous aurez peut-être besoin après tout d'affiner le modèle, car cela peut être une approche gourmande (elle entrera dans chaque terme susceptible d'avoir un impact positif sur le modèle).
Plus d'infos ici : Modèles de régression pas à pas (jmp.com)
Il existe également une option pour essayer " Tous les modèles possibles ", mais étant donné le nombre élevé de facteurs dont vous disposez (et le nombre encore plus élevé de termes possibles lorsque l'on prend en compte les termes de 2e ordre), je ne le recommanderais pas car ce sera trop long et trop coûteux en calcul.
J'espère que cette réponse vous aidera,
Objet : Importance des facteurs dans la conception de la sélection définitiveUn autre point à considérer est que le logiciel ou l’algorithme ne prétend pas trouver le meilleur modèle. Ils aident à éliminer de nombreux mauvais modèles d’une sélection ultérieure. Différentes méthodes de sélection d'un modèle peuvent donner lieu à différentes solutions. Les informations fournies avec une solution devraient vous guider vers des améliorations. Le choix des termes à inclure dépend de vous et non du logiciel.
Vous pouvez essayer une autre méthode de sélection pour voir si la solution est mieux adaptée à vos besoins. JMP propose de nombreuses méthodes de ce type.
