Objet : Fit Definitive Screening vs. Stepwise (min. AICC) pour la sélection du modèleSalut @QW ,
Le "Fit Definitive Screening Design" est une analyse conçue pour le DSD, car il met l'accent et soutient les principes du DOE de hiérarchie des effets, d'hérédité des effets et de parcimonie des effets : Principes et lignes directrices pour la conception expérimentale (jmp.com)
- Dans un premier tour, la plateforme Fit DSD tente de trouver les effets principaux significatifs, et de créer un modèle basé sur les effets principaux identifiés.
- Au second tour, les résidus du premier modèle sont analysés pour trouver et détecter des termes d'ordre 2 (dépendants des principaux effets identifiés auparavant, suivant le principe d'hérédité des effets) comme des termes d'interaction ou des termes de puissance.
Par défaut, la plateforme utilise le principe "d'hérédité forte" (exemple : l'interaction A*B ne peut être analysée et identifiée qu'au second tour si les deux effets principaux A ET B sont identifiés et significatifs au premier tour), mais vous pouvez avoir plus " flexibilité" dans la modélisation en décochant les "Les termes quadratiques obéissent à une forte hérédité" et "Les interactions obéissent à une forte hérédité". Cela permettra une hérédité faible, c'est-à-dire que l'interaction A*B pourra être analysée au second tour si l'effet principal A OU l'effet principal B est identifié et significatif au premier tour par exemple. Dans votre cas, l'hérédité faible fournit le même modèle. Plus d'infos ici : Sélection de modèle efficace pour les DSD (jmp.com)
Veuillez également noter que les DSD, même s'ils sont puissants et intéressants pour détecter les effets de 2e ordre, sont toujours des conceptions de dépistage, vous ne pourrez donc pas détecter et estimer tous les effets possibles, et la puissance liée aux termes quadratiques ou aux termes d'interaction est assez faible par rapport aux effets principaux par exemple, il semble donc "normal" d'avoir plus de mal à détecter les effets quadratiques :
Si vous pensez qu'il pourrait encore y avoir des termes cachés qui n'ont pas été détectés parmi les effets d'ordre 2, je vous recommande fortement d'augmenter votre conception avec plus d'exécutions (avec la plateforme "Augment Design"), d'avoir plus confiance dans votre modèle (et détecter éventuellement de nouveaux effets quadratiques et/ou effets d'interaction).
L'approche de sélection "Stepwise" est différente, plus orientée comme une analyse "indépendante du modèle", où la sélection des termes ne suit pas nécessairement certains des principes du DoE (même si vous pouvez "verrouiller" certains termes comme les effets principaux à respecter effet hérédité/hiérarchie), mais se focalise sur l'optimisation d'un critère (AICc, BIC, ...). Cela peut entraîner des modèles plus complexes, car les "protections" d'autres plates-formes telles que "Fit DSD" peuvent ne pas être présentes. Si vous voulez vraiment repousser les limites et explorer d'autres conceptions avec la plate-forme Stepwise, vous pouvez également cliquer sur le triangle rouge et essayer "Tous les modèles possibles". Vous pouvez spécifier le nombre de termes dans le modèle, et JMP essaiera toutes les combinaisons possibles de termes pour fournir tous les modèles possibles avec le nombre de termes spécifié. Cela peut vous donner une "inspiration" dans la modélisation, mais les résultats doivent être pris avec prudence, car certains termes peuvent être entrés dans le modèle sans aucune signification statistique (donc un petit réglage peut être nécessaire après) :
Avec le premier modèle (certains termes sont ajoutés par défaut mais leurs p-values sont supérieures au seuil de 0,05) :
Il est toujours intéressant d'essayer de comparer différentes options de modélisation, et encore plus lorsque l'expertise du domaine peut vous guider dans le processus. Cela peut vous aider à avoir des idées sur les termes importants et peut vous aider à définir comment augmenter votre DoE avec de nouvelles exécutions, basées sur un modèle supposé.
Je ne pense pas qu'il y ait une bonne ou une mauvaise réponse ici, la clé est vraiment de comparer et d'évaluer différents modèles pour bien comprendre le cas. Certaines méthodes sont plus conservatrices que d'autres, mais combiner différentes modélisations avec une expertise du domaine peut vous aider à avoir une vision plus large de ce qui compte le plus. Et à partir de là, planifiez vos prochaines expérimentations pour affiner votre modèle, et préparez quelques points de validation pour pouvoir évaluer votre modèle.
J'espère que cette (longue) réponse vous aidera,
PS : Vous pouvez également comparer d'autres modèles réalisés avec différentes plates-formes comme la régression généralisée avec différentes méthodes d'estimation (Best Subset, Pruned/2-stage/ Forward selection, ...).
Objet : Fit Definitive Screening vs. Stepwise (min. AICC) pour la sélection du modèleCes approches et d'autres sont les bases d'outils qui vous aident mais ne dictent pas une façon ou une réponse. L'approche Fit Definitive Screening n'a pas réussi à trouver un modèle approprié dans votre cas. JMP fournit une pléthore d'outils basés sur une myriade d'approches afin que vous n'ayez pas à limiter votre recherche pour sélectionner le meilleur modèle à une seule approche.
JMP dispose de tous ces outils, car aucune approche ne s'est avérée supérieure dans tous les cas.
De plus, en analysant vos données avec différentes approches, vous pouvez renforcer votre confiance lorsqu'elles sont d'accord. En cas de désaccord, vous pouvez rechercher la raison du désaccord et comprendre pourquoi le modèle sélectionné est le meilleur.
Avant tout, vous devez valider votre modèle. Utilisez-le pour prédire la réponse à des paramètres non inclus dans l'expérience d'origine. Vous devez envisager des paramètres qui prédisent le résultat souhaité et des paramètres qui prédisent un résultat indésirable. Votre modèle doit prévoir toutes les réponses avec précision dans l'espace de l'expérience.
Fit Definitive Screening vs. Stepwise (min. AICC) pour la sélection du modèleJ'essaie d'adapter un modèle à un DSD à 17 séquences avec 4 facteurs. J'évalue deux méthodes pour ce faire : la plate-forme "Fit Definitive Screening" recommandée par la documentation JMP, ainsi que l'ancienne méthode de sélection directe avec un AICC minimum comme critère.
Sur la base de la connaissance du domaine, je me serais attendu à un effet quadratique pour le facteur B qui ressemble à un plateau, le niveau bas étant nettement pire que les niveaux moyens/élevés, qui devraient être relativement similaires. Lorsque je regarde les résultats de l'algorithme 'Fit DSD', le graphique résiduel des effets principaux pour le facteur B ressemble en fait à ceci. Cependant, l'algorithme fit DSD ne génère aucun effet quadratique. J'ai essayé de modifier le rapport de l'étape 2 de 1 à 0,1 et je n'ai trouvé aucune différence.
Lorsque je prends le même ensemble de données et que j'utilise la sélection de modèle vers l'avant avec un AICC minimum, j'obtiens le modèle suivant, qui inclut B^2 comme terme.
Enfin, lors de l'exécution des modèles créés par Fit DSD par rapport à pas à pas, je trouve que la valeur p globale et le R^2 ajusté du modèle dérivé pas à pas pour indiquer un ajustement supérieur (p = 0,0144 et r^2 = 0,438 pour l'ajustement DSD, p = 0,0030 et r^2 = 0,615 pour pas à pas)
J'ai répété cela pour certains autres paramètres de sortie et j'ai constaté qu'en général, l'ajustement DSD est beaucoup plus conservateur que la sélection par étapes en ce qui concerne les termes de second ordre. Est-ce vrai? Si tel est le cas, est-il toujours recommandé d'utiliser le modèle de fit DSD, même si cela entraîne un ajustement du modèle moins bon ?
J'ai joint des données anonymisées.
Merci.
Fusion et nettoyage des donnéesConception d'expériences
