Analyse d'une conception personnalisée avec des blocsÀ l'aide du concepteur personnalisé, un DOE de 36 exécutions a été créé pour 7 facteurs : 5 continus et 2 catégoriques. Chaque jour, 4 exécutions sont effectuées, donc un facteur de blocage de 9 blocs est ajouté à la liste des paramètres d'entrée. L'évaluation du DOE montre une belle puissance de paramètre, une faible corrélation acceptable entre les facteurs et des blocs presque orthogonaux aux facteurs. L'analyse des résultats en ajustant une surface de réponse peut être effectuée de plusieurs manières ; Lequel des éléments ci-dessous est correct/recommandé ? Je considère le blocage comme un effet aléatoire.
1. Transformation du bloc en effet aléatoire et utilisation des moindres carrés standards + REML : après suppression des paramètres f non efficaces --> 17 effets actifs, beaucoup d'interactions et effets quadratiques : R² = 0,97 R²adj = 0,94 AICc = 327 Cela ressemble à un surapprentissage pour moi ..? Cependant R²ajusté reste proche de R²...
2. Stepwise & block = effet fixe (stepwise n'accepte pas les effets aléatoires ?) : 10 effets fixes : 3 effets de bloc fixes et 7 paramètres --> 5 effets principaux, 1 interaction et 1 effet quadratique. Considérant le bloc comme un effet aléatoire, avant de réaliser le modèle j'ai transformé les 3 effets de bloc fixes en 3 effets aléatoires, est-ce correct ? En faisant le modèle REML j'obtiens R² = 0,90 R²adj = 0,87 AICc = 256
Les deux modèles sont clairement différents ! Je préférerais le deuxième modèle avec des #effets & AICc plus faibles et toujours R² = 0,9. Il y a trop peu d’exécutions pour créer un ensemble de tests, alors quelle est votre opinion ?
Remarque : dans la 2ème procédure pas à pas, au lieu d'attribuer les 3 effets de bloc fixes comme 3 effets aléatoires, je peux également créer un modèle REML en prenant le bloc de 9 niveaux comme un effet aléatoire, est-ce la bonne façon ?
Merci pour votre contribution ! Franc
Re : Analyse d'une conception personnalisée avec des blocsLa plateforme de dépistage est destinée facteurs à deux niveaux . Il modélisera tous les facteurs ayant plus de deux niveaux (comme 9 blocs) comme des puissances d'effets fixes, jusqu'à la 8ème puissance dans ce cas, et non comme des effets aléatoires. Vous ne devez pas utiliser la plateforme Screening dans ce cas.
De plus, cette plateforme simple sert à filtrer les facteurs et non les effets. Il ignore votre modèle spécifié pour créer des contrastes basés sur les principes clés du tramage.
Re : Analyse d'une conception personnalisée avec des blocsMerci Cameron pour ce commentaire utile ; Je vais jeter un oeil à cette plateforme d'analyse de dépistage du DOE plus ou moins oubliée. Je suis d'accord que l'approche par blocs fixes consomme beaucoup de degrés de liberté, d'un autre côté, cela garantira que finalement seuls les effets forts seront éliminés, donc je suis satisfait de mon modèle R² = 0,9 à effet plus faible mais plus fort ; J'ai essayé la lourde sélection standard des moindres carrés vers l'arrière et il est parfois difficile de juger quand supprimer un effet ou non ; rejetteriez-vous un effet d'interaction avec p = 0,075 ? En utilisant la sélection rétrospective, presque chaque fois que je trouve un autre modèle... le jugement de p est critique !! Je préfère l'effet fixe/pas à pas et en effet en créant le bloc modèle final, il doit être transformé en un effet aléatoire. Cordialement, Franck
Re : Analyse d'une conception personnalisée avec des blocsOK, merci pour vos contributions. Dommage que Stewise ne puisse pas gérer les effets aléatoires, ce serait génial ; L’analyse rétrospective est fastidieuse lorsque de nombreux facteurs sont impliqués. Le critère AICc n'est-il pas acceptable pour juger les modèles ? le premier modèle a 17 effets significatifs R² = 0,98 mais l'AICc est bien supérieur au 2ème modèle à #effet inférieur avec R² = 0,9 ?
Re : Analyse d'une conception personnalisée avec des blocsEn fin de compte, vous ne pouvez pas savoir si vous êtes surajusté avant d'avoir effectué quelques tests de confirmation. Vous avez vraiment une conception de sélection, donc je ne serais pas trop préoccupé par le surajustement à ce stade tant qu'une bonne partie des termes du modèle disparaît. Je ne m'attendrais pas non plus à faire des prédictions précises dans votre espace de conception.
Il n’y a pas de bonne ou de mauvaise manière ici. Si vous procédez par étapes, alors oui, vous devrez traiter les blocs comme fixes. Cela absorbera beaucoup de degrés de liberté, rendant tous les tests d'effet moins puissants. Vous devriez pouvoir appliquer des effets complets uniquement afin que certains termes pour des blocs individuels ne disparaissent pas.
Après avoir sélectionné un modèle par étapes, vous devez manuellement redéfinir le bloc en un
un effet aléatoire dans un ajustement régulier des moindres carrés avec REML.
Stepwise est généralement méprisé de nos jours au profit des méthodes avec régularisation. Vous n'obtenez pas cela dans JMP de base, donc par étapes est vraiment la seule réponse pour la sélection automatisée de modèles.
Je fais généralement la sélection du modèle manuellement. Il existe également la plateforme Screening pour l'analyse de la conception de criblage. Je ne l'ai pas utilisé depuis quelques années, mais ça vaut le coup d'oeil.Re : Analyse d'une conception personnalisée avec des blocsCette réponse a été créée en double par accident. Contenu suppriméRe : Analyse d'une conception personnalisée avec des blocsJ'ai évoqué le fait que lorsque vous utilisiez Custom Design, vous ne spécifiiez pas de modèle incluant les interactions. Pourquoi ai-je mentionné cela ? Parce que je me demandais dans quelle mesure l'expérience était efficace pour estimer les interactions que vous intégrez dans vos modèles. Je me demandais si cela contribuait à votre défi de trouver le meilleur modèle.
Vous dites que la conception a une bonne puissance et une bonne corrélation pour ces effets. Dans ce cas, ne vous inquiétez pas pour ça.
Re : Analyse d'une conception personnalisée avec des blocsCitant George Box : « Tous les modèles sont faux. Certains sont utiles. » Choisissez celui que vous trouvez utile, mais ne pensez pas que c'est « la vérité ». Une autre citation de Box : "Ne tombez jamais amoureux d'un mannequin."
Ainsi, l’approche traditionaliste inconditionnelle :
La conception construite dépend du modèle à estimer. Changer de modèle signifie que vous n’aurez peut-être plus le meilleur design. Vous avez un bloc aléatoire. Vous avez créé le dessin sous forme de bloc aléatoire. Votre analyse devrait avoir un bloc aléatoire.
L'approche non traditionnelle :
Vous pouvez certainement utiliser votre approche par étapes, mais réalisez qu'en traitant l'effet aléatoire comme fixe, vous modifiez votre terme d'erreur. Par conséquent, le modèle proposé par étapes n’utilise pas le même terme d’erreur que votre première analyse. Si vous pouviez utiliser le terme d’erreur approprié, vous pourriez vous retrouver avec des termes de modèle sélectionnés différents. La conception n’a pas été conçue pour cette analyse, alors pourquoi l’auriez-vous essayé ?
Enfin, pour vous aider à répondre à votre question de savoir quel modèle est le meilleur :
Vous avez finalement deux modèles concurrents. Comment leurs valeurs prédites se comparent-elles ? Existe-t-il des régions de l’espace de conception qui vous donnent des prédictions radicalement différentes ? Comme pour tous les modèles d’un DOE, vous devez le vérifier. Choisissez quelques conditions à tester. Essayez d'inclure des emplacements où les modèles diffèrent un peu. Exécutez ces tests. Quel modèle fait mieux ? En fin de compte, VOUS décidez quel modèle est le meilleur. Je baserais cette décision sur les performances du monde réel.
Re : Analyse d'une conception personnalisée avec des blocsBonjour Frank, je suis désolé que vous n'ayez pas trouvé les réponses utiles. Nous essayons d'aider! Malheureusement, il n’y a rien qui apporte plus de confusion que les effets fixes ou aléatoires !
Cela dit, je pense que vous avez déjà répondu à votre propre question.
"Dans le livre Optimal design de Goos et Jones, il est recommandé d'extraire la variation aléatoire générée par les blocs quotidiens en les attribuant comme effets aléatoires et en utilisant REML, ce que j'ai fait." Mark et moi sommes tous deux d’accord sur le fait que c’est l’analyse appropriée pour cela. Mais vous ne semblez pas aimer la réponse qui vous est donnée.
Nous sommes tous d’accord sur le fait que l’utilisation de pas à pas et de blocs comme effets fixes n’est pas appropriée dans ce cas : "en utilisant étape par étape, je dois analyser tous les facteurs fixés - ce qui est faux car le blocage est un effet aléatoire".Mais vous préférez la réponse qu'il vous donne.
"Quel modèle est désormais le meilleur à deviner ? Comment vérifier?"Vous pouvez décider quel modèle est le « meilleur ». Cela dépend de ce que « le meilleur » signifie pour vous.
Re : Analyse d'une conception personnalisée avec des blocsDésolé mais je suis confus par les commentaires ci-dessus. Je ne comprends pas et je n'ai toujours pas de réponse à ma question.
J'ai créé un joli DOE bloqué de 36 exécutions avec 9 blocs aléatoires de 4 exécutions. Lorsque je regarde la carte des couleurs avec les principales, les interactions et les puissances, tout est presque bleu, ce qui indique aucune ou seulement peu de corrélation entre les effets quadratiques et d'interaction. Les calculs de puissance sont également bons, donc cela me semble être un bon DOE ? La seule question est comment analyser ? Dans le livre Optimal design de Goos et Jones, il est recommandé d'extraire la variation aléatoire générée par les blocs quotidiens en les attribuant comme effets aléatoires et en utilisant REML, ce que j'ai fait. Cependant, par les moindres carrés standards et en arrière, j'obtiens un modèle complètement différent (17 effets !) par rapport au pas à pas (voir ci-dessus) Mais ! en utilisant étape par étape, je dois analyser tous les facteurs fixes - ce qui est faux car le bloc est un effet aléatoire - puis créer un modèle attribuant le bloc comme aléatoire ; J'obtiens un joli modèle à effet inférieur différent du premier avec R² = 0,9 mais cette façon d'analyser le DOE est-elle OK, c'est-à-dire premier bloc = fixe puis aléatoire ?? Quel modèle est désormais la meilleure estimation ? Comment vérifier?
Re : Analyse d'une conception personnalisée avec des blocsJe dois préciser que la suppression de l'effet de bloc est quelque chose que vous pouvez essayer dans le cadre de l'exploration de différents modèles possibles. Personnellement, je me sentirais plus à l'aise avec l'effet de blocage dans le modèle final, même s'il n'est pas jugé significatif.
Re : Analyse d'une conception personnalisée avec des blocsJe ne suis pas d'accord avec les conseils de Phil concernant le choix de traiter l'effet de blocage comme fixe ou aléatoire. Ça dépend. Il existe de nombreux cas dans lesquels une interprétation à effet fixe est significative et justifiable. Dans votre cas, je suis d'accord avec vous et Phil pour dire que l'effet Day est mieux interprété comme un effet aléatoire.
Vous ajoutez un facteur de blocage si vous souhaitez traiter l'effet de blocage comme fixe. Vous n'ajoutez pas de facteur de blocage si vous souhaitez traiter l'effet de blocage comme aléatoire. Vous sélectionnez l'option « Le groupe s'exécute dans des blocs aléatoires de taille 4 » dans la section Génération de conception de Conception personnalisée au lieu d'ajouter un facteur de blocage.
Re : Analyse d'une conception personnalisée avec des blocsMerci, Franck.
Donc, le modèle spécifié dans Custom Design n'avait que les principaux effets et quadratiques ? Les interactions à 2 facteurs n'étaient pas dans le modèle ? Dans ce cas, 36 exécutions semblent plus judicieuses.
Vous avez raison, les effets aléatoires ne sont pas pris en charge par étapes ou dans la plateforme Gen Reg (vous souhaiterez peut-être l'ajouter dans le Liste de souhaits ). La meilleure méthode consiste probablement à adapter le modèle REML à l'effet aléatoire de bloc et à tous les autres effets et à effectuer une régression pas à pas "manuelle" vers l'arrière à partir du résumé des effets. Il semble que vous l'ayez déjà fait.
Une chose à considérer est l'ampleur de l'effet de bloc par rapport à l'erreur résiduelle - regardez dans les estimations des composants de variance REML dans le rapport du modèle d'ajustement. Si les limites inférieure et supérieure de l'estimation de la variance à 95 % incluent 0, vous souhaiterez peut-être supprimer complètement l'effet de bloc. Ensuite, vous pouvez utiliser par étapes comme d'habitude.
Il semble que vous essayiez également d'adapter un mode avec des interactions significatives, même si vous ne les avez pas spécifiées dans le modèle dans la conception personnalisée. Cela dépendra donc de la qualité de l’expérience pour estimer ces effets.
Phil
Re : Analyse d'une conception personnalisée avec des blocsSalut Phil, il était assez facile de créer un DOE personnalisé de 9 blocs et 7 facteurs avec 36 exécutions ; les termes du modèle sont les principales et les puissances, les termes d'alias sont les 2èmes interactions.
Lorsque j'essaie d'ajuster une surface de réponse en sélectionnant par étapes, je reçois une alerte JMP indiquant que "les effets aléatoires ne sont pas pris en charge par étapes" ?? Je dois donc d'abord faire une analyse de blocs fixes par étapes, puis créer un modèle avec des blocs aléatoires. Est-ce une manière justifiée ?
Re : Analyse d'une conception personnalisée avec des blocsSalut Franck,
Vous trouverez une discussion sur les effets aléatoires et fixes pour les expériences bloquées dans Goos & Jones, Optimal Design of Experiments. Il y a un téléchargement de chapitre gratuit disponible qui fait l'objet d'un RSM bloqué. Il y a un autre chapitre dans le livre sur une conception de dépistage bloqué qui est également pertinent.
Je ne pense pas qu'il y ait de réponse simple à votre question. Cependant, je dirais qu'il est convenu que l'estimation des blocs en tant qu'effets aléatoires est plus "statistiquement correcte". Lorsque vous créez une conception bloquée avec la conception personnalisée, une boîte de dialogue Ajuster le modèle devrait s'afficher avec l'effet de bloc comme effet aléatoire et ajustement REML.
Dans votre approche n°2, cela n'a pas de sens pour moi de prendre les 3 effets de bloc fixes que vous avez déterminés comme étant significatifs et de les modifier ensuite en effets aléatoires. Vous devriez, comme vous le dites, considérer le bloc à 9 niveaux comme un seul effet aléatoire.
36 runs pour un RSM bloqué avec 7 facteurs semblent un assez petit nombre de runs. Je ne sais pas comment vous avez conçu cela dans Custom Design. Je pense que cela suggérerait plus de rusn que cela.
Salutations,
Phil