Pourquoi la puissance de ma conception de mélange est-elle si faible, même avec une taille d'effet de 20 écarts types ?Salut tout le monde,
J'apprécierais tout conseil.J'aide un scientifique de mon entreprise à concevoir une expérience de mélange avec 5 ingrédients.Nous souhaitons mesurer les effets principaux et les interactions de 1er ordre.
J'ai demandé au scientifique de fournir les valeurs minimales et maximales des concentrations d'ingrédients, l'écart type de précision du test et d'estimer l'ampleur de l'effet de l'ingrédient dominant.Je compte sur Power pour décider du nombre d'exécutions nécessaires.L’ampleur de l’effet de l’ingrédient dominant est d’environ 20 écarts-types.Je trouve que pour 30 courses, la puissance de cet ingrédient n'est que de 0,168.Pour 60 courses, c'est 0,33.
Une taille d'effet de 20 écarts types est évidemment très grande, donc je ne comprends pas pourquoi la puissance est si faible dans ce cas.
J'ai approfondi mes recherches en simulant les résultats pour 5 instances de la variable de réponse avec le coefficient et l'écart type appropriés, et l'ingrédient avec la grande taille d'effet est statistiquement significatif (p < 0,001) dans les 5 cas.
Que puis-je faire?Je ne suis pas sûr de faire confiance au calcul de puissance pour ce cas.Est-ce que je me heurte à une limitation du calcul de puissance ?Comment puis-je fournir des conseils sur le nombre d’exécutions requis ?
Les objectifs du scientifique concernant la conception sont parfaitement raisonnables et je me sens frustré de ne pas pouvoir lui donner les conseils dont il a besoin.
Merci beaucoup!J'ai joint une capture d'écran de la puissance, de la conception .jmp et de la sortie texte des modèles avec les réponses simulées, si vous êtes enclin à y jeter un œil.
Ingénierie Qualité et ProcédésRe : Pourquoi la puissance de ma conception de mélange est-elle si faible, même avec une taille d'effet de 20 écarts types ?Lorsque vous dimensionnez des plans de mélange, vous souhaiterez peut-être faire ce que Brad recommande et les considérer de la même manière que vous le feriez pour un plan de surface de réponse pour optimiser vos réponses. Dans ce cas, pensez à utiliser le fraction de l'espace de conception (FDS) pour vérifier que votre expérience a été suffisamment dimensionnée pour vous permettre de prédire avec précision votre ou vos réponses moyennes, comme vous le feriez pour un plan RSM.
Les interactions entre les composants de formulations ou les ingrédients de vos modèles de mélange sont en fait des mélanges : deux composants, un mélange en deux parties des ingrédients, trois composants, un mélange en trois parties, etc. Ces interactions ou mélanges entre vos composants provoquent une courbure dans la réponse, c'est pourquoi vous ne voyez pas de termes quadratiques purs dans un Scheffé modèle. Lorsque vous incluez le mélange, vous essayez souvent de construire un modèle pour rechercher la formulation optimale de la même manière que vous pourriez rechercher un optimal résultant d'une expérience de surface de réponse impliquant des facteurs de processus. Utilisez donc le tracé FDS pour évaluer la capacité de votre conception de mélange, comme vous le feriez si vous configuriez une surface de réponse. Pour toutes les bonnes raisons mentionnées par toutes les bonnes personnes sur ce fil (par exemple, la multicolinéarité et la montée en flèche des VIF), le calcul de puissance n'est pas seulement inapproprié pour les objectifs de surface de réponse, mais également pour les conceptions de mélanges.
Re : Pourquoi la puissance de ma conception de mélange est-elle si faible, même avec une taille d'effet de 20 écarts types ?Vous devriez considérer une expérience de mélange comme une expérience de surface de réponse plutôt que comme une expérience de criblage. En raison des corrélations intégrées entre les effets principaux et les effets principaux avec les interactions à deux facteurs dues à la contrainte de mélange, les estimations des coefficients sont pratiquement dénuées de sens. Il est donc très difficile de sélectionner un modèle avec des expériences de mélange. Une possibilité consiste à envisager de supprimer toutes les interactions à deux facteurs en tant que groupe. Si la somme des carrés de régression ne diminue pas de manière significative, vous pouvez alors supprimer tous ces effets. En général, la suppression d’effets individuels est d’une utilité discutable.
Cependant, les variances de prédiction pour les nouvelles réponses à l’intérieur de la région d’expérimentation sont généralement assez faibles, surtout lorsque la variance d’erreur n’est pas grande. Ainsi, vous pouvez vous fier aux prédictions et choisir un nouveau paramètre de fonctionnement correspondant à la réponse souhaitée.
Re : Pourquoi la puissance de ma conception de mélange est-elle si faible, même avec une taille d'effet de 20 écarts types ?De très bons conseils de Mark et Dan ! Le point clé concernant les conceptions de mélanges (ou toute stratégie de conception d'optimisation) est, en théorie, que vous avez déjà éliminé les variables sans importance (peut-être à travers plusieurs itérations, en commençant par des paramètres de niveau en gras) et que vous essayez maintenant d'optimiser une (ou probablement plusieurs) réponse. variables. La signification statistique (et les statistiques associées) n’est plus aussi importante. Généralement, les coefficients sont comparés les uns aux autres pour déterminer l'importance relative. Cependant, dans les expériences de mélange, l'ordre du terme a un impact sur l'importance relative.Aussi X 1 X 2 n'est pas interprété comme une interaction, mais comme une relation de mélange non linéaire (je la considère comme un écart par rapport au linéaire).
Re : Pourquoi la puissance de ma conception de mélange est-elle si faible, même avec une taille d'effet de 20 écarts types ?Le codage des pseudo-composants rendra les plages aussi grandes que possible, mais elles ne seront peut-être toujours pas très grandes. Vous ne pouvez pas faire grand-chose pour des plages étroites. Il est très possible que la modélisation ne soit pas capable de faire la distinction entre un modèle linéaire pur (pour deux composantes : Y=B1*X1 + B2*X2) et un modèle quadratique pur (Y=B11*X1*X2). Vous ne pouvez pas déterminer quels effets dans le modèle sont réels car ils sont interdépendants et semblent extrêmement similaires, en particulier sur la plage choisie. D’où une faible puissance.
Re : Pourquoi la puissance de ma conception de mélange est-elle si faible, même avec une taille d'effet de 20 écarts types ?Merci pour toute l'attention portée à ma question!
JMP code les variables sous forme de pseudo-composants en soustrayant le minimum. Je pensais que cela résoudrait les problèmes liés à la portée restreinte.Re : Pourquoi la puissance de ma conception de mélange est-elle si faible, même avec une taille d'effet de 20 écarts types ?Quelques points supplémentaires à ajouter à tous les excellents conseils de Mark. La faible puissance dans une formulation est généralement due à une plage de facteurs étroite, ce qui est vrai dans ce cas. De plus, le concept de puissance dans une expérience de mélange est difficile à réfléchir. La puissance est la probabilité de détecter un effet réel. Si X3 a un effet, n'est-il pas logique que les autres facteurs (au moins en combinaison) aient un effet puisqu'ils doivent changer par rapport à X3 ? Les gens pensent souvent au pouvoir comme si les facteurs étaient indépendants alors qu’ils ne le sont pas.
Enfin, n'oubliez pas que les termes bidirectionnels sont des termes quadratiques dans le modèle de mélange de Scheffe et décrivent la courbure le long du bord de votre fenêtre d'expérimentation. Le long de ce bord, dans un cas sans contrainte, vous pouvez avoir une forme qui ressemble à ceci :
C'est en effet un effet important. Cependant, comme vous limitez la plage à (environ) 0 à 0,1, vous estimez en réalité cette forme :
ce qui n'a pas l'air beaucoup mieux, même en zoomant :
Ce qui semble être un effet important n’est peut-être pas aussi important que vous le pensez en raison de l’interaction avec d’autres facteurs et de la portée restreinte. En d’autres termes, le modèle aurait du mal à faire la distinction entre un modèle linéaire pur et un modèle quadratique pur – ils sont impossibles à distinguer sur cette plage étroite. La réplication seule ne résoudra pas correctement ce type de problème.
La puissance est donc une bonne chose, mais dans de nombreuses expériences de mélange, l’accent est davantage mis sur la prédiction de la réponse. Comme Mark l'a dit, vous pouvez obtenir de très bons modèles prédictifs même avec une faible puissance.
Re : Pourquoi la puissance de ma conception de mélange est-elle si faible, même avec une taille d'effet de 20 écarts types ?Généralement, mais pas toujours, nous effectuons des expériences de mélange pour optimiser une formulation quelconque par opposition aux composants de criblage. Le pouvoir ne nous intéresse pas tellement. Au lieu de cela, nous nous intéressons aux performances de prédiction du modèle qui sont possibles avec une conception candidate. Même ainsi, cette performance ne sera pas aussi bonne que celle à laquelle nous sommes habitués avec des facteurs non contraints ou indépendants.
Il n'y a rien de nouveau dans votre cas. Vous n’étiez tout simplement pas au courant du problème ni de son origine auparavant. Nous utilisons avec succès de telles conceptions depuis des décennies malgré la corrélation pour trouver les meilleurs mélanges.
Je recommande " Stratégies de développement de formulations : un guide étape par étape à l'aide de JMP " de Ronald Snee et Roger Hoerl comme référence, au cas où vous en auriez besoin. Cette recommandation ne constitue pas une approbation car il existe d’autres excellents manuels sur les expériences de mélanges, mais celui-ci est rigoureux et pratique.
Re : Pourquoi la puissance de ma conception de mélange est-elle si faible, même avec une taille d'effet de 20 écarts types ?Merci beaucoup Mark pour la réponse détaillée. C'est un soulagement d'avoir des conseils.
J'ai utilisé un coefficient de "200" pour Ingredient3 à la fois pour le calcul de puissance et les simulations (et un RMSE de 1). Étant donné que l'ingrédient 3 varie d'environ 0 à environ 0,1 dans la conception, j'ai jugé que cela produisait une taille d'effet d'environ 20 écarts types (200 * 0,1).
De mon point de vue naïf, j'ai mis en place le calcul de puissance et les simulations de manière cohérente. Lorsque j'ajuste les données simulées, le RMSE des modèles est d'environ 1 et la plage de réponse est d'environ 0 à 20, donc cela semble toujours fonctionner. Y a-t-il une erreur dans cette réflexion ?
Pour en revenir au problème fondamental... On vous montre qu'il existe une forte corrélation entre les variables, ce qui gonfle la variance des estimations. Cela signifie-t-il que ce modèle de mélange avec 5 ingrédients, effets principaux et interactions de premier ordre est impossible à estimer même avec 60 essais ?
J'ai un plan de repli pour utiliser uniquement un modèle avec des effets principaux pour estimer la puissance, et une fois les données collectées, pour considérer toute estimation des interactions comme un « bonus ». Que penses-tu de cela? Est-ce trop défaitiste ?
Merci beaucoup. J’apprécie grandement la perspicacité.Re : Pourquoi la puissance de ma conception de mélange est-elle si faible, même avec une taille d'effet de 20 écarts types ?Voici la carte des couleurs sur les corrélations résultant de l’utilisation du plan avec 30 exécutions.
Cette corrélation gonfle la variance des estimations, comme le montre le schéma de l'efficacité de l'estimation :
Vos simulations utilisent un effet relatif de 400 écarts types, et non de 20. J'ai utilisé un coefficient de 10 pour correspondre à un effet de taille 20. JMP Pro fournit une fonctionnalité intégrée permettant de simuler les données très facilement et de produire rapidement des résultats pour chaque ré-échantillon, comme la colonne Estimations du plan Estimations des paramètres dans Ajuster les moindres carrés. Voici le résultat pour l'estimation de l'Ingrédient 5 à partir de 2500 simulations.
J'ai joint le tableau de la simulation afin que vous puissiez l'explorer par vous-même.
Un autre aspect des conceptions et de la modélisation des mélanges à garder à l'esprit est que JMP teste l'hypothèse nulle selon laquelle le paramètre est égal à 0. Ce test a du sens dans le contexte habituel du modèle linéaire sans contraintes entre les prédicteurs. Il ne s’agit pas simplement d’un modèle sans terme d’origine. L'ordonnée à l'origine fait partie des estimations des effets linéaires. Ainsi, le test des paramètres linéaires doit être contre l’hypothèse nulle selon laquelle le paramètre est la réponse moyenne.
Re : Pourquoi la puissance de ma conception de mélange est-elle si faible, même avec une taille d'effet de 20 écarts types ?Merci pour la réponse! Je comprends comment la multicolinéarité peut réduire la puissance de conception, mais cela ne devrait-il pas également affecter le coefficient de régression dans les modèles de mes données simulées ? Pourquoi la multicolinéarité a-t-elle été si dommageable pour la puissance, mais pas pour les coefficients de régression ?
Re : Pourquoi la puissance de ma conception de mélange est-elle si faible, même avec une taille d'effet de 20 écarts types ?La contrainte imposée aux composants du mélange de totaliser 1 introduit des corrélations entre les estimations des paramètres. Cette corrélation gonfle les erreurs types des estimations des paramètres, ce qui réduit la puissance. Si tu...
- utiliser une somme < 1,
- restreindre la plage des composants avec une limite inférieure > 0 ou une limite supérieure < 1,
- inclure des contraintes linéaires sur les composants,
- inclure des termes d'ordre supérieur dans le modèle,
la corrélation est plus élevée et les effets sont plus prononcés.
Examinez la carte des couleurs sur les corrélations dans le plan d'évaluation de la conception.
