Pourquoi la puissance de ma conception de mélange est-elle si faible, même avec une taille d'effet de 20 écarts-types ?Salut tout le monde,
J'apprécierais tout conseil.J'aide un scientifique de mon entreprise à concevoir une expérience de mélange avec 5 ingrédients.Nous souhaitons mesurer les effets principaux et les interactions de 1er ordre.
J'ai demandé au scientifique de fournir des valeurs minimales et maximales pour les concentrations d'ingrédients, l'écart-type de précision du test et d'estimer l'ampleur de l'effet de l'ingrédient dominant.Je compte sur Power pour décider du nombre d'exécutions nécessaires.La taille d'effet de l'ingrédient dominant est d'environ 20 écarts-types.Je trouve que pour 30 exécutions, la puissance de cet ingrédient n'est que de 0,168.Pour 60 exécutions, c'est 0,33.
Une taille d'effet de 20 écarts-types est évidemment très grande, donc je ne comprends pas pourquoi la puissance est si faible dans ce cas.
J'ai approfondi mes recherches en simulant les résultats pour 5 instances de la variable de réponse avec le coefficient et l'écart type appropriés, et l'ingrédient avec la grande taille d'effet est statistiquement significatif (p <0,001) dans les 5 cas.
Que puis-je faire?Je ne suis pas sûr de faire confiance au calcul de puissance pour ce cas.Est-ce que je me heurte à une limitation du calcul de puissance ?Comment puis-je fournir des indications sur le nombre d'exécutions nécessaires ?
Les objectifs du scientifique pour la conception sont parfaitement raisonnables, et je me sens frustré de ne pas pouvoir lui donner les conseils dont il a besoin.
Merci beaucoup!J'ai joint une capture d'écran de la puissance, de la conception .jmp et de la sortie texte des modèles avec les réponses simulées, si vous êtes enclin à jeter un coup d'œil.
BICHERe : Pourquoi la puissance de ma conception de mélange est-elle si faible, même avec une taille d'effet de 20 écarts-types ?Lors du dimensionnement des conceptions de mélange, vous voudrez peut-être suivre les recommandations de Brad et les considérer de la même manière que vous le feriez avec une conception de surface de réponse pour optimiser vos réponses. Dans ce cas, pensez à utiliser le fraction de l'espace de conception (FDS) pour vérifier que votre expérience a été suffisamment dimensionnée pour vous permettre de prédire avec précision votre ou vos réponses moyennes, comme vous le feriez pour une conception RSM.
Les interactions entre les composants des formulations ou les ingrédients dans vos modèles de mélange sont en fait des mélanges : deux composants, un mélange en deux parties des ingrédients, trois composants, un mélange en trois parties, etc. Ces interactions ou mélanges entre vos composants provoquent une courbure dans la réponse, c'est pourquoi vous ne voyez pas de termes quadratiques purs dans un Scheffé maquette. Lorsque vous incluez le mélange, vous essayez souvent de construire un modèle pour rechercher la formulation optimale de la même manière que vous pourriez rechercher un optimum résultant d'une expérience de surface de réponse impliquant des facteurs de processus. Par conséquent, utilisez le tracé FDS pour évaluer la capacité de votre conception de mélange comme vous le feriez si vous configuriez une surface de réponse. Pour toutes les bonnes raisons que toutes les bonnes personnes ont mentionnées sur ce fil (par exemple, la multicolinéarité et la montée en flèche des VIF), le calcul de puissance n'est pas seulement inapproprié pour les objectifs de surface de réponse, mais également pour les conceptions de mélange.
Re : Pourquoi la puissance de ma conception de mélange est-elle si faible, même avec une taille d'effet de 20 écarts-types ?Vous devriez considérer une expérience de mélange comme une expérience de surface de réponse plutôt qu'une expérience de dépistage. En raison des corrélations intégrées entre les effets principaux et les effets principaux avec les interactions à deux facteurs en raison de la contrainte de mélange, les estimations des coefficients sont pratiquement dénuées de sens. Par conséquent, il est très difficile de faire une sélection de modèles avec des expériences de mélange. Une possibilité consiste à envisager de supprimer toutes les interactions à deux facteurs en tant que groupe. Si la somme des carrés de régression ne diminue pas de manière significative, vous pouvez supprimer tous ces effets. En règle générale, la suppression des effets individuels est d'une utilité discutable.
Cependant, les variances de prédiction pour les nouvelles réponses à l'intérieur de la région d'expérimentation sont généralement assez faibles, surtout lorsque la variance d'erreur n'est pas grande. Ainsi, vous pouvez vous fier aux prédictions et choisir un nouveau paramètre de fonctionnement en fonction de la réponse souhaitée.
Re : Pourquoi la puissance de ma conception de mélange est-elle si faible, même avec une taille d'effet de 20 écarts-types ?Vraiment d'excellents conseils de Mark et Dan! Le point clé des conceptions de mélange (ou de toute stratégie de conception d'optimisation) est, en théorie, que vous avez déjà filtré des variables sans importance (peut-être à travers plusieurs itérations, en commençant par des paramètres de niveau en gras) et que vous essayez maintenant d'optimiser une (ou probablement plusieurs) réponse variables. La signification statistique (et les statistiques connexes) ne sont plus aussi importantes. En règle générale, les coefficients sont comparés les uns aux autres pour déterminer l'importance relative, mais dans les expériences de mélange, l'ordre du terme a un impact sur l'importance relative.Aussi X 1 X 2 n'est pas interprété comme une interaction, mais comme une relation de mélange non linéaire (je pense que c'est un écart par rapport au linéaire).
Re : Pourquoi la puissance de ma conception de mélange est-elle si faible, même avec une taille d'effet de 20 écarts-types ?Le codage des pseudo-composants rendra les plages aussi grandes que possible, mais elles ne seront peut-être pas très grandes. Vous ne pouvez pas faire grand-chose pour des plages étroites. Il est fort possible que la modélisation ne puisse pas faire la distinction entre un modèle linéaire pur (pour deux composantes : Y=B1*X1 + B2*X2) et un modèle quadratique pur (Y=B11*X1*X2). Vous ne pouvez pas déterminer quels effets dans le modèle sont réels car ils sont interdépendants et semblent extrêmement similaires, en particulier sur la plage choisie. Donc faible puissance.
Re : Pourquoi la puissance de ma conception de mélange est-elle si faible, même avec une taille d'effet de 20 écarts-types ?Merci pour toute l'attention portée à ma question !
JMP code les variables comme des pseudo-composants en soustrayant le minimum. Je pensais que cela résoudrait les problèmes liés à la plage restreinte.Re : Pourquoi la puissance de ma conception de mélange est-elle si faible, même avec une taille d'effet de 20 écarts-types ?Quelques points supplémentaires à ajouter à tous les excellents conseils de Mark. Une faible puissance dans une formulation est généralement causée par une plage de facteurs étroite, ce qui est vrai dans ce cas. De plus, le concept de puissance dans une expérience de mélange est difficile à réfléchir. La puissance est la probabilité de détecter un effet réel. Si X3 a un effet, n'est-il pas logique que les autres facteurs (au moins en combinaison) aient un effet puisqu'ils doivent changer par rapport à X3 ? Les gens pensent souvent au pouvoir comme si les facteurs étaient indépendants alors qu'ils ne le sont pas.
Enfin, rappelez-vous que les termes à double sens sont des termes quadratiques dans le modèle de mélange de Scheffe et décrivez la courbure le long du bord de votre fenêtre d'expérimentation. Le long de ce bord, dans un cas sans contrainte, vous pouvez avoir une forme qui ressemble à ceci :
C'est en effet un grand effet. Cependant, parce que vous limitez la plage à (environ) 0 à 0,1, vous estimez vraiment cette forme :
qui n'a pas l'air beaucoup mieux, même en zoomant :
Ce qui ressemble à un effet important peut ne pas être aussi important que vous le pensez en raison de l'interaction avec d'autres facteurs et de la plage restreinte. En d'autres termes, le modèle aurait du mal à faire la distinction entre un modèle linéaire pur ou un modèle quadratique pur - ils sont indiscernables sur cette plage étroite. La réplication seule ne résoudra pas adéquatement ce genre de problème.
Ainsi, la puissance est une bonne chose, mais dans de nombreuses expériences de mélange, l'accent est davantage mis sur la prédiction de la réponse. Comme Mark l'a dit, vous pouvez obtenir de très bons modèles prédictifs même avec une faible puissance.
Re : Pourquoi la puissance de ma conception de mélange est-elle si faible, même avec une taille d'effet de 20 écarts-types ?Généralement, mais pas toujours, nous effectuons des expériences de mélange pour optimiser une formulation quelconque par opposition aux composants de l'écran. Nous ne sommes pas tellement intéressés par le pouvoir. Au lieu de cela, nous nous intéressons aux performances de prédiction du modèle qui sont possibles avec une conception candidate. Même ainsi, cette performance ne sera pas aussi bonne que celle à laquelle nous sommes habitués avec des facteurs non contraints ou indépendants.
Il n'y a rien de nouveau dans votre cas. Vous n'étiez tout simplement pas au courant du problème ou de son origine auparavant. Nous avons utilisé avec succès de telles conceptions pendant des décennies malgré la corrélation pour trouver les meilleurs mélanges.
Je recommande " Stratégies de développement de formulations : un guide étape par étape utilisant JMP " de Ronald Snee et Roger Hoerl comme référence, au cas où vous en auriez besoin. Cette recommandation n'est pas une approbation car il existe d'autres excellents manuels sur les expériences de mélange, mais celui-ci est rigoureux et pratique.
Re : Pourquoi la puissance de ma conception de mélange est-elle si faible, même avec une taille d'effet de 20 écarts-types ?Merci beaucoup Mark pour la réponse détaillée. C'est un soulagement d'avoir des conseils.
J'ai utilisé un coefficient de "200" pour Ingrédient3 à la fois pour le calcul de puissance et les simulations (et un RMSE de 1). Étant donné que Ingredient3 varie d'environ 0 à environ 0,1 dans la conception, j'ai jugé que cela produisait une taille d'effet d'environ 20 écarts-types (200 * 0,1).
De mon point de vue naïf, j'ai mis en place le calcul de puissance et les simulations de manière cohérente. Lorsque j'ajuste les données simulées, le RMSE des modèles est d'environ 1 et la plage de réponse est d'environ 0 à 20, donc il semble toujours bouger. Y a-t-il une erreur dans cette réflexion ?
Pour en revenir à la racine du problème... On vous montre qu'il y a beaucoup de corrélation entre les variables et cela gonfle la variance dans les estimations. Cela signifie-t-il que ce plan de mélange avec 5 ingrédients, effets principaux et interactions de premier ordre est impossible à estimer même avec 60 essais ?
J'ai un plan de secours pour utiliser uniquement un modèle avec des effets principaux pour estimer la puissance, et une fois les données collectées, pour considérer toute estimation des interactions comme un "bonus". Que penses-tu de cela? Est-ce trop défaitiste ?
Merci beaucoup. J'apprécie grandement la perspicacité.Re : Pourquoi la puissance de ma conception de mélange est-elle si faible, même avec une taille d'effet de 20 écarts-types ?Voici la carte des couleurs sur les corrélations qui résultent de l'utilisation du plan avec 30 passages.
Cette corrélation gonfle la variance des estimations, comme indiqué dans le schéma Efficacité de l'estimation :
Vos simulations utilisent un effet relatif de 400 écarts-types, et non de 20. J'ai utilisé un coefficient de 10 pour correspondre à un effet de taille 20. JMP Pro fournit une fonctionnalité intégrée pour simuler des données très facilement et produire rapidement des résultats pour chaque rééchantillonnage, comme la colonne Estimations du plan Estimations des paramètres dans Ajuster les moindres carrés. Voici le résultat pour l'estimation de l'Ingrédient 5 à partir de 2500 simulations.
J'ai joint le tableau de la simulation afin que vous puissiez l'explorer par vous-même.
Un autre aspect des conceptions de mélange et de la modélisation à garder à l'esprit est que JMP teste par rapport à l'hypothèse nulle selon laquelle le paramètre est égal à 0. Ce test a du sens dans le contexte habituel du modèle linéaire sans contraintes parmi les prédicteurs. Ce n'est pas simplement un modèle sans terme d'interception. L'ordonnée à l'origine fait partie des estimations des effets linéaires. Ainsi, le test des paramètres linéaires doit être contre l'hypothèse nulle selon laquelle le paramètre est la réponse moyenne.
Re : Pourquoi la puissance de ma conception de mélange est-elle si faible, même avec une taille d'effet de 20 écarts-types ?Merci pour la réponse! Je comprends comment la multicolinéarité peut réduire la puissance de conception, mais cela ne devrait-il pas également affecter le coefficient de régression dans les modèles de mes données simulées ? Pourquoi la multicolinéarité était-elle si préjudiciable à la puissance, mais pas aux coefficients de régression ?
Re : Pourquoi la puissance de ma conception de mélange est-elle si faible, même avec une taille d'effet de 20 écarts-types ?La contrainte imposée aux composantes du mélange de s'additionner à 1 introduit des corrélations entre les estimations des paramètres. Cette corrélation gonfle les erreurs types des estimations des paramètres, ce qui réduit à son tour la puissance. Si vous...
- utiliser une somme < 1,
- restreindre la plage des composants avec une borne inférieure > 0 ou une borne supérieure < 1,
- inclure des contraintes linéaires aux composants,
- inclure des termes d'ordre supérieur dans le modèle,
la corrélation est plus élevée et les effets sont plus prononcés.
Examinez la carte des couleurs sur les corrélations dans le plan d'évaluation de la conception.
