Dois-je envisager l'analyse de puissance dans le DOE ?Quelqu'un m'a dit que nous devions maintenir la puissance >= 80 % lors de l'évaluation d'un DOE, mais pourquoi la puissance est-elle si faible lors de l'utilisation de la conception PB ? Par exemple, la puissance est d'environ 0,27 si je lance 12 expériences avec 11 facteurs. Puis-je faire confiance à cette conception avec une puissance aussi faible ? Merci.
Conception d'expériencesRe : Dois-je envisager l'analyse de puissance dans le DOE ?@Victor_G Les réponses de sont vraiment bonnes.
À la question 2, j'ajouterais que vous ne pouvez pas calculer la puissance en vous basant uniquement sur alpha = 0,5 et RMSE = 1. Comme je l'ai dit dans une réponse précédente, vous avez également besoin d'une estimation de la taille du signal que vous devez détecter.
J'ajouterais également que calculer la puissance dans Excel ne va pas être facile. Je ne recommanderais pas d'essayer cela.
Si vous voulez vraiment comprendre la puissance, je vous recommande plutôt d'exécuter des simulations.
1. Créez votre plan expérimental
2. Déterminez un modèle pour calculer votre réponse pour chaque exécution avec des paramètres pour chaque effet de facteur "actif" (dans JMP, ce sont les "coefficients anticipés")
3. Ajoutez du bruit aléatoire à chaque valeur de réponse (par exemple, avec un écart type de 1, une moyenne de 0)
4. Analysez les données simulées pour déterminer si les effets actifs sont significatifs à votre niveau d'alpha déterminé (0,05 est le plus souvent utilisé, 0,5 serait un choix étrange !)
5. Répétez les étapes 3 et 4 plusieurs fois avec un nouveau bruit aléatoire.
6. Comptez le nombre de fois que chaque effet actif est déclaré significatif
Vous devriez constater que la proportion de fois où les effets actifs sont déclarés significatifs correspond à la puissance calculée par JMP.
Ce type de simulation est très facile à faire dans JMP Pro. En fait, il est utilisé dans des situations où a priori l'estimation de la puissance n'est pas possible. Par exemple, où la réponse est binaire. J'ai utilisé cela une fois pour aider une entreprise de marketing à déterminer la puissance d'une expérience pour comprendre les facteurs affectant la réponse (répondre / ne pas répondre) à leurs promotions !
Ce type de simulation dans JMP demanderait plus d'efforts et nécessiterait des scripts. Mais je pense toujours que ce serait une meilleure utilisation du temps que d'essayer de calculer la puissance dans Excel.
Re : Dois-je envisager l'analyse de puissance dans le DOE ?Ajouter à @Victor_G Pour l'explication de , la vue « macro » est spécifiquement répondue avec le rapport F dans le tableau d'analyse de la variance. L'hypothèse nulle est que seul le paramètre d'interception n'est pas nul. L'hypothèse alternative est que non seulement l'ordonnée à l'origine n'est pas nulle. La vue « micro » est soit le test de niveau de terme fourni par les tests d'effet, soit le niveau de paramètre fourni par les estimations de paramètres. Les tests d'effet portent sur l'ensemble du terme tandis que les tests d'estimation des paramètres portent sur les paramètres individuels. Ils sont les mêmes sauf si vous avez un facteur catégoriel avec plus de deux niveaux. Les tests d'effet sont peut-être plus utiles dans la sélection de modèles car généralement vous supprimez un terme, pas un paramètre. Le test d'effet est basé sur le rapport F et l'estimation des paramètres est basée sur le rapport t. Le ratio t est (estimation - estimation hypothétique) / erreur standard de l'estimation. Ils ont émis l'hypothèse que la valeur est de zéro (aucun effet) pour ces tests.
Re : Dois-je envisager l'analyse de puissance dans le DOE ?Salut @lazzybug ,
Je répondrai du mieux que je peux à vos questions :
1. Dans DoE, vous réalisez des tests d'hypothèses dans une vue "macro" (le modèle lui-même) et dans une vue "détaillée" (signification de chaque paramètre). Cela peut être vu dans le rapport "Fit Least Squares" de la modélisation des réponses dans DoE, où une valeur p est donnée pour le modèle général (sous la visualisation "Actual vs. Predicted"), vous donnant une idée de l'importance de votre modèle. par rapport à la moyenne des valeurs, et les valeurs p calculées pour chaque facteur dans le "tableau récapitulatif des effets".
- Sous la vue "macro" (modèle entier), l'hypothèse nulle serait : les changements de réponse ne sont pas corrélés aux changements de facteurs (ou les facteurs ont des estimations proches de 0). L'hypothèse alternative serait que les changements de réponse sont corrélés à au moins un facteur (ou au moins un facteur a une estimation significativement différente de 0).
- Sous la "vue détaillée" (pour chaque facteur), l'hypothèse nulle serait : ce facteur n'a pas d'impact sur le résultat final (Niveau (-1) = Niveau (+1)). Hypothèse alternative : ce facteur a un impact sur le résultat final (Niveau (-1) != Niveau (+1)).
Ressource intéressante pour ce sujet : Principes de base de la conception expérimentale pour l'analyse multivariée - Communauté d'utilisateurs JMP
2. Vous ne savez pas où et/ou comment le trouver, mais vous trouverez peut-être des réponses ici :
Calculs de puissance (jmp.com)
Taille et puissance de l'échantillon prospectif (jmp.com)
Vous pouvez également consulter les différentes calculatrices et simulations dans l'Index des données d'exemple : Aide -> Données d'exemple -> Ressources pédagogiques, ou dans l'Index des statistiques puis rechercher "puissance".
@Phil_Kay et d'autres experts techniques JMP pourront compléter ou corriger mes réponses 
J'espère que cela t'aidera,
Re : Dois-je envisager l'analyse de puissance dans le DOE ?Bonjour Victor, merci beaucoup pour votre matériel. J'introduirai DSD dans notre groupe pour des travaux d'optimisation à l'avenir.
Pourriez-vous s'il vous plaît expliquer mes questions sur DoE?
1. Je connaissais les erreurs de type I et de type II dans les statistiques, comment nous les appliquons au DoE. Par exemple, erreur de type I (alpha) : H0 est vrai, au risque de le rejeter. erreur de type II (bêta) : Ha est vrai, la chance que nous acceptons H0. Pour un DoE particulier, quels sont les H0 et Ha ?Disons que nous avons 6 facteurs, devrions-nous avoir 6 hypothèses nulles, et chacune sera comme H0 : Niveau (-1) = Niveau (+1), Ha : Niveau (-1) ! = Niveau (+1) ?
2. Avez-vous un exemple pour expliquer comment je peux calculer manuellement la puissance pour l'effet principal, l'interaction et le quadratique en fonction de alpha = 0,5, RMSE = 1, comme indiqué dans JMP DoE ? Je veux calculer la puissance manuellement avec Excel.
Merci encore pour votre aide.
Re : Dois-je envisager l'analyse de puissance dans le DOE ?Salut @lazzybug ,
Étant donné que votre objectif sera de détecter quels facteurs sont significatifs à partir d'une longue liste de facteurs, vous utiliserez certainement une conception de dépistage.
D'après ce que j'ai lu, il existe deux conceptions principales qui peuvent très bien fonctionner dans votre cas, selon le type et le nombre de facteurs :
- Conception personnalisée D-optimale (via la plate-forme "Custom Design", spécifiez vos facteurs et votre gamme, et JMP trouvera la conception optimale pour votre espace expérimental). Une plate-forme de conception très pratique, permettant une grande flexibilité pour le type de facteurs, avec la possibilité de restreindre la randomisation (lorsque vous avez des facteurs difficiles à modifier), et la possibilité d'ajouter des covariables, des facteurs de blocage ...
- Conception de filtrage définitif lorsque vous souhaitez filtrer un grand nombre de facteurs (utile pour plus de 5 facteurs) de manière très efficace, mais que vous avez des restrictions avec ce type de conception : uniquement des facteurs catégoriels continus ou à 2 niveaux, et aucune possibilité d'en ajouter un facteur de blocage (par exemple, si vous ne pouvez mesurer que 10 expériences par cycle d'équipement, vous pouvez ajouter un facteur de blocage de 10 mesures par cycle pour tenir compte de la variabilité entre les différents cycles d'équipement). Mais si vous avez un faible nombre de facteurs significatifs, vous pourrez peut-être filtrer les interactions et les effets quadratiques avec cette conception, ce qui la rend très efficace. Il est important de noter que les principaux effets ne sont pas corrélés (orthogonaux) les uns aux autres, ainsi qu'aux interactions à 2 facteurs et aux effets quadratiques.
Vous pouvez également essayer une approche plus classique (comme les conceptions de dépistage Plackett-Burmann), mais ces conceptions classiques peuvent parfois être difficiles à adapter à un problème spécifique.
Au final, le choix du design sera le meilleur compromis que vous puissiez trouver entre votre montage expérimental (nombre et type de facteurs, contraintes, nombre maximal d'expériences, ...) et les spécifications/caractéristiques du design. Je recommanderais fortement d'essayer différentes conceptions et nombres d'exécutions, et d'utiliser la plate-forme "Comparer les conceptions" (DoE -> Diagnostics de conception -> Comparer les conceptions) pour avoir un bon aperçu des forces et des faiblesses de chaque conception, pour décider quelle conception et quels paramètres faire le meilleur compromis pour votre sujet spécifique.
Peu importe le design que vous choisissez, une fois votre dépistage effectué et les facteurs significatifs/effets principaux identifiés, vous pouvez ensuite augmenter votre design afin de créer une surface de réponse entièrement personnalisée pour l'optimisation de ces facteurs.
Quelques ressources sur les conceptions de criblage définitif :
Conception de criblage définitif : définition simple, quand l'utiliser - Statistiques comment
Conception de dépistage définitif - Communauté d'utilisateurs JMP
Analyse puissante des conceptions de criblage définitif : tirer parti de leur ... - Communauté d'utilisateurs JMP
J'espère que ceci vous aidera,
Re : Dois-je envisager l'analyse de puissance dans le DOE ?@Victor_G et @Phil_Kay , merci beaucoup pour votre explication. C'est très utile pour moi de comprendre la puissance et la RMSE. J'ai une autre question. Pour mon expérience, je veux juste détecter quels facteurs dans de nombreux facteurs sont significatifs pour ma réponse par la conception de dépistage, après cela, j'utiliserai la surface de réponse pour optimiser ces facteurs sélectionnés. Avant l'expérience, je ne sais pas quel est le RMSE et quel coefficient configurer dans l'analyse de puissance. Pouvez-vous expliquer plus en détail comment je devrais concevoir mon expérience ? Merci beaucoup encore une fois.
Je viens de remarquer que c'est un endroit idéal pour poser des questions. J'espère que j'ai connu cette communauté plus tôt.
Re : Dois-je envisager l'analyse de puissance dans le DOE ?je suis d'accord avec tout ce qui @Victor_G a dit. Je veux juste répéter que le pouvoir n'a de sens que lorsque :
- Vous connaissez la taille du signal que vous devez détecter ET...
- Vous avez de bonnes estimations du bruit de mesure expérimental et de réponse (RMSE)
(Vous devez également décider d'un niveau de signification)
Il est très courant de manquer l'une ou l'autre de ces choses. Dans ces cas, la puissance peut toujours être utile, mais uniquement comme moyen de comparer des conceptions alternatives.
Il ne sert à rien de se demander si la puissance est inférieure à 80 % si vous utilisez uniquement les estimations de signal et de bruit par défaut dans JMP.
J'ai joint quelques diapositives que j'ai créées pour expliquer le fonctionnement de l'alimentation dans JMP DOE.
J'espère que ça aide,
Phil
Re : Dois-je envisager l'analyse de puissance dans le DOE ?Salut @lazzybug ,
La puissance est la capacité de détecter des effets significatifs s'ils sont effectivement présents.
Ce 80 % est une règle empirique pratique pour évaluer si votre conception de dépistage peut être en mesure de détecter efficacement les effets principaux, mais gardons à l'esprit que le calcul de la puissance dépend non seulement de la conception (et de sa taille d'échantillon), mais aussi de la signification. niveau (souvent 0,05), taille de la différence à détecter et rapport signal sur bruit attendu (ou RMSE) de la ou des réponses.
Donc, si votre RMSE anticipé est plus faible (la ou les réponses sont mesurées plus précisément et avec une variance plus faible) et/ou la taille de la différence que vous souhaitez détecter est plus élevée, vous pouvez vous attendre à une puissance plus élevée pour vos effets.
La puissance peut ne pas être très intéressante à prendre en compte dans le cas d'une conception d'optimisation (conceptions de mélange, conceptions de remplissage d'espace...), car leur objectif principal sera la précision de la prédiction de la ou des réponses, et non la précision du calcul des estimations. Mais la puissance est d'un intérêt primordial en cas de conception de criblage, comme dans votre cas.
Difficile de dire si on pourrait faire confiance à votre design avec ces infos, puisque cela dépend non seulement du design lui-même et de ses attentes (RMSE, niveau de signification, taille de différence à détecter, ...), mais aussi des facteurs que vous souhaitez filtrer , lesquels vous attendez-vous à voir significatifs, différence attendue à détecter... = expertise du domaine.
Peut-être qu'une solution pour vous serait d'essayer de calculer différentes conceptions, afin de comparer les forces et les faiblesses des différentes conceptions de criblage.
En regardant le Custom Design, si je fixe 12 expériences pour 11 facteurs continus (nombre minimum d'exécutions requises), je trouve également une puissance pour les effets principaux proche de 0,21 (donc 21% de chances de voir un effet significatif s'il est présent). Mais si l'on augmente le nombre d'exécutions à 16 (recommandé par JMP, paramètre "Par défaut"), la puissance des effets principaux monte à 0,84. Si le coût expérimental n'est pas trop élevé, l'augmentation de la taille de l'échantillon peut vous aider beaucoup à gagner plus de confiance dans votre capacité de dépistage.
J'espère que ceci vous aidera,
