40496_fr-FR

liliconcom

Outil de simulation de puissance (détermination de la puissance d'un test avec les CV d'études de précision existants)

Salut tout le monde,

 

Notre pratique interne consistant à réaliser des études de précision sur un test produira plusieurs CV pour différentes composantes de variance (par exemple, au jour le jour, pesée après pesée, etc.). Pour cette raison, la question « pouvons-nous utiliser ces CV pour déterminer la puissance statistique dans les futurs plans expérimentaux ? » se pose souvent.

 

La réponse:

 

Cependant, ce n'est pas facile. Marianne (MTOF) a développé un flux de travail pour intégrer une conception expérimentale, intégrer la conception aux CV du test et simuler l'exécution de l'expérience 1 000 fois. À partir de là, nous déterminons combien de fois chaque effet fixe a été jugé statistiquement significatif afin de calculer la puissance de cet effet.

 

Malheureusement, effectuer ce processus manuellement prend beaucoup de temps (et il est très facile de commettre des erreurs). En tant que tel, j’ai travaillé sur son automatisation.

 

Le complément que j'ai joint est encore un prototype, mais MTOF et moi avons joué avec et pensons qu'il devrait être prêt à être testé.

 

Alors, comment ça marche?

 

Disons que je mène une étude de précision sur un nouveau test. Dans cet essai, nous déterminons qu'il existe un CV quotidien de 4 %, un CV d'échantillonnage à échantillonnage de 3 % et un CV de mesure à mesure de 2 %.

 

Au bout d'un moment, une deuxième machine est achetée. Nous souhaitons concevoir une petite étude rapide pour voir si la machine d’origine et la nouvelle machine produisent des résultats similaires.

 

Nous créons le plan expérimental simple suivant et voulons savoir s'il est « assez bon » :

(« En une journée, testez deux prélèvements avec 2 mesures par prélèvement sur chaque machine »)

 

Commençons maintenant :

1. Démarrer le complément
2. Une fenêtre apparaîtra affichant toutes les tables de données actuellement ouvertes :
   1. 
   2. Si le plan expérimental qui vous intéresse est actuellement ouvert, sélectionnez-le dans le menu et cliquez sur OK.
   3. Si le fichier n'est pas ouvert, sélectionnez « Importer un nouveau fichier », puis appuyez sur OK. Utilisez l'Explorateur pour sélectionner le fichier qui vous intéresse.
3. L'interface principale se lancera, vous permettant de définir le modèle à utiliser :
   1.  
4. Pour le tableau de démonstration ci-dessus, le seul effet fixe est « Machine », je vais donc l'ajouter au modèle.
   1.  
5. Mes effets aléatoires sont Jour, Échantillonnage et Mesure. J'ajoute d'abord l'effet Day et Sampling :
   1.  
6. En raison de la façon dont ma table a été configurée, Day et Sampling doivent tous deux avoir leur imbrication correctement :
   1.  
7. Utilisez maintenant le bouton « Basculer la sélection aléatoire » pour définir le jour et l'échantillonnage sur des effets aléatoires :
   1.  
8. Deux cases apparaîtront dans la barre latérale « Définir les CV des effets aléatoires » pour vous permettre de définir les CV de ces effets aléatoires. Je mettrai 4 % pour la journée et 3 % pour l'échantillonnage :
   1. 
9. Maintenant, nous devons également nous soucier du CV « mesure à mesure », et cette colonne n'a pas été ajoutée au tableau des données d'entrée. Puisque la mesure est l’effet aléatoire de niveau le plus bas, elle serait confondue avec le résidu. Ainsi, nous pouvons utiliser « Créer une nouvelle colonne résiduelle » pour créer une colonne pour l'erreur de mesure et définir son CV à 2 % :
   1.  
10. Ensuite, sélectionnez quelle colonne est la colonne de réponse (« Résultat ») puis cliquez sur OK
    1.  
11. Une nouvelle table de données sera créée sur la base de la table de données d'entrée et « _PowerSim# » sera modifié à la fin du nom de fichier. En tant que tel, aucun dommage ne sera causé à votre fichier d’origine.
12. Un script « Exécuter la simulation » sera intégré dans le nouveau fichier. Cliquez sur l'icône pour démarrer une évaluation.
    1.  
13. Sélectionnez d’abord l’effet fixe pour lequel vous souhaitez détecter une différence. Pour cette conception, nous n'avons qu'un seul choix (Machine) :
    1.  
14. Une boîte apparaîtra dans la barre latérale « Différence à détecter ». Par défaut, tout sera mis à 100, ce qui correspond à la moyenne.
15. Disons que je veux savoir si ma conception expérimentale aura le pouvoir de détecter une différence de niveau de 5 % par rapport à la machine. Pour obtenir cela, je change la valeur de la Nouvelle Machine à 105 :
    1.  
16. Par défaut, la valeur alpha critique est définie sur 5 %. Si vous le souhaitez, cela peut être modifié dans la case « Valeur critique ». Je suis satisfait de 5 %, donc je vais appuyer sur OK.
17. Nous attendons maintenant que les modèles fonctionnent tous. À l’avenir, nous essaierons d’accélérer cette étape, mais pour l’instant, son exécution prend environ une minute.
18. Une fois terminé, une pop-up apparaîtra avec les résultats :
    1.  
19. En conséquence, la capacité de détecter une différence de réponse de 5 % à un alpha de 0,05 due à l'effet de « Machine » est de 23,6 %. Ce n’est donc pas un superbe design. Vous pouvez revenir en arrière et ajuster la différence à détecter et/ou la valeur alpha utilisée, mais il est probablement préférable de créer une conception plus robuste.
20. C'était un exemple assez simple. Des modèles et des examens plus complexes peuvent bien entendu être utilisés :
1.    

Certaines fonctionnalités ne sont pas implémentées (effets fixes imbriqués, interactions autres que Nominal*Continu) et des travaux peuvent être effectués pour éventuellement augmenter la vitesse (par exemple, passer à un système itératif au lieu d'imprimer toutes les données de la table de données à l'avance). ).

 

S'il vous plaît laissez Marianne et moi savoir si vous avez des questions.

 

EDIT : des notes sur la version 3 peuvent être trouvées ici

Re : Outil de simulation de puissance (détermination de la puissance d'un test avec les CV d'études de précision existants)

J'ai joint la version 3 de ce complément au premier message.

 

Au-delà des corrections de bugs typiques, il existe deux changements notables dans les fonctionnalités.

 

Premièrement, l'outil ne duplique plus mille fois le plan expérimental (ce qui donne à la feuille de données une taille de 1 000 × [lignes de plan] lignes). Cela a été utile pour les tests de bogues, mais nous sommes passés à une méthode itérative dans laquelle, au lieu d'exécuter 1 000 modèles à la fois, il exécute désormais un modèle, enregistre le résultat, reconfigure les colonnes de contribution aléatoires, puis exécute le modèle suivant.

 

Cela n'offre pas vraiment grand-chose en termes d'accélération du processus, mais cela évite les blocages/gels rencontrés lorsque de très grandes conceptions expérimentales ont été utilisées.

 

Deuxièmement, l'outil dispose désormais d'une option pour définir le « Traitement des erreurs » :

 

 

Le traitement « Erreur normale » utilise la même erreur normalement distribuée que les versions précédentes. La sélection de « Erreur de plaque microbienne » fait les choses un peu différemment : (1) les colonnes de contribution aux erreurs auront une distribution Lognormale au lieu de Normale, (2) la réponse sera transformée en Log10 (il n'est donc pas nécessaire de sélectionner « Réponse de transformation log » dans le Encadré « Sélectionner la colonne de réponse », (3) la variance devra être définie en termes d'écart type au lieu de CV, et (4) l'utilisateur devra spécifier le niveau de réponse lors de l'exécution d'une nouvelle simulation :

 

 

Cette fonctionnalité a été introduite pour mieux prendre en compte les données des plaques microbiennes. La méthodologie derrière cette méthodologie est toujours en développement actif et la mise en œuvre de l'outil a été vérifiée mais pas entièrement validée, alors prenez les résultats de l'utilisation de ce traitement d'erreur avec un grain de sel. En cas d'inquiétude, je recommande de continuer à utiliser « Erreur normale » avec une réponse transformée en journal pour les données de plaque, comme auparavant.

 

 

Re : Outil de simulation de puissance (détermination de la puissance d'un test avec les CV d'études de précision existants)

>Un instructeur nous avait même dit que la conception des blocs randomisés pour les expériences avait été conçue à l'origine spécifiquement pour la science végétale afin d'aider à résoudre les nombreux problèmes liés aux différents niveaux de qualité du sol, de disponibilité de l'eau, etc., dans les essais sur le terrain (les « blocs » étaient de véritables miniparcelles carrées physiques de cultures dans les champs). Je ne sais pas à quel point il y a de vrai là-dedans, cependant

 

À votre avis, d’où viennent des termes comme split plot ? Fisher a conçu des expériences pour des essais agronomiques sur le terrain et a proposé l'ANOVA. Et nous encourageons vivement nos collaborateurs à disposer les conceptions de blocs aléatoires le long de morceaux de champ « similaires ».Je croirais donc votre sage instructeur.

Re : Outil de simulation de puissance (détermination de la puissance d'un test avec les CV d'études de précision existants)

Mais ce ne sont encore que des considérations générales - si vous voulez savoir quelle configuration sera la plus rentable et donnera la meilleure puissance, utilisez la description détaillée du calcul ou le complément d'Adams 

Re : Outil de simulation de puissance (détermination de la puissance d'un test avec les CV d'études de précision existants)

@jsdejmp

L'ajout de plus de réplications au niveau supérieur EST en fait également plus efficace si vous ne maintenez pas le même nombre de réplications au niveau inférieur, mais comme dans votre exemple, vous conservez le même total (tant que la configuration est imbriquée comme mentionné précédemment) .

Je peux dire avec certitude que 10x5 vaut mieux que 5x10 quel que soit le CV ! S'il est imbriqué, lorsque vous comptez le total, 10x5 donne 10 essais et 50 parcelles, tandis que 5x10 donne 10 essais et 50 parcelles. Ainsi, la variation d'une parcelle à l'autre est dans les deux cas réduite d'un facteur 50, tandis que la variation d'un essai à l'autre est réduite d'un facteur 10 ou d'un facteur 5.

S'il n'est pas imbriqué, c'est-à-dire que l'essai est exécuté 5 fois au même endroit, ce sont donc les mêmes 10 parcelles que vous réutilisez encore et encore, alors la situation est différente, mais je n'imagine pas que ce soit ainsi que vous exécutez le terrain. essais?

Re : Outil de simulation de puissance (détermination de la puissance d'un test avec les CV d'études de précision existants)

Ah, cela a plus de sens -- je suppose qu'il a dit la bonne chose et je me suis mal souvenu

Re : Outil de simulation de puissance (détermination de la puissance d'un test avec les CV d'études de précision existants)

@ABI

Je pense que votre instructeur faisait référence à la conception en parcelles divisées - qui a été développée pour les essais agronomiques sur le terrain - et c'est de là que vient le nom.

Re : Outil de simulation de puissance (détermination de la puissance d'un test avec les CV d'études de précision existants)

Heureux de vous aider de toutes les manières possibles.

 

Notez que nous utilisons une transformation logarithmique pour les données de plaque car l'erreur n'est jamais distribuée normalement et la transformation est nécessaire pour se rapprocher d'une distribution normale.

 

En passant, je ressens vraiment votre douleur concernant les questions d'essais sur le terrain. Mes travaux de premier cycle et de cycles supérieurs portaient uniquement sur la génomique végétale, j'ai donc mené ce combat (attendez simplement que quelqu'un vous demande de combiner les résultats de Greenhouse avec les résultats d'essais sur le terrain - dites simplement non !). Un instructeur nous avait même dit que le plan d'expériences en blocs randomisés avait été conçu à l'origine spécifiquement pour la science végétale afin d'aider à résoudre les nombreux problèmes liés aux différents niveaux de qualité du sol, de disponibilité de l'eau, etc., dans les essais sur le terrain (les « blocs » étaient miniparcelles carrées physiques littérales de cultures dans les champs). Je ne sais pas à quel point il y a de vrai là-dedans, cependant

Re : Outil de simulation de puissance (détermination de la puissance d'un test avec les CV d'études de précision existants)

@ABI , merci pour cette explication bien conçue et ce guide sur la façon dont vous abordez la conception de vos expériences. Je pense vraiment que je peux appliquer ce système à notre approche expérimentale. Nous avons travaillé pour obtenir de bonnes estimations sur nos CV, mais comme vous l'avez dit, nous devons d'abord comprendre comment nos différents effets aléatoires interagissent. Je pense que nous devons effectuer une modélisation supplémentaire pour capturer certaines de ces informations.

 

(Au fait, merci d'avoir mentionné pourquoi une transformation de journal est utile lors de la capture d'un CV ; je viens d'en parler avec MSQM sur une SOP QC et je ne savais pas pourquoi).

Re : Outil de simulation de puissance (détermination de la puissance d'un test avec les CV d'études de précision existants)

Salut @MTOF ,

 

Répondez au n°1 : Ajouter davantage au niveau supérieur n'est plus efficace que si nous maintenons le nombre de répétitions au niveau le plus bas. Compte tenu d'une contrainte budgétaire, la question est plus proche de "Faut-il faire 5 essais x 10 répétitions ou 10 essais x 5 répétitions". À cette question pratique s’ajoute une question plus abstraite et très controversée : un essai individuel constitue-t-il une expérience entière ou juste un seul point de données ?Comme personne ne devrait dessiner n'importe lequel conclusions de traitement à partir d'un seul essai, mais il est clair que cette seule expérience entraîne des coûts de conception et d'exploitation considérables et que ses données doivent avoir le poids approprié. (Le terrier du lapin est encore plus profond, car différentes cultures ont des sensibilités de terrain différentes et donc des CV différents et donc un nombre optimal d'essais et de répétitions différent ; et nous sommes également actuellement intéressés à savoir si les différents sous-traitants qui exécutent les essais pourraient également avoir différents niveaux de capacité à gérer un domaine et à mesurer les réponses. Sans parler des conditions météorologiques et des variations d’une année sur l’autre au même endroit. Il est facile de développer une attitude d'abandon lorsque mère nature contrecarre facilement notre travail acharné.)

 

Répondez au n°2 – Merci d’avoir clarifié cela davantage.Je n'étais pas sûr de pouvoir aborder les choses comme ça.

 

 

Re : Outil de simulation de puissance (détermination de la puissance d'un test avec les CV d'études de précision existants)

Salut Jameel

 

Un ajout à la réponse d'Adams à votre question "existe-t-il un moyen rapide d'identifier quel aspect d'une conception nécessite plus d'échantillons" :

 

1. L'ajout de répliques à un niveau « supérieur » est toujours plus efficace que leur ajout à un niveau inférieur (mais généralement aussi plus coûteux).

 

En effet, les répliques au niveau supérieur donnent également des répliques à tous les niveaux inférieurs. Au moins avec une configuration hiérarchique/imbriquée pour laquelle nous avons créé cet outil et que je suppose que vous avez également dans les essais sur le terrain. Par exemple si actuellement notre configuration est de 2 jours x 2 pesées x 3 assiettes (total 2 jours, 4 pesées et 12 assiettes) ajouter 1 jour donne un total de 3 jours, 6 pesées, 18 assiettes.

 

2. La relation entre les CV vous indique où il est le plus « nécessaire » d'ajouter des répliques.

 

Si votre CV d'essai à essai est beaucoup plus grand que le CV intra-essai, il est alors nécessaire d'ajouter plus d'essais (l'ajout de plus de répétitions dans chaque essai apportera très peu). Si le CV d'un essai à l'autre est beaucoup plus petit que le CV intra-essai, alors il serait toujours efficace d'ajouter plus d'essais car vous obtiendriez également plus de répétitions (parcelles de terre ou de plantes ou quelle que soit votre répétition), mais probablement beaucoup moins cher et tout aussi efficace d’ajouter des répétitions au cours de l’essai.

Re : Outil de simulation de puissance (détermination de la puissance d'un test avec les CV d'études de précision existants)

Salut Jameel,

 

Oui, vous pouvez le faire (peut-être même sans cet outil particulier).Si vous disposez des composantes de variance à effet aléatoire pour un test (de JMP ou autre), ces valeurs de composants peuvent estimer le CV d'une configuration de qualité de test particulière.

 

La manière dont les composants du CV (c'est-à-dire les effets) interagissent les uns avec les autres est probablement plus importante que leur valeur en pourcentage. Pour votre exemple, plus d'emplacements sont probablement plus importants que plus de représentants. En fait, il est possible que les répétitions sur site ne soient pas du tout de véritables réplications et qu'elles soient plus proches des répétitions d'échantillons que des mesures réelles répliquées (et donc moins utiles - mais, sans en savoir plus sur votre expérience, Je ne peux pas vraiment en parler).

 

Examinons donc un exemple que je traite souvent : les tests sur microplaques.Supposons que nous ayons trois composantes du CV : les effets aléatoires de la variation quotidienne, la variation de pesée à pesée et la variation de placage à placage.

 

Dans notre conception de test, nous avons ces trois composants CV avec l’imbrication suivante :

• Jour et aléatoire
• Pesée [jour] et aléatoire
• Plaque [jour, pesée] et aléatoire

Ainsi, chaque jour de placage reçoit X quantités de pesées (sous-échantillonnages), et chaque pesée reçoit Y quantité de plaques.

 

Ensuite, après avoir effectué une étude pour déterminer la précision, vous obtiendrez les valeurs des composantes de variance du tableau REML et leurs CV correspondants (c'est-à-dire que si la réponse a été transformée en log, le CV de la composante de variance est égal à la « composante de variance Sqrt » champ dans la table REML. S'il n'est pas transformé, il est égal à la composante de variance sqrt du tableau REML/Moyenne de réponse du tableau Résumé de l'ajustement).

 

Supposons donc que nous ayons un CV quotidien de 5 % (composante var de 0,0025), un CV de pesée à pesée de 10 % (comp. var de 0,01) et un CV de placage à placage de 8. % (composante var de 0,0064).

 

Si nous additionnons les trois composantes, nous obtenons une valeur de composante de variance totale de 0,0189, ce qui se traduit par un CV de 13,7 % (sqrt[0,0189]) si seulement un jour, une pesée et une plaque sont effectués.  

 

En raison de la stratégie d'imbrication décrite ci-dessus, le calcul d'un CV de population prévu pour une configuration de qualité dans cet essai suivrait le calcul suivant :

 

 

 

Ensuite, dans Excel, il suffit d'en faire une formule et de la remplir pour essayer différentes combinaisons, ou de le faire dans JMP en créant une colonne de formules.

 

Exemple:

 

  

Ci-dessus, nous avons trois modèles qui ne comportent chacun que 5 assiettes au total. Vous pouvez voir qu'une configuration de 5 jours × 1 pesée × 1 plaque entraîne un CV beaucoup plus faible qu'une conception de 1 jour × 1 pesée × 5 plaques, malgré la variation quotidienne ayant le CV de composant le plus bas.

 

Et puis vous pouvez jouer avec d’autres modèles pour déterminer ce qui est le mieux réaliste :

 

 

 

Voici donc trois modèles comportant chacun 20 plaques et des valeurs de CV assez proches.Il s’agit alors de déterminer quelle configuration est la plus réalisable/la plus appropriée en termes de coût. Vous pouvez également utiliser l'outil Solver dans Excel avec quelques règles pour vous aider s'il s'agit d'un tas de devinettes et de vérifications.

 

Quoi qu'il en soit, vous serez ainsi en mesure d'évaluer si plus d'emplacements ou plus de représentants au sein d'un emplacement sont utiles, et de combien approximativement (c'est-à-dire, quel est le changement de CV entre l'ajout d'un autre emplacement ou l'ajout de dix représentants supplémentaires à chacun déjà). emplacement existant ?).

 

Or, cet outil particulier a été construit parce que les analyses sur microplaques sont toujours imprécises, et de nombreuses micro-études ont pour objectif d'affirmer qu '«il n'y a pas de différence entre X et Y» (c'est-à-dire, il n'y a pas de différence entre la gélose de type X et la gélose de type Y ). Cependant, si l’expérience n’était pas suffisamment puissante pour trouver une différence statistiquement significative, nous pourrions finir par conclure qu’une modification d’un test ( changer de type de gélose ) n'a aucun effet quand c'est réellement le cas. Ce qui est une très mauvaise chose.

 

Cependant, si les faux négatifs ne constituent pas un problème aussi important dans votre expérience, vous n'aurez peut-être pas besoin de cet outil particulier. Si vous pensez en avoir besoin, faites-le-moi savoir : il nécessite une certaine optimisation afin que JMP ne se bloque pas sur de très grands ensembles de données. Par conséquent, si vous travaillez avec un ensemble de données volumineux, je donnerai la priorité à ce type. d'optimisation d'abord

 

-Adam

 

 

Re : Outil de simulation de puissance (détermination de la puissance d'un test avec les CV d'études de précision existants)

@ABI , @MTOF , en utilisant les valeurs que vous fournissez dans vos exemples et dans l'outil, existe-t-il un moyen rapide d'identifier quel aspect d'une conception nécessite plus d'échantillons ? Par exemple, dans le premier exemple donné, l'ajout de plus de mesures sur plusieurs jours améliorerait-il davantage la puissance que l'ajout de mesures au cours d'une journée (puisque le CV est de 4 % contre 3 %) ? L'effet d'un CV plus élevé indique-t-il que c'est là que vous devriez charger plus de mesures ?

 

Pour les essais agronomiques sur le terrain, où nous pouvons avoir 10 essais avec 5 répétitions de chaque traitement au sein de l'essai, nous pouvons calculer la puissance globale en utilisant l'erreur globale d'un ensemble de données.Pour une analyse de puissance de type JMP, les données supplémentaires, quelle que soit leur origine, le nombre d'emplacements ou le nombre de représentants, sont traitées de la même manière. Cependant, la réalité est qu’il existe des différences dans la variabilité d’un site à l’autre et au sein d’un site (représentation).Nous pouvons avoir plus d'emplacements ($$) ou plus de représentants au sein d'un emplacement ($$). Personnellement, je préfère davantage d'emplacements, car plus de représentants dans un domaine ne feraient que nous donner une plus grande confiance dans ce domaine ; Un plus grand nombre d'emplacements nous permet d'être « plus sûrs » que les différences de traitement observées ne sont pas trop pondérées par un endroit donné. Vos outils peuvent-ils m'aider à résoudre ce problème ?

 

J'imagine créer des algorithmes plus intelligents pour la conception expérimentale qui pèsent d'un emplacement à l'autre et la variance au sein d'un emplacement et l'optimisent dans le cadre d'un budget spécifique.Par exemple : « Nous disposons de X $ pour exécuter Jumpstart sur le maïs... quelle est la meilleure façon de répartir le nombre d'emplacements et de représentants ? »

Re : Outil de simulation de puissance (détermination de la puissance d'un test avec les CV d'études de précision existants)

Salut tout le monde,

 

J'ai corrigé un bug qui provoquait un crash lors du chargement de très grandes conceptions expérimentales et je l'ai joint au premier message. Veuillez noter que la méthodologie actuellement utilisée n'est pas encore optimisée pour la vitesse et que l'exécution des 1 000 simulations prendra beaucoup de temps sur des conceptions de grande taille (ce qui provoquera même parfois le blocage/gel de JMP si elles sont suffisamment grandes). J'ai quelques idées sur la façon d'accélérer l'outil, mais MTOF et moi avons quelques idées sur la façon d'améliorer l'applicabilité des distributions utilisées pour nos effets aléatoires, ainsi qu'une refonte générale de la façon dont Novozymes aborde les données basées sur des plaques (qui est le principal moteur de l'existence de cet outil). Ainsi, dans un avenir immédiat, les améliorations fonctionnelles auront la priorité sur la vitesse.

 

Merci!