Lors de la conception d'une expérience, un diagnostic courant est la puissance statistique des effets. Bradley Jones a écrit plusieurs articles de blog sur ce sujet . En substance, quelle est la probabilité de détecter des effets non négligeables avec un modèle spécifique ? Bien sûr, un ensemble d'hypothèses et de spécifications est nécessaire pour y parvenir, telles que l'ampleur de l'effet, l'erreur et le niveau de signification des tests. Je vous encourage à lire certains de ces articles si vous n'êtes pas familier avec le sujet.
Si notre réponse est continue et que nous supposons un modèle de régression linéaire, nous pouvons utiliser les résultats de l' analyse de puissance sous Évaluation de la conception. Cependant, que se passe-t-il si notre réponse est basée sur des données de réussite/échec, et que nous prévoyons de réaliser 10 essais à chaque expérimentation ? Pour cette réponse, nous pouvons ajuster un modèle de régression logistique, mais nous ne pouvons pas utiliser les résultats de l'évaluation de la conception. Néanmoins, nous nous intéressons toujours à la puissance…
Ce qu'il faut faire?
Nous pourrions effectuer une revue de la littérature pour estimer la puissance et espérer trouver une solution applicable (et le faire pour chaque cas spécifique qui se présentera à l'avenir). Cependant, il est plus simple d'exécuter une simulation Monte Carlo. Pour ce faire, nous devons être capables de générer des réponses selon un modèle de régression logistique spécifié. Pour chacune de ces réponses générées, ajuster le modèle et, pour chaque effet, vérifier si la valeur p est inférieure à un certain seuil (par exemple 0,05). Cela était possible dans les versions précédentes de JMP utilisant JSL, mais nécessite une certaine maîtrise des scripts, notamment des formules de script et de l'extraction d'informations à partir de rapports JMP. Il faut également trouver le temps d'écrire le script. Dans JMP Pro 13 , vous pouvez désormais effectuer des simulations Monte Carlo en quelques clics.
Ça a l'air génial
La première fois que j'ai découvert la nouvelle simulation en un clic, j'étais ravi, pensant aux possibilités d'utilisation avec les plans d'expériences. Un élément clé pour utiliser cette fonctionnalité est une colonne contenant une formule avec une composante aléatoire. Si vous avez lu mon précédent article sur la nouvelle version de Simuler les réponses dans le plan d'expériences , vous savez que nous disposons déjà d'un moyen de générer une telle formule sans avoir à l'écrire nous-mêmes.
1. Créez la conception, puis créez un tableau avec l'option Simuler les réponses cochée
Dans cet exemple, nous avons quatre facteurs (AD) et prévoyons une expérience de huit exécutions. Je suppose que vous maîtrisez le Concepteur Personnalisé, mais si ce n'est pas le cas, vous pouvez en savoir plus sur la plateforme de Conception Personnalisée ici . Cet exemple peut être configuré de la même manière que celui de notre documentation .
Avant de cliquer sur le bouton Créer un tableau, vous devez vous assurer que Simuler les réponses a été sélectionné dans le point d'accès en haut de la plateforme de conception personnalisée. 
2. Configurer la simulation
Une fois le tableau de données créé, nous devons configurer notre simulation via la boîte de dialogue « Simuler la réponse » décrite précédemment . Sous Distribution, nous sélectionnons « Binomiale » et définissons N à 10 (soit 10 essais pour chaque ligne du plan). Ici, j'ai choisi différents coefficients pour AD, le facteur D ayant un coefficient de 0 (c'est-à-dire qu'il est inactif). La boîte de dialogue « Simuler la réponse » que j'utiliserai est la suivante : 
En cliquant sur le bouton Appliquer, nous obtenons une colonne Y Simulé simulant le nombre de réussites sur 10 essais, ainsi qu'une colonne indiquant le nombre d'essais (utilisé dans le modèle d'ajustement). À des fins de modélisation, j'ai copié la colonne Y Simulé dans Y. 
Si nous regardons la formule pour Y Simulé, nous voyons qu'elle peut générer un vecteur de réponse basé sur le modèle donné dans la boîte de dialogue Simuler les réponses. 
3. Adapter le modèle
Maintenant que nous disposons d'une formule pour simuler les réponses, nous devons configurer la modélisation des réponses simulées. Dans ce cas, nous souhaitons collecter les valeurs de p pour les effets des analyses de régression logistique répétées sur les réponses simulées. Nous devons d'abord effectuer l'analyse pour une seule réponse. En lançant la plateforme « Modèle d'ajustement », nous pouvons ajouter le nombre d'essais au rôle de réponse (Y) et modifier la personnalité en « Modèle linéaire généralisé avec une distribution binomiale ». Le lancement de mon modèle d'ajustement ressemble à ceci : 
Cliquez sur le bouton « Exécuter » pour ajuster le modèle. La section du rapport qui nous intéresse est la section « Estimations des paramètres ». 
Pour la réponse simulée initiale, A, B et C se sont révélés actifs, tandis que D ne l'était pas (ce qui est correct). Bien entendu, il ne s'agit que d'une seule simulation. Nous pourrions continuer à simuler un nouveau vecteur de réponse et suivre les valeurs p pour chaque effet, ou utiliser la simulation en un clic et la laisser faire.
4. Exécutez la simulation
La colonne qui nous intéresse pour cet article est Prob>KhiSq. Faites un clic droit sur cette colonne pour afficher le menu et (si vous utilisez JMP Pro ), en bas, au-dessus de « bootstrap », vous verrez l'option « Simuler ». 
La boîte de dialogue qui s'affiche propose deux options : Colonne à remplacer et Colonne à remplacer. Pour nos simulations, au lieu d'utiliser la réponse Y, nous souhaitons utiliser Y simulé, car elle contient la formule du binôme aléatoire. Au lieu d'utiliser Y lors de la première utilisation de l'option Ajuster le modèle, nous aurions pu utiliser Y simulé et le remplacer par lui-même. Le nombre d'échantillons indique le nombre de simulations d'une réponse. Ici, je l'ai laissé à 2 500. 
Il suffit maintenant de cliquer sur OK et de laisser l'exécution s'exécuter. Après un court instant, un tableau de données s'affiche, contenant une colonne pour chaque effet de la boîte de dialogue « Modèle d'ajustement » (ainsi qu'un identifiant de simulation, SimID), et 2 501 lignes : la première correspond à l'ajustement initial, marqué comme exclu, tandis que les autres lignes correspondent aux résultats de l'une de nos 2 500 réponses simulées. Les valeurs sont les valeurs p pour chaque effet du modèle d'ajustement. 
La simulation en un clic a également pré-rempli le tableau de données avec un script de distribution et, comme elle reconnaît les résultats comme des valeurs p, un autre script appelé « Analyse de puissance ». L'exécution de ce script fournit une distribution des valeurs p pour chaque effet, ainsi qu'un résumé intitulé « Puissance simulée » avec le taux de rejet à différents niveaux d'alpha. Par exemple, si l'on examine l'effet du facteur B, on constate qu'à alpha = 0,05, l'hypothèse nulle d'absence d'effet a été rejetée 2 103 fois sur 2 500, soit un taux de rejet (puissance empirique) d'environ 84 %.
En général, je fais un clic droit sur l'une des tables de puissance simulée et je sélectionne « Créer une table de données combinées ». Cela génère une table de données indiquant les taux de rejet pour chaque terme aux quatre niveaux alpha différents. Cela facilite la visualisation des résultats dans le générateur de graphiques, par exemple pour un alpha = 0,05. 
Nous constatons maintenant une puissance élevée pour détecter les effets de A et B (rappelons qu'ils avaient les coefficients les plus élevés), tandis que C et l'intercept sont d'environ 50 %. Comme D était inactif dans notre simulation, le taux de rejet est d'environ 0,05, comme prévu. Une puissance de 50 % pourrait nous inquiéter si l'effet de C est correct. Grâce à la simplicité de ces simulations, il est facile de revenir à « Simuler les réponses » et de modifier le nombre d'essais pour chaque ligne du plan avant d'exécuter une autre simulation en un clic. De même, nous pourrions créer un plan plus grand pour observer son impact sur la puissance. Nous pourrions même essayer de modéliser à l'aide d'une régression généralisée avec une distribution binomiale.
Réflexions finales
Pour moi, l'un des aspects clés de cette nouvelle fonctionnalité est qu'elle permet d'explorer facilement différents scénarios hypothétiques. C'est particulièrement vrai en situation de sélection, où il n'est pas rare d'utiliser des techniques de sélection de modèles lors de l'analyse des données. Vous disposez désormais de calculs de puissance empiriques adaptés à l'analyse que vous prévoyez d'utiliser et qui vous alertent sur les pièges potentiels. Avant JMP 13, c'était possible, mais je n'avais généralement pas le temps de créer une formule personnalisée à chaque fois que j'envisageais une conception. Depuis que j'utilise la simulation en un clic, la simplicité avec laquelle je peux créer la formule et exécuter les simulations m'a permis d'acquérir des connaissances que je n'aurais pas acquises autrement et est devenue un outil essentiel dans ma boîte à outils.
