Quand j'ai pris mon premier cours en modèles linéaires et conception d'expériences , mon professeur a expliqué à la classe que la question la plus fréquemment rencontrée dans son travail de consultant en statistique était la suivante: «De combien d’échantillons ai-je besoin [pour que mes résultats soient statistiquement significatifs]?». Cette question découle du désir d’obtenir des résultats utiles de une étude sans perte de temps ni de ressources.
Bien que la question ci-dessus soit simple, la réponse n'est pas. En effet, la réponse dépend des valeurs de plusieurs quantités que le consultant ne connaît pas encore. Pire encore, souvent le client ne connaît pas ces valeurs non plus.
Quelles sont ces quantités problématiques?
La quantité la plus facile et la moins importante est le niveau de signification du test d'hypothèse que le client prévoit d'utiliser. Historiquement, 0,05 était le niveau de signification standard. Je pourrais envisager un billet de blog sur ce seul choix, mais passons à autre chose.
Le signal est la quantité la plus importante. C'est le plus petit effet assez important pour être pratiquement important. Vous souhaitez détecter un tel effet avec une probabilité élevée, et cette probabilité est la Puissance du test. D'après mon expérience, il est étonnamment difficile de faire en sorte qu'un scientifique ou un ingénieur s'engage dans une valeur au moindre effet pratiquement important.
Le bruit est un autre élément d'information requis. Le bruit dans ce cas est l'écart type de l'erreur expérimentale. Une équipe d’ingénierie peut raisonnablement demander comment elle est censée connaître cette valeur avant de lancer l’expérience pour l’estimer.
Les calculs statistiques de puissance dépendent des trois quantités susmentionnées ainsi que d’hypothèses sur la distribution de la réponse. Les hypothèses standard sont que les réponses sont distribuées indépendamment selon une distribution normale et que la variance est constante pour toutes les combinaisons de facteurs possibles.
Étant donné le niveau de signification, le signal et le bruit ainsi que les hypothèses ci-dessus, un statisticien (ou logiciel statistique ) peut vous dire la puissance de votre plan expérimental.
Que peut faire un enquêteur pour augmenter la puissance d'une expérience?
Voici ce que vous pouvez faire pour augmenter la puissance de vos expériences:
1) Augmenter la taille du signal
2) Diminuer le bruit
3) faire plus de pistes
4) Utilisez un niveau de signification plus élevé - par exemple, 0,1 au lieu de 0,05.
Comment augmentez-vous la taille du signal?
De toute évidence, l'effet d'un facteur dépend de la nature. Cependant, vous pouvez décider d’augmenter l’effet minimal pratiquement important. Cela peut sembler être de la triche, mais à la réflexion, vous pouvez décider que vous pouvez être satisfait si vous pouvez détecter des effets deux ou trois fois plus importants que ce que vous avez spécifié au départ.
Comment diminuez-vous le bruit?
L'erreur expérimentale est le résultat d'une variation aléatoire des conditions expérimentales d'une exécution à l'autre. Le meilleur moyen de réduire cette variation consiste à identifier les sources de variabilité aléatoire et à les inclure dans l'expérience en tant que facteurs de blocage. Par exemple, s'il existe une variation au jour le jour et qu'une expérience nécessite cinq jours, vous pouvez supprimer cette variation de la variance d'erreur en faisant de Day un facteur de blocage.
Des essais plus expérimentaux sont coûteux. Quelle différence quelques courses feront-elles?
Dans les expériences de criblage, il y a souvent autant de facteurs que d'essais expérimentaux. Dans le cas extrême d'un design saturé, il y a exactement autant d'inconnues que de pistes. Dans ce cas, vous ne pouvez pas estimer la variance d'erreur pour le modèle complet et vous ne pouvez donc même pas effectuer de test de signification.
Un exemple de conception saturée est une expérience à sept facteurs pour un modèle à effets principaux en huit essais. Vous avez huit analyses et vous estimez une moyenne globale (ou un terme d'interception) et des effets à sept facteurs. Il ne reste donc aucune information permettant d'estimer la variance d'erreur.
Si nous ajoutons une exécution et effectuons un test t pour l'un des effets principaux, le signal doit être plus de 12 fois supérieur au bruit pour rejeter l'hypothèse nulle. Le tableau ci-dessous montre la taille que doit avoir le rapport signal sur bruit dans le test t pour rejeter l'hypothèse nulle. De toute évidence, vous ne pouvez pas détecter un effet sauf si vous rejetez l'hypothèse qu'il n'y a pas d'effet. Ainsi, avec un seul passage supplémentaire, l'obstacle à la détection est assez élevé. En règle générale, il faut quatre ou cinq essais supplémentaires par rapport aux paramètres inconnus.
Comment le rapport signal sur bruit requis pour le test t diminue-t-il lorsque le nombre de cycles supplémentaires augmente?
Quel est le coût d'une augmentation du niveau de signification de 0,05 à 0,1?
Lorsque votre niveau de signification est 0.05, vous détecterez un effet réellement parasite une fois sur 20 en moyenne. Augmenter le niveau à 0,1 augmente la détection parasite à un test sur 10.
Et après?
Dans mon prochain article, je montrerai la nouvelle interface pour les calculs de puissance dans JMP dix. Donc, cet article est essentiellement une motivation pour la semaine prochaine.
Je voudrais terminer en vous rappelant que vous ne saurez pas l’écart type d’erreur avant d’avoir exécuté l’expérience. Par conséquent, les calculs de puissance sont basés sur une estimation de ce que ce nombre sera. Bien que les logiciels statistiques rapportent le pouvoir à trois décimales près, vous devez prendre ces chiffres avec un gros grain de sel.
Bradley Jones a écrit:
Bien qu'il ne soit pas facile de rédiger un script pour simuler la puissance nécessaire à une analyse de régression logistique, JMP peut le faire. En fait, je compare souvent les résultats analytiques avec les résultats de telles simulations.
Andrew Ekstrom a écrit:
J'ai eu du mal avec ce problème. Je dois déterminer "n" pour une régression logistique multiple à différentes puissances pour un système où le taux de réponse pourrait atteindre 5% et probablement plus proche de 0,10%. J'ai posé des questions et on m'a dit que je devais exécuter une simulation. JMP a-t-il la capacité de faire ce type de simulations?
Merci.
Jay Lee a écrit:
En plus de changer le niveau de signification, une recherche peut tester une hypothèse spécifique (directionnelle), de telle sorte que l'alpha n'est pas un test bilatéral.
Analyse de puissance dans une conception personnalisée pour une expérience conçue dans JMP 10 a écrit:
[...] mon post précédent, j'ai parlé des quantités fondamentales qui affectent la capacité d'une expérience conçue à [...]
Bradley Jones a écrit:
Il est certainement utile d'examiner les données que vous possédez déjà ou de mener une petite étude pilote en l'absence de données. Cependant, les données que vous avez déjà peuvent avoir une variabilité que vous pouvez éviter dans une expérience en bloquant ou en contrôlant plus minutieusement les conditions expérimentales. Ainsi, l'écart type d'erreur que vous obtenez en utilisant les données actuelles peut être inutilement élevé et vous faire penser que votre expérience n'aura pas assez de puissance. Cela, à son tour, peut vous amener à faire plus de courses que nécessaire, augmentant ainsi le coût.
Michael Anderson a écrit:
Je voudrais terminer en vous rappelant que vous ne saurez pas l’écart type d’erreur avant d’avoir exécuté l’expérience. Par conséquent, les calculs de puissance sont basés sur une estimation de ce que ce nombre sera.
Sauf si vous étudiez un phénomène qui vient d'être découvert (ou fabriqué) ce matin, il y aura forcément des statistiques descriptives qui se cachent quelque part. Alors déterre-les. S'il n'y en a pas vraiment, vous devez inclure une étude pilote dans vos plans avant le Big Event expérimental afin d'obtenir une estimation (avec un intervalle de confiance) pour cet écart-type embêtant.
Si chaque enseignant en statistiques de base inculquait l’idée "Pilote, puis Expérimentation" à ses étudiants, nous aiderions un grand nombre de nos étudiants diplômés à mener des expériences et des enquêtes mal définies et sous-exploitées. Cela ne m'a pris que 10 ans d'enseignement pour comprendre cela ...
