Nous sommes réunis ici pour parler de ma présentation au sommet JMP de Berlin, intitulée « Une année d'intégration des enseignements : comment concevoir et analyser des expériences avec des réponses aux échecs passés ». Ce titre fait écho à votre présentation de l'année dernière à Manchester, Don, qui portait sur la conception et l'analyse d'expériences avec des réponses aux échecs passés. J'ai visionné cet enregistrement à maintes reprises et j'espère sincèrement que quelqu'un trouvera cet enregistrement aussi facilement que je l'ai fait pour le vôtre.
Pour vous donner un peu de contexte sur la fabrication de ce dispositif, sachez qu'il est réalisé à l'aide d'une scelleuse de tubes. Je me rends compte que la plupart des gens ignorent ce qu'est une scelleuse de tubes. En fait, c'est tout simplement un fer à lisser de précision. Nous prenons un tube en silicone dans lequel nous avons fait passer un vaccin, puis nous le scellons avec cette scelleuse. Bien sûr, comme il s'agit d'une production pharmaceutique, nous sommes un peu plus rigoureux. Mais en principe, ce sont juste deux éléments chauffants qui pressent le tube et le scellent.
Le problème, c'est que nous cherchons à acheter de nouvelles thermosoudeuses pour nos tubes en polymère. Il est primordial que la soudure reste étanche, car c'est le produit actif qui sera transféré à travers le tube. Si celui-ci s'ouvre, le produit se répandra sur le sol. Cela pose de nombreux problèmes. Il n'y a aucun risque pour le patient, mais nous risquons de perdre un lot de vaccins, ce que nous voulons absolument éviter.
Avant de lancer la production de ces nouvelles soudeuses, nous avons eu l'idée de réaliser cette expérience de conception. Tout d'abord, comment définir la réussite ? Quand le tube est-il réellement scellé ? Aujourd'hui, il s'agit d'une inspection visuelle : les outils sont examinés. Vous pouvez voir sur ma diapositive précédente quelques photos de scellages. Les tubes sont évalués visuellement et un verdict est donné : conforme ou non conforme. C'est tout.
J'ai vraiment essayé de demander : « Peut-on faire autre chose ? Peut-on réaliser un test continu ? » Non, mais on pouvait utiliser un autre critère de réussite/échec : la pression. On a pu mettre le tube sous pression et l'immerger. Si des bulles remontent, c'est qu'il n'est pas étanche, un peu comme avec un pneu de vélo.
J'ai vraiment essayé de trouver une réponse continue, car c'est tellement plus simple, mais c'est alors que j'ai repensé à la présentation à laquelle j'avais assisté à Manchester, qui portait justement sur ce sujet. Ensuite, nous avons commencé à élaborer le plan d'expériences. J'ai créé ce plan car je savais qu'il était relativement facile de prendre de nouveaux tubes et de réaliser de nouveaux tests. Je voulais vraiment essayer… Enfin, il faut avant tout tenir compte du temps de l'opérateur et ne pas réaliser plus de plans ou d'expériences que nécessaire.
J'avais vraiment en tête un plan d'expériences séquentiel. L'idée était de commencer avec un échantillon aussi petit que possible, puis, si nécessaire, d'ajouter des expériences pour l'agrandir progressivement, dans l'espoir d'obtenir un plan d'expériences qui explique ou résolve mon problème : définir une plage de paramètres pour de nombreux facteurs permettant d'obtenir des joints réussis à chaque fois, ou du moins un taux d'échec extrêmement faible. En réalité, comme le savent les statisticiens, ce taux ne sera jamais nul, mais nous souhaitions qu'il s'en approche.
Lors de la conception du plan d'expériences, je souhaitais vraiment l'enrichir de toutes les connaissances disponibles sur cette machine d'étanchéité, car j'ai réalisé que des opérateurs et des experts du domaine en savent bien plus que moi. Pour être clair, je n'ai jamais utilisé de machine d'étanchéité de ma propre main, et je n'en ai jamais utilisé auparavant.
J'ai besoin de quelqu'un qui puisse me dire si ce que je dis est cohérent, car il est possible que ce ne soit pas le cas. Je voulais vraiment intégrer ces connaissances au sein du DOE, et nous y reviendrons plus tard : comment j'ai procédé et ce que cela implique concrètement d'intégrer ces connaissances à ma conception.
Lors de la conception, nous avons rencontré un problème : certaines combinaisons de facteurs étaient impossibles. Dans JMP, il est relativement facile de sélectionner et de délimiter des parties de l'espace de conception. Ici, vous pouvez voir la température de refroidissement et le type de refroidissement : l'un est continu, l'autre est une variable catégorielle à deux niveaux.
Lorsqu'on utilise ce type de lisseur à cheveux ou de scelleuse de tubes de précision, il est possible d'y ajouter un système de refroidissement externe. Bien qu'il possède un système de refroidissement interne, un compresseur externe, de par sa taille relativement compacte, est bien plus efficace. Grâce à ce compresseur externe, on peut abaisser la température de refroidissement. Une fois le tube scellé, pour que le joint reste étanche, il doit refroidir, déclenchant ainsi un processus de refroidissement.
En outre, nous avons constaté un avantage supplémentaire : le système de refroidissement externe réduit considérablement le temps passé sous plafond. C'est un aspect que nous n'avions pas du tout envisagé au départ. Nous avons simplement réalisé qu'il était préférable d'utiliser un refroidissement externe, car c'est vraiment efficace. En revanche, avec le refroidissement interne, la température ne peut pas descendre en dessous de 65 °C.
La mise en place est plus simple qu'il n'y paraît, et j'ai d'ailleurs réalisé une vidéo YouTube qui explique comment procéder. Si vous regardez cette vidéo, vous trouverez un code QR à scanner pour découvrir comment créer cet espace de conception.
Conception finale : 24 combinaisons, 3 répétitions par combinaison, soit 72 soudures au total. Les remerciements suivront, mais commençons par examiner le projet. Il a été réalisé en trois étapes. J'avais un plan d'expériences initial. Nous avons ensuite effectué une première augmentation, en ajoutant 12 essais, puis une troisième, en ajoutant soit huit essais, soit six. Nous détaillerons les étapes et les enseignements tirés de cette démarche.
Voici le plan d'expériences initial, juste pour vous montrer 24 essais. Vous pouvez voir ici que trois d'entre eux ont échoué. J'en ai donc un total de 3. Le nombre d'échecs visuels et le nombre d'échecs liés à la pression sont indiqués. Pour cet essai, vous pouvez voir les paramètres utilisés. Il y a eu trois essais sans aucun échec, ni visuel ni lié à la pression. Pourquoi 24 essais ? J'ai oublié de vous préciser que ce plan d'expériences comporte cinq ou six facteurs catégoriels à deux niveaux, quatre facteurs continus et un facteur catégoriel à trois niveaux. Il y a donc beaucoup de facteurs en jeu, et j'ai finalement opté pour 24 essais. Comment suis-je arrivé à ce résultat ?
Laissez-moi vous expliquer comment cela s'est produit. Nous en revenons ici à l'idée d'intégrer mon plan d'expériences (DOE), car ce que j'ai fait… et je peux annuler cette étape. Voyons si je l'ai toujours. Ici, vous pouvez voir que j'ai tous mes facteurs. C'est une liste de facteurs assez complète. Ceci est réalisé dans le DOE personnalisé. Si je clique sur le modèle de surface de réponse, j'obtiendrai tous leurs effets individuellement, comme les effets principaux. J'obtiendrai tous les facteurs continus et leurs effets de courbure ; si possible, je représenterai également ces quatre-là sous forme de courbe. Ensuite, j'ai toutes leurs interactions.
Pour réaliser ce modèle, il me fallait au minimum 82 essais. Hors de question de faire 82 essais avec 3 répétitions, ce qui m'aurait donné un résultat ridicule : 200, voire 246 ! Je vous laisse avec le calcul. Bref, on a passé en revue cette liste, ce qui a pris du temps. À chaque fois, on nous disait : « Le temps de production et de scellage, non, on n'en a pas besoin. » On a continué comme ça jusqu'à obtenir ce modèle, notre modèle final, où… il faut que j'appuie sur la touche retour.
Comme vous pouvez le constater, nous l'avons considérablement réduit car ils ont pu affirmer que toutes ces interactions [inaudible 00:09:59] étaient très peu probables. J'ai tout de même conçu le modèle de manière à pouvoir les identifier ultérieurement, par exemple en ajoutant des simulations. Au final, nous nous sommes concentrés sur les effets principaux et les effets secondaires, ce qui nous a permis d'atteindre le minimum de 24.
J'ai pris le risque de me contenter du minimum, sachant que je pourrais ajouter d'autres simulations plus tard. C'est ainsi que j'en suis arrivé à 24. Ensuite, j'ai analysé ces données de manière très scientifique et j'ai créé un modèle sur la plateforme Generate. J'étais vraiment fier de ce modèle et je vais vous montrer à quel point il est génial.
J'ai réalisé ce montage en suivant la vidéo de Tom et en reproduisant ses gestes tout en la regardant. On voit ici une tête de scellage ; j'avais une ancienne tête de scellage et une nouvelle. La tête Gammel est ancienne, la nouvelle est neuve. On peut ensuite ajouter deux types de supports différents. Il existe deux matériaux de tube différents : Avantaflex et C-Flex.
Ensuite, nous avons une température de coupe similaire à la dimension. Ce sur quoi je voulais vraiment que vous vous concentriez, c'est le matériau du tube, la différence entre le C-Flex et l'Avantaflex. Car même avec ce réglage, où vous pouvez voir une température de 165 °C et une durée maximale de 100 secondes (ce qui représente un total de 100 secondes), ce serait un réglage normal. On dirait que pour le C-Flex, la probabilité de défaillance est de 0,00, alors qu'elle pourrait atteindre 0,04 %.
Mais avec Avantaflex, on constate que l'incertitude est bien plus élevée. On remarque aussi une nette augmentation des autres plages d'incertitude lorsque je passe à Avantaflex. Avec Avantaflex et une ancienne tête de scelleuse, les résultats sont extrêmement variables.
La première chose que j'ai remarquée, c'est qu'il existe des combinaisons personnalisées où l'on ne sait pas vraiment ce qui se passe. On n'est pas sûr de comprendre pleinement ce qui se passe. Mais ce que j'ai constaté, c'est que cette incertitude est fascinante à des degrés plus élevés. Alors pourquoi ne pas pousser le curseur à 180 degrés et tout rentrerait dans l'ordre ?
Vous pouvez constater que toutes ces courbes sont désormais parfaitement plates, et c'était ma première conclusion. Attention, divulgation : je me suis trompé ! Mais c'était bien ma première impression en regardant simplement le profileur. Je pense avoir commis ma première erreur d'analyse de données : je n'ai pas suffisamment visualisé ces données. Laissez-moi vous expliquer ce que cela signifie.
Je suis revenu vers eux et j'ai dit : « Vous savez quoi ? Si vous montez la valeur à 180, c'est bon. » Ils ont répondu : « Oui, Christian, ça a l'air bien. On veut tester ça. » Voilà le résultat de la première expérience. J'étais trop sûr de moi, j'ai dit : « 180, et c'est bon. Voyons voir ce qui se passe. » Voyons ce qui s'est réellement passé. Voici le graphique que je leur ai montré. On y voit la température maximale et la durée maximale.
Comme je l'ai dit, notre objectif est d'obtenir une plage de valeurs optimale. Un point bleu indique que les trois répétitions ont été concluantes. Si une seule répétition a échoué, le point devient rouge. Nous visons une zone où seuls les points bleus apparaissent. J'ai présenté ce graphique lors d'une réunion et j'ai immédiatement proposé de définir ensemble cette nouvelle plage de valeurs.
On ne veut vraiment pas atteindre 140 degrés Celsius. Supprimons cette température. C'est mieux. Et 200 degrés, c'est trop chaud. Dans certains cas, ça va, mais on a des cas critiques, alors baissons cette température. Il ne nous reste plus qu'un seul point rouge, et il a une durée maximale ridiculement courte. Si on ne le fait pas, on se dit qu'en fait, on n'a plus assez de données pour prouver que cette plage est bonne. On se fie à la prédiction du modèle, mais ce qu'on a fait ensuite, c'est : « OK, dans cet espace, en zoomant, ça a l'air bien. On n'a pas de données dans cet espace, mais c'est prometteur. » C'était la conception suivante.
Voyons voir. Vous voyez, j'ai la classification Dewey originale et douze autres. Si on regarde le même graphique qu'avant (non, pas celui-ci, celui-ci), on voit ces douze points, et l'un d'eux est rouge. J'espérais vraiment que tout serait bleu. Si c'était rouge, ça n'aurait pas posé de problème, car on partait d'un espace de conception optimiste, mais on voulait que ce soit vraiment génial. Et pourtant, un point est apparu rouge.
Au cours de cette réunion, nous avons utilisé un outil de création de graphiques pour réaliser ce diagramme. Ce diagramme nous a montré que, en réalité, la plupart des… Nous observons toujours la température et le temps, mais je les ai ventilés selon le matériau et les dimensions. Vous pouvez voir le C-Flex et l'Avantaflex, puis les tubes de dimensions différentes : demi-pouce, 3 x 5 pouces et 3 x 9 x 16 pouces.
Ce qu'on a vu, c'est… attendez une minute. On n'a jamais eu de résultat concluant avec cette combinaison ? Mais Christian, tu as dit que tout allait bien au-dessus de 180. Je me suis dit : oui, c'est vrai. Mais en fait, on a vu… enfin, même si mes prédictions indiquent que c'est bon, je ne peux pas affirmer que c'est normal. On n'avait jamais vu ça. Voilà ce qui s'est passé.
Ce dont je suis assez fier, c'est que si l'on regarde les prédictions d'échec, si vous observez toutes les nouvelles prédictions et que vous ne voyez pas à quel point c'est clair, on constate que la valeur est de 0,00 presque partout, sauf pour deux prédictions. Si je devais en retenir une, ce serait celle-ci. Je sais qu'elle n'indique que 13 % de chances d'échec, mais il s'agit tout de même d'un ensemble de données relativement petit.
J'ai réussi à le localiser précisément, et je l'ai fait. J'ai dit : « S'il doit y avoir un champ, ce sera celui-ci. » C'est celui-là qui a échoué. Cela m'a confirmé que ma prédiction n'était pas totalement erronée.
Troisième augmentation. La troisième augmentation, ou troisième exécution, mais après la deuxième augmentation, j'ai ajouté ce nouveau jeu de données. J'ai maintenant les données originales, l'augmentation 1 et l'augmentation 2. Si on regarde à nouveau cet espace, il s'est passé quelque chose d'étrange, je ne sais pas si vous l'avez remarqué. J'ai complètement abandonné la modélisation et je me suis contenté d'observer ce graphique. Si on observe des zones bleues, c'est bon signe.
Je devrais vraiment revenir en arrière et créer un modèle, mais c'était tellement visuel qu'en regardant les 24 points de données initiaux, on voit 24 points. Si j'avais fait ce graphique en premier, j'aurais pu constater que tout n'est pas bon au-dessus de 180. Je ne l'avais pas remarqué. Par exemple, ces deux points sont au-dessus de 180, mais ce sont tous les deux des échecs. Puis on a ajouté celui-ci, et là, on a compris. Vous voyez, tous les points sont bleus sauf un qui est rouge.
Ensuite, nous avons ajouté le troisième, qui correspond exactement à la plage indiquée par le fabricant. Je pense que ce point est optimal, et nous n'avons plus que des boîtes bleues. Nous préconisons la mise en conserve. Ces cinq boîtes sont relativement faciles à sceller. Si nous n'utilisons pas de températures excessivement basses, nous n'avons en fait que deux points, sauf pour les temps de cuisson extrêmement courts. En procédant ainsi, avec toutes ces combinaisons et répétitions, on obtient d'excellents résultats.
La seule combinaison qui semble étrange, c'est celle-ci. La conclusion, c'est : ne pourrait-on pas tout simplement l'éviter ? Car tout le monde me disait qu'elle était vraiment difficile à utiliser. Si vous pouviez utiliser celle-ci, ce serait l'idéal. Nous n'en sommes pas encore là, mais voilà où nous en étions avec cette conception. Nous sommes passés d'une simple inspection visuelle à des données, et nous sommes capables de visualiser ces données pour prendre des décisions concernant la base de données. Bon, j'arrête. À vous la parole.
Merci, Christian. Je vais aborder un autre sujet. Je vais vous expliquer comment… Permettez-moi de vérifier. Je suppose que vous voyez mon écran, mon journal. Parfait. Changeons de sujet. Nous allons parler de la façon dont je pourrais configurer un tel système dès le départ afin de m'assurer de pouvoir effectuer suffisamment d'essais et de tests pour déterminer si ce que je considère comme important ou significatif en pratique est réellement significatif.
Notre objectif est de concevoir une expérience. Je souhaite qu'elle soit suffisamment vaste, avec un nombre suffisant de répétitions et d'essais, pour pouvoir déterminer si un résultat est significativement observé.
Très bien, avant de commencer, je vais définir quelques notions. Je tiens à préciser deux définitions : les essais et les séquences. Lorsqu'on parle d'une condition de traitement ou d'une séquence, on fait référence à une ligne de mon tableau de données de plan expérimental. Il s'agit donc d'un ensemble unique de combinaisons de traitements ou de paramètres que je vais tester.
Un essai, c'est en quelque sorte une réplique. Je n'utilise pas le terme « réplique » car son traitement mathématique est légèrement différent. Il n'apparaît que sur une seule ligne lors de l'analyse. Habituellement, les répliques sont placées sur des lignes distinctes dans mon tableau de données. Je souhaite connaître non seulement le nombre de répliques (ou le nombre d'essais), mais aussi le nombre de combinaisons de traitements (ou le nombre d'essais). Il est donc nécessaire de bien distinguer ces deux éléments.
Comment concevoir un système qui réponde à mes objectifs ? La première étape vous est sans doute déjà familière. Il faut commencer par une bonne conception, comme l’illustre l’exemple de Christian. Il a consulté des experts du domaine. Ils ont discuté du nombre de facteurs à prendre en compte, de leur importance, du nombre d’interactions à deux facteurs à inclure, des effets quadratiques, etc. C’est toujours le point de départ, la démarche étant identique à celle que vous adopteriez si votre réponse était continue.
Très bien, voici où les choses se compliquent un peu. Vous souhaitez pouvoir déterminer, compte tenu de votre plan d'étude et des données générées par JMP (par exemple, dans l'outil de conception personnalisé), si vous disposez d'un nombre suffisant d'essais pour savoir si vos conditions de traitement permettent de les distinguer de votre valeur de référence. Vous voulez savoir : « Puis-je déterminer si ma valeur de référence est statistiquement différente de ma valeur cible ? »
Pour ce faire, je dois calculer une valeur de référence. Je dois connaître mon taux d'échec ou mon taux d'événements à ce niveau de référence, et je souhaite également pouvoir calculer ou déterminer ce qui constitue un changement significatif. Par exemple, ma valeur de référence pourrait être de 75 % d'échec, mais il est pertinent pour moi de distinguer uniquement un changement qui me fait passer à 50 % ou à 20 %. Il faut donc prendre cette décision a priori.
Une fois ces deux informations en main, et si vous avez conçu votre expérience dans JMP, vous disposez de tous les outils nécessaires pour dimensionner correctement cette expérience. Vous allez alors utiliser la simulation pour répondre à la question : « Puis-je passer de ma situation actuelle (ma situation de référence) à ma situation cible (mon objectif) ? »
Très bien, voyons maintenant comment je procéderais. On commence avec le plan d'expériences (DOE), et j'en ai un prêt ici, similaire à celui de Christian. Dans ce cas, j'ai 10 facteurs, dont 6 catégoriels. Ils commencent tous par CA. Cinq de ces six facteurs catégoriels ont deux niveaux. Le sixième a trois niveaux. J'ai également quatre facteurs continus.
Lorsque nous examinons le modèle, nous prenons en compte tous les effets principaux, un sous-ensemble de mes interactions à deux facteurs et un sous-ensemble de mes effets quadratiques. Là encore, c'est similaire à ce que Christian a conçu. Vous commencez par discuter avec des experts du domaine afin de définir les objectifs de votre conception. Utilisez les mêmes outils pour l'évaluation de votre conception. Lors de la conception de votre expérience, vous pouvez vous référer à la carte des couleurs pour vous dire : « Je souhaite obtenir une corrélation aussi faible que possible entre mes effets. »
En revanche, il ne faut surtout pas procéder ainsi. Ce n'est pas une analyse de puissance correcte. Nous allons aborder… Je vais vous montrer comment mettre en place une analyse de puissance correcte, et la seule façon d'y parvenir avec une expérience de type réussite/échec est d'effectuer une simulation.
Maintenant que ma conception est terminée et que je suis satisfait du résultat, je vais effectuer une dernière opération avant de générer mon tableau. Je vais accéder aux paramètres de ma zone interactive et activer la simulation des réponses. Il s'agit d'une fonctionnalité cachée, parfois méconnue, qui peut s'avérer utile pour la simulation.
C'est déjà activé. Je vais générer mon tableau de conception, et vous verrez que j'obtiens deux choses : une boîte de dialogue qui me permet de définir la taille de mes effets, et mon tableau de conception.
Avant de commencer, je vais faire quelques petites choses. Je vais faire défiler vers la droite pour vous montrer ce qui se passe ici. Je vais remettre mes coefficients à zéro. Je vais descendre dans la section « Distributions » et cliquer sur « Binomale ».
Je vais commencer par une simulation. Je vais suivre la méthode de Christian. Supposons que nous fassions trois essais. Je clique sur Appliquer. Vous remarquerez que deux colonnes apparaissent. L'une contient une formule ; nous l'examinerons plus en détail pour voir comment je l'ai configurée pour la simulation. L'autre est une colonne fixe qui indique simplement le nombre d'essais.
D'ailleurs, si jamais, pour une raison ou une autre, vous fermez ce fichier ou oubliez de l'ouvrir, lors de la génération de votre plan d'expériences (DOE), ce bouton se trouve toujours ici, sous « Simulation DOE ». Vous y aurez toujours accès tant que vous ne supprimez pas le script du tableau.
Très bien, maintenant la question est la suivante : j’ai mon schéma, je l’ai configuré, j’ai mes colonnes et ma variable binaire, comment obtenir mes estimations ? Sans entrer dans les détails mathématiques, que je réserve pour un document que je joindrai au reste des ressources pour la présentation, j’ai créé un tableau pour simplifier les choses.
Nous allons donc spécifier ce que nous estimons être le taux d'erreur de base, le taux d'événements de base. Prenons par exemple 0,75 plutôt que 0,9. Mon taux d'erreur de base est de 0,75 et supposons que l'objectif à atteindre soit de 0,2. Cela me donnera une estimation de ma valeur de base et une estimation de l'objectif.
Je vais copier cette ligne de base et la coller. Je vais remettre ces valeurs à zéro. Je vais la coller comme ordonnée à l'origine ; ma ligne de base devient donc mon ordonnée à l'origine. Je vais copier ma cible.
Don, puis-je te poser une question très rapide ?
Vous pariez.
Très rapide. Si je comprends bien, vous êtes actuellement à 75 et vous constaterez un changement significatif en descendant à 0,2.
C'est exact. C'est le niveau de changement que je souhaite observer.
Moins que ça, ça vous est égal. Mais y aller...
C'est exact. Absolument exact.
Merci.
J'ai copié mon estimation cible. Je vais commencer par les réponses continues. Je vais les coller. Je vais attendre pour les réponses catégorielles car je souhaite un peu plus de contrôle. Avant cela, permettez-moi de préciser l'hypothèse que je fais. Je suppose que lors de l'exécution de mon plan d'expériences, lorsque j'ai une condition de base, celle-ci correspond à mes facteurs continus au centre du plan, et que mon facteur catégoriel est à un niveau spécifié.
Je peux obtenir ces données pour mes facteurs continus en les collant ici. Collons-les donc. Ce sont mes quatre facteurs continus, leurs effets quadratiques et l'interaction à deux facteurs associée à mes deux facteurs continus. Je vérifie que la loi binomiale est bien sélectionnée, je la définis à nouveau sur 3, puis je clique sur Appliquer. Je vérifie simplement que la colonne « Simuler Y » est mise à jour, et c'est bien le cas.
Je souhaite maintenant modifier certains facteurs catégoriels. Je veux identifier les niveaux de référence pour ces facteurs. Je vais ouvrir la formule créée par JMP. Notez qu'elle génère une variable binomiale aléatoire, ce qui me donne un ensemble de valeurs différent à chaque exécution.
Ne vous attardez pas sur tous les détails. L'important, c'est que voici mes effets de facteurs. Dans ce cas précis, il s'agit de mes facteurs catégoriels, numérotés de 1 à 6. Je dois préciser, par exemple, pour le facteur catégoriel 1, quelle est ma valeur de référence ? Je veux m'assurer qu'elle est égale à 0. Supposons que ma valeur de référence soit :
Je vais donc copier-coller la taille de l'effet. Supposons que « up » représente ma ligne de base ; je la copierai donc vers le bas. Dans ce cas, CA3 comporte trois niveaux. Je vais donc laisser le niveau 1 comme ligne de base, et les deux autres correspondront à l'effet, disons « faible » et « fort », et ainsi de suite. Je procède de la même manière pour tous mes facteurs catégoriels, en choisissant mon niveau de base ainsi que pour toute interaction à deux facteurs impliquant un effet catégoriel.
Là encore, il y a trois niveaux. Je vais donc en sélectionner deux et conserver le troisième comme référence. Avant de quitter, je vais cliquer sur le bouton Appliquer pour m'assurer que la fonction, la formule, est bien évaluée. Je suis maintenant prêt. Mon application de conception est configurée pour exécuter ma simulation. L'idée est la suivante : je vais effectuer l'analyse une première fois, puis utiliser l'outil de simulation en un clic de JMP Pro pour réaliser la simulation finale.
Dans le menu Analyser, puis Ajuster le modèle, j'ai abordé plus en détail la configuration de l'analyse et les options disponibles lors de ma présentation de l'année dernière, mentionnée à plusieurs reprises par Christian. J'entrerai également dans les détails dans la documentation que je vais fournir, mais je vais passer cette étape pour le moment. Je vais simplement configurer mon plan d'expérience. Dans ce cas précis, il faut supprimer les données générées par JMP et ajouter vos deux colonnes : la colonne des simulations et le nombre d'essais.
Je vais choisir la régression généralisée et utiliser la distribution binomiale. Je préfère garder la boîte de dialogue ouverte pour pouvoir y revenir plus tard. Ensuite, je clique sur « Exécuter ». À ce stade, je dois décider si, par défaut, JMP inclura tous les effets. Procédons à une réduction du modèle. Toujours dans la même optique que Christian, nous allons choisir le Lasso. Il arrive parfois que le Lasso s'arrête prématurément si l'hérédité est forcée ; je vais donc désactiver cette option et cliquer sur « Go ».
Vous constatez que cela n'effectue qu'une seule itération. Que se passe-t-il si je souhaite répéter cette opération mille fois ou dix mille fois, comptabiliser le nombre de fois où chaque effet s'est révélé significatif et déterminer la fréquence à laquelle le modèle a correctement identifié un effet significatif ? Avec JMP Pro, vous pouvez le faire en survolant la colonne des probabilités (la colonne des valeurs p), en faisant un clic droit, puis en sélectionnant l'option « Simuler » en bas de la fenêtre.
Vous verrez la colonne de la formule mise en surbrillance. Je ne vais pas effectuer 2 500 simulations, car cela prendrait plusieurs minutes ; contentons-nous de 250. J'ai choisi le nombre de simulations souhaité (2 500 ou 10 000, selon le temps dont je dispose) et je clique sur OK. JMP va alors réexécuter la formule et refaire l'analyse en désactivant l'effet Lasso sur l'hérédité, et en conservant tous les paramètres que j'ai sélectionnés.
L'avantage, c'est que toutes ces données sont rassemblées dans un seul tableau. L'analyse de puissance est disponible dans le script intégré au tableau, et mes résultats d'analyse de puissance se trouvent ci-dessous. Ce script effectue une analyse de puissance qui détermine : « Si je choisis un alpha de 0,01, de 0,05 et de 0,1, quelle serait la puissance simulée ? »
Si l'on observe un seuil alpha de 0,05, la puissance simulée se situe entre 33 % et 45 %, ce qui est plutôt faible. Pour regrouper ces données dans un seul tableau, rien de plus simple : un clic droit, puis « Créer un tableau de données combiné ». Cette opération rassemble tous les paramètres de puissance et les valeurs de puissance simulée pour chaque effet dans un seul tableau.
J'ai créé un petit flux de travail. Si vous n'utilisez pas JMP version 16 ou 17, vous pouvez en créer. Voici celui que j'utilise et que je vous fournirai. Il me permet de nettoyer mon tableau afin de ne retenir que l'alpha 0,05. Vous remarquerez que mes valeurs de puissance sont globalement correctes. J'ai quelques cas où elles sont moyennes, autour de 0,5, mais rien de vraiment exceptionnel. Rien de supérieur à 0,8.
Encore une fois, ceci a été réalisé sur 2 500 essais. J'ai d'ailleurs répété l'expérience dans différentes conditions pour vous montrer ce dont je vais parler ensuite : les facteurs qui influencent la puissance que je peux obtenir. Évidemment, une puissance plus élevée est préférable. La puissance correspond à ma capacité à distinguer un effet réel.
Je vais fermer ça. Je vais ranger un peu mon bureau, puis aller voir… J'ai rassemblé les résultats. J'ai noté, dans ce cas précis, que j'ai effectué 2 500 simulations pour vous donner une idée. Voici notre valeur de référence. Voici ce que nous avons analysé. Ceci est une simulation. Les résultats seraient légèrement différents si je refaisais l'expérience. Mon protocole expérimental comprend 24 simulations, 3 essais, comme l'a fait Christian, et tous mes effets sont significatifs. Je vais supposer que tout est significatif, et ma comparaison ici était… Ma valeur de référence était de 0,75 et ma valeur cible de 0,2.
Vous remarquerez que l'ordonnée à l'origine, souvent négligée, est significative. J'observe un effet qui tend vers le point A, mais tous les autres sont inférieurs. Que se passerait-il si je remplaçais les 3 essais par 5 ? Quel serait l'impact sur mes résultats ? Vous constaterez qu'en passant de 3 à 5 essais, la significativité s'améliore.
Et si je passais de mon modèle complet, où tous les effets sont significatifs, à un sous-ensemble ? Certes, j’inclus tous ces éléments dans mon modèle et je souhaite pouvoir les estimer, mais seulement un sous-ensemble. Dans ce cas, j’ai choisi un sous-ensemble de deux facteurs continus et d’un facteur catégoriel, et là encore, les résultats s’améliorent légèrement.
Voici le genre de scénarios hypothétiques que vous pouvez explorer en exécutant ces simulations. Essayons autre chose. Reprenons ma conception initiale : au lieu de 24 exécutions, passons à 36, et le résultat est encore meilleur. Que se passe-t-il si je veux observer une différence ? Imaginons que ma valeur de référence ne soit pas de 0,75, mais de 0,90. Au fait, les astérisques indiquent les effets que j’ai spécifiés comme significatifs dans le modèle.
Encore une fois, il s'agit de scénarios hypothétiques que vous pouvez simuler avec JMP pour déterminer si le nombre d'exécutions et d'essais est satisfaisant. Vous pouvez aussi ajuster ce nombre d'exécutions ou d'essais, par exemple si votre puissance statistique est insuffisante, ou encore ajuster le nombre d'essais en conséquence.
Récapitulons. Quels sont les facteurs qui influencent la puissance statistique ? De toute évidence, plus j'effectue d'essais expérimentaux, plus la puissance statistique augmente. Plus le nombre d'essais augmente, plus la puissance statistique augmente également. L'écart entre la valeur de référence et la valeur initiale influe aussi sur la puissance statistique. Évidemment, plus les valeurs sont éloignées les unes des autres, plus il est facile de les distinguer, et plus elles se rapprochent des extrémités, plus il est facile de les distinguer. À mesure que les effets significatifs diminuent, la puissance statistique augmente. Voilà donc les facteurs qui influencent la puissance statistique.
En résumé, vous avez déjà vos experts et vous réfléchissez déjà à une conception. Pour bien dimensionner ces conceptions, il faut commencer par une bonne conception. Commencez par une bonne conception, définissez ce que vous voulez observer et essayez de minimiser les corrélations entre vos effets, car cela vous permettra d'optimiser la puissance.
La deuxième étape consiste à définir votre situation de référence. Déterminez cette valeur de référence, votre objectif et l'ampleur du changement qui sera considéré comme significatif. Saisissez ces valeurs, simulez vos réponses, assurez-vous de paramétrer la distribution comme binomiale et configurez votre formule pour pouvoir spécifier l'importance des effets. Il ne vous reste plus qu'à exécuter JMP et votre simulation en un clic pour estimer les puissances.
Si les choses ne se déroulent pas comme prévu, si la puissance de calcul est insuffisante, modifiez le nombre d'exécutions, le nombre d'essais, les effets que vous jugez significatifs, etc. Explorez différentes hypothèses. L'avantage, c'est que, comme on dit, rien n'est gratuit. En réalité, c'est tout à fait gratuit. Il s'agit d'exécutions expérimentales qui ne vous coûteront ni autant de temps, ni autant d'argent, et elles sont entièrement gratuites car les outils sont déjà intégrés à JMP.
Très bien. C'est ce que je voulais dire. Je tiens à remercier Christian d'avoir mis en œuvre l'un de ces prototypes. C'est toujours intéressant de voir une expérience concluante aboutir à une application concrète. Merci d'avoir regardé cette vidéo. J'espère qu'elle vous a été utile. Si vous avez des questions, n'hésitez pas à les poser sur le forum Discovery Talk ou sur le groupe JMP. Nous serons ravis d'échanger avec vous et de répondre à vos questions. Merci beaucoup.
Merci, Don.
