Bon, parlons de la conception et de l'analyse d'expériences lorsque nous avons une réponse réussite/échec. Je vais parler des réponses réussite/échec tout au long de cette session. Cependant, cela va vraiment s'appliquer à tout cas où nous avons affaire à une réponse qui a deux catégories, c'est binaire, vous pouvez être l'une des deux catégories ou l'autre. Elles sont mutuellement exclusives et exhaustives. Réussite/échec, aller/ne pas aller, oui/non, tant que cette réponse a deux catégories mutuellement exclusives et exhaustives. Nous allons diviser la session en quatre parties différentes. Nous commencerons par un exemple. Peut-être, espérons-le, qu'il vous semblera familier.
J'espère que ce sera quelque chose que vous avez déjà vu dans le passé en termes de gestion d'une expérience avec des réponses d'échec passées. Nous aborderons un peu les choses qui peuvent mal tourner. Après cela, nous allons parler du modèle, car tout dépend des hypothèses sous-jacentes que je fais sur le modèle, et de la direction que cela oriente en termes d'analyse que je choisis et en termes de dimensionnement de l'expérience. Une fois que nous aurons terminé avec les diapositives PowerPoint, nous verrons comment j'analyserais les données expérimentales, les exemples de données que je vais présenter.
Nous allons parler de certaines des options disponibles dans JMP et JMP Pro. Enfin, nous terminerons par la façon de dimensionner une expérience. En fait, avec les expériences de réussite/échec, ce ne sont pas les exécutions expérimentales qui comptent, mais le nombre d'exécutions expérimentales, le nombre d'essais par condition expérimentale. Nous parlerons de la façon dont nous avons configuré JMP Pro, de la façon dont nous avons configuré la simulation qui nous permettra de déterminer que ce nombre d'essais est suffisant. Parlons de notre exemple, nous créons des widgets. Nous avons un processus dans lequel nous ne sommes pas particulièrement satisfaits du taux d'échec.
Nous avons identifié quatre facteurs différents qui, selon nous, vont nous aider à améliorer notre taux d'échec pour ces widgets. Nous avons un additif, nous avons une étape de compression, où il y a trois facteurs que nous allons faire varier. Nous avons la température, la pression et le temps de maintien que nous allons faire varier. La question est de savoir si le widget présente un défaut. Nous traitons le widget. Oui, il présente un défaut, non, il n'en présente pas. S'il présente un défaut, nous l'appelons échec. Le taux de défaut actuel est de 15 %, et nous allons l'utiliser à la fin pour dimensionner notre expérience.
Notre objectif est de réduire le taux d'échec à 5 %. Cependant, nous serions heureux si nous pouvions identifier une différence d'environ 3 à 5 %. Si nous pouvions détecter que notre taux de défauts descend à, disons, 10 %, alors nous serions heureux. Nous voudrions être capables de détecter cela. L'autre chose que je veux savoir, c'est que chaque exécution prend environ 10 minutes. Je ne suis pas illimité en termes de nombre d'exécutions que je veux. Je peux faire environ six exécutions par heure.
Bon, disons que nous mettons ce facteur dans JMP. Nous ouvrons un concepteur personnalisé. Nous décidons que nous voulons une conception de surface de réponse. Nous allons ajouter trois points centraux, et c'est la conception que nous obtenons. Jusqu'ici, tout va bien. Nous prenons la conception, nous l'envoyons à l'opérateur qui va exécuter l'expérience, et il nous renvoie ceci. Nous avons 24 exécutions, environ 4 heures pour exécuter cette expérience. On nous dit que ces uns et ces zéros représentent une observation avec un défaut ou une observation sans défaut. Maintenant, je vais analyser les données, je les mets dans JMP.
Maintenant, je sais que ces uns et ces zéros ne sont pas des données continues. Ce sont en réalité des données catégorielles. Ce sont des données binaires. Je vais les traiter comme telles. Peut-être que j'en sais assez pour savoir que ce à quoi je suis confronté s'appelle la régression logistique. Le modèle, parce que j'ai conçu cette expérience dans JMP, le modèle de surface de réponse apparaît dans ma boîte de dialogue de construction de modèle. Je vais ajuster l'analyse et, dès le départ, je devrais m'inquiéter. En ce qui concerne ces estimations de paramètres, j'obtiens ce message indiquant que ces estimations de paramètres sont instables.
Disons que je discute de cela avec quelqu'un qui est un peu plus compétent dans ce type d'expériences, et qu'il me dit, eh bien, le problème est que vous n'avez fait qu'un seul essai pour un ensemble de conditions de traitement. Vous devez vraiment en faire plus d'un pour pouvoir obtenir une bonne estimation. Disons que je retourne et que j'en parle avec l'opérateur parce qu'il n'aime pas l'idée d'augmenter la taille de mon expérience d'un essai à cinq essais. Maintenant, j'ai une expérience qui va durer environ 20 heures. Mais je l'ai convaincu que nous devons vraiment le faire, j'ai décidé de refaire l'expérience où j'ai maintenant cinq essais, pour chaque ensemble de conditions expérimentales.
Je récupère mes données. J'ai deux nouvelles colonnes qui sont revenues avec mon expérience. J'ai la colonne Y5 qui correspond au nombre de fois où un échec a été constaté. J'ai la colonne avec le N qui correspond au nombre d'essais, pour un ensemble de conditions expérimentales. Maintenant, cette fois, plutôt que de travailler avec les données de comptage, je pense que je vais peut-être diviser le nombre d'essais échoués par le nombre total d'essais, et je traiterai cela comme des données continues. Ici, j'ai la proportion d'échecs pour un ensemble donné de conditions expérimentales.
Je vais traiter cela comme des données continues. Cela me met plus à l'aise car je suis plus familier avec la modélisation des données de cette façon. Le même modèle que nous avons vu la dernière fois, cependant, plutôt que d'utiliser la régression logistique, je vais simplement utiliser des carrés de bail standard. Très bien, jusqu'ici tout va bien. J'utilise ma technique de modélisation préférée, j'utiliserai peut-être ma technique de réduction de modèle préférée, puis j'obtiendrai ce modèle final. Encore une fois, jusqu'ici tout va bien. La prochaine chose que je veux faire est de vouloir optimiser.
Je veux savoir quelles conditions vont faire baisser le taux d'erreur autant que possible. J'utilise l'optimiseur dans le profileur, et il me dit de régler le temps total à 45 secondes, de régler la température à 45 degrés C, et cela devrait me donner un taux d'erreur prédit inférieur à zéro. Je pourrais être prêt à rejeter cela parce que c'est suffisamment proche de zéro pour dire, eh bien, c'est peut-être juste très proche de zéro, ce n'est pas inférieur à zéro. Mais je sais que techniquement ce n'est pas possible. Je ne peux pas avoir de taux d'erreur inférieurs à zéro. Même si je pouvais utiliser cela, je pourrais me dire, eh bien, à quel point cette estimation est-elle précise ?
À quel point suis-je vraiment proche de zéro ? Ai-je construit un mauvais modèle ? Tout revient au modèle que j'ai... Les hypothèses que j'ai faites, lorsque je traite les données comme continues et les hypothèses que je devrais probablement faire lorsque j'ai des données de réussite/échec. C'est notre modèle typique. Nous avons sur le côté gauche, nous avons nos réponses, nos observations. Dans notre cas, c'est la probabilité d'un échec. Je suis désolé, sur le côté gauche, nous avons la probabilité d'un échec.
Sur le côté droit, nous avons nos modèles linéaires, ce que nous essayons, la relation que nous essayons de construire entre nos entrées et nos sorties. C'est généralement ce que nous prenons en compte. Les hypothèses typiques dans ce cas sont que cette relation est linéaire, que ma plage de réponses est illimitée et que mes résidus sont normaux. Mes résidus sont, j'adapte un modèle aux données, tout ce qui reste, ce sont mes résidus. Je suppose qu'ils sont distribués normalement, ce qui signifie qu'ils sont symétriques autour de zéro, et qu'ils ont toutes ces belles propriétés. C'est une partie du problème.
Si nous traitons des probabilités, notre réponse ressemble en fait à ceci : je pense que j'ai quelque chose qui ressemble plus à une forme en S qu'à une relation linéaire. Cette relation linéaire ne tient pas vraiment. La plage de réponses illimitée ne tient pas non plus, car je sais que, puisque je traite de probabilités, rien ne peut être inférieur à zéro, rien ne peut être supérieur à un. Même le dernier point, l'hypothèse des erreurs normales, ne fonctionne pas. Si vous y réfléchissez, à mesure que je me rapproche de plus en plus de zéro, lorsque mes valeurs prédites se rapprochent de plus en plus de zéro, mon résidu aura de moins en moins d'espace pour fonctionner. Entre ma valeur ajustée et zéro, il commence à se rétrécir.
Je ne peux pas avoir d'erreurs symétriques proches de zéro. De même, je ne peux pas avoir d'erreurs symétriques à mesure que je me rapproche de plus en plus de 1. Quelque chose doit changer dans ce cas. Maintenant, j'espère qu'il existe une solution simple à ce problème. Une simple transformation, probablement. Avec un peu de chance, et peut-être l'utilisation d'une distribution différente. Pouvons-nous faire cela dans JMP ? La réponse est que nous avons trois options différentes. La première option, que nous avons déjà vue dans l'exemple, est la régression logistique. Cela consiste à utiliser la transformation Logit sur les données.
Dans ce cas, nous ne regardons pas les probabilités comme une réponse, nous regardons le ratio de nos deux différents niveaux de réponse. La probabilité d'un échec divisée par la probabilité d'une réussite, et nous prenons le logarithme de cela. Nous prenons ce logarithme pour rendre la relation linéaire. Une autre façon de voir les choses est que, comme nous n'avons que deux niveaux différents, cela pourrait être le ratio de la probabilité d'échec divisée par 1 moins la probabilité d'échec. Maintenant, si vous avez déjà utilisé ce genre de modèles auparavant et que vous avez entendu le terme cotes et logarithme des cotes, c'est exactement la définition.
Cette toute première partie de l'équation est la définition de ce que sont les cotes. C'est le rapport d'un niveau au rapport de l'autre niveau. Ce sont mes cotes, et ensuite je prends simplement le logarithme de cela. C'est une option. Une autre option consiste à utiliser ce qu'on appelle l'analyse d'homologation. Avec l'analyse d'homologation, j'utilise simplement une transformation différente. Dans ce cas, j'utilise l'inverse de la distribution normale. Ou si j'ai déjà créé cela dans l'éditeur de formules ou en utilisant JSL, c'est simplement la fonction quantile normale.
Il existe maintenant une troisième option possible dans JMP. Cela demande un peu de travail et nous n'allons pas entrer dans les détails de son utilisation, mais je souhaite la présenter car on la voit beaucoup dans la littérature. Il s'agit de la fonction complémentaire Log. Elle n'est pas disponible directement dans JMP. Nous devons utiliser quelque chose comme la plate-forme non linéaire pour la construire nous-mêmes. On peut l'approximer avec une distribution appelée Smallest Extreme Value Distribution, mais nous devrons la laisser pour un autre jour. En fait, nous allons nous concentrer sur les éléments disponibles prêts à l'emploi dans JMP.
Il y a maintenant une deuxième hypothèse importante que nous devons faire ici, et c'est que, même compte tenu de la transformation que nous choisissons, qu'il s'agisse de Logit ou de Probit, nous allons supposer que l'erreur est une distribution binomiale. Parce qu'elle est composée de deux parties. Non seulement je fais la transformation, mais je suppose également une distribution différente. Comme je l'ai mentionné, les deux premières sont disponibles directement dans les plateformes de JMP, elles sont donc faciles à utiliser. Nous allons nous concentrer sur celles-ci. La dernière peut être modélisée à l'aide de la plateforme non linéaire. L'avantage est que tout est disponible à partir de la plateforme de modèle d'ajustement. JMP propose trois options différentes.
Je peux utiliser la régression logistique, que nous avons déjà vue dans l'exemple. Il existe une option appelée modèle linéaire généralisé, et il existe une forte relation entre la régression logistique nominale et la régression linéaire généralisée. Ensuite, pour les utilisateurs de JMP Pro, nous avons la régression généralisée, qui me donne également tout un tas d'autres options. Il existe une autre plateforme sur laquelle vous pouvez effectuer une régression logistique simple qui ajuste Y par X. Mais, comme nous avons affaire à une condition expérimentale et que nous avons généralement plus d'un facteur, je ne vais pas en parler. Mais pour une régression logistique simple, l'ajustement Y par X fonctionne également.
Avant de voir comment je mets cela en œuvre dans JMP, nous devons parler de l'organisation des données, car comment nous organisons les données, quelles sont les données que nous savons organiser ? Il est facile de le configurer dans la boîte de dialogue d'ajustement du modèle. Laissez-moi vous donner un exemple rapide et simple. Disons que nous avons une expérience à deux facteurs, le temps et la température. Nous avons effectué une factorielle complète, nous avons donc toutes les combinaisons possibles de temps et de température. Disons que nous prévoyons de faire cinq essais par traitement expérimental.
Par traitement, je parle de la ligne, de notre ensemble unique de combinaisons, de notre ligne dans ce tableau de données. J'ai trois façons différentes de configurer les données. La première façon de configurer les données est de les utiliser comme des données brutes. Chaque ligne de mon tableau de données correspond à un essai. Vous remarquerez que la toute première ligne des données brutes est une combinaison de traitements, avec une durée et une température données. Dans ce cas, ma réponse binaire est de savoir si ma réponse est verte ou rouge. Cette première réponse était verte. La deuxième ligne est à nouveau la combinaison de traitements, et cette réponse était rouge, et ainsi de suite.
Voilà le format brut. Ces trois approches peuvent utiliser le format brut. Maintenant, je peux résumer. Parfois, il est plus judicieux de résumer les données. Lorsque je résume les données, je résume à la fois la condition de traitement et le niveau de réponse. Vous remarquerez que, pour la première ligne, dans la pile résumée, j'ai la condition de traitement 1, j'ai tous les verts et j'ai deux cas où j'ai vu du vert. La deuxième ligne correspond à ma deuxième combinaison de traitement, trois observations de vert, et ainsi de suite. Ce que je viens d'agréger, sur ma combinaison de traitement et mes niveaux de réponse.
Très bien, les trois approches peuvent utiliser ce format de pile résumé. La troisième organisation, et probablement la plus naturelle pour beaucoup de gens car elle ressemble beaucoup à l'organisation que j'utiliserais pour un modèle linéaire, est le format de division résumé. Dans ce cas, j'ai agrégé, encore une fois, la combinaison de traitements, mais uniquement pour l'un de mes niveaux de traitement. Vous remarquerez que dans ce cas, j'ai compté le nombre de fois où j'ai vu une observation verte pour chaque essai, et j'ai également compté le nombre d'essais. Si je devais, disons, créer un DOE à l'aide du concepteur personnalisé, c'est le format que je m'attendrais à utiliser, si je saisissais des données.
Si je voulais utiliser le format de pile résumée, je devrais dupliquer ces exécutions. J'en aurais une pour mon vert, une pour mon rouge, et je réorganiserais les choses un peu différemment. Or, la régression logistique ne peut pas utiliser ce format. Je dois utiliser l'un des deux autres formats. Les modèles linéaires généralisés et la régression généralisée peuvent utiliser ce format. Quelque chose à noter si vous envisagez d'utiliser la régression logistique. Bon, laissez-moi faire. Assez avec le PowerPoint. Laissez-moi aller dans JMP et parlons de la façon dont j'aurais analysé chacun de ces exemples, avec les données expérimentales que nous avons vues.
Ok, faisons une régression logistique. Nous commencerons par le premier exemple, la régression logistique. Je remarque également que j'ai ma pile résumée, j'ai un format ici. J'ai une colonne qui contient mes réussites et mes échecs, le nombre. Ce sont des données agrégées. J'ai également le nombre dans une autre colonne. Très bien, donc assez simple. Tout ce dont nous allons parler se trouve dans le modèle d'ajustement. Comme je l'ai conçu dans JMP, il est fourni avec mon modèle.
Voici mon modèle de surface de réponse dans lequel j'ai conçu l'expérience. Il a déjà pré-rempli ma boîte de dialogue ici. Mais tout ce que je veux souligner, c'est qu'ici, j'ai ma réponse, dans ce cas, nominale. C'est réussite/échec. J'ai également besoin de ces décomptes car j'ai agrégé mes données. Je vais choisir mon niveau cible, et cela dépend vraiment de l'orientation dans laquelle je veux voir ma sortie, si je veux faire des choses à partir de l'orientation réussite ou échec. Laissez-moi juste définir cela. Remettons-le à réussite. Maintenant, j'ai quelques choix différents ici.
Les deux sont des régressions logistiques. J'ai une régression logistique nominale. Si je connais un peu la régression pas à pas, je peux aussi effectuer une régression pas à pas sur mon modèle Logit, sur mon modèle de régression logistique. C'est aussi une option. Bon, restons-en à la logistique nominale d'origine. Je vais exécuter mon modèle. Encore une fois, je vais utiliser une technique de réduction des données ou une technique de réduction du modèle. Je pourrais simplement y aller et supprimer manuellement des éléments du modèle, etc. Ou j'aurais pu utiliser la régression pas à pas pour cela.
En fait, ce n'est pas important parce que j'ai le bon modèle pour commencer. Laissez-moi supprimer un terme supplémentaire de mon modèle. Et voilà. Disons que c'est notre modèle final, nous sommes satisfaits de ce modèle. Passons à notre Profiler. Laissez-moi faire défiler vers le bas jusqu'au Profiler, l'agrandir un peu, pour que nous puissions mieux voir. Maintenant, l'un des avantages de l'utilisation de ce modèle est que mon profil, mes réussites et mes échecs, sont limités, mais nous devons avoir des probabilités entre zéro et un. Laissez-moi activer mes fonctions de désirabilité. Maintenant, cela va être un peu différent car il est vraiment divisé en deux groupes.
J'ai défini la proportion de passes que je souhaite cibler et la proportion d'échecs. Je vais simplement réduire ces échecs à zéro, car je ne veux pas optimiser les échecs. J'augmenterai la désirabilité de mes passes et, allons-y, maximisons ma désirabilité. Cela m'indique, encore une fois, la même chose tout le temps en température. Cependant, j'obtiens une meilleure estimation de ce qu'est ce taux d'échec prévu ou du taux de réussite prévu dans ce cas. Cela m'indique que je devrais avoir, avec ces paramètres, un taux de réussite d'environ 96 %, donc un taux d'échec d'environ 4 %.
Certainement pas en dessous de zéro et un peu plus loin de zéro que ce à quoi je m'attendais. Bon, passons à nos modèles linéaires généralisés et nous allons utiliser le format de division résumé. Encore une fois, c'est quelque chose qui, si vous avez déjà utilisé des modèles linéaires, devrait vous sembler familier, ce format. J'ai ce sont probablement les observations qui proviennent de mon expérience de conception. J'ai compté le nombre d'observations dans l'un de mes niveaux et, dans ce cas, j'ai compté le nombre d'éléments en échec, puis j'ai obtenu le nombre total d'essais.
Très bien, encore une fois, je vais aller dans ma boîte de dialogue Ajuster le modèle. Elle est configurée un peu différemment. Pour cette organisation particulière, j'ai deux variables continues. La première doit être le nombre de mon niveau individuel et la seconde doit être mon nombre total. J'ai déjà défini par défaut ici le modèle linéaire généralisé. J'ai choisi ma distribution. Dans ce cas, la valeur par défaut est Binomiale. C'est ici que j'ai la possibilité de regarder Logit ou Probit. Nous avons de légères différences en termes de probabilités. Continuons avec Logit. Maintenant, par défaut, le Logit et la régression logistique vont me donner les mêmes résultats.
Ce qui rend les modèles linéaires généralisés un peu plus avantageux, c'est qu'ils me permettent d'assouplir certaines des hypothèses que nous avons vues plus tôt. L'une de ces hypothèses est que le terme d'erreur suit une distribution binomiale. Avec les erreurs binomiales, elles sont fixes, elles sont les mêmes quelle que soit la probabilité. L'activation de la surdispersion indique que la variabilité est un peu plus grande que ce à quoi je m'attendais, ou que l'erreur pourrait être un peu plus grande que ce à quoi je m'attendais. Cela assouplit un peu cette hypothèse des erreurs binomiales.
Je peux également ajuster mes estimations pour détecter d'éventuels biais. Je vais simplement activer ma surdispersion. Encore une fois, je vais exécuter mon modèle. Or, l'un des inconvénients de cette approche est que vous n'avez pas la possibilité de procéder par étapes. Vous devez y aller et soit le faire manuellement, soit faire supposer un modèle avant de décider avec quel modèle final vous voulez travailler. Encore une fois, je vais simplement le faire manuellement. Je vais trouver mes trois facteurs importants. Vous remarquerez que si vous comparez cela à la régression logistique, parce que j'ai activé cette surdispersion, ma variabilité est en fait un peu plus grande que ce qui a été estimé.
Ma valeur P est un peu plus élevée. Je dois me demander si je veux vraiment croire que même si ces erreurs ne sont pas significatives, elles ne valent pas la peine d'être conservées dans le modèle, etc. Mais ce qui est bien, c'est que j'ai la possibilité de pouvoir assouplir cette hypothèse particulière dans le modèle. Encore une fois, si je veux activer mon profileur et effectuer mon optimisation, c'est également disponible. J'ai les mêmes fonctionnalités intéressantes. Dans ce cas, une organisation un peu différente car je ne modélise pas les échecs passés, je modélise les probabilités. C'est le profileur que nous avons l'habitude de voir. Évidemment, dans ce cas, je ne veux pas optimiser cela car je maximiserais mes échecs. Je vais minimiser cela. Allons-y et optimisons cela.
Encore une fois, il me dit tout le temps, 45 secondes, température, 45 secondes. Il va me donner une estimation légèrement différente, bien qu'elles soient très proches. Encore une fois, ce qui est bien, c'est que je suis limité ici. Peu importe où va ce curseur, je suis limité entre zéro et un avec ces probabilités. Très bien, donc pour le dernier exemple, parlons de la régression généralisée. Maintenant, c'est une fonctionnalité exclusive de JMP Pro. Elle me donne quelques autres options supplémentaires. J'obtiens le même endroit pour commencer, ajuster le modèle, la même configuration car j'ai mes données fractionnées résumées.
Cependant, je vais choisir la régression généralisée. Maintenant, je vais choisir une distribution différente. Dans ce cas, je connais ma réponse car elle est configurée avec deux variables différentes ici. J'ai une réponse binomiale, ou je peux choisir bêta-binomiale. La bêta-binomiale est une technique analogue à l'utilisation de cette option de surdispersion dans mon modèle linéaire généralisé. Cela me permet de prendre en compte une variance qui change en fonction de la position de la probabilité. Nous nous en tiendrons à la valeur par défaut dans ce cas. Continuons et exécutons le modèle.
Si vous avez déjà utilisé la régression généralisée, vous savez que toutes vos techniques de réduction de modèle sont disponibles sur cette plateforme. Ce que je ferais probablement dans ce cas, c'est probablement utiliser l'une de ces techniques. Laissez-moi m'assurer que j'ai mon... Je vais appliquer l'hérédité. Utilisons la régression pas à pas vers l'avant. J'ai ici tout un tas d'options différentes. Si vous n'avez jamais vu de régression généralisée auparavant, j'ai tout un tas d'options différentes et intéressantes en termes de techniques de réduction de modèle. J'utiliserai la régression pas à pas vers l'avant, qui est la valeur par défaut pour la régression pas à pas. Cliquez sur Go, et voici mon modèle final.
Encore une fois, c'est très cohérent. Ces trois modèles me montrent des résultats très cohérents. Les estimations des paramètres vont être légèrement différentes. Les probabilités vont être légèrement différentes. Bon, maintenant la question est : ai-je effectué suffisamment d'essais pour pouvoir vraiment rendre cette expérience intéressante ? Cela nous amène à la question de savoir comment dimensionner correctement mon expérience ? Permettez-moi de revenir à mon diaporama PowerPoint pour quelques diapositives courtes sur la mise en place de l'expérience.
La manière dont nous allons procéder, la manière dont nous allons dimensionner l'expérience, et puis, soit dit en passant, c'est une fonctionnalité qui n'est disponible que par défaut dans JMP Pro. Pour les utilisateurs non JMP Pro, vous pourrez peut-être écrire un script JSL pour cela, mais ce serait très fastidieux. JMP Pro rend cela extrêmement facile en termes de configuration. Nous allons commencer par le concepteur personnalisé. Ce que nous allons faire, c'est que nous allons créer notre conception prévue à l'aide du concepteur personnalisé. Avant de générer la table finale que nous voyons, nous allons activer la simulation des réponses.
Cela se trouve dans le point d'accès dans le coin supérieur gauche. Une fois que nous avons créé la table de données, nous obtiendrons une boîte de dialogue dans laquelle nous pourrons modifier les coefficients. Sur la diapositive suivante, je vais donc parler un peu de la manière dont nous définissons ces coefficients. Nous allons modifier ces coefficients. Nous allons les modifier selon la magnitude souhaitée. Encore une fois, je vais entrer un peu plus dans les détails sur la diapositive suivante. Une fois que nous avons modifié les coefficients, nous allons définir l'erreur comme étant binomiale, et nous allons sélectionner la taille de l'échantillon, le nombre d'essais que nous voulons voir, puis nous allons simplement cliquer sur Appliquer.
L'option de simulation de réponse va me donner deux colonnes, car j'ai choisi les erreurs binomiales. L'une avec le nombre d'essais simulés, les réussites des essais, et l'autre avec le nombre total d'essais. C'est ce que nous allons utiliser pour faire notre simulation globale. Parlons de la façon dont nous définissons ces coefficients, car il s'agit d'une étape cruciale en termes de dimensionnement de l'expérience. La façon dont nous définissons ces coefficients dépend du modèle sous-jacent. C'est-à-dire si je choisis un modèle Logit ou Probit.
Mon exemple va utiliser les données que nous avons vues actuellement, l'exemple que nous avons vu actuellement avec le modèle Logit. Cela va déterminer comment nous définissons ces valeurs, la probabilité de base. Si vous vous souvenez de notre exemple, nous avons dit que, eh bien, au départ, nous avons un taux d'échec d'environ 15 %. Ce sera notre base de référence. Ensuite, nous devons nous demander, eh bien, à quelle probabilité est-ce que je vais vouloir voir une différence ? Encore une fois, rappelez-vous, nous avons dit que si nous pouvions voir un changement à 10 %, alors nous serions heureux. C'est alors le dimensionnement que nous voulons pour notre expérience, cette capacité à voir un changement passant de 15 % à 10 % d'amélioration.
Ce que nous allons faire, c'est que nous allons utiliser la transformation que nous avons vue pour calculer les valeurs à notre ligne de base, à nos 10 %, à la probabilité que nous voulons détecter. Nous allons prendre la différence entre ces deux valeurs et nous allons l'utiliser comme coefficient. Si nous utilisons cette ligne de base Logit, c'est juste ces 15 % divisés par 1 moins les 15 %. Notre ligne de base est de -1,73. Si nous souhaitons voir un changement vers un taux d'échec de 10 %, encore une fois, je vais simplement l'insérer dans l'équation. C'est 0,1 divisé par 1 moins 0,1. Cela me donne un résultat négatif de 2,2. Le coefficient correspond donc simplement à la différence entre ces deux valeurs. Je vais utiliser 0,5 environ comme coefficient.
Assez de PowerPoint. Voyons comment cela se fait en pratique. J'ai mis en place mon expérience, mes facteurs expérimentaux. Je vais simplement utiliser le concepteur personnalisé. Laissez-moi continuer et charger mes facteurs là-bas. Je vais construire la conception que je veux. Si vous vous souvenez, j'ai dit, eh bien, j'ai une conception de surface de réponse. Ajoutons trois points centraux ici. Faisons cela en 24 exécutions, disons. Je vais simplement continuer et cliquer sur Créer une conception, laisser le tout se dérouler et déterminer la meilleure conception à partir de l'algorithme. Avant de générer cette toute dernière table, je vais aller au point d'accès et je vais dire Simuler les réponses. Maintenant, je vais créer ma table. Cette table me donne ma conception, et je vais changer mes coefficients aux valeurs que j'ai calculées.
Laissez-moi simplement continuer et réinitialiser ces valeurs. J'ai dit que mon intercept était de -1,73. Je vais définir chacun de mes coefficients à 0,5. Laissez-moi simplement copier ceci, afin de pouvoir les coller. Enfin, je vais définir ma distribution, ma distribution d'erreur sur Binomiale. Maintenant, je vais cliquer sur le bouton Appliquer. Je veux que vous gardiez un œil sur ce tableau. Ce que cela va faire, c'est qu'il va générer ces deux colonnes que je vais utiliser pour mon analyse. Laissez-moi revenir en arrière une seconde. Je voulais définir la taille de mon échantillon. Je ne peux pas oublier de le faire. Si vous vous souvenez de l'expérience originale, j'avais cinq exécutions. La deuxième fois que j'ai effectué l'expérience, je vais réappliquer cela. Maintenant, j'ai les bonnes équations.
Voici les colonnes que je vais utiliser pour l'analyse initiale et pour faire la simulation. Maintenant, si vous le souhaitez, vous pouvez réellement signer ces effets. Par signer, je veux dire les rendre négatifs ou positifs, selon la relation que vous vous attendez à voir. Par souci de temps, je n'en ai pas parlé. J'ai une diapositive qui explique comment je pourrais passer en revue ces différents effets et dire, eh bien, cela devrait-il être positif ou négatif ? Cela peut également être fait. Bien sûr, cela affectera les résultats dans une moindre mesure que l'ampleur réelle des tailles d'effet. Mais dans la mesure où avec la plupart des conceptions, à moins qu'elles ne soient complètement orthogonales, il y a une corrélation entre ces effets, et le fait qu'un effet soit positif ou négatif peut avoir une certaine influence sur mes valeurs de puissance.
Maintenant que j'ai terminé, maintenant que j'ai généré ma conception initiale, je vais accéder à mon modèle d'ajustement. Je vais analyser la conception. Je dois m'assurer d'insérer mes simulations et mes essais. J'utilise généralement, dans cette situation particulière, la régression généralisée, et encore une fois, j'utilise la méthode binomiale en raison de toutes ces options en termes de réduction du modèle. L'avantage est qu'avec la simulation, tout cela se déroule. Je n'ai pas à me soucier d'écrire des scripts pour pouvoir le faire. Allons-y et exécutons-le. Encore une fois, je vais utiliser la sélection avant. Je vais simplement cliquer sur Go. Laissez-moi simplement faire défiler la page jusqu'à mon modèle de sélection avant. Il se trouve juste ici.
Maintenant que j'ai mon observation unique, je peux faire un clic droit. Je passe généralement la souris sur l'une des valeurs de probabilité. Je fais un clic droit et tout en bas, il y a une option Simuler. Je dois m'assurer que la colonne de formule avec le nombre de réussites simulées est sélectionnée dans ces deux cas, et par défaut, elle devrait l'être. Je vais spécifier le nombre d'essais d'échantillons que je veux faire. Maintenant, une fois que je clique sur "Go", ce qui va se passer, c'est qu'à chaque itération de la simulation, la colonne de formule va recalculer et me donner un nouvel ensemble de nombre d'essais en fonction de mon modèle sous-jacent.
Je vais faire ça pour 2 500 exécutions, puis il va regrouper ces données dans un joli rapport. Maintenant, plutôt que de passer du temps à regarder ça tourner, c'est rapide. Cela ne prend généralement qu'environ une demi-minute, peut-être une minute. J'ai effectivement exécuté des résultats, et voici à quoi ressemblent les résultats. Ici, j'ai mes 2 500 exécutions, moins cette toute première exécution initiale. J'ai en fait ajouté quelques fonctions supplémentaires ici, des formules ici, que je serai heureux de partager. Mais ce sont les deux scripts qui sont ajoutés lorsque ce rapport est généré. L'analyse de puissance n'est qu'un sous-ensemble de la distribution. Jetons un œil à l'analyse de puissance.
Cela me donne un tas de données sur la distribution de ces valeurs P pour toutes ces exécutions. Si vous vous souvenez du modèle sous-jacent dans ce cas, tout était significatif. Cela me dit que c'est la distribution de mes valeurs P que j'ai vu à travers ma simulation, ma valeur prédite est d'environ 1 sur 10 000, donc c'est bien. J'obtiens un calcul de mon intervalle de confiance autour de ma valeur P prédite. En fait, je ne pense pas qu'il s'agisse d'un intervalle de confiance puisque nous utilisons une approche bayésienne.
Il s'agit plutôt d'un intervalle crédible. Peut-être d'un intervalle de confiance. Mais il va se limiter à la valeur de probabilité. Mais une information intéressante et importante est le nombre de fois où j'ai rejeté mon hypothèse nulle, dans ce cas. Cela me dit que si je devais choisir un niveau alpha de 0,01, j'aurais rejeté cette hypothèse nulle environ la moitié du temps, même si je sais qu'en fait, je la modélise comme un effet réel. Si je passe à 0,05, je l'ai rejetée environ les trois quarts du temps, et ainsi de suite.
C'est l'information que j'utilise pour poser la question : ai-je dimensionné correctement mon expérience ? Serai-je capable de détecter mes effets principaux, mes effets principaux et mes interactions à deux facteurs, tout autre effet sur mon modèle, un nombre de fois suffisant, une proportion de fois suffisante pour me satisfaire du nombre d'exécutions que j'ai sélectionné ? Ce que je me suis souvent retrouvé à faire dans ces cas-là, c'est que non seulement je m'appuie sur certains des rapports intégrés, mais ce que je fais, c'est que je compte, par exemple, le nombre d'effets significatifs corrects.
Je vais entrer une valeur limite et calculer le nombre de réponses correctes. Encore une fois, tout cela sera regroupé avec le matériel, avec un peu d'explication et les formules de la façon dont je construirais tous ces modèles. Encore une fois, je dois vraiment utiliser ma propre définition du risque pour déterminer si j'ai capturé un nombre suffisant de ces effets significatifs pour que cette expérience vaille la peine d'être exécutée pendant 5, 10 ou 20 exécutions, etc. Très bien, cela conclut ce que je voulais vous montrer dans JMP. Revenons à notre résumé.
Pour résumer, lorsque je modélise ces données, je vais utiliser la plateforme Fit Model, quelle que soit la technique que j'utilise. J'ai la régression logistique, auquel cas je peux utiliser soit la régression logistique, soit la régression pas à pas avec la régression logistique en arrière-plan. J'ai des modèles linéaires généralisés, qui par défaut vont me donner le même résultat que la régression logistique, mais avec la possibilité supplémentaire d'assouplir l'hypothèse sur mes erreurs et de corriger les biais. Ensuite, j'ai la régression généralisée pour, si j'ai JMP Pro qui me le permet, ce que je verrais dans la régression logistique ou le modèle linéaire généralisé, plus l'avantage supplémentaire de me permettre également de produire un modèle.
Lorsque je dimensionnerai l'expérience, je vais la construire à l'aide du concepteur personnalisé, puis utiliser la fonction de simulation intégrée de JMP pour pouvoir exécuter mon expérience de simulation bootstrap, mon analyse de simulation bootstrap. Cela conclut ce dont je voulais parler. Il y aura des informations supplémentaires dans les diapositives supplémentaires, que je n'ai malheureusement pas le temps de parcourir, mais j'espère que vous avez apprécié ce que vous avez vu, et j'espère que c'est quelque chose que vous pourrez utiliser à l'avenir, et que cela vous sera bénéfique. Merci beaucoup.
