Bonjour, je m'appelle Abby Collins et je suis statisticienne chez FUJIFILM Biotechnologies. Aujourd'hui, je vais vous présenter le module complémentaire d'analyse comparative que j'ai développé pour nous permettre d'effectuer des analyses statistiques. Ce module a été conçu pour répondre à plusieurs questions. Chez FUJIFILM, nous sommes une entreprise de développement et de fabrication de médicaments sous contrat. Une partie de notre travail de développement consiste à réaliser des analyses de modélisation à échelle réduite. Ces analyses permettent de déterminer l'équivalence entre nos données de production à grande échelle et celles obtenues à petite échelle, afin de pouvoir approfondir l'étude du procédé et des attributs de qualité critiques à grande échelle.
L'une des méthodes permettant de déterminer l'équivalence entre ces deux échelles consiste en une analyse statistique. Ce module complémentaire, ainsi que sa motivation, découlent de cette analyse. Il nous permet d'effectuer l'ensemble des analyses statistiques réalisées pour le modèle réduit.
Passons maintenant au contexte. Vous pouvez voir ici l'image d'un bioréacteur de 2 000 litres, issue des données de production industrielle à grande échelle. Vous pouvez constater l'énorme différence de volume avec ce minuscule bioréacteur de 250 millilitres. C'est avec ce dernier que nous développerons nos procédés en laboratoire. Il nous faut donc établir l'équivalence entre ces deux échelles.
Pour ce faire, statistiquement, nous avons besoin de trois points de données à grande échelle pour réaliser l'analyse. Nous sommes encore au début du développement lorsque nous effectuons cette analyse. Souvent, nous ne disposons pas de grands ensembles de données. Il nous en faut au moins trois. Nous recommandons ensuite systématiquement de réévaluer et de réutiliser ce module complémentaire à mesure que de nouvelles données deviennent disponibles, au fur et à mesure de l'avancement du développement et de la fabrication.
Passons maintenant au module complémentaire proprement dit. L'image de la structure des données ci-contre présente une capture d'écran d'un jeu de données parfaitement adapté à ce module. Pour l'exécuter, il suffit de disposer d'une colonne d'identification de séquence (ou de ligne), surlignée en jaune, et d'une colonne d'identification de groupe. Vos données doivent donc être regroupées selon ces deux niveaux. Hormis cela, le module complémentaire est compatible avec tous les noms de colonnes et de groupes. Que ce soit l'identifiant de séquence, le nom du groupe ou le nom de la colonne, cela n'a aucune importance. Le script est robuste. Il suffit que vos données soient correctement structurées et que vous disposiez au moins de ces deux colonnes d'information, en plus de vos données proprement dites.
Passons à l'exécution du module complémentaire. La première fenêtre qui s'affiche est celle du test d'équivalence SSM. Elle vous permet de décrire la structure de vos données afin que le script puisse les reconnaître et les analyser. Dans cet exemple, la colonne d'identification de ligne ou d'exécution correspond au numéro d'exécution. La colonne contenant le type d'exécution ou la variable de regroupement est la colonne « échelle ». Le module vous demande ensuite le groupe de référence au sein de cette variable de regroupement ; il s'agit ici de nos données à grande échelle. Le groupe de test, auquel nous souhaitons comparer les données, est constitué de nos données à petite échelle réduites. Il s'agit donc de la colonne « petite ». La colonne contenant le premier paramètre du test d'équivalence, ou votre première colonne numérique, est la colonne 3.
Passons à l'invite suivante. La fenêtre qui s'affiche vous demande d'identifier les colonnes numériques de votre jeu de données sur lesquelles vous souhaitez effectuer l'analyse. Elle liste toutes les colonnes numériques de votre jeu de données, et vous pouvez en sélectionner une ou plusieurs. C'est pratique, car le module complémentaire générera un sous-ensemble spécifique aux colonnes sélectionnées. Ainsi, si votre jeu de données est très volumineux, vous n'aurez pas à vous soucier de le réduire manuellement. Vous pourrez le faire directement ici.
Concrètement, que fait le module complémentaire en arrière-plan ? Ce petit organigramme illustre son fonctionnement. Dans la case du haut, après la section de saisie utilisateur, on voit que le module génère des statistiques récapitulatives par échelle pour vos données. Je n'en dirai pas plus pour l'instant ; j'y reviendrai lors de la présentation des résultats. Je m'attarderai également sur la case du bas, qui représente le nuage de points Six Sigma. Nous l'expliquerons plus en détail dans les résultats. Mais c'est l'organigramme du milieu qui m'intéresse ici.
En arrière-plan, le module complémentaire vérifie l'égalité des variances entre vos deux groupes. Pour ce faire, il utilise le test de Brown-Forsythe, le test de Levene et le test F. Si deux de ces trois tests présentent une p-valeur supérieure à 0,05, le module complémentaire considère que les variances sont égales entre les groupes. Il effectue alors un test t de Student pour échantillons appariés, le test de Welch et un test TOST (ou deux tests t unilatéraux avec variance groupée). À l'inverse, si deux de ces trois tests échouent (p-valeur inférieure à 0,05), le module complémentaire considère que les variances sont inégales entre les deux groupes et produit les résultats d'un test t de Student standard, du test de Welch et d'un test TOST en supposant une inégalité des variances.
Si vous avez déjà exécuté un test d'équivalence théorique (TOST) dans JMP, vous savez qu'il est nécessaire de définir l'équivalence pratique et de l'intégrer à la plateforme de tests d'équivalence. Or, ce module complémentaire génère automatiquement les résultats du TOST en utilisant une équivalence pratique égale à trois fois l'écart type de votre groupe de référence. Dans notre cas, cela correspond à trois fois l'écart type de nos données à grande échelle pour chaque paramètre inclus dans l'analyse.
À ce stade précoce du développement, nous ne disposons pas encore d'une équivalence scientifiquement rigoureuse et pratique, même si nous en avons parfois une. Cependant, l'utilisation de trois fois l'écart-type constitue un bon point de départ, car nous ne disposons pas souvent de cette information. C'est précisément le rôle de ce module complémentaire : il utilise cette valeur et génère automatiquement les résultats TOST. Ensuite, il crée un tableau récapitulatif de tous ces résultats, ainsi que les données de sortie JMP correspondantes.
Je vais maintenant procéder à une démonstration du module complémentaire et vous parler des résultats.
Voici le tableau de données que vous avez vu sur l'affiche. Je vais accéder à mes modules complémentaires. Je vais cliquer sur « Analyse comparative » et remplir la première fenêtre. Quelle est ma colonne « ID d'exécution » ? Il s'agit du numéro d'exécution. Quel est mon groupe de type d'exécution ? Il s'agit de l'échelle. Mon groupe de référence est constitué de mes données à grande échelle. Mon groupe de test est constitué de données à petite échelle. La première colonne que je souhaite tester est la colonne 3. La saisie est sensible à la casse. Assurez-vous donc de respecter les majuscules si elles sont présentes dans l'ensemble de données. Je clique sur « OK ». Je ne souhaite peut-être pas inclure les paramètres 5 et 6. Je maintiens donc la touche Ctrl enfoncée et je sélectionne tout sauf ceux-ci. Je clique sur « OK ».
Ce qui est appréciable, c'est que nous disposons désormais d'un rapport JMP regroupant tous les résultats de cette analyse comparative. En haut, nous avons un sous-ensemble des données que j'ai sélectionnées pour cette analyse. Tous les paramètres sont présents, à l'exception des paramètres 5 et 6, qui sont manquants car je ne les ai pas sélectionnés. Ensuite, nous avons les statistiques descriptives des paramètres sélectionnés, classées selon notre échelle. Nous avons donc nos données à grande et petite échelle. Par défaut, le module complémentaire inclut actuellement le minimum, le maximum, la moyenne, l'écart type et la taille de l'échantillon par groupe. Enfin, vous obtenez un tableau récapitulatif clair de tous les résultats de la comparaison effectuée avec ce module. Vous pouvez voir ici les trois premières colonnes : le groupe de test, le nombre d'échecs et le pourcentage de réussites. Ces trois colonnes d'informations correspondent au nuage de points Six Sigma que vous pouvez voir ici.
Sur ce graphique, la zone verte représente la région Six Sigma. Si vous travaillez dans ce secteur, ce terme vous est peut-être familier. Il s'agit simplement de trois écarts-types au-dessus et en dessous de nos données à grande échelle, qui constituent notre groupe de référence. C'est ce qui crée cette zone verte. En faisant défiler vers le bas, vous pouvez voir une ligne rouge. Il s'agit de la moyenne de vos données à petite échelle, ou de votre groupe de test. La ligne bleue représente la moyenne de nos données à grande échelle. Les points de données individuels sont représentés, ainsi qu'une ligne noire représentant la moyenne globale. Le groupe de test correspond au nombre de points de données qui le composent. Ce sont mes données à petite échelle. Le nombre d'échecs correspond au nombre de points de données situés en dehors de la plage Six Sigma pour vos données à petite échelle. Par conséquent, le pourcentage de réussite représente la proportion de points de données qui se situent dans la plage Six Sigma. Puisque 7 des 8 éléments se trouvent dans cette zone verte, notre taux de réussite est de 88 % d'après ce nuage de points.
Passons à la colonne suivante : l’hypothèse de test. C’est ici que le module complémentaire effectue les tests d’égalité des variances. L’hypothèse d’égalité est confirmée si deux des trois tests sont réussis. Dans le cas contraire, elle est confirmée par une inégalité des variances. Nous obtenons ensuite la p-valeur du test t correspondant à cette hypothèse. En cas d’égalité des variances, la p-valeur correspond à un test t groupé. En cas d’inégalité des variances, il s’agit de la p-valeur d’un test t standard. Ces données sont ensuite affichées dans une colonne indiquant la réussite ou l’échec du test. La réussite est obtenue si la p-valeur est supérieure à 0,05, ce qui signifie qu’il n’y a pas de différence significative entre les moyennes des deux groupes. En revanche, une p-valeur inférieure à 0,05 indique un échec, car la différence entre les moyennes des deux groupes serait significative. De même, nous avons la valeur P du test de Welch, et nous réussissons/échouons également en fonction de cette valeur P.
Ensuite, nous obtenons les résultats de notre évaluation TOST. Nous avons les options « équivalence » et « non-équivalence ». Ce sont les seules options proposées par défaut dans JMP. Si je fais défiler vers le bas après avoir consulté nos résultats de synthèse, je peux constater que toutes les informations relatives à l'ajustement Y par X ayant permis d'obtenir ces résultats de test sont toujours disponibles dans ce document. Nous avons ici notre graphique standard avec nos losanges représentant les moyennes, ainsi que les cercles de Tukey-Kramer. Nous avons également les informations relatives au test t, au test de variance et au test de Welch. En faisant défiler vers le bas, nous obtenons également les résultats du test d'équivalence (TOST). Nous avons l'intervalle de confiance, la zone d'équivalence (en bleu), la zone d'échec (en rouge) et toutes les informations concernant tous les paramètres inclus dans ce rapport.
Par défaut, le module complémentaire reste ouvert. Si je le réduis, la fenêtre de la plateforme d'ajustement Y par X reste ouverte. La plateforme où ces nuages de points ont été créés reste également ouverte, ce qui vous permet de les enregistrer dans le tableau de données. Ici, ce sous-ensemble DT est produit ; il s'agit du sous-ensemble de vos données contenant uniquement les paramètres que vous avez sélectionnés. J'ai choisi de le laisser ouvert, ainsi que ces éléments du module complémentaire, afin que vous puissiez les enregistrer dans le tableau de données et sauvegarder ce dernier si vous souhaitez y revenir ultérieurement ou si vos données sont mises à jour. Vous n'aurez ainsi pas besoin de relancer le module complémentaire. Tout sera enregistré ici. Je vais réduire ces éléments et revenir à la présentation.
Un autre point que je souhaitais aborder concernant nos résultats : nous créons ce tableau final. Comme vous pouvez le voir, j'ai simplement créé un tableau de données combiné, en faisant un clic droit sur les résultats récapitulatifs et en les convertissant en tableau de données. On y trouve une conclusion statistique et une conclusion scientifique. La conclusion statistique est établie à partir de ces résultats statistiques. Elle sera verte si tous les tests inclus dans cette analyse ont été validés à 100 %.
Si un test échoue pour une raison quelconque, statistiquement parlant, nous l'afficherons en rouge pour indiquer un échec. Le jaune n'apparaîtra que si tous les tests sont réussis, sauf un résultat TOST non concluant. Un résultat TOST est considéré comme non concluant lorsque l'intervalle de confiance, comme dans cet exemple, chevauche les régions d'équivalence et de non-équivalence. Comme nous ne sommes ni à 100 % de réussite ni à 100 % d'échec, nous avons choisi de considérer ce résultat comme non concluant. C'est pourquoi l'affichage sera jaune. En revanche, si un résultat est non concluant et qu'un autre test échoue, l'affichage sera rouge.
Comme vous pouvez le constater, la couleur est rouge dans cet exemple car le résultat n'est pas concluant à 100 % d'après le nuage de points, et le TOST est indéterminé. C'est pourquoi ce résultat est rouge. Ensuite, nous transmettons les données à nos scientifiques. Nous examinons ensemble tous les résultats. Ils s'appuient alors sur leurs connaissances scientifiques concernant l'attribut ou le processus étudié, ainsi que sur les statistiques, pour tirer la conclusion finale d'équivalence pour notre analyse de modélisation simplifiée.
Voici quelques travaux futurs et l'état d'avancement actuel du module complémentaire. Je travaille actuellement à permettre aux utilisateurs de saisir une équivalence pratique pour le TOST. Comme mentionné précédemment, le module complémentaire utilise par défaut trois fois l'écart type des données de votre groupe de référence comme région d'équivalence pratique. Toutefois, si ce n'est pas toujours le cas et que vous souhaitez utiliser un multiplicateur différent de l'écart type, ou si vous disposez d'une véritable équivalence pratique à saisir, je travaille à intégrer cette option dès le début du module complémentaire, afin d'éviter de devoir calculer le TOST manuellement pour chaque utilisateur. Cette option est en cours de développement.
J'aimerais également ajouter que j'aimerais décoder le tableau récapitulatif afin que les résultats TOST non concluants apparaissent directement dans ce tableau, au lieu de l'affichage par défaut actuel (équivalent/non équivalent) qui oblige à modifier manuellement ce dernier. Cette fonctionnalité est en cours de développement. J'aimerais aussi qu'elle soit plus personnalisable pour nos scientifiques qui utilisent l'extension. S'ils souhaitent inclure d'autres tests, sélectionner un sous-ensemble ou utiliser des visualisations différentes, je souhaite prendre en compte leurs suggestions. L'amélioration de la présentation est toujours possible et fait l'objet de travaux constants.
En conclusion, ce module complémentaire nous a été très utile en réduisant considérablement le temps nécessaire à la réalisation de cette analyse statistique. Si vous avez déjà utilisé la méthode TOST dans JMP, vous savez qu'il faut saisir manuellement l'équivalence pratique, sélectionner le type de variance, indiquer si un groupe témoin est souhaité, et ce pour chaque paramètre analysé.
L'automatisation du TOST, la génération automatique de tableaux récapitulatifs et l'accès à tous ces graphiques en un seul clic nous ont permis de gagner un temps précieux et d'améliorer considérablement l'efficacité de nos analyses. Cet outil s'est également révélé très utile pour les nouveaux utilisateurs de JMP et pour les scientifiques souhaitant réaliser des analyses statistiques de manière autonome. Même s'ils ne maîtrisent pas parfaitement JMP, la formation à l'utilisation du module complémentaire et à l'interprétation des résultats est très simple : un simple clic suffit. Cet outil s'est avéré extrêmement bénéfique pour nous, et nous espérons poursuivre ces améliorations à l'avenir, contribuer à la diffusion des connaissances en statistiques et développer de nouveaux modules complémentaires. Merci.
