Bonjour. Je m'appelle Ray Bunkofske et je travaille chez Regeneron Pharmaceuticals. Je vais vous présenter une application que j'ai développée avec JMP afin de faciliter la détection des variations de nos indicateurs clés de performance (KPI) et d'identifier la cause première de tout résultat anormal. Chaque analyse génère diverses statistiques descriptives, et les KPI sont des combinaisons linéaires de ces statistiques. J'ai démontré que ces combinaisons sont utiles pour détecter les problèmes liés à ces résultats.
Au sein de l'entreprise, des dizaines d'analyses différentes sont réalisées, chacune comportant plusieurs paramètres à surveiller et à examiner en cas de problème. L'objectif est de fournir une application unique permettant aux utilisateurs de détecter les analyses problématiques et d'identifier les sources probables de variation. Cette application permet également d'afficher des indicateurs de performance clés (KPI) pour la gestion de la santé à long terme et d'identifier les sources de variation systématique. Elle exploite l'analyse multivariée de JMP pour fournir une page unique regroupant les résultats normalisés de chaque analyse, facilitant ainsi l'identification rapide des tendances émergentes. Les principaux KPI utilisés sont le T² de Hotelling et la distance au modèle. Leur utilité réside dans la possibilité d'intégrer plusieurs KPI dans une seule carte de contrôle, évitant ainsi la consultation de plusieurs cartes pour chaque analyse.
Il prend également en charge les graphiques univariés classiques, permettant ainsi aux utilisateurs d'accéder à un paramètre particulier, d'examiner les résultats et d'explorer plus en détail les causes possibles de résultats aberrants. Passons maintenant à JMP. C'est ici que les graphiques de contrôle individuels peuvent être consultés. Pour chaque paramètre, les limites de contrôle sont stockées dans une propriété de colonne, et en haut à gauche figure la liste des analyses disponibles ainsi que le nombre d'exécutions de chaque analyse au cours de la dernière année. Viennent ensuite deux colonnes affichant les paramètres ayant atteint leurs valeurs les plus élevées pour une semaine donnée. Enfin, un graphique de type « feu tricolore » est disponible : vert si toutes les valeurs sont inférieures à 1 sigma, jaune entre 1 et 3 sigma, et rouge au-delà de 3 sigma. Pour afficher un graphique spécifique, il suffit de le sélectionner. Cliquez ensuite sur « Afficher les paramètres ». Les paramètres apparaissent alors ici, et vous pouvez choisir ceux que vous souhaitez examiner, qu'il s'agisse d'un seul ou de plusieurs. Vous pouvez ensuite sélectionner « Créer des graphiques », et les paramètres s'affichent ci-dessous. Voici un exemple où j'ai quelques points qui se situent bien en dehors des limites de contrôle.
Pour agrandir l'échelle, le plus simple est de cliquer sur les points aberrants, de recréer les graphiques, puis de représenter les valeurs extrêmes (hautes ou basses) par des étoiles sur la limite de contrôle à 3 sigma. Vous pouvez naviguer entre les graphiques avec les boutons « Suivant » et « Précédent ». Une légende simplifiée vous permet de sélectionner les points présentant des échecs de laboratoire, des notifications d'événements ou des échecs généraux. Vous pouvez colorer les points selon la version du test. Qui a réalisé l'analyse ? Ce sont des pseudonymes. Les responsables disposent d'une clé de correspondance : le nom 8 correspond à Sally et le nom 35 à Johnny.
Ensuite, vous avez le type d'échantillon : non routinier, de libération ou de stabilité. Les échantillons sont ensuite colorés en conséquence. Vous pouvez également accéder à la page « Situation en un coup d'œil ». Cette page contient de nombreuses informations ; commençons donc par le coin supérieur gauche. Vous pouvez sélectionner une période, ici les 60 derniers jours. Sont affichés les dosages avec des données sur les 60 derniers jours, leur quantité, le T² de Hotelling maximal et le DModX maximal. Tout élément dont au moins une de ces valeurs dépasse la limite de contrôle supérieure de 1 est coloré en rouge.
Ici, nous avons les analyses pour lesquelles aucune donnée n'a été enregistrée au cours des 60 derniers jours. Ensuite, voici les observations individuelles qui ont déclenché les points rouges. Plus bas, nous avons un graphique du T² de Hotelling pour toutes les analyses. Chaque point représente la valeur maximale du T² de Hotelling pour une semaine de travail donnée. Toutes les valeurs ont été normalisées, la limite étant de 1. Ces deux barres verticales correspondent aux deux dernières semaines, à titre de repère visuel. Vous pouvez constater que certaines courbes splines présentent des irrégularités et des points manquants. Cela est dû au fait que ces points sont hors graphique. En cliquant sur « rail », ces points seront redessinés à la limite de 3 sigma pour une meilleure visualisation. Pour consulter les détails d'une analyse, il suffit de cliquer dessus pour accéder à sa page de détails. Il s'agit du CTP numéro 21. Voici l'analyse de capabilité réalisée par JMP. L'axe des abscisses représente la stabilité et l'axe des ordonnées la capabilité. Ce graphique ne présente pas un bon état général. Si vous vous souvenez, nous avions quelques valeurs aberrantes.
Je vais supprimer les valeurs aberrantes et relancer le rapport pour voir si cela modifie l'ordre des résultats. Effectivement, c'est le cas. Ma capabilité est maintenant supérieure à 1,33 et ma stabilité reste bonne. Les chiffres détaillés se trouvent en haut. Plus bas, vous trouverez le T² de Hotelling individuel, où chaque point représente un dosage (et non plus le maximum hebdomadaire) et le DModX. Je peux à nouveau colorer les points en fonction d'un LTIF, d'une notification d'événement ou d'un défaut général. La version du SOP, l'analyste ou le type d'échantillon sont également indiqués. En survolant un point, JMP affiche un petit diagramme de Pareto des paramètres individuels, vous permettant de comprendre la situation. Vous pouvez ensuite cliquer dessus et survoler à nouveau pour afficher la carte de contrôle de ce paramètre dans une fenêtre séparée, où vous pouvez consulter les détails. Je vais masquer cette fenêtre pour le moment.
L'autre possibilité est d'examiner plus en détail les résultats des analyses de laboratoire disponibles ici. Quelles sont les différences entre ces points ? Appelons-les le groupe A. Je classerai tous les autres dans le groupe B, puis j'effectuerai une analyse prédictive. Le résultat est le suivant : la différence entre les deux groupes concerne la pipette numéro 5, la pipette numéro 3, le réactif numéro 1, etc.
Tout élément dont la proportion dépasse 0,1 génère un graphique. Vous pouvez faire défiler vers le bas pour visualiser différents types de graphiques, selon les données. Vous pouvez ainsi déterminer si cela justifie une investigation. Dans ce cas précis, il semble que non. Nous avons ici une pipette très différente, et le constat est le même pour celle-ci. Vous pouvez également sélectionner des points et cliquer sur « Créer une liste de plaques ». Vous verrez alors une liste comme celle-ci, indiquant pour chaque point sélectionné s'il devrait y avoir trois plaques et si toutes devraient afficher « Vrai », signifiant que les résultats ont été validés. Certaines plaques ont été validées avec une seule plaque, d'autres avec toutes. Cela permet de visualiser facilement le nombre de plaques utilisées pour chaque analyse. De plus, si des notes sont associées, elles apparaissent ici et vous pouvez accéder à notre système de suivi pour consulter les informations correspondantes. Pour plus de détails, vous pouvez consulter les remarques et les points sélectionnés. Cliquez sur « Afficher les remarques ». Vous verrez ensuite, pour chaque analyse, ce numéro, le numéro de référence, puis les notes saisies par l'analyste au moment de l'expérience.
En naviguant un peu, on constate que les paramètres de l'analyse sélectionnée s'affichent. Pour examiner plus en détail l'un d'eux, il suffit de le sélectionner. Cliquez ensuite sur « Créer un graphique ». Un graphique de contrôle est alors généré pour ce paramètre, incluant toutes les statistiques associées. Parmi les autres onglets disponibles, on trouve un rapport de validité. À gauche, vous trouverez l'analyse détaillée de chaque procédure opératoire standard (SOP), indiquant le pourcentage de conformité et de non-conformité. Pour plus de détails, rendez-vous à droite. Ici, l'analyse sélectionnée est affichée. Vous pouvez alors consulter l'évolution mensuelle : le nombre d'analyses réalisées chaque mois, le pourcentage d'erreurs de laboratoire connues, et un tableau détaillant le pourcentage de difficultés rencontrées par chaque paramètre. Ce tableau correspond à la légende en haut à droite. Si vous souhaitez approfondir l'analyse, par exemple en mars 2025, nous sélectionnerons cette date et le graphique affichera les données par semaine ouvrable.
Vous pouvez consulter les résultats d'une semaine donnée ou les visualiser par aliquot pour chaque analyse. L'avantage est que si certains résultats sont aberrants alors que les autres sont bons, votre analyse est probablement correcte, mais il est possible qu'un nouvel analyste ait été impliqué ou qu'un problème soit survenu avec l'agent de prélèvement. Dans ce cas, il convient d'approfondir la question. L'autre fonctionnalité disponible est le rapport des erreurs de laboratoire connues. Par défaut, la liste de toutes les analyses s'affiche en bas, avec un code couleur par mois. Vous pouvez constater que les analyses n° 1 et n° 33 semblent présenter le plus de problèmes. Vous pouvez également examiner différents types d'erreurs et les afficher sous forme de graphiques circulaires ou à barres empilées, selon ce qui vous semble le plus pertinent. Pour une analyse plus poussée, vous pouvez sélectionner une analyse spécifique ; un graphique à barres sera alors généré pour chaque mois. Vous pouvez également sélectionner un mois et visualiser les résultats de toutes les analyses. Je vais repasser à PowerPoint.
Nous avons conçu cet outil pour effectuer des revues hebdomadaires et fournir un moyen simple de démontrer que les analyses se déroulent correctement. En cas de problème, il offre une méthode simple pour déterminer les causes probables des variations. La possibilité d'inclure les réactifs et les lots s'est avérée utile, tout comme l'identification de certaines combinaisons de pipettes d'analystes qui pourraient ne pas être optimales. Enfin, je tiens à remercier mes collègues sans qui rien de tout cela n'aurait été possible. Je pense notamment à l'équipe des analyses : les responsables des groupes qui réalisent les analyses, les personnes qui les développent, les équipes qui fournissent le matériel et les réactifs, et l'équipe d'automatisation qui met en place tous les éléments nécessaires au fonctionnement du matériel et à sa connexion à nos applications d'analyse. Merci. Avez-vous des questions ?
