Guten Morgen. Mein Name ist Ray Bunkofske, und ich arbeite für Regeneron Pharmaceuticals. Ich werde Ihnen eine von mir in JMP entwickelte Anwendung vorstellen, die es erleichtert, Abweichungen in den wichtigsten Leistungsindikatoren (KPIs) unserer Assays zu erkennen und die Ursache ungewöhnlicher Ergebnisse zu ermitteln. Für jeden Assay gibt es verschiedene zusammenfassende Statistiken. Die KPIs sind lineare Kombinationen dieser Statistiken und haben sich, wie ich festgestellt habe, als nützlich erwiesen, um Probleme mit diesen Ergebnissen aufzudecken.
Im gesamten Unternehmen werden Dutzende verschiedener Tests durchgeführt, von denen jeder mehrere Parameter überwacht und bei Problemen überprüft werden müssen. Ziel ist es, eine zentrale Anwendung bereitzustellen, mit der Benutzer problematische Tests identifizieren und die wahrscheinlichen Ursachen für deren Abweichungen ermitteln können. Zusätzlich können Kennzahlen für das Management zur langfristigen Systemstabilität angezeigt und systematische Abweichungen identifiziert werden. Die Anwendung nutzt die multivariate Analysefunktion von JMP, um eine Seite mit normalisierten Ergebnissen aller Tests bereitzustellen und so die schnelle Erkennung neuer Trends zu ermöglichen. Die wichtigsten Kennzahlen sind der Hotelling-T²-Wert und die Distanz zum Modell. Diese sind hilfreich, da mehrere KPIs in einer einzigen Kontrollkarte zusammengefasst werden können, wodurch die Erstellung separater Karten für jeden Test entfällt.
Es unterstützt auch herkömmliche univariate Diagramme, sodass Benutzer einen bestimmten Parameter auswählen, die Ergebnisse überprüfen und mögliche Ursachen für ungewöhnliche Ergebnisse genauer untersuchen können. Wir wechseln nun zu JMP. Hier können die einzelnen Kontrollkarten eingesehen werden. Für jeden Parameter sind die Kontrollgrenzen in einer Spalteneigenschaft gespeichert. Oben links befindet sich die Liste der verfügbaren Tests und die Anzahl der Durchführungen jedes Tests im letzten Jahr. Darunter folgen zwei Spalten mit den Parametern, die in der jeweiligen Woche als die höchsten Werte markiert wurden. Schließlich gibt es ein Ampeldiagramm: Grün bedeutet, dass alle Werte innerhalb von 1 Sigma liegen, Gelb bedeutet, dass sie zwischen 1 und 3 Sigma liegen, und Rot bedeutet, dass sie außerhalb von 3 Sigma liegen. Um ein bestimmtes Diagramm anzuzeigen, markieren Sie einfach das gewünschte Diagramm. Klicken Sie auf „Parameter anzeigen“. Die Parameter werden nun angezeigt, und Sie können auswählen, welche Sie überprüfen möchten – entweder einen oder mehrere. Anschließend können Sie „Diagramme erstellen“ auswählen. Die Parameter werden unten angezeigt. Hier sehen Sie ein Beispiel, bei dem einige Punkte deutlich außerhalb der Kontrollgrenzen liegen.
Um den Maßstab zu erweitern, klicken Sie am einfachsten auf Ausreißerpunkte, erstellen Sie die Diagramme neu, und alle Ausreißer (hohe und niedrige Werte) werden als Sterne auf der 3-Sigma-Kontrollgrenze dargestellt. Sie können mit den Pfeiltasten zwischen den Diagrammen navigieren. Die Legende bietet Funktionen, mit denen Sie Punkte mit Laborfehlern, Ereignismeldungen und allgemeinen Fehlern auswählen können. Die Farbgebung richtet sich nach der verwendeten Testversion. Wer hat die Analyse durchgeführt? Es handelt sich um Pseudonyme. Die Manager haben eine Legende, sodass sie wissen, dass Name 8 für Sally und Name 35 für Johnny steht.
Dann gibt es noch den Probentyp, also ob es sich um eine nicht routinemäßige Probe, eine Freigabeprobe oder eine Stabilitätsprobe handelt. Die Proben werden dann entsprechend farblich gekennzeichnet. Außerdem können Sie die Übersichtsseite aufrufen. Hier gibt es viele Informationen, daher beginne ich oben links. Sie können einen Zeitraum auswählen. In diesem Fall sind es die letzten 60 Tage. Hier sehen Sie die Assays mit Daten der letzten 60 Tage, die jeweilige Menge, die maximale Hotelling-Halbwertszeit (T²) und den maximalen DModX-Wert. Alle Werte, bei denen mindestens einer dieser Werte über dem oberen Kontrollwert von 1 liegt, sind rot markiert.
Hier sehen wir Assays, für die in den letzten 60 Tagen keine Daten vorlagen. Daneben befinden sich die einzelnen Messwerte, die die roten Punkte ausgelöst haben. Weiter unten sehen wir die Hotelling-T²-Werte für alle Assays. Jeder Punkt repräsentiert den Maximalwert des Hotellings für eine bestimmte Arbeitswoche. Alle Werte wurden normalisiert (Grenzwert 1). Die beiden vertikalen Balken zeigen die letzten zwei Wochen und dienen als Vergleichswert. Sie sehen, dass einige Spline-Anpassungen Ausreißer aufweisen und dort keine Punkte vorhanden sind. Das liegt daran, dass diese Punkte außerhalb des Diagramms liegen. Durch Klicken auf die Schiene werden diese Punkte mit der 3-Sigma-Grenze neu dargestellt, um die Zusammenhänge besser zu verdeutlichen. Um Details zu einem bestimmten Wert anzuzeigen, klicken Sie einfach auf das Diagramm. Sie gelangen dann zur Detailseite. Dies ist CTP Nummer 21. Hier sehen Sie die Fähigkeitsanalyse, die JMP durchführt. Die Stabilität ist auf der X-Achse, die Fähigkeit auf der Y-Achse dargestellt. Die Grafik sieht momentan nicht sehr gut aus. Wie Sie sich vielleicht erinnern, gab es in diesem Diagramm einige Ausreißer.
Ich werde die Ausreißer entfernen und den Bericht erneut ausführen, um zu sehen, ob sich die Ergebnisse ändern. Und tatsächlich, sie ändern sich. Meine Fähigkeit liegt jetzt über 1,33, und meine Stabilität ist weiterhin gut. Die detaillierten Zahlen finden Sie oben. Weiter unten sehen Sie die einzelnen Hotelling-T²-Werte, wobei jeder Punkt einen einzelnen Test repräsentiert, nicht mehr den Wochenhöchstwert, sowie den DModX-Wert. Auch hier kann ich die Daten nach LTIF, Ereignismeldung oder allgemeinem Fehler farblich sortieren. Außerdem können Sie die SOP-Version, den Analytiker oder den Probentyp auswählen. Wenn Sie mit dem Mauszeiger über einen Punkt fahren, öffnet JMP ein kleines Pareto-Diagramm der einzelnen Parameter, das Ihnen die Zusammenhänge verdeutlicht. Sie können dann darauf klicken und erneut mit dem Mauszeiger darüberfahren, um die Kontrollkarte dieses Parameters in einem separaten Fenster anzuzeigen, wo Sie die Details einsehen können. Ich werde dieses Fenster jetzt erst einmal ausblenden.
Sie könnten auch genauer hinschauen und sich die zahlreichen Laboruntersuchungen ansehen, die wir hier am Ende haben. Was unterscheidet diese Punkte? Ich nenne sie Gruppe A. Alle anderen ordene ich Gruppe B. Anschließend führe ich ein Vorhersage-Screening durch. Das Ergebnis sieht folgendermaßen aus: Der Unterschied zwischen den beiden Gruppen liegt in Pipette 5, Pipette 3, Reagenz 1 usw.
Für alle Werte über 0,1 wird ein Diagramm erstellt. Sie können nach unten scrollen und verschiedene Diagramme anzeigen lassen, je nach den vorliegenden Daten. Sie können selbst entscheiden, ob eine Untersuchung erforderlich ist. In diesem Fall sieht es eher nicht danach aus. Wir haben hier unten lediglich eine Pipette mit einem anderen Ergebnis, und auch hier ist das Ergebnis dasselbe. Sie können hier außerdem einige Punkte markieren und eine Plattenliste erstellen. Daraufhin wird Ihnen eine Liste wie diese angezeigt, die für jeden markierten Punkt anzeigt, ob drei Platten benötigt werden und ob alle als „wahr“ gekennzeichnet sein sollten, d. h. ob der Test bestanden wurde. Wir haben einige Punkte, bei denen eine Platte bestanden wurde, und andere, bei denen alle Platten bestanden wurden. So lässt sich leicht erkennen, wie viele Platten für jeden Test verwendet wurden. Falls Anmerkungen vorhanden sind, werden diese hier angezeigt. Sie können dann in unser Tracking-System gehen und die dortigen Informationen einsehen. Um weitere Details anzuzeigen, können Sie die Bemerkungen und markierten Punkte anzeigen. Klicken Sie dazu auf „Bemerkungen anzeigen“. Dann sehen Sie für jeden der Tests erneut diese Nummer, die Referenznummer, und anschließend die Notizen, die der Analytiker zum Zeitpunkt der Durchführung des Experiments hinzugefügt hat.
Wir bewegen uns ein wenig. Für den ausgewählten Test werden die Parameter angezeigt. Um einen Parameter genauer zu betrachten, markieren Sie ihn einfach. Klicken Sie auf „Diagramm erstellen“. Dadurch wird ein Kontrolldiagramm für den Parameter mit allen zugehörigen Statistiken erstellt. Auf den anderen Registerkarten finden Sie beispielsweise einen Gültigkeitsbericht. Hier links sehen Sie unsere einzelnen SOP-Analysen. Sie sehen, in welchem Prozentsatz die Anforderungen erfüllt bzw. nicht erfüllt wurden. Für weitere Details können Sie nach rechts wechseln. In diesem Fall ist derselbe Test markiert. Sie sehen dann die monatlichen Daten. Sie sehen, wie viele Tests in jedem Monat durchgeführt wurden, in welchem Prozentsatz bekannte Laborfehler auftraten und die Details in einer Tabelle unten, die den Prozentsatz der Fälle zeigt, in denen ein einzelner Parameter Schwierigkeiten hatte. Diese Daten stimmen mit der Legende oben rechts überein. Wenn Sie noch weiter ins Detail gehen möchten, beispielsweise hier im März 2025. Wir wählen März 2025, und es wird nach Arbeitswochen dargestellt.
Sie können die Ergebnisse einer bestimmten Woche einsehen oder nach Aliquots aufschlüsseln und die Ergebnisse für jeden einzelnen Test anzeigen lassen. Der Vorteil hierbei ist: Wenn einige Ergebnisse stark abweichen, während alle anderen gut abschneiden, ist Ihr Test wahrscheinlich in Ordnung. Möglicherweise gab es jedoch einen neuen Analytiker oder ein Problem mit dem Testreagenz. In diesem Fall sollten Sie dies genauer untersuchen. Die zweite Berichtsfunktion ist die Meldung bekannter Laborfehler. Standardmäßig werden alle Tests unten aufgelistet und nach Monat farblich gekennzeichnet. Sie sehen, dass Test 1 und Test 33 die meisten Probleme aufweisen. Sie können auch verschiedene Fehlertypen anzeigen lassen, wahlweise als Kreisdiagramm oder gestapeltes Balkendiagramm – je nachdem, was für Ihre Analyse am aussagekräftigsten ist. Um die Daten weiter zu analysieren, können Sie einen bestimmten Test auswählen. Dann wird für jeden Monat ein Balkendiagramm angezeigt. Alternativ können Sie einen Monat auswählen und die Ergebnisse aller verschiedenen Tests anzeigen lassen. Ich werde wieder auf PowerPoint umsteigen.
Wir haben dieses Tool entwickelt, um wöchentliche Überprüfungen durchzuführen und auf einfache Weise zu demonstrieren, dass die Assays kontrolliert ablaufen. Sollten Probleme auftreten, bietet es eine unkomplizierte Möglichkeit, die wahrscheinlichen Ursachen für die Abweichungen zu ermitteln. Die Möglichkeit, Reagenzien und Chargen einzubeziehen, hat sich ebenso als hilfreich erwiesen wie die Identifizierung bestimmter Pipettenkombinationen, die möglicherweise nicht optimal funktionieren. Abschließend möchte ich meinen Kolleginnen und Kollegen danken, die all dies ermöglicht haben. Ohne sie wäre es nicht möglich gewesen. Wir haben das Assay-Team. Dazu gehören die Manager der Gruppen, die die Assays durchführen, die Entwickler der Assays, die Gruppen, die die Geräte und Reagenzien bereitstellen, und das Automatisierungsteam, das alle Komponenten so einrichtet, dass die Geräte laufen oder mit unseren Analyseanwendungen verbunden werden. Vielen Dank. Gibt es noch Fragen?
